Python爬虫之urllib基础用法教程

关于Python爬虫之urllib基础用法教程的完整攻略，下面我进行详细讲解。

一、urllib库介绍

urllib是Python中用于操作URL的标准库之一，它包含了多个模块，分别用于实现不同的功能，以下是urllib库中几个常用的模块：

• urllib.request：用于向URL发起请求并接受响应。

• urllib.parse：用于URL的解析和拼接。

• urllib.error：用于处理请求和响应时产生的异常。

• urllib.robotparser：用于解析和处理robots.txt文件。

其中urllib.request是使用频率较高的模块，下面我们将详细讲解这个模块中的几个常用方法和属性。

二、urllib.request常用方法和属性

1. urlopen()方法

urllib.request.urlopen()方法用于向URL发起请求并接受响应。它有如下两个参数：

url：必需，要请求的URL地址。

data：可选，要post的参数，以bytes形式传入。

下面是一个简单的示例：

import urllib.request

response = urllib.request.urlopen('https://www.baidu.com')
print(response.read().decode('utf-8'))

这个示例中，我们向百度发起了一个GET请求，获取了它的HTML页面并打印出来。

2. Request()方法

如果想要更加灵活地控制请求的参数、头部等信息，我们可以使用urllib.request.Request()方法。它有如下两个参数：

url：必需，要请求的URL地址。

data：可选，要post的参数，以bytes形式传入。

headers：可选，请求头部信息，是一个dict对象。

下面是一个示例：

import urllib.request
import urllib.parse

url = 'https://httpbin.org/post'
data = {'name': 'Jack', 'age': 18}
data = urllib.parse.urlencode(data).encode('utf-8')
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
req = urllib.request.Request(url, data, headers)
response = urllib.request.urlopen(req)
print(response.read().decode('utf-8'))

这个示例中，我们向https://httpbin.org/post发起了一个POST请求，并传入了一个字典参数。注意：在发送POST请求时，参数需要进行urlencode，并以bytes形式传入。

3. ProxyHandler()方法

如果需要通过代理服务器访问URL，我们可以使用urllib.request.ProxyHandler()方法。它有如下一个参数：

proxies：代理服务器ip和端口，是一个dict对象。

下面是一个示例：

import urllib.request

proxy_handler = urllib.request.ProxyHandler({'http': 'http://123.45.67.89:8888'})
opener = urllib.request.build_opener(proxy_handler)
response = opener.open('https://www.baidu.com')
print(response.read().decode('utf-8'))

这个示例中，我们使用了一个代理服务器，并用build_opener()方法将其加入到一个opener对象中，然后使用opener对象发起了一个请求。

三、总结

本文主要讲解了urllib库中常用的几个方法和属性，并且给出了一些示例说明。虽然urllib库功能简单，但是在使用Python进行爬虫时却十分方便，建议学习和使用。