python爬虫之urllib3的使用示例

什么是urllib3?

urllib3是一个功能强大，条理清晰且具有线程安全的HTTP请求库，可以让我们更加高效的发送HTTP/1.1请求。使用urllib3库可以轻易地做到连接池的管理、重试、重定向、GZIP、SSL、代理设置等功能。

安装urllib3

强烈建议在使用前，对Python的环境进行一些优化和升级（$python -m pip install --upgrade pip）

安装urllib3:

$python -m pip install urllib3

使用urllib3

GET请求示例

下面是一个使用urllib3发送GET请求的示例代码：

import urllib3

http = urllib3.PoolManager()

response = http.request('GET', 'https://www.baidu.com/')
print(response.data.decode())

示例代码中，先导入urllib3，并通过PoolManager创建一个HTTP请求连接池。然后使用request()方法，传递HTTP请求方法和URL，即可轻松发送GET请求并获取到请求的返回结果。

POST请求示例

下面是一个使用urllib3发送POST请求的示例代码：

import urllib3
import json

http = urllib3.PoolManager()

url = 'http://httpbin.org/post'

headers = {'Content-Type': 'application/json'}
data = {'name': 'urllib3', 'age': 18}

encoded_data = json.dumps(data).encode('utf-8')

response = http.request('POST', url, body=encoded_data, headers=headers)

print(response.data.decode())

示例代码中，同样先导入urllib3和json模块，并通过PoolManager创建一个HTTP请求连接池。然后设置相应的URL，数据和headers，将数据序列化，并在request()方法中传递相应的参数（HTTP请求方法、URL、body数据和headers）即可轻松实现POST请求。

总结

urllib3是Python语言中定义的HTTP客户端请求库，提供了连接池管理、重试、重定向、GZIP、SSL以及代理设置等一系列功能，使用它我们可以更高效的发送HTTP/1.1请求。

示例代码展示了使用urllib3发送GET和POST请求的方式，同样的方法可以用于发送其他HTTP请求，但需要使用相应的HTTP请求方法（如PUT、OPTIONS、DELETE等）以及配置相应的参数。

推荐阅读：Python爬虫之requests库的使用