Python标准库之urllib和urllib3的使用及说明

Python自带的urllib和urllib3是处理HTTP请求的基本工具之一，常用于爬虫、API调用等场景，本文将详细介绍它们的使用方法以及注意事项。

urllib

urllib是Python自带的HTTP客户端库，包括4个模块：urllib.request、urllib.error、urllib.parse、urllib.robotparser。其中，urllib.request是最常用的模块，用于发送HTTP请求。

GET请求

下面是一个发送GET请求的示例：

import urllib.request

response = urllib.request.urlopen('https://www.example.com')
print(response.read().decode('utf-8'))

以上代码中，我们使用urlopen函数发送了一个GET请求，然后用read方法读取了响应内容。需要注意的是，在Python2中，urllib2.urlopen替代了urllib.urlopen。

POST请求

下面是一个发送POST请求的示例：

import urllib.parse
import urllib.request

data = urllib.parse.urlencode({'key1': 'value1', 'key2': 'value2'}).encode('utf-8')
response = urllib.request.urlopen('https://www.example.com', data=data)
print(response.read().decode('utf-8'))

以上代码中，我们使用urlencode将字典类型的数据转化为POST请求需要的数据格式，然后再使用encode方法将其编码为字节流，并通过urlopen方法发送POST请求。

urllib3

与urllib相比，urllib3是一个相对较新的HTTP客户端库，它提供了更高层次的抽象，并且在性能、安全性和可维护性等方面优于urllib。以下是一些urllib3的优点：

• 线程安全性
• 连接池管理
• 性能优化
• 超时自动重连
• 重试支持
• 支持HTTPS

GET请求

下面是一个使用urllib3发送GET请求的示例：

import urllib3

http = urllib3.PoolManager()
response = http.request('GET', 'https://www.example.com')
print(response.data.decode('utf-8'))

以上代码中，我们使用PoolManager创建了一个HTTP连接池，调用request方法发送一个GET请求，并使用data属性获取响应内容。

POST请求

下面是一个使用urllib3发送POST请求的示例：

import urllib3

http = urllib3.PoolManager()
data = {'key1': 'value1', 'key2': 'value2'}
response = http.request('POST', 'https://www.example.com', fields=data)
print(response.data.decode('utf-8'))

以上代码中，我们使用fields参数传递POST请求的参数，并使用data属性获取响应内容。

结语

本文详细介绍了Python标准库之urllib和urllib3的使用方法及注意事项，希望对读者有所帮助。在使用这两个库时，一定要注意注重安全，避免出现安全漏洞或DoS攻击等问题。