Python urllib 入门使用详细教程

什么是Python urllib

Python urllib是Python标准库中的一个模块。它提供了一系列命令来处理URL和网络请求，包括发送请求、处理响应、解析URL等操作。

urllib的安装和导入

Python 2.x版本中，urllib模块已经被内置，无需安装，可以直接导入使用。而在Python 3.x版本中，它被分成了几个子模块，分别是：urllib.request、urllib.parse、urllib.error、urllib.robotparser。

在Python 3.x版本中，我们通常使用以下语句来导入urllib：

from urllib import request, parse

发送GET请求

发送GET请求是最简单的网络请求类型。我们可以通过urllib中的urlopen()方法向指定的URL发送GET请求，获取响应内容。

以下是一个简单的例子，向百度首页发送GET请求，获取响应内容，然后将响应内容打印输出：

from urllib import request

url = 'https://www.baidu.com'
response = request.urlopen(url)
print(response.read().decode('utf-8'))

上述代码中，使用urlopen()方法发送请求，参数为URL，urlopen()方法返回一个HTTPResponse对象，然后使用read()方法读取响应内容，并使用decode()方法解码成字符串。

发送POST请求

与GET请求一样，我们也可以使用urllib中的urlopen()方法发送POST请求，只需在请求中传递一个data参数即可。data参数是一个字典，包含了要提交的数据。

以下是一个简单的例子，我们将向httpbin.org发送POST请求，并提交一个包含username和password的数据：

from urllib import request, parse

url = 'http://httpbin.org/post'
data = {'username': 'admin', 'password': '123456'}
data = parse.urlencode(data).encode('utf-8')
req = request.Request(url, data=data)
response = request.urlopen(req)
print(response.read().decode('utf-8'))

上述代码中，首先将需要提交的数据打包成一个字典，然后使用urlencode()方法将数据转换为URL编码的字符串，并使用encode()方法将其转换成bytes类型。然后我们使用request.Request()方法创建一个请求对象，参数为URL和data，最后使用urlopen()方法发送POST请求，并打印输出响应内容。

结论

Python urllib模块提供了简单易用的方式来发送网络请求和处理响应。我们可以根据需要发送GET、POST或其他类型的HTTP请求，同时也可以解析URL、查找页面等。