Python爬虫学习之requests的使用教程

什么是requests

requests是一个Python第三方库，是用Python语言编写的软件包，主要针对网络请求。它是使用Apache2 Licensed 许可证的HTTP库，全方位解决HTTP请求相关的问题，如：中文繁体的encode、decode，支持HTTP、HTTPS、FTP、HTTP Proxy等等。

安装requests

使用Python pip工具安装requests：pip install requests

如果需要卸载requests：pip uninstall requests

requests使用示例1

import requests

url = 'http://example.com'
response = requests.get(url)
content = response.content
print("返回的内容：", content)

以上代码演示了使用requests发送get请求并获取返回内容的完整流程。其中url为需要请求的链接，response为http响应对象，响应的内容可以通过response.content拿到。

requests使用示例2

import requests

url = 'http://example.com'
headers = {'User-Agent': 'Mozilla/5.0'}
params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get(url, headers=headers, params=params)
content = response.content
print("返回的内容：", content)

以上代码演示了使用requests发送带请求头和参数的get请求并获取返回内容的完整流程。其中headers为请求头，用于模拟浏览器的用户请求信息；params为请求参数，将以查询字符串的形式附加到URL的末尾。

requests常用方法

发送GET请求

import requests

response = requests.get(url, params=None, **kwargs)

参数说明：

• url：要请求的URL地址；
• params：字典或者字节序列，作为查询字符串附加到URL末尾；
• **kwargs：关键字参数，详细见下文。

返回值解释：

• 返回一个Response对象，包含服务器的响应内容。

发送POST请求

import requests

response = requests.post(url, data=None, json=None, **kwargs)

参数说明：

• url：要请求的URL地址；
• data：字典、元组列表或者字节序列，作为请求体发送给服务器的数据；
• json：json数据，作为请求体发送给服务器的数据；
• **kwargs：关键字参数，详细见下文。

返回值解释：

• 返回一个Response对象，包含服务器的响应内容。

关键字参数

以下是可选的关键字参数，可在发送请求时传入：

• headers：字典类型，HTTP请求的头信息；
• cookies：字典类型的cookies；
• auth：HTTP服务器的认证信息；
• timeout：连接超时时间，单位为秒；
• proxies：字典类型，代理服务器设置；
• allow_redirects：响应重定向设置，默认为True；
• stream：获取内容立即下载设置，默认为False；
• verify：SSL证书验证设置；
• cert：SSL证书设置。

总结

requests是一个十分强大而易用的Python第三方库，可以轻松对网络请求进行各种处理。掌握requests使用技巧，对于爬虫开发而言是非常有必要的技能。