python爬虫请求头的使用

1. 什么是请求头

在使用 Python 爬虫抓取数据时，我们需要向目标网站发送请求，而这个请求除了包含 URL 以外，还包含很多 headers（请求头），这个 headers 包含很多信息，用于告诉服务器有关于请求方的一些信息（如浏览器、操作系统、语言等）以及请求的一些要求。通俗地说，它就是发往服务器的一份信函，是HTTP请求中的一部分。

1. 请求头与反爬虫技术

有些网站为了防止爬虫再次抓取数据，会通过一些反爬虫技术，对请求头进行检测，所以在爬虫时，需要设置一些请求头参数来模拟浏览器行为，以避免被反爬虫机制识别，导致被封IP。

1. 请求头示例说明

下面通过两个示例来讲解请求头的使用：

• 示例1：伪装成浏览器爬取百度搜索结果

# 导入requests库
import requests
#设置请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 定义请求url和参数
url = 'https://www.baidu.com/s'
params = {'wd': 'python requests 如何设置请求头'}
# 发送get请求
response = requests.get(url, params=params, headers=headers)
# 打印请求URL和内容
print(response.url)
print(response.text)

• 示例2：使用cookie绕过验证码

# 导入requests库
import requests
#设置请求头和cookie
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Cookie': 'JSESSIONID=vFXqOHKPkHxoyUJU1AjFh0y-F3grij_DXUZt3L1.lvn1; _pk_ref.1.b4af=%5B%22%22%2C%22%22%2C1529911803%2C%22https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3Duepi0_mHjyKTeKd1suHo_qCzgNBDa_cHG90UwO_Zle74Gs1lqBUKBL9ptHKtKm6yPYNYqTQlZAveBq-4tV74iK%26wd%3D%26eqid%3Dd88ae68d00002b78000000045b35fd3d%22%5D; _pk_id.1.b4af=bc4fe746cac7ef5a.1529549583.7.1529912483.1529911803.; _pk_ses.1.b4af=*; _ga=GA1.2.1736058309.1529549583; Hm_lvt_f7ae5b662578efc33a50c62404cc5b48=1529549583,1529735721,1530015708,1530019445; Hm_lpvt_f7ae5b662578efc33a50c62404cc5b48=1530023729; _gat=1'}
# 定义请求url和参数
url = 'http://www.cninfo.com.cn/new/fulltextSearch?keyWord=证券代码：000877'
# 发送get请求
response = requests.get(url, headers=headers)
# 打印请求URL和内容
print(response.url)
print(response.text)

在代码片段中，我们使用 requests 库，首先导入库文件，然后定义用于请求的 URL 和参数，并设置请求头参数 headers，然后发送 HTTP GET 请求，并获取响应结果。

1. 小结

总之，在进行网站抓取时，建议设置合适的请求头来模拟用户浏览器行为，避免引起反爬虫机制，增加程序的健壮性和运行效率。