如何设置爬虫的用户代理？

当我们使用 Python 编写爬虫时，有时候需要设置爬虫的用户代理（User-Agent）来模拟浏览器的请求。用户代理是一个 HTTP 请求头部信息，其中包含了使用该浏览器的操作系统及浏览器版本等信息。

通过设置爬虫的用户代理，我们可以模拟多种类型的浏览器请求，绕过一些反爬措施或者获取更好的数据体验。下面我来详细讲解如何设置爬虫的用户代理。

1.使用urllib库设置用户代理

urllib是Python的标准库之一，可以用来爬取网页数据。使用urllib库，只需要在请求中添加一个headers字典，并将User-Agent字段设置为浏览器的信息即可。

import urllib.request

url = 'http://www.example.com'
headers ={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

req = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(req)
data = response.read().decode('utf-8')
print(data)

上述代码演示了如何使用urllib库设置用户代理。其中headers字典包含了User-Agent字段，我们可以将其设置为 Chrome 浏览器的 User-Agent 信息。

2.使用requests库设置用户代理

requests是一个Python库，用于发送HTTP请求和操作HTTP响应。与urllib库类似，requests库同样也支持设置用户代理。

import requests

url = 'http://www.example.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

response = requests.get(url, headers=headers)
data = response.content.decode('utf-8')
print(data)

与urllib库类似，上述代码演示了如何使用requests库设置用户代理。同样的，我们只需要在headers中加入User-Agent字段，就可以设置用户代理了。

以上就是两种使用Python设置爬虫用户代理的方法。在实际开发中，需要根据不同的网站及需求，针对性的设置用户代理信息。