Python爬虫urllib模块反爬虫机制UA详解

何为反爬虫机制

反爬虫机制是指网站为了限制爬虫工具的使用，而采取的各种技术手段。这些技术手段可以有效防止爬虫获取网站数据，维护网站的正常运营和安全。

UA（User-Agent）是什么

用户代理（User-Agent）是指HTTP请求中的一个标头，它告诉服务器发送请求的客户端的操作系统、浏览器以及版本号等信息。在爬虫中，如果不设置UA，那么服务器就无法判断请求是否来自合法的浏览器，因此很容易被识别成爬虫并进行限制。

设置UA

在Python爬虫中，我们可以通过在请求的headers中设置User-Agent来伪装成浏览器访问网站，从而避免被反爬虫机制限制。

示例1：使用urllib模块设置UA

import urllib.request

url = 'https://www.baidu.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

req = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(req)
html = response.read().decode('utf-8')
print(html)

示例2：使用requests模块设置UA

import requests

url = 'https://www.baidu.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

response = requests.get(url, headers=headers)
html = response.text
print(html)

通常，可以在浏览器中按F12进入开发者模式，切换到网络(Network)选项卡，在请求中可以看到User-Agent信息，通过将其复制到代码中即可实现伪装浏览器的目的。

总结：设置UA是爬虫中避免被反爬虫机制限制的重要手段之一，建议在爬取任何网站时都要设置UA。