python做反被爬保护的方法

针对如何让Python反爬虫，我们可以列举以下几种方法。

1. 设置请求头 Headers

请求头中的User-Agent给出了客户端的相关信息，网站可以根据User-Agent判断请求来自哪里。默认情况下，Python的requests库并不会发送类似于浏览器的请求头信息，这会被很多网站认为是爬虫程序而被拒绝请求。因此在编写Python爬虫时需要添加请求头信息，伪装成浏览器的请求头信息就可以成功访问了。

你可以构造请求头信息，然后设置到requests请求中，例如：

import requests

headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Encoding": "gzip, deflate, br",
    "Accept-Language": "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",
    "Connection": "keep-alive",
    "User-Agent": "Mozilla/5.0 "
}

response = requests.get(url, headers=headers)

2. 使用代理

正规网站很少屏蔽代理服务器，所以如果我们使用代理服务器去做爬虫，就比直接使用自己的IP更容易成功。这种方法同样需要设置请求头，使用requests库来发送代理请求。

import requests

proxies = {
    "http": "http://127.0.0.1:8080",
    "https": "http://127.0.0.1:8080"
}

response = requests.get(url, proxies=proxies)

需要注意，这里的代理服务器必须是可用的，否则会造成请求失败。同时，很多网站也会对判断代理IP的真实性进行防范。

以上是两种常见的反反爬技巧，可以有效地避免被反爬虫策略拦截。当然，这并不一定是万能的，还需结合实际情况进行调试。

最后，提醒大家，在爬取非自己拥有的数据前，请遵守相关网站的规定，以及相关法律法规。