python 爬虫出现403禁止访问错误详解

当使用Python进行网络爬虫时，可能会遇到被网站拒绝访问的情况，出现403 Forbidden错误。这种错误是由于目标网站的服务器禁止程序访问或者限制了访问请求的频率。下面是解决这种问题的完整攻略。

1.使用 User-Agent/Header 伪装请求头

许多网站可以检测到其服务器是否被网络爬虫访问，如果检测到则会拒绝访问。因此我们可以使用 User-Agent 和 Header 来伪装访问请求头，模拟浏览器向服务器发送请求。Python中使用 requests 库可以轻松实现。

import requests

url = "https://www.example.com"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
res = requests.get(url, headers=headers)
print(res.text)

其中，User-Agent 字段用来描述浏览器种类及版本，这是网站检测爬虫的主要方法。Header 字段则包含HTTP请求头中除了 cookie 和 user agent 之外的其他内容。

2.避免过于频繁的请求

频繁的重复请求很容易被目标网站识别为网络爬虫行为，所以我们需要控制请求的频率，避免过于频繁地访问目标网站。我们可以使用 Python 自带的 time 模块中的 sleep 函数进行延迟。

示例代码如下：

import requests
import time

url = "https://www.example.com"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

for i in range(5):
    res = requests.get(url, headers=headers)
    print(res.text)
    time.sleep(1)

上述代码中，range(5) 控制了访问目标网站的次数为5次。每次请求后使用 time.sleep(1) 函数进行延迟1秒，控制请求的频率。通常来说，请求过于频繁可能会被目标网站识别为异常行为，因此我们需要适当延长休眠时间。

综上，以上两个方法一般可以解决Python爬虫403禁止访问错误。当然，还有一些其他的方法，如更换IP、使用Session保持登录状态等，但在大多数情况下，上述方法已经足够使用。