python爬虫之urllib,伪装,超时设置,异常处理的方法

Python爬虫之urllib攻略

在Python中，我们可以利用urllib库来进行网页爬取。本篇攻略将介绍如何通过urllib库进行网页爬取的相关内容，包括伪装、超时设置和异常处理等。下面，将对每一部分进行详细讲解。

伪装

在进行网页爬取时，有些网站可能会检测到你的爬虫身份，并将你的IP地址封锁。为了规避这一问题，我们需要进行伪装操作。

import urllib.request

url = 'http://www.example.com'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
req = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(req)

上述代码即为一个简单的伪装操作，我们通过在HTTP请求头中添加User-Agent字段，来告诉网站服务器我们的浏览器身份，从而实现伪装。

超时设置

在进行网页爬取时，有些网页会响应缓慢，或者网络波动较大，导致请求时间过长而出现错误。因此，我们需要进行超时设置，限制请求时长。

import urllib.request

url = 'http://www.example.com'
timeout = 10
req = urllib.request.Request(url)
response = urllib.request.urlopen(req, timeout=timeout)

在上述代码中，我们通过在urlopen函数中添加timeout参数，来设置请求的最长时间，单位是秒。

异常处理

在进行网页爬取时，还需要考虑异常情况的处理。例如，如果网络异常，请求超时，甚至是请求被封锁等问题都需要进行处理。

import urllib.request
import urllib.error

url = 'http://www.example.com'

try:
    response = urllib.request.urlopen(url)
except urllib.error.URLError as e:
    if hasattr(e, 'reason'):
        print('错误原因是：', e.reason)
    elif hasattr(e, 'code'):
        print('错误码是：', e.code)
else:
    print('请求成功！')

在上述代码中，我们通过try-except语句来捕获异常。如果出现URLError异常，我们可以通过hasattr函数来判断出错类型，并进行相应的处理。如果请求成功，则打印请求成功的信息。

示例

下面是一个完整的爬取网页的示例：

import urllib.request
import urllib.error

url = 'http://www.example.com'
timeout = 10
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

try:
    req = urllib.request.Request(url, headers=headers)
    response = urllib.request.urlopen(req, timeout=timeout)
except urllib.error.URLError as e:
    if hasattr(e, 'reason'):
        print('错误原因是：', e.reason)
    elif hasattr(e, 'code'):
        print('错误码是：', e.code)
else:
    html = response.read().decode('utf-8')
    print(html)

在上述代码中，我们首先设置请求的网址、超时时间和伪装信息。然后，通过try-except语句捕获异常并进行处理。如果请求成功，我们将打印网页内容。