Python爬虫开发之urllib模块详细使用方法与实例全解

一、概述

在Python的爬虫开发中，网络请求库是必不可少的，而urllib模块就是Python的标准库中较为常用的网络请求库之一。本篇文章将详细介绍urllib模块的使用方法和实例。

二、urllib模块的介绍

urllib模块是Python中一个用于处理网络请求的标准库，包含了四个子模块：urllib.request、urllib.parse、urllib.error、urllib.robotparser。其中，urllib.request是最核心、最常用的子模块，它可以模拟浏览器向服务器发送请求并获取服务器的响应数据。

三、urllib.request模块的常用方法

1. 发送HTTP请求

import urllib.request

response = urllib.request.urlopen('http://www.baidu.com')
print(response.read().decode('utf-8'))

上述代码通过urlopen()方法发送一个HTTP请求并获取响应数据，在这里我们获取了百度的首页HTML文档。其中，response返回的是一个HTTPResponse对象，可以通过调用它的read()方法获取响应数据，同时还需使用decode()将二进制数据转换为字符编码。

2. 带参数请求

import urllib.parse
import urllib.request

data = bytes(urllib.parse.urlencode({'name': 'test', 'age': 23}), encoding='utf-8')
response = urllib.request.urlopen('http://httpbin.org/post', data=data)
print(response.read().decode('utf-8'))

上述代码通过urlencode()将一个字典类型的参数转化为URL参数，并将转化后的参数通过bytes()转化为字节流，再通过urlopen()方法发送一个POST请求，并获取响应数据。其中，httpbin.org是一个测试网站，返回的数据包含了请求头、请求数据等信息。

3. 设置请求头

import urllib.request

url = 'http://www.baidu.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}
req = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(req)
print(response.read().decode('utf-8'))

上述代码通过Request()方法构造一个包含请求头信息的请求对象，通过urlopen()方法发送请求并获取响应数据，其中headers信息需要根据具体情况自行修改。

4. 处理超时

import socket
import urllib.request

try:
    response = urllib.request.urlopen('http://httpbin.org/get', timeout=0.1)
    print(response.read().decode('utf-8'))
except socket.timeout as e:
    print('time out')

上述代码通过设置timeout参数，控制发送请求的超时时间，超时将抛出socket.timeout异常。

四、实例分析

1. 获取json数据

import urllib.request
import json

response = urllib.request.urlopen('http://www.httpbin.org/get')
data = response.read()
data = json.loads(data.decode('utf-8'))
print(data)

上述代码通过urlopen()方法获取响应数据，并通过json.loads()方法将json数据转化为Python字典，从而更方便地进行数据处理。

2. 爬取图片

import urllib.request

response = urllib.request.urlopen('http://pic.netbian.com/uploads/allimg/190521/195751-1558430271b352.jpg')
with open('image.jpg', 'wb') as f:
    f.write(response.read())

上述代码通过urlopen()方法获取图片二进制数据，并将二进制数据写入到本地文件中，实现图片的下载保存。

五、总结

本文介绍了Python爬虫开发中urllib模块的使用方法和实例，需要注意的是，在实际开发中不同的网站字段可能会有所区别，需要根据具体情况进行参数的修改和调整。