Python爬虫 urllib2的使用方法详解

本攻略将提供一个Python使用urllib2爬取网页的方法详解，包括urllib2的概念、urllib2的基本使用方法、爬取网页的方法。攻略将包含两个示例，分别演示如何使用Python爬取网页。

urllib2的概念

urllib2是Python标准库中的一个模块，用于发送HTTP请求和处理HTTP响应。urllib2模块提供了一系列函数和类，用于构建HTTP请求和处理HTTP响应。

urllib2的基本使用方法

以下是一个示例，演示如何使用urllib2发送HTTP请求：

import urllib2

# 发送HTTP请求
url = 'http://www.example.com'
response = urllib2.urlopen(url)

# 读取HTTP响应
html = response.read()
print(html)

在上面的示例中，首先导入urllib2模块。使用urllib2.urlopen()函数发送HTTP请求，并将响应结果赋值给response变量。使用response.read()函数读取HTTP响应内容，并将结果赋值给html变量。使用print()函数打印HTTP响应内容。

以下是另一个示例，演示如何使用urllib2发送带有参数的HTTP请求：

import urllib
import urllib2

# 发送带有参数的HTTP请求
url = 'http://www.example.com/search'
values = {'q': 'python'}
data = urllib.urlencode(values)
request = urllib2.Request(url, data)
response = urllib2.urlopen(request)

# 读取HTTP响应
html = response.read()
print(html)

在上面的示例中，首先导入urllib和urllib2模块。使用urllib.urlencode()函数将参数编码为URL格式。使用urllib2.Request()函数创建一个HTTP请求对象，并将请求对象赋值给request变量。使用urllib2.urlopen()函数发送HTTP请求，并将响应结果赋值给response变量。使用response.read()函数读取HTTP响应内容，并将结果赋值给html变量。使用print()函数打印HTTP响应内容。

爬取网页的方法

以下是一个示例，演示如何使用Python爬取网页：

import urllib2

# 发送HTTP请求
url = 'http://www.example.com'
response = urllib2.urlopen(url)

# 读取HTTP响应
html = response.read()
print(html)

在上面的示例中，首先导入urllib2模块。使用urllib2.urlopen()函数发送HTTP请求，并将响应结果赋值给response变量。使用response.read()函数读取HTTP响应内容，并将结果赋值给html变量。使用print()函数打印HTTP响应内容。

以下是另一个示例，演示如何使用Python爬取网页并保存到本地文件：

import urllib2

# 发送HTTP请求
url = 'http://www.example.com'
response = urllib2.urlopen(url)

# 读取HTTP响应
html = response.read()

# 保存到本地文件
with open('example.html', 'w') as f:
    f.write(html)

在上面的示例中，首先导入urllib2模块。使用urllib2.urlopen()函数发送HTTP请求，并将响应结果赋值给response变量。使用response.read()函数读取HTTP响应内容，并将结果赋值给html变量。使用open()函数创建一个名为example.html的文件，并将文件对象赋值给f变量。使用f.write()函数将HTTP响应内容写入文件中。

以上是Python使用urllib2爬取网页的方法详解，包括urllib2的概念、urllib2的基本使用方法、爬取网页的方法。攻略提供了两个示例，分别演示如何使用Python爬取网页。需要注意的是，在使用爬虫时需要遵守相关法律法规，避免侵犯他人的合法权益。