对Python3 urllib包与http包的使用详解

Python3中的urllib包和http包是用于发送HTTP请求和处理HTTP响应的常用库。在本文中，我们将详细讲解这两个库的使用方法，并提供两个示例。

urllib包

urllib包是Python3中用于发送HTTP请求和处理HTTP响应的标准库。它包含四个模块：urllib.request、urllib.parse、urllib.error和urllib.robotparser。

urllib.request模块

urllib.request模块是用于发送HTTP请求的模块。它包含以下常用方法：

• urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT, *, cafile=None, capath=None, cadefault=False, context=None): 发送HTTP请求并返回响应对象。
• urlretrieve(url, filename=None, reporthook=None, data=None): 下载文件并保存到本地。

以下是一个使用urllib.request模块发送HTTP请求的示例：

import urllib.request

url = 'https://www.example.com'
response = urllib.request.urlopen(url)
print(response.read().decode('utf-8'))

在上面的示例中，我们使用urllib.request模块的urlopen方法发送HTTP请求，并使用read方法读取响应数据。最后，我们使用decode方法将响应数据转换为字符串并打印出来。

urllib.parse模块

urllib.parse模块是用于解析URL的模块。它包含以下常用方法：

• urlparse(urlstring, scheme='', allow_fragments=True): 解析URL并返回一个ParseResult对象。
• urlunparse(parts): 将ParseResult对象转换为URL字符串。
• urlencode(query, doseq=False, safe='', encoding=None, errors=None, quote_via=quote_plus): 将字典或元组列表转换为URL编码的字符串。

以下是一个使用urllib.parse模块解析URL的示例：

import urllib.parse

url = 'https://www.example.com/path/to/page?param1=value1&param2=value2'
parsed_url = urllib.parse.urlparse(url)
print(parsed_url.scheme)
print(parsed_url.netloc)
print(parsed_url.path)
print(parsed_url.query)

在上面的示例中，我们使用urllib.parse模块的urlparse方法解析URL，并使用属性获取URL的各个部分。

urllib.error模块

urllib.error模块是用于处理HTTP请求错误的模块。它包含以下常用异常类：

• URLError: 发生URL错误时引发的异常。
• HTTPError: 发生HTTP错误时引发的异常。

以下是一个使用urllib.error模块处理HTTP请求错误的示例：

import urllib.request
import urllib.error

url = 'https://www.example.com/notfound'
try:
    response = urllib.request.urlopen(url)
except urllib.error.HTTPError as e:
    print(e.code, e.reason)
except urllib.error.URLError as e:
    print(e.reason)

在上面的示例中，我们使用try-except语句捕获HTTP请求错误，并使用HTTPError和URLError异常类处理不同类型的错误。

http包

http包是Python3中用于处理HTTP请求和响应的库。它包含以下常用类：

• HTTPConnection: 用于与HTTP服务器建立连接的类。
• HTTPResponse: 用于处理HTTP响应的类。
• HTTPError: 用于处理HTTP错误的异常类。

以下是一个使用http包发送HTTP请求的示例：

import http.client

conn = http.client.HTTPSConnection('www.example.com')
conn.request('GET', '/')
response = conn.getresponse()
print(response.read().decode('utf-8'))

在上面的示例中，我们使用http.client包的HTTPSConnection类建立与HTTP服务器的连接，并使用request方法发送HTTP请求。然后，我们使用getresponse方法获取HTTP响应，并使用read方法读取响应数据。

总结

在本文中，我们详细讲解了Python3中的urllib包和http包的使用方法，并提供了两个示例代码，分别演示了如何使用urllib包发送HTTP请求和如何使用http包发送HTTP请求。这些示例代码可以帮助读者更好地理解如何使用Python3发送HTTP请求和处理HTTP响应。