Python 爬虫请求模块 requests 详解

requests 模块简介

requests 是 Python 中一个专门用于发送 HTTP/HTTPS 请求的第三方库，其使用简单易学，广泛应用于网页抓取、API 访问等场景。

在引入 requests 模块后，我们可以通过该模块提供的方法，如 get()、post() 等，来调用 HTTP 请求，并获取到服务器响应的内容。

requests 模块的安装

requests 模块可以通过 pip 安装。在终端中输入以下命令即可：

pip install requests

requests 模块常用方法

requests.get(url, params=None, **kwargs)

该方法用于发送 GET 请求，并返回服务器响应。

参数说明：

• url：请求的URL地址
• params：可选参数，用于传递 URL 中的参数
• **kwargs：可选参数，用于传递其他参数

示例：

import requests

url = 'http://www.baidu.com'
response = requests.get(url)
print(response.text)

requests.post(url, data=None, json=None, **kwargs)

该方法用于发送 POST 请求，并返回服务器响应。

参数说明：

• url：请求的URL地址
• data：可选参数，用于传递表单数据
• json：可选参数，用于传递 JSON 数据
• **kwargs：可选参数，用于传递其他参数

示例：

import requests

url = 'http://httpbin.org/post'
data = {'name': 'xiaoming', 'age': 18}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
response = requests.post(url, data=data, headers=headers)
print(response.json())

requests 模块常用属性

response.text

获取服务器响应内容，返回字符串类型。

示例：

import requests

url = 'http://www.baidu.com'
response = requests.get(url)
print(response.text)

response.content

获取服务器响应内容，返回二进制类型。

示例：

import requests

url = 'http://www.baidu.com'
response = requests.get(url)
print(response.content)

requests 模块异常

当请求过程出现异常时，requests 模块会抛出相应的异常，如 requests.exceptions.Timeout、requests.exceptions.ConnectionError 等。

在使用 requests 请求时，最好加上异常处理，防止程序崩溃。

示例：

import requests

url = 'http://www.baidu.com'
try:
    response = requests.get(url, timeout=1)
    print(response.text)
except requests.exceptions.Timeout:
    print('请求超时')
except requests.exceptions.ConnectionError:
    print('连接错误')