Python爬虫之requests库基本介绍

在Python中，requests库是一个常用的HTTP客户端库，用于发送HTTP请求和处理HTTP响应。本文将介绍requests库的基本用法，并提供两个示例。

requests库的安装

在使用requests库之前，需要先安装它。可以使用pip命令来安装requests库，如下所示：

pip install requests

requests库的基本用法

requests库提供了一组简单易用的API，用于发送HTTP请求和处理HTTP响应。下面是requests库的基本用法：

发送HTTP请求

使用requests库发送HTTP请求非常简单，只需要调用requests库的get()或post()方法，并传递URL和参数即可。下面是一个使用requests库发送HTTP请求的示例：

import requests

url = 'http://httpbin.org/get'
params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get(url, params=params)

print(response.text)

在上面的代码中，我们首先导入requests库，然后定义一个URL和参数params。接着，我们使用requests库的get()方法发送HTTP请求，并将响应保存在response变量中。最后，我们使用response.text属性获取响应内容。

处理HTTP响应

使用requests库处理HTTP响应也非常简单，只需要访问响应对象的属性即可。下面是一个使用requests库处理HTTP响应的示例：

import requests

url = 'http://httpbin.org/get'
params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get(url, params=params)

print(response.status_code)
print(response.headers)
print(response.json())

在上面的代码中，我们首先导入requests库，然后定义一个URL和参数params。接着，我们使用requests库的get()方法发送HTTP请求，并将响应保存在response变量中。最后，我们访问response对象的status_code、headers和json()属性，分别获取响应状态码、响应头和响应内容。

示例

下面是两个使用requests库的示例：

示例一：使用requests库获取天气信息

我们可以使用requests库获取天气信息，并将其保存到本地文件中。下面是一个使用requests库获取天气信息的示例：

import requests

url = 'http://wthrcdn.etouch.cn/weather_mini'
params = {'city': '北京'}
response = requests.get(url, params=params)

with open('weather.txt', 'w') as f:
    f.write(response.text)

在上面的代码中，我们首先导入requests库，然后定义一个URL和参数params。接着，我们使用requests库的get()方法发送HTTP请求，并将响应保存在response变量中。最后，我们使用with语句打开文件weather.txt，并将响应内容写入文件中。

示例二：使用requests库模拟登录

我们可以使用requests库模拟登录，并获取登录后的页面内容。下面是一个使用requests库模拟登录的示例：

import requests

url = 'http://httpbin.org/post'
data = {'username': 'admin', 'password': 'admin'}
response = requests.post(url, data=data)

print(response.text)

在上面的代码中，我们首先导入requests库，然后定义一个URL和参数data。接着，我们使用requests库的post()方法发送HTTP请求，并将响应保存在response变量中。最后，我们使用print()函数输出响应内容。

总结

本文介绍了requests库的基本用法，包括发送HTTP请求和处理HTTP响应。需要注意的是，在使用requests库发送HTTP请求时，需要正确传递URL和参数，并处理可能出现的异常。