python爬虫系列网络请求案例详解

本教程将为您逐步展示如何使用Python进行网络请求并分析响应。我们将包括以下主题：

1. 使用requests库发出GET请求
2. 解析响应文本和内容
3. 获取响应信息（状态码，头部信息等）
4. 使用参数和headers定制请求
5. 发出POST请求并解析响应
6. 使用代理进行网络请求

1. 使用requests库发出GET请求

最常见的网络请求类型之一是GET请求。下面是一个使用requests库发出GET请求的基本示例：

import requests

response = requests.get('https://www.example.com')
print(response.text)

此代码发送一个GET请求到https://www.example.com，并返回响应对象。我们可以使用response.text属性获取响应文本。

2. 解析响应文本和内容

requests库还提供了一些有用的方法来解析响应，包括text、content和json。下面是几个示例：

import requests

response = requests.get('https://www.example.com')

# 获取响应文本
print(response.text)

# 获取响应内容（二进制）
print(response.content)

# 将响应内容解析为JSON
print(response.json())

3. 获取响应信息

在进行网络请求时，有时需要检查响应的状态码或头信息。requests库提供了方便的方法来访问这些信息。下面是示例代码：

import requests

response = requests.get('https://www.example.com')

# 获取状态码
print(response.status_code)

# 获取头信息
print(response.headers)

4. 使用参数和headers定制请求

有时，我们需要向URL添加查询参数或自定义header，requests库让这变得非常容易。下面是一个演示：

import requests

url = 'https://www.example.com'
params = {'key1': 'value1', 'key2': 'value2'}
headers = {'User-Agent': 'Mozilla/5.0'}

response = requests.get(url, params=params, headers=headers)

print(response.url)
print(response.request.headers)

此代码向URL添加查询参数，并自定义了headers，然后发出GET请求。

5. 发出POST请求并解析响应

除了GET请求，我们还可以发送POST请求，就像这样：

import requests

url = 'https://www.example.com'
data = {'username': 'example', 'password': 'examplepass'}
headers = {'User-Agent': 'Mozilla/5.0'}

response = requests.post(url, data=data, headers=headers)

print(response.text)

此代码将data作为POST请求的数据发送到指定的URL，然后返回响应对象。

6. 使用代理进行网络请求

如果您需要使用代理服务器来发起网络请求，requests库也提供了一种简单的方法。下面是一个示例：

import requests

url = 'https://www.example.com'
proxy = {'https': 'https://127.0.0.1:1234'}
headers = {'User-Agent': 'Mozilla/5.0'}

response = requests.get(url, proxies=proxy, headers=headers)

print(response.text)

此代码定义了代理服务器，并将其作为参数传递给requests.get方法。在此示例中，我们使用了https代理，指定的代理地址为https://127.0.0.1:1234。