python3 requests中文乱码之压缩格式问题解析

让我给您介绍一下 Python3 requests 中文乱码之压缩格式问题解析的完整攻略。

问题解析

在使用 Python 中的 requests 发送请求时，如果返回的数据中包含中文字符，有时候会出现乱码问题。这可能是由于原始文本使用了压缩格式，而 requests 默认不会进行解压缩，导致出现乱码问题。

解决方法

要解决这个问题，我们需要在 requests 发送请求时进行设置，以解决压缩格式带来的乱码问题。以下是三种不同的解决方法：

方法1：设置请求头

在发送请求前，我们可以显式设置请求头部包括'Accept-Encoding'和'User-Agent'字段，来告诉服务器我们支持以压缩格式（如gzip）接收数据，并且指定浏览器代理。

import requests
headers = {
    'Accept-Encoding': 'gzip, deflate',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
response = requests.get("http://example.com", headers=headers)

方法2：使用自动解压功能

requests 支持自动解压缩和解码响应内容。我们只需设置 requests.get() 方法中的 stream 参数为 True，然后在获取响应时，使用 r.content （或者 r.raw.read()）方法获取二进制数据，并将其解压和解码即可。

import requests
response = requests.get("http://example.com", stream=True)
response.raw.decode_content = True
data = response.content

方法3：手动解压和解码

如果自动解压不起作用，我们可以手动解压和解码响应内容。

import requests
import gzip
response = requests.get("http://example.com")
if response.headers.get("Content-Encoding") == "gzip":
    data = gzip.decompress(response.content).decode("utf-8")
else:
    data = response.text

在这个例子中，我们先检查响应头部是否包含“Content-Encoding”字段，并且它的值等于“gzip”，如果是，我们就使用 gzip.decompress() 方法解压缩响应内容，并使用 decode("utf-8") 方法解码。

示例

以下是两个使用方法 2 的示例：

示例1：获取百度首页

import requests
response = requests.get("https://www.baidu.com/", stream=True)
response.raw.decode_content = True
data = response.content.decode("utf-8")
print(data)

我们首先将 requests.get() 方法中的 stream 参数设置为 True，然后在获取响应时，使用 response.content 方法获取二进制数据，并自动解压缩和解码。

示例2：获取头条新闻

import requests
response = requests.get("https://www.toutiao.com/a6332529462797682177/", headers={"user-agent":"Mozilla/5.0"})
if response.headers.get("Content-Encoding") == "gzip":
    data = gzip.decompress(response.content).decode("utf-8")
else:
    data = response.text
print(data)

在这个例子中，我们手动检查响应头部信息，如果包含“Content-Encoding”字段，并且它的值等于“gzip”，我们就手动使用 gzip.decompress() 方法解压缩响应内容，并使用 decode("utf-8") 方法解码。

总结

以上是 Python3 requests 中文乱码之压缩格式问题的解析和解决方法，本文介绍了三种常用的解决方法，包括设置请求头，使用自动解压功能以及手动解压和解码。具体方法可以根据实际情况进行选择。