解决python爬虫中有中文的url问题

当在Python爬虫中遇到中文URL时，需要将这些URL进行编码后才能正常使用。下面是解决Python爬虫中有中文的URL问题的完整攻略：

1. 使用urllib.parse.quote()进行URL编码

使用urllib.parse.quote()方法可以将中文字符转换为对应的URL编码形式。该方法接收一个字符串作为参数，返回URL编码后的字符串。

下面是一个具体的示例：

import urllib.parse

url = 'https://www.example.com/查询'
encoded_url = urllib.parse.quote(url, safe='/?:')  # 对中文字符进行编码
print(encoded_url)  # 输出：https://www.example.com/%E6%9F%A5%E8%AF%A2

在上述示例中，我们首先将包含中文字符的URL定义为字符串变量url，然后使用urllib.parse.quote()方法对这个URL进行编码。最后打印编码后的URL字符串变量encoded_url。

2. 使用requests库进行HTTP请求

requests库是一个流行的HTTP库，在爬虫中使用非常广泛。当我们使用requests库进行HTTP请求时，如果请求的URL包含中文字符，需要调用urllib.parse.quote()方法对URL进行编码后再传递给requests库。

下面是一个使用requests库进行HTTP请求的具体示例：

import requests
import urllib.parse

url = 'https://www.example.com/查询'
encoded_url = urllib.parse.quote(url, safe='/?:')  # 对中文字符进行编码

response = requests.get(encoded_url)  # 发送GET请求
print(response.status_code)  # 输出请求响应码
print(response.text)  # 输出请求响应内容

在上述示例中，我们首先将包含中文字符的URL定义为字符串变量url，然后使用urllib.parse.quote()方法对这个URL进行编码，并将编码后的URL赋值给字符串变量encoded_url。最后我们使用requests库的get()方法发送GET请求，并使用response变量保存请求响应结果。最后打印请求的响应码和响应内容。

通过以上两个示例，我们可以看到如何使用urllib和requests库来解决爬虫中的中文URL编码问题。