python 获取网页编码方式实现代码

获取网页编码方式是爬虫中一个非常基础的问题，正确获取网页编码方式可以保证解析网页时不会出现乱码等问题。在Python中，获取网页编码方式通常有两种方式，一种是通过HTTP协议传输的Content-Type头部中的charset参数获取，另一种是通过网页中的meta标签获取。

通过HTTP协议获取网页编码方式

通过HTTP协议获取网页编码方式的方法是检查页面响应头部中的Content-Type头部字段，其中的charset参数就是网页的编码方式。

示例代码：

import requests
url = 'http://www.example.com'
response = requests.get(url)
charset = response.encoding

上述代码中使用了requests库发送GET请求，并通过响应对象的encoding属性获取了网页的编码方式。

需要注意的是，在某些情况下，服务器没有正确设置响应头部的Content-Type字段，此时这种获取编码方式的方法就不可靠了。

通过网页中的meta标签获取网页编码方式

通过网页中的meta标签获取网页编码方式的方法是检查页面中的meta标签，其中的charset参数就是网页的编码方式。

示例代码：

from bs4 import BeautifulSoup
import requests

url = 'http://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
charset = soup.meta.get('charset') or soup.meta.get('content-type', '').split('charset=')[-1]

上述代码中使用了BeautifulSoup库解析HTML，并通过查找meta标签获取了网页的编码方式。

需要注意的是，某些网页中可能没有设置meta标签或设置不合规范，此时这种获取编码方式的方法也不可靠。