一篇文章彻底弄懂Python字符编码

什么是字符编码

字符编码是将字符转换成二进制数的过程。计算机只能理解二进制数，因此需要将字符编码为二进制数才能在计算机中存储和传输。

在Python中，常用的字符编码有ASCII、UTF-8和GBK等。

ASCII码是美国信息交换标准代码，仅包含128个常用字符，包括大小写字母、数字和一些符号。它是最早的字符编码之一，但随着计算机技术的不断发展，128个字符不足以满足现代计算机的需求。

因此，出现了Unicode编码。Unicode编码包含了世界上几乎所有的字符，但是它的缺点是有些字符需要两个字节存储，因此对于英文等较少使用多字节字符的语言，Unicode显得有些浪费空间。

为了解决Unicode编码的缺点，UTF-8编码应运而生。UTF-8编码是一种变长的编码方式，它使用1到4个字节来表示不同范围的字符。它比Unicode编码更加节省空间，因为对于英文等较少使用多字节字符的语言，UTF-8编码只需要一个字节存储。

GBK是国标编码，是为了解决中文字符的编码问题而出现的编码方式。它包含了GB和Big5两种编码方式，因此可以表示几乎所有的中文字符。但是，它并不兼容Unicode编码，因此在使用过程中需要注意转换。

Python中的字符编码

在Python中，字符串是以Unicode编码进行处理的。这意味着Python可以处理世界上几乎所有的字符。

但是，在实际情况中，我们常常需要将字符串编码为其他格式，例如GBK或UTF-8，以便在网络传输或文件存储中使用。

Python提供了encode方法和decode方法来进行编码和解码。

encode方法

encode方法可以将Unicode字符串编码为其他格式的字符串。常用的编码方式包括UTF-8和GBK等。

示例1：

# 将Unicode字符串编码为UTF-8格式的字符串
s = '中国'
s_utf8 = s.encode('utf-8')
print(s_utf8)
# 输出结果为 b'\xe4\xb8\xad\xe5\x9b\xbd'

在以上示例中，首先定义了一个Unicode字符串s，然后使用encode方法将s编码为UTF-8格式的字符串s_utf8。在Python3中，encode方法返回的是bytes类型，因此输出结果为b'\xe4\xb8\xad\xe5\x9b\xbd'。

示例2：

# 将Unicode字符串编码为GBK格式的字符串
s = '中国'
s_gbk = s.encode('gbk')
print(s_gbk)
# 输出结果为 b'\xd6\xd0\xb9\xfa'

在以上示例中，通过指定参数'gbk'，将Unicode字符串s编码为GBK格式的字符串s_gbk。输出结果为b'\xd6\xd0\xb9\xfa'。

decode方法

decode方法可以将其他格式的字符串解码为Unicode字符串。

示例1：

# 将UTF-8格式的字符串解码为Unicode字符串
s_utf8 = b'\xe4\xb8\xad\xe5\x9b\xbd'
s_unicode = s_utf8.decode('utf-8')
print(s_unicode)
# 输出结果为 '中国'

在以上示例中，首先定义了一个UTF-8格式的字符串s_utf8，然后使用decode方法将s_utf8解码为Unicode字符串s_unicode。输出结果为'中国'。

示例2：

# 将GBK格式的字符串解码为Unicode字符串
s_gbk = b'\xd6\xd0\xb9\xfa'
s_unicode = s_gbk.decode('gbk')
print(s_unicode)
# 输出结果为 '中国'

在以上示例中，通过指定参数'gbk'，将GBK格式的字符串s_gbk解码为Unicode字符串s_unicode。输出结果为'中国'。

总结

Python中的字符串是以Unicode编码进行处理的。但是，在实际情况中，我们有时需要将字符串编码为其他格式，例如GBK或UTF-8等。Python提供了encode方法和decode方法来进行编码和解码。在进行编码和解码时，需要注意不同编码方式之间的相互转换。