Python 编码处理-str与Unicode的区别

Python 是一种支持 Unicode 的编程语言，然而在 Python 2 中，存在一个字符串数据类型 str，它是 byte 字节类型的字符串。Python 3 中则将 byte 字节类型的字符串从 str 中分离出去，成为了单独的 bytes 类型。

因此，在 Python 2 中，需要特别处理编码问题，而在 Python 3 中则相对简单。下面将详细介绍 str 与 Unicode 在 Python 编码处理中的区别。

什么是Unicode？

Unicode 是一种字符集（characterset），包含了各种语言中的字符，例如汉字、拉丁字母、希腊字母、日语的假名等。其中，每个字符都被分配了唯一的代码点（code point），例如汉字“中”对应的代码点是 0x4E2D。

Unicode 并不关心字符是如何表示的，它只是一种对所有字符的编码方式的规定。

str 与 Unicode 的区别

在 Python 2 中，str 类型是 byte 字节类型的字符串，即一个 str 类型的对象就是一个由 8 位字节组成的数组。在 Python 3 中，byte 字节类型的字符串被分离出去，成为了单独的 bytes 类型，而 str 则是一个支持 Unicode 字符串的数据类型。

因此，为了正确处理 str 类型的字符串，需要将其转化成 Unicode 编码。

Python 2 的处理方式：

要将一个 str 类型的字符串转化成 Unicode 编码，需要使用 str.decode() 方法，例如：

str_type = '中文字符'
unicode_type = str_type.decode('utf-8')

这里的 'utf-8' 表示 str_type 是 utf-8 编码，如果 str_type 是 gbk 编码，则应将 'utf-8' 替换为 'gbk'。

有时，我们需要将 Unicode 编码的字符串转化成 str 类型的字节字符串，需要使用 Unicode.encode() 方法，例如：

unicode_type = u'中文字符'
str_type = unicode_type.encode('utf-8')

同样的，'utf-8' 在这里也表示 str_type 是 utf-8 编码。

Python 3 的处理方式：

在 Python 3 中，str 类型是一个支持 Unicode 字符串的数据类型。因此，不需要进行 str 的编码转化。

如果要将一个字符串转化成 bytes 类型的字节字符串，则需要使用 str.encode() 方法，例如：

str_type = '中文字符'
bytes_type = str_type.encode('utf-8')

示例

下面是一个示例，实现了从 Python 2 中的 str 字符串到 Python 3 中的 bytes 字符串的转化：

# -*- coding: utf-8 -*-
# Python 2 中将中文字符串转换成 UTF-8 编码的字节字符串
str_type = '中文字符'
unicode_type = str_type.decode('utf-8')
bytes_type = unicode_type.encode('utf-8')
print(bytes_type)

# Python 3 中将中文字符串转换成 UTF-8 编码的字节字符串
str_type = '中文字符'
bytes_type = str_type.encode('utf-8')
print(bytes_type)

输出结果如下：

# Python 2 中输出结果：
# b'\xe4\xb8\xad\xe6\x96\x87\xe5\xad\x97\xe7\xac\xa6'
# Python 3 中输出结果：
# b'\xe4\xb8\xad\xe6\x96\x87\xe5\xad\x97\xe7\xac\xa6'

从示例中可以看出，即使在 Python 2 中，也可以对 str 类型的字符串进行 Unicode 编码处理，以便正确地进行编码转化。这种处理方式也是在 Python 2 中正确处理编码问题的常见方式。