Python 字符串与 Unicode：编码、解码及常见问题详解21

Python 作为一门强大的编程语言，在处理文本数据时，正确理解和操作 Unicode 至关重要。因为字符串本质上是字节序列的抽象表示，而 Unicode 则提供了一种将各种字符映射到数字的标准，使得不同语言和系统的文本能够在程序中无缝交互。本文将深入探讨 Python 中字符串的 Unicode 编码和解码，并涵盖一些常见的陷阱和解决方法。

1. 字符编码基础

在深入 Python 的 Unicode 处理之前，我们需要了解一些基本的字符编码概念。 ASCII 编码是最早的字符编码标准之一，它只支持 128 个字符，不足以表示世界上所有语言的字符。为了解决这个问题，Unicode 应运而生。 Unicode 是一种字符集，它为世界上几乎所有字符都分配了一个唯一的代码点（code point），这个代码点是一个整数。然而，Unicode 本身并不是一种编码，它只定义了字符的映射关系。

UTF-8、UTF-16 和 UTF-32 是三种常见的 Unicode 编码方案。它们定义了如何将 Unicode 代码点编码成字节序列。 UTF-8 是一种变长编码，常用的 ASCII 字符只占用 1 个字节，而其他字符则占用 2 到 4 个字节；UTF-16 使用 2 或 4 个字节表示一个字符；UTF-32 使用 4 个字节表示一个字符。 Python 默认使用 UTF-8 编码。

2. Python 中的字符串表示

在 Python 3 中，字符串类型 (str) 默认使用 Unicode 编码。这意味着，你可以在字符串字面量中直接使用各种语言的字符，而无需进行额外的编码转换。
my_string = "你好，世界！" # Python 3 自动识别并使用 Unicode
print(my_string)
print(len(my_string)) # 输出 6, 计算的是字符个数，而非字节数

在 Python 2 中，字符串类型 (str) 使用 ASCII 编码，而 unicode 类型用于表示 Unicode 字符串。 Python 2 的这种设计增加了复杂性，容易导致编码错误。

3. 字符串的编码和解码

虽然 Python 3 默认使用 UTF-8，但在处理来自不同来源的数据时，仍然需要进行编码和解码操作。 encode() 方法将 Unicode 字符串编码成指定编码的字节序列，而 decode() 方法将字节序列解码成 Unicode 字符串。
my_string = "你好，世界！"
utf8_bytes = ('utf-8') # 编码成 UTF-8 字节序列
print(utf8_bytes) # 输出 b'\xe4\xbd\xa0\xe5\xa5\xbd\xef\xbc\x8c\xe4\xb8\x96\xe7\x95\x8c\xef\xbc\x81'
utf8_string = ('utf-8') # 解码成 Unicode 字符串
print(utf8_string) # 输出你好，世界！
gbk_bytes = ('gbk')
print(gbk_bytes) #输出 b'\xc4\xe3\xba\xc3\xc1\xa2\xd6\xd0\xd7\xd6\xa8\xd5'
gbk_string = ('gbk')
print(gbk_string) # 输出你好，世界！

4. 常见错误和解决方法

在处理字符串时，最常见的错误是编码不匹配。例如，如果将 UTF-8 编码的字节序列使用 GBK 编码进行解码，就会出现乱码。为了避免这种情况，务必确保编码和解码使用一致的编码方式。在读取文件时，指定正确的编码方式也非常重要：
with open("", "r", encoding="utf-8") as f:
content = ()
print(content)

5. Unicode 字符串的长度和索引

需要注意的是，len() 函数返回的是 Unicode 字符串中的字符个数，而不是字节数。当使用索引访问字符串中的字符时，索引值表示字符的位置，而不是字节偏移量。

6. 其他 Unicode 相关函数

Python 提供了其他一些与 Unicode 相关的函数，例如 ord() 函数用于获取字符的 Unicode 代码点，chr() 函数用于根据 Unicode 代码点获取字符。
print(ord('A')) # 输出 65
print(chr(65)) # 输出 A

7. 总结

正确处理 Unicode 字符串是 Python 编程中一个重要的方面。通过理解字符编码、编码和解码方法以及常见错误，可以有效地避免编码问题，编写出健壮可靠的 Python 程序。记住，始终指定编码方式，并选择适合你数据的编码方案，以确保程序的正确运行。

2025-09-02

下一篇：Python 内函数与高阶函数：深入理解函数调用与嵌套