Python字符编码详细分析(3)

现在总算把理论说完了。再来说说 Python 中的编码问题。Python 的诞生时间比 Unicode 要早很多，Python2 的默认编码是ASCII，正因为如此，才导致很多的编码问题。

>>> import sys >>> sys.getdefaultencoding() 'ascii'

所以在 Python2 中，源代码文件必须显示地指定编码类型，否则但凡代码中出现有中文就会报语法错误

# coding=utf-8 或者是： # -*- coding: utf-8 -*- Python2 字符类型

在 python2 中和字符串相关的数据类型有 str 和 unicode 两种类型，它们继承自 basestring，而 str 类型的字符串的编码格式可以是 ascii、utf-8、gbk等任何一种类型。

对于汉字『好』，用 str 表示时，它对应的 utf-8 编码 是'\xe5\xa5\xbd'，对应的 gbk 编码是 '\xba\xc3'，而用 unicode 表示时，他对应的符号就是u'\u597d'，与u"好" 是等同的。

str 与 unicode 的转换

在 Python 中 str 和 unicode 之间是如何转换的呢？这两种类型的字符串之间的转换就是靠decode 和 encode 这两个函数。encode 负责将unicode 编码成指定的字符编码，用于存储到磁盘或传输到网络中。而 decode 方法是根据指定的编码方式解码后在应用程序中使用。

#从unicode转换到str用 encode >>> b = u'好' >>> c = b.encode('utf-8') >>> type(c) <type 'str'> >>> c '\xe5\xa5\xbd' #从str类型转换到unicode用decode >>> d = c.decode('utf-8') >>> type(d) <type 'unicode'> >>> d u'\u597d' UnicodeXXXError 错误的原因

在字符编码转换操作时，遇到最多的问题就是 UnicodeEncodeError 和 UnicodeDecodeError 错误了，这些错误的根本原因在于 Python2 默认是使用 ascii 编码进行 decode 和 encode 操作，例如：

case 1 >>> s = '你好' >>> s.decode() Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

当把 s 转换成 unicode 类型的字符串时，decode 方法默认使用 ascii 编码进行解码，而 ascii 字符集中根本就没有中文字符『你好』，所以就出现了 UnicodeDecodeError，正确的方式是显示地指定 UTF-8 字符编码。

>>> s.decode('utf-8') u'\u4f60\u597d'

同样地道理，对于 encode 操作，把 unicode字符串转换成 str类型的字符串时，默认也是使用 ascii 编码进行编码转换的，而 ascii 字符集找不到中文字符『你好』，于是就出现了UnicodeEncodeError 错误。

>>> a = u'你好' >>> a.encode() Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128) case 2

str 类型与 unicode 类型的字符串混合使用时，str 类型的字符串会隐式地将 str 转换成 unicode字符串，如果 str字符串是中文字符，那么就会出现UnicodeDecodeError 错误，因为 python2 默认会使用 ascii 编码来进行 decode 操作。

>>> s = '你好' # str类型 >>> y = u'python' # unicode类型 >>> s + y # 隐式转换，即 s.decode('ascii') + u Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

正确地方式是显示地指定 UTF-8 字符编码进行解码

>>> s.decode('utf-8') +y u'\u4f60\u597dpython' 乱码

所有出现乱码的原因都可以归结为字符经过不同编码解码在编码的过程中使用的编码格式不一致，比如：

# encoding: utf-8 >>> a='好' >>> a '\xe5\xa5\xbd' >>> b=a.decode("utf-8") >>> b u'\u597d' >>> c=b.encode("gbk") >>> c '\xba\xc3' >>> print c ��