python 编码与解码

编码就是把字符转化为 byte(字节, 8位), 来在计算机内存中进行传输. 方法有 ASCII 和 Unicode, 常用 Unicode 的变体 UTF-8
解码就是把 byte 转化为字符.

编码

编码方式:

• ASCII 编码
• Unicode 编码

ASCII 编码表示范围太小, Unicode 编码需要存储空间太大, 于是本着节约的精神，又出现了把Unicode编码转化为“可变长编码”的 UTF-8 编码。

在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。

python 的字符串

在最新的Python 3版本中，字符串是以 Unicode 编码的.

如果知道字符的整数编码，还可以用十六进制这么写str：
>>> ‘\u4e2d\u6587’
‘中文’

由于 Python 的字符串类型是 str，在内存中以Unicode表示，一个字符对应若干个字节。如果要在网络上传输，或者保存到磁盘上，就需要把str变为以字节为单位的 bytes。这一过程就称为 编码 .

Python对 bytes 类型的数据用带 b 前缀的单引号或双引号表示：
x = b’ABC’

要注意区分 'ABC' 和 b'ABC' ，前者是 str ，后者虽然内容显示得和前者一样，但 bytes 的每个字符都只占用一个字节。

以 Unicode 表示的 str 通过 encode() 方法可以编码为指定的 bytes，例如:
>>> ‘ABC’.encode(‘ascii’)
b’ABC’

>>> ‘中文’.encode(‘utf-8’)
b’\xe4\xb8\xad\xe6\x96\x87’

>>> ‘中文’.encode(‘ascii’)
Traceback (most recent call last):
File “”, line 1, in
UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 0-1: ordinal not in range(128)

ASCII 编码方式不能表示中文, 因为中文的编码范围超过了 ASCII 的编码范围

反过来，如果我们从网络或磁盘上读取了字节流，那么读到的数据就是bytes。要把 bytes 变为 str，就需要用 decode() 方法：
>>> b’ABC’.decode(‘ascii’)
‘ABC’
>>> b’\xe4\xb8\xad\xe6\x96\x87’.decode(‘utf-8’)
‘中文’

如果 bytes 中包含无法解码的字节，decode() 方法会报错：
>>> b’\xe4\xb8\xad\xff’.decode(‘utf-8’)
Traceback (most recent call last):
…
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xff in position 3: invalid start byte

如果 bytes 中只有一小部分无效的字节，可以传入 errors='ignore' 忽略错误的字节：
>>> b’\xe4\xb8\xad\xff’.decode(‘utf-8’, errors=‘ignore’)
‘中’

要计算 str 包含多少个字符，可以用 len() 函数：
>>> len(‘ABC’)
3
>>> len(‘中文’)
2

len() 函数计算的是 str 的字符数，如果换成 bytes，len() 函数就计算字节数：
>>> len(b’ABC’)
3
>>> len(b’\xe4\xb8\xad\xe6\x96\x87’)
6
>>> len(‘中文’.encode(‘utf-8’))
6

可见，1个中文字符经过UTF-8编码后通常会占用3个字节，而1个英文字符只占用1个字节。

在操作字符串时，我们经常遇到 str 和 bytes 的互相转换。为了避免乱码问题，应当始终坚持使用 UTF-8 编码对 str 和 bytes 进行转换。