首页 > 后端开发 > Python教程 > Python3解决棘手的字符编码问题详解

Python3解决棘手的字符编码问题详解

PHPz
发布: 2017-04-02 13:23:49
原创
1566 人浏览过

Python3 最重要的一项改进之一就是解决了 Python2 中字符串与字符编码遗留下来的这个大坑。Python 编码为什么那么蛋疼?已经介绍过 Python2 字符串设计上的一些缺陷: 
- 使用 ASCII 码作为默认编码方式,对中文处理很不友好。 
- 把字符串牵强地分为 unicode 和 str 两种类型,误导开发者

当然这并不算Bug,只要处理的时候多留心也可以避免这些坑。但在 Python3两个问题都很好的解决了。

首先,Python3把系统默认编码设置为UTF-8

>>> import sys
>>> sys.getdefaultencoding()
'utf-8'
>>>
登录后复制

然后,文本字符和二进制数据区分得更清晰,分别用str和bytes表示。文本字符全部用str类型表示,str能表示Unicode字符集中所有字符,而二进制字节数据用一种全新的数据类型,用bytes来表示。

str

>>> a = "a"
>>> a
'a'
>>> type(a)
<class &#39;str&#39;>
>>> b = "禅"
>>> b
&#39;禅&#39;
>>> type(b)
<class &#39;str&#39;>
登录后复制

bytes

Python3 中,在字符引号前加‘b’,明确表示这是一个 bytes 类型的对象,实际上它就是一组二进制字节序列组成的数据,bytes 类型可以是 ASCII范围内的字符和其它十六进制形式的字符数据,但不能用中文等非ASCII字符表示。

>>> c = b&#39;a&#39;>>> c
b&#39;a&#39;>>> type(c)
<class &#39;bytes&#39;>

>>> d = b&#39;\xe7\xa6\x85&#39;>>> d
b&#39;\xe7\xa6\x85&#39;>>> type(d)
<class &#39;bytes&#39;>
>>>

>>> e = b&#39;禅&#39;
  File "<stdin>", line 1SyntaxError: bytes can only contain ASCII literal characters.
登录后复制

bytes类型提供的操作和str一样,支持分片、索引、基本数值运算等操作。但是str与bytes类型的数据不能执行+操作,尽管在py2中是可行的。

>>> b"a"+b"c"
b&#39;ac&#39;
>>> b"a"*2
b&#39;aa&#39;
>>> b"abcdef\xd6"[1:]
b&#39;bcdef\xd6&#39;
>>> b"abcdef\xd6"[-1]
214
>>> b"a" + "b"
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: can&#39;t concat bytes to str
登录后复制

encode 与 decode

str与bytes之间的转换可以用encode和从decode方法。

encode负责字符到字节的编码转换。默认使用UTF-8编码准换。

>>> s = "Python之禅"
>>> s.encode()
b&#39;Python\xe4\xb9\x8b\xe7\xa6\x85&#39;
>>> s.encode("gbk")
b&#39;Python\xd6\xae\xec\xf8&#39;
登录后复制

decode负责字节到字符的解码转换,通用使用UTF-8编码格式进行转换。

>>> b&#39;Python\xe4\xb9\x8b\xe7\xa6\x85&#39;.decode()
&#39;Python之禅&#39;
>>> b&#39;Python\xd6\xae\xec\xf8&#39;.decode("gbk")
&#39;Python之禅&#39;
登录后复制

以上是Python3解决棘手的字符编码问题详解的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板