Python löst das Problem der Kodierung chinesischer Zeichen: Unicode Decode Error_python

Vorwort

Vor kurzem musste ich aufgrund von Projektanforderungen ein TXT-Dokument mit Chinesisch lesen und die Datei dann speichern. Das Dokument wurde zuvor mit base64 codiert, wodurch alle chinesischen Zeichen gelesen und als verstümmelte Zeichen angezeigt wurden. Nachdem das Projektteam base64 aufgegeben hatte, traten nacheinander zwei Fehler auf:

ascii codec can't encode characters in position ordinal not in range 128
UnicodeDecodeError: ‘utf8' codec can't decode byte 0x。

Wenn Sie sich nicht mit ASCII, Unicode und UTF-8 auskennen, können Sie dies tun Lesen Sie diesen vorherigen Artikel über Zeichenfolgen und Codierung

Dann müssen Sie die folgenden drei Konzepte verstehen:

1. nur ASCII Kann Zahlen, englische Buchstaben und darstellen einige Sonderzeichen, können aber keine chinesischen Schriftzeichen darstellen

2. Sowohl Unicode als auch UTF-8 können chinesische Schriftzeichen darstellen, Unicode hat eine feste Länge und UTF-8 hat eine variable Länge

3. Die Speicherspeichermethode ist im Allgemeinen Unicode, während die Speichermethode für Festplattendateien im Allgemeinen UTF-8 ist, da UTF-8 Speicherplatz sparen kann

Was ist also die Standardcodierung von Python?

>>> import sys
>>> sys.getdefaultencoding()
'ascii'
>>> reload(sys)
<module &#39;sys&#39; (built-in)>
>>> sys.setdefaultencoding(&#39;utf-8&#39;)
>>> sys.getdefaultencoding()
&#39;utf-8&#39;

Die Standardkodierung von Python ist ASCII, und Sie können die Standardkodierung von Python über die Funktion sys.setdefaultencoding('utf-8') festlegen.

In Python können Sie die Kodierung von Daten durch Kodieren und Dekodieren ändern, zum Beispiel:

>>> u'汉字'
u'\u6c49\u5b57'
>>> u'汉字'.encode('utf-8')
'\xe6\xb1\x89\xe5\xad\x97'
>>> u'汉字'.encode('utf-8').decode('utf-8')
u'\u6c49\u5b57'

Wir können diese beiden verwenden Funktionen Kodierung festlegen.

Also, welcher Typ ist str in Python?

>>> import binascii
>>> '汉字'
'\xba\xba\xd7\xd6'
>>> type('汉字')
<type &#39;str&#39;>
>>> print binascii.b2a_hex(&#39;汉字&#39;)
babad7d6
>>> print binascii.b2a_hex(u&#39;汉字&#39;)
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
UnicodeEncodeError: &#39;ascii&#39; codec can&#39;t encode characters in
position 0-1: ordinal not in range(128)
>>> print binascii.b2a_hex(u&#39;汉字&#39;.encode(&#39;utf-8&#39;))
e6b189e5ad97
>>> print binascii.b2a_hex(u&#39;汉字&#39;.encode(&#39;gbk&#39;))
babad7d6

binascii konvertiert die Binärdaten in ASCII. Die obige Erklärung lautet: Der Typ der „chinesischen Zeichen“ ist str, und die binär ist babad7d6 , u'Chinesisches Zeichen' kann nicht in ASCII konvertiert werden, daher wird der erste Fehler am Anfang gemeldet. Die Lösung besteht darin, es in den Typ str zu kodieren('utf-8'). Da meine Befehlszeile die Standard-GBK-Codierung von Windows verwendet, sind die Ausgabeergebnisse, wenn alle „chinesischen Zeichen“.encode(‘gbk') erscheinen, mit den Ergebnissen für „chinesische Zeichen“ identisch.

Zusammenfassend lässt sich sagen, dass Pythons Str tatsächlich eine Art Unicode ist. Bei der Konvertierung von Nicht-ASCII in ASCII wird ein Fehler gemeldet:

1. unicode => encode('geeignete Kodierung') => str

2. str => dekodieren('geeignete Kodierung') => Unicode
   

Es gibt auch eine einfache Möglichkeit, nämlich die Kodierung im Dateiheader festzulegen, was viel Ärger ersparen kann:

import sys
reloads(sys)
sys.setdefaultencoding('utf-8')

Beim zweiten Problem ist beim Lesen der Datei ein Fehler aufgetreten. UTF-8-Dateien haben zwei Modi: BOM und kein BOM. Der Unterschied zwischen den beiden scheint darin zu bestehen, dass die BOM-Datei einen Header mehr hat als die BOM-lose Datei, was beim Lesen der Datei im UTF-8-Modus zu einem Fehler führt Ich habe vorher versucht, die Datei zu lesen. Zuerst zu beurteilen, ob eine Stückliste vorhanden ist, und den Header der Stücklistendatei zu überspringen. Dann war es wirklich peinlich.

Sie müssen sich an Google wenden, um Hilfe zu erhalten. Die spezifische Vorgehensweise besteht darin, die Codecs-Bibliothek zum Lesen der Datei zu verwenden (ich vermute, diese Bibliothek dient dazu, den Header der Datei zu erkennen).

import codecs
codecs.open(file_name, "r",encoding='utf-8', errors='ignore')

Bei Codierungsproblemen müssen Sie die Funktionsprinzipien von ASCII, Unicode und UTF-8 verstehen.

Weitere Python-Lösungen für Probleme mit der Codierung chinesischer Zeichen: Artikel zu Unicode Decode Error_python finden Sie auf der chinesischen PHP-Website!