Python 크롤링 웹 페이지의 인코딩 처리에 대한 간략한 토론

배경

중추절 때 친구가 나에게 이메일을 보냈는데, 연가에 오르던 중 웹에서 반환된 코드를 발견했다고 하더군요. 그는 나에게 자신의 조언을 도와달라고 요청했습니다(중추절 기간 동안 야근을 했기 때문에 헌신적이었습니다 = =!). 사실 저는 이 문제를 아주 일찍 읽었습니다. 소설을 읽는 중이었지만 심각하게 받아들이지는 않았습니다. 사실 이 문제는 코딩에 대한 이해가 부족해서 발생한 것입니다.

문제

매우 일반적인 크롤러 코드로, 코드는 다음과 같습니다.

# ecoding=utf-8
import re
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'
res = requests.get(url)
print res.text

실제로 목적은 매우 간단합니다. Lianjia의 콘텐츠를 크롤링하는 것입니다. 그러나 이를 실행한 후에는 중국어와 관련된 모든 콘텐츠가 반환되는 결과가 다음과 같이 왜곡됩니다.

그런 데이터는 쓸모가 없어요.

문제 분석

여기서의 문제는 명백합니다. 즉, 텍스트 인코딩이 올바르지 않아 문자가 깨집니다.

웹페이지 인코딩 보기

크롤링된 대상 웹페이지의 헤더를 보면 웹페이지가 utf-8로 인코딩되어 있습니다.

<script type="text/template" id="newAddHouseTpl">
 <p class="newAddHouse">
  自从您上次浏览（<%=time%>ï¼‰ä¹‹åŽï¼Œè¯¥æœç´¢æ¡ä»¶ä¸‹æ–°å¢žåŠ äº†<%=count%>套房源
  <a href="<%=url%>" class="LOGNEWERSHOUFANGSHOW" <%=logText%>><%=linkText%></a>
  <span class="newHouseRightClose">x</span>
 </p>
</script>

따라서 최종 인코딩에는 utf-8을 사용해야 합니다. 즉, 최종 텍스트 처리에서는 utf-8을 사용해야 합니다. decode, 즉: decode('utf-8')

텍스트 인코딩 및 디코딩

Python 인코딩 및 디코딩 프로세스는 다음과 같습니다. , 소스 파일 ===》 인코딩(인코딩 방법) ===》디코딩(디코딩 방법), 대부분

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

이 방법은 텍스트 인코딩을 어렵게 처리하는 방법입니다. 하지만 특정 시점에 영향을 미치지 않는다면 게으른 것은 큰 문제가 되지 않습니다. 그러나 소스 파일을 얻은 후 텍스트를 처리하려면 인코딩 및 디코딩을 사용하는 것이 좋습니다.

문제로 돌아가기

이제 가장 큰 문제는 요청을 정상적으로 사용할 때 자동으로 인코딩 방법입니다. 소스 추측 파일의 인코딩 방법은 유니코드 인코딩으로 트랜스코딩됩니다. 그러나 결국 프로그램이므로 잘못 추측할 수 있으므로, 잘못 추측할 경우 인코딩 방법을 수동으로 지정해야 합니다. 공식 문서에서는 다음과 같이 설명합니다.

요청을 하면 Requests는 HTTP 헤더를 기반으로 응답 인코딩에 대해 학습된 추측을 합니다. Requests에서 추측한 텍스트 인코딩은 r.text에 액세스할 때 사용됩니다. . r.encoding 속성을 사용하여 Requests가 사용하는 인코딩을 확인하고 변경할 수 있습니다.

그러면 요청에 의해 어떤 인코딩 방법이 반환되는지 확인해야 합니까?

import sys
reload(sys)
sys.setdefaultencoding('utf8')

인쇄된 결과는 다음과 같습니다.

ISO-8859-1

즉, 소스 파일은 ISO-8859-1을 사용하여 인코딩됩니다. Baidu에서 ISO-8859-1을 검색한 결과는 다음과 같습니다.

ISO8859-1, 일반적으로 Latin-1이라고 합니다. Latin-1에는 모든 서유럽 언어를 작성하는 데 필수적인 추가 문자가 포함되어 있습니다.

문제 해결

이 내용을 발견한 후에는 인코딩을 지정하고 중국어를 올바르게 입력하면 문제가 쉽게 해결됩니다. 코드는 다음과 같습니다.

# ecoding=utf-8
import re
import requests
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
print res.encoding

인쇄된 결과가 명확하고 한자가 올바르게 표시됩니다.

또 다른 방법은 소스 파일을 디코딩하고 인코딩하는 것입니다.

# ecoding=utf-8
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
res.encoding = ('utf8')

print res.text

기타: ISO-8859-1은 latin1이라고도 하며 디코딩 결과에 latin1을 사용하는 것이 일반적입니다.

문자 인코딩에 관해 할 수 있는 말이 많습니다. 더 알고 싶은 친구들은 다음 정보를 참고하세요.

Python을 사용한 웹페이지 크롤링 코딩 및 처리에 대한 더 많은 기사를 보려면 PHP 중국어 웹사이트를 주목하세요!