Python爬取網頁requests亂碼
phpcn_u1582
phpcn_u1582 2017-06-22 11:51:56
0
4
1221

**之前有在裁判文書上爬取數據,這段時間重新運行爬蟲後發現無法獲取網頁數據,
找了一下發現requests網頁源碼返回的是亂碼**

(如下截取一部分回傳的資料:<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta id="JLyKZlWgYjpTkAsEt9LnA" )

不知道是不是網站對網頁內容進行了加密,請問如何解決這個問題?謝謝!

截取部分程式原始碼:

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Accept-Language': 'zh-TW,zh;q=0.8,en-US;q=0.6,en;q=0.4',
        'Accept-Encoding': 'gzip, deflate',
        'Connection': 'keep-alive',
        'Content-Type': 'text/html; charset=utf-8'}
html = requests.post('http://wenshu.court.gov.cn/List/ListContent', data=data, headers=headers)
print(html.text)

但是在審查元素裡傳回應該回傳的數據,請問這哪裡出現了問題?

之前程式正常運行時傳回的資料是這樣的:

phpcn_u1582
phpcn_u1582

全部回覆(4)
仅有的幸福

ajax 載入的結果頁面,如果在 network 裡取得不到類似 json 的回饋結果。就使用PHANTOMJS來模擬載入。然後匹配爬取。

小葫芦

你的 html 物件使用的編碼不對,
加入一行 html.encoding = html.apparent_encoding
根據實際取得的 text 推測編碼,重新解碼。

刘奇

如果你願意去鑽,給你一個參考地址:http://www.qingpingshan.com/j...

学习ing

印 html.content

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!