python - scrapy 如何爬取网页里面的thunder链接?
PHPz
PHPz 2017-04-18 09:41:53
0
1
1193

目标url:
http://www.xiaopian.com/html/...

这个是chrome里显示的源代码

这个是scrapy shell url后用response.css().extract()显示东西

我想知道为何二者不一致?scrapy爬取到的信息并没有对应的thunder链接,而是明面上的ftp链接

PHPz
PHPz

学习是最好的投资!

全部回覆(1)
黄舟

爬蟲看網頁原始碼應該是右鍵>查看網頁原始碼. 而不是在審查元素裡,這裡看到的程式碼都經過了js渲染,和原始程式碼不同了,而透過爬蟲得到的程式碼是沒經過js渲染的,也就是原始碼.
我看了下,這個迅雷下載地址是js算出來的

具體程式碼如下:

function ThunderEncode(t_url) {
    var thunderPrefix = "AA";
    var thunderPosix = "ZZ";
    var thunderTitle = "thunder://";

    var thunderUrl = thunderTitle + base64encode(utf16to8(thunderPrefix + t_url + thunderPosix));

    return thunderUrl;
}

測試了下:
把地址ftp://a:a@dygod18.com:21/[电影天堂www.dy2018.com]忍者神龟2破影而出BD中英双字.rmvb 作為參數傳入就得到了迅雷連接,但和網頁上的不太一樣,反編後它是把漢字進行了url編碼,只要編碼統一,就不會有問題了.

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板