python - 爬取某淘宝店铺所有宝贝遇到的问题?
天蓬老师
天蓬老师 2017-04-18 10:05:34
0
1
489
天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

全部回覆(1)
阿神

透過仔細分析終於找到了。原本以為淘寶為了限制爬蟲,設定了一些演算法加密這幾個數字,其實沒有。

首先,jsonp152中這個152是沒有意義的,是一個跟發送請求時間有關的數值,但是對我們來說並沒有影響。你隨便輸入一個數字,例如callback=jsonp122回傳的就是jsonp122("{data:...}"),發送請求時隨意發就是了,它是一個隨機數。

其次,12133771151是從發送"https://tianziyujushangcheng.taobao.com/search.htm"返回的頁面中提取出來的。

大概過程就是,發送https://tianziyujushangcheng....然後瀏覽器解析返回頁面中的一些js文件,再發送https://tianziyujushangcheng....這個請求,取回商品資訊。所以直接爬取店鋪首頁是爬取不到具體的商品資訊的,要分析整個網路請求,找到這個xhr請求,才能獲得到想要的資訊。

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板