java - QQ空間爬蟲總是被封號
黄舟
黄舟 2017-07-07 10:34:12
0
1
1510

抓取QQ空間說說但是 總是被封號 可以給提出一些解決方案嗎?如何既可以快速 又可以不封號!謝謝啦!

#程式碼在github上網址
https://github.com/20100507/Q...

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

全部回覆(1)
我想大声告诉你

反爬蟲策略:

1、识别请求头,判断是否是爬虫
2、记录请求频率、路径和访问ip,判断是否是爬虫
3、请求参数中进行加密或复杂加密,增加爬虫开发的难度(如淘宝的ua算法)
4、复杂验证码

應對反爬蟲策略:

1、在爬取过程中,适当切换代理ip
2、适当降低请求频率
3、请求头模拟成浏览器的请求,也就是用户正常访问的请求

你的問題,主要可以透過定時切換ip,或一旦被封再切換ip,來解決,可以考慮去「站大爺」等代理ip網站付費獲取,或者去多用幾個電信帳號,用ASDL撥號來切換ip。

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板