java - QQ空间爬虫总是被封号

我想大声告诉你    2017-07-07 10:36:121楼

反爬虫策略：

1、识别请求头，判断是否是爬虫
2、记录请求频率、路径和访问ip，判断是否是爬虫
3、请求参数中进行加密或复杂加密，增加爬虫开发的难度（如淘宝的ua算法）
4、复杂验证码

应对反爬虫策略：

1、在爬取过程中，适当切换代理ip
2、适当降低请求频率
3、请求头模拟成浏览器的请求，也就是用户正常访问的请求

你的问题，主要可以通过定时切换ip，或一旦被封再切换ip，来解决，可以考虑去“站大爷”等代理ip网站付费获取，或者去多用几个电信账号，用ASDL拨号来切换ip。

 赞 +0添加回复