php - snoopy爬虫 报错405 Not Allowed
高洛峰
高洛峰 2017-05-16 12:58:40
0
2
634

代码

$httpClass = new Snoopy();
$httpClass->fetch('https://v.qq.com/');
$url = $httpClass->results;
print_r($url);die();

爬取https://www.baidu.com/就一直报405错误

爬取https://v.qq.com/ 是正常运行的

求解答,弄了一下午都没解决

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

全部回复(2)
淡淡烟草味

百度估计是做了仿爬虫的设置了,你要进行伪装,定义一个UA之类的
参考: http://www.4wei.cn/archives/396

Peter_Zhu

这个不是Snoopy类的问题。是你不太了解爬虫的相关知识。既然有爬虫,当然就会有反爬虫的技术。最简单的就是基于浏览器标识或者是请求头header中的referer等等。百度和腾讯这种大站是不会想我们爬取数据的,一定做了很多防范措施。所以建议在爬取数据之前先了解下爬虫的知识。

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板