代码
$httpClass = new Snoopy();$httpClass->fetch('https://v.qq.com/');$url = $httpClass->results;print_r($url);die();
爬取https://www.baidu.com/就一直报405错误
爬取https://v.qq.com/ 是正常运行的
求解答,弄了一下午都没解决
拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...
百度估计是做了仿爬虫的设置了,你要进行伪装,定义一个UA之类的参考: http://www.4wei.cn/archives/396
这个不是Snoopy类的问题。是你不太了解爬虫的相关知识。既然有爬虫,当然就会有反爬虫的技术。最简单的就是基于浏览器标识或者是请求头header中的referer等等。百度和腾讯这种大站是不会想我们爬取数据的,一定做了很多防范措施。所以建议在爬取数据之前先了解下爬虫的知识。
百度估计是做了仿爬虫的设置了,你要进行伪装,定义一个UA之类的
参考: http://www.4wei.cn/archives/396
这个不是Snoopy类的问题。是你不太了解爬虫的相关知识。既然有爬虫,当然就会有反爬虫的技术。最简单的就是基于浏览器标识或者是请求头header中的referer等等。百度和腾讯这种大站是不会想我们爬取数据的,一定做了很多防范措施。所以建议在爬取数据之前先了解下爬虫的知识。