84669 人学习
152542 人学习
20005 人学习
5487 人学习
7821 人学习
359900 人学习
3350 人学习
180660 人学习
48569 人学习
18603 人学习
40936 人学习
1549 人学习
1183 人学习
32909 人学习
通过simple_html_dom,我想拉取70000个页面的数据,每个页面url格式一样,所以我用for进行遍历,浏览器在进行过程中总是出现问题,比如file_get_contents(http://o.uhin.org/i1.aspx): failed to open stream: HTTP request failed!请问如何解决这类问题
学习是最好的投资!
用curl获取网页数据,看看curl_error是什么。 另外这个应该算是一个小型爬虫了,建议你直接在cli运行
1、不要在http请求里做大量的循环抓取,会超时的;使用cli去做;2、不要直接抓取直接解析,用一个任务去抓取回来保存到本地,另外一个任务去做解析;3、使用另外一个 HtmlParser (http://www.oschina.net/p/html...) 代替 simple_html_dom,效果高很多,我亲自试过;
看看php爬虫,或者使用phpquery
phpquery
用curl获取网页数据,看看curl_error是什么。
另外这个应该算是一个小型爬虫了,建议你直接在cli运行
1、不要在http请求里做大量的循环抓取,会超时的;使用cli去做;
2、不要直接抓取直接解析,用一个任务去抓取回来保存到本地,另外一个任务去做解析;
3、使用另外一个 HtmlParser (http://www.oschina.net/p/html...) 代替 simple_html_dom,效果高很多,我亲自试过;
看看php爬虫,或者使用
phpquery