求一个简单的数据抓取工具

原创
2016-06-23 14:10:19 585浏览

我需要的数据如:
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=%2812925648.97,4823379.72;12990672.97,4828435.72%29&t=1368604536591
更换其中的参数就可以得到不同的数据。把他它们存在文件或数据库就可以了。

本来我想自己写的,把我们要下载的链接拼起来,循环下载,处理一下入库就行了。
另外可以要考虑代理 ,多线程处理。

可是老大非要我去找一个开源的爬虫工具。
工具也要我给它链接,告诉他我要怎么处理这些数据才能工作呀。
没办法,请教大家,有哪个爬虫工具有这样的功能呀,谢谢了。
我只会PHP和简单的python,所以希望尽量是这两个语言写的,再次谢谢。


回复讨论(解决方案)

找个开源的还是得改成你需要的,到麻烦。php的curl就可以,支持代理。
python的话socket挺好的,而且多线程的话threading处理非常方便。
自己写呗~

东西做好 然后告诉他 这个就是最好的工具

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。