在Linux下做多协议的数据采集爬虫,除了libcurl外,还有什么其他推荐么?
迷茫
迷茫 2017-04-17 11:22:27
0
0
602

近期要做一个项目,其中重点就是对不同的设备(传感器等)上采集到的数据进行爬取,然后统一处理。

需求如下:

能够抓取不同设备采集的数据,而不同的设备使用的协议是不同的(如HTTP、FTP、SNMP和telnet等等)。同时,如果加入新的设备,使用了新的协议,也能够相对比较自然处理。

curl对很多协议都有了比较完美的支持,是一个不错的选择,所以这个首先就加入到考虑范围内了。

除了libcurl外,还有什么其他的推荐呢?另外,做这方面的项目,有什么需要注意的地方?

迷茫
迷茫

业精于勤,荒于嬉;行成于思,毁于随。

모든 응답(0)
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿