python - 关于pyspdier的result_worker
PHP中文网
PHP中文网 2017-04-18 10:25:14
0
0
490

pyspdier的 result_worker感觉比较鸡肋,一般大量数据爬取不会存到数据库,而是序列化到磁盘。那么result_worker的设计方向是否变化一下?从原来的存储爬取结果,变成一些爬取结果情况的统计信息,比如一段时间内某个project的爬取成功,失败数量,抛出result数量。如果支持一些图表化更好了。

PHP中文网
PHP中文网

认证高级PHP讲师

모든 응답 (0)
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿
회사 소개 부인 성명 Sitemap
PHP 중국어 웹사이트:공공복지 온라인 PHP 교육,PHP 학습자의 빠른 성장을 도와주세요!