python - Scrapy explore beaucoup plus de pages qu'il n'entre réellement d'éléments ?
PHP中文网
PHP中文网 2017-05-18 10:47:40
0
1
690

2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:
Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)

Pourquoi est-ce que je visite plus de pages que de saisies d'éléments lorsque j'utilise Scrapy pour explorer ?
C'est juste qu'après une longue exploration, il n'y a pas beaucoup de données dans les éléments
Y a-t-il un moyen de résoudre ce problème ?

PHP中文网
PHP中文网

认证高级PHP讲师

répondre à tous(1)
左手右手慢动作

Redirection, comme vous pouvez le constater, la redirection nécessite que deux pages soient demandées. Vérifiez également s’il y a des erreurs d’analyse de page.

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal