python - 为什么感觉 pyspider 爬取的速度好慢
巴扎黑
巴扎黑 2017-04-18 10:31:39
0
2
911

为什么感觉 pyspider 爬取的速度好慢(比自己直接用 requests 和 bs慢多了),是不是因为有些网页会 retry,不过成功率倒是比自己爬取的高多了。是不是我的使用方法不对?求解释

巴扎黑
巴扎黑

répondre à tous(2)
迷茫

Ici, vous pouvez définir le paramètre rate/burst sur la console de l'interface utilisateur Web pour ajuster la vitesse. Le taux est le nombre d'analyses par seconde et le burst est le nombre de simultanéités. La valeur par défaut est 1/3, c'est donc relativement. lent. Je ne connais toujours pas assez cet outil. Ouais

小葫芦

Je n'ai jamais utilisé de framework pour écrire des robots d'exploration, mais lorsque j'écris moi-même des robots d'exploration, plus le modèle est complexe (comme le contrôle des threads, la surveillance de l'état des threads), plus l'efficacité lors de l'écriture simultanée est faible.

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal