scrapy-redis フレームワークでは、reids に保存されている xxx:requests がクロールされましたが、プログラムはまだ実行中です。プログラムを空で実行する代わりに自動的に停止するにはどうすればよいですか?
engine.close_spider(spider, 'reason') を通じてプログラムを停止できます。
リーリー理解できない質問がもう 1 つあります。
engine.close_spider(spider, 'reason') を通じてスパイダーを閉じると、閉じる前にいくつかのエラーが発生します。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
発行されたリクエストがクロールされたことを確認するにはどうすればよいですか? これを知るためには定義する必要があります
複雑でない場合は、内部拡張機能を使用してオフにすることができます。
scrapy.contrib.closespider.CloseSpider
CLOSESPIDER_TIMEOUT
CLOSESPIDER_ITEMCOUNT
CLOSESPIDER_PAGECOUNT
CLOSESPIDER_ERRORCOUNT
http://scrapy-chs.readthedocs...