Python - Scrapy は実際に項目を入力するよりも多くのページをクロールしますか?

Question

{コード...} Scrapy を使用してクロールすると、実際に項目を入力するよりも多くのページにアクセスするのはなぜですか? 長時間クロールした後、項目内のデータが数個しかないという問題を解決する方法はありますか? ?

ringa_lee · Answer

リダイレクトされました。ご覧のとおり、リダイレクトには 2 ページをリクエストする必要があります。また、ページ解析エラーがないかどうかも確認してください。