クローラーを作成すると、しばらく (12 時間以内) 実行すると常に OOM されます。とても無力です! ! ! 公式ドキュメントによると、この prefs() を使用しましたが、実際には問題を見つけることができませんでした。
クローラーの処理は全ページのaタグのリンクを取得することです:
アドバイスをお願いします、ありがとう
yield item それを実装してファイルまたはデータベースを保存する必要がありますか? そうしないとメモリに保存されますか?
yield item
yield item
それを実装してファイルまたはデータベースを保存する必要がありますか? そうしないとメモリに保存されますか?