Scrapy にはメモリリークの問題があります。
仅有的幸福
仅有的幸福 2017-06-30 09:53:22
0
1
877

クローラーを作成すると、しばらく (12 時間以内) 実行すると常に OOM されます。とても無力です! ! !
公式ドキュメントによると、この prefs() を使用しましたが、実際には問題を見つけることができませんでした。

リーリー

クローラーの処理は全ページのaタグのリンクを取得することです:

リーリー

アドバイスをお願いします、ありがとう

仅有的幸福
仅有的幸福

全員に返信(1)
巴扎黑

yield item それを実装してファイルまたはデータベースを保存する必要がありますか? そうしないとメモリに保存されますか?

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート