画像のクロールにリクエストを使用しており、IPがブロックされないようにプロキシを使用していますが、プロキシを使用すると必ずエラーが発生します。 nodejs はリクエストモジュールと非同期モジュールを使用します
リーリーdownload(item,cb)、cb は、非同期の制御フローのコールバック関数です:
リーリーいくつかのファイルをダウンロードするたびに、エラーが発生し、実行が停止します:
リーリープロキシ リクエスト ヘッダーを削除しても何も起こりません。リクエストを続行せずに直接 cb() を実行するように上記のダウンロードを変更すると、リクエストが失敗してもエラーは報告されません。
リーリーぜひご覧いただき、解決にご協力いただけるかどうかをご確認ください。長い間考えており、トラブルシューティングを行ってきました。理由はわかりません。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
私は以前にあなたとほぼ同じ機能を実行し、多くの写真を直接ダウンロードしてから、エラーを報告しました。最後に、次のようなレイヤー
これは実際に良いものです。これについてはブログ投稿を書きました:nodejs 画像のバッチダウンロード。参照してくださいsetTimeoutをラップしようとしました。 リーリーこの種の問題が発生した場合、プログラムには再試行メカニズムが必要です。
優れた再試行メカニズムは次のとおりです。次の試行では、正しい実行を保証するためにスリープ時間を適切に増やします。