node.js - nodejs クローラーはリクエストの数をどのように制御しますか?

Question

nodejs を使用して Web ページのコンテンツをクロールする場合、リクエストが多すぎると例外がスローされ、接続が多すぎるなどのエラーが表示されることがあります。nodejs にはスレッド ロック用のそのようなキーワードやライブラリはありますか?あるいは、どうすればより良く対処できるでしょうか？まず、ありがとうございます！

typecho · Answer

nodejs没有sleep之类的函数。
我一般使用event配合

const EventEmitter = require('events').EventEmitter;
const ee = new EventEmitter();

ee.on('next',(数据)=>{
    // 爬网站
});

// 每秒执行一次
setInterval(()=>ee.emit('next','数据'),1000);

ringa_lee · Answer

<p>async ？</p>

php 8、私も来ます

ウェブサイトのレイアウトを 30 分で学ぶ

ビデオチュートリアルに精通したOracleの入門

あなたの最初のUNI-APPコード

ゼロからアプリの起動までフラッター

兄弟連新版Linuxビデオチュートリアル

AXURE 9 ビデオチュートリアル (プロダクトマネージャーのインタラクティブな製品設計 UI に適しています)

基礎能力ゼロ PS ビデオチュートリアル

16日間のUIビデオチュートリアル

PS テクニックとスライステクニックのビデオチュートリアル

アリクラウド環境構築およびプロジェクトオンラインビデオチュートリアル

コンピュータネットワークの概要 - プログラマが身につけるべき基礎知識

プログラマーのための基本チュートリアル - HTTP プロトコルの説明

Websocket ビデオチュートリアル