node.js - nodejs爬蟲如何控制請求數量？

Question

在用nodejs爬取網頁內容的時候，如果請求數太多，有時候會導致拋出異常，提示 too many connections等錯誤.請問nodejs有沒有線程鎖定這樣的關鍵字或者類別庫？或怎麼處理比較好？先謝謝了！

typecho · Answer

nodejs沒有sleep之類的函數。
我一般使用event配合

const EventEmitter = require('events').EventEmitter;
const ee = new EventEmitter();

ee.on('next',(数据)=>{
    // 爬网站
});

// 每秒执行一次
setInterval(()=>ee.emit('next','数据'),1000);

ringa_lee · Answer

php8，我來也

30分鐘學會網站佈局

尚觀Oracle入門到精通視頻教程

你的第一行UNI-APP程式碼

Flutter 從頭到應用程式啟動

兄弟連新版Linux視頻教程

AXURE 9影片教學（適用於產品經理互動產品設計UI）

零基礎PS影片教學

16天帶你入門UI視頻教程

PS技巧和切片技巧影片教學

阿裡雲環境搭建以及項目上線視頻教程

電腦網路概述－程式設計師必須掌握的基礎知識

程式設計師必備教學——HTTP協定講解

Websocket影片教學