node.js - nodejs爬蟲如何控制請求數量？

Question

在用nodejs爬取網頁內容的時候，如果請求數太多，有時候會導致拋出異常，提示 too many connections等錯誤.請問nodejs有沒有線程鎖定這樣的關鍵字或者類別庫？或怎麼處理比較好？先謝謝了！

typecho · Answer

nodejs沒有sleep之類的函數。
我一般使用event配合

const EventEmitter = require('events').EventEmitter;
const ee = new EventEmitter();

ee.on('next',(数据)=>{
    // 爬网站
});

// 每秒执行一次
setInterval(()=>ee.emit('next','数据'),1000);

ringa_lee · Answer