node.js - nodejs爬虫如何控制请求数量？

Question

在用nodejs爬取网页内容的时候，如果请求数太多，有时候会导致抛出异常，提示 too many connections等错误.请问nodejs有没有线程锁定这样的关键字或者类库？或者怎么处理比较好？先谢谢了！

typecho · Answer

nodejs没有sleep之类的函数。
我一般使用event配合

const EventEmitter = require('events').EventEmitter;
const ee = new EventEmitter();

ee.on('next',(数据)=>{
    // 爬网站
});

// 每秒执行一次
setInterval(()=>ee.emit('next','数据'),1000);

ringa_lee · Answer

php8，我来也

30分钟学会网站布局

尚观Oracle入门到精通视频教程

你的第一行 UNI-APP 代码

Flutter 从头到应用启动

兄弟连Linux新版视频教程

AXURE 9视频教程（适合产品经理交互产品设计UI）

零基础PS视频教程

16天带你入门UI视频教程

PS技巧和切片技巧视频教程

阿里云环境搭建以及项目上线视频教程

计算机网络概述——程序员必须掌握的基础知识

程序员必备教程——HTTP协议讲解

Websocket视频教程