84669인 학습
152542인 학습
20005인 학습
5487인 학습
7821인 학습
359900인 학습
3350인 학습
180660인 학습
48569인 학습
18603인 학습
40936인 학습
1549인 학습
1183인 학습
32909인 학습
노드를 처음 사용하고 Sina Weibo 댓글을 크롤링하는 크롤러를 작성하고 싶지만 페이지가 JS에 의해 동적으로 생성되고 http 모듈로 크롤링할 수 없다는 것을 발견하여 phantomjs를 사용하여 크롤링했습니다. 느려서 15분 정도 실행했는데 너무 느리네요. 잘못 썼는지 모르겠네요) 그래도 시나 웨이보와 유사한 웹페이지 크롤링 방법이 없나요?
웨이보 크롤링에 관해 글을 썼는데 두 가지 아이디어가 있습니다
자세히 살펴보면 해당 데이터를 가져온 다음 정규식을 사용하여 일치시키는 인터페이스가 있어야 합니다
Weibo는 개발자 API 인터페이스를 제공하지만 사용하기가 더 까다롭습니다
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
웨이보 크롤링에 관해 글을 썼는데 두 가지 아이디어가 있습니다
자세히 살펴보면 해당 데이터를 가져온 다음 정규식을 사용하여 일치시키는 인터페이스가 있어야 합니다
Weibo는 개발자 API 인터페이스를 제공하지만 사용하기가 더 까다롭습니다