노드를 처음 사용하고 Sina Weibo 댓글을 크롤링하는 크롤러를 작성하고 싶지만 페이지가 JS에 의해 동적으로 생성되고 http 모듈로 크롤링할 수 없다는 것을 발견하여 phantomjs를 사용하여 크롤링했습니다. 느려서 15분 정도 실행했는데 너무 느리네요. 잘못 썼는지 모르겠네요) 그래도 시나 웨이보와 유사한 웹페이지 크롤링 방법이 없나요?
웨이보 크롤링에 관해 글을 썼는데 두 가지 아이디어가 있습니다
자세히 살펴보면 해당 데이터를 가져온 다음 정규식을 사용하여 일치시키는 인터페이스가 있어야 합니다
Weibo는 개발자 API 인터페이스를 제공하지만 사용하기가 더 까다롭습니다
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
웨이보 크롤링에 관해 글을 썼는데 두 가지 아이디어가 있습니다
자세히 살펴보면 해당 데이터를 가져온 다음 정규식을 사용하여 일치시키는 인터페이스가 있어야 합니다
Weibo는 개발자 API 인터페이스를 제공하지만 사용하기가 더 까다롭습니다