node.js - 노드 크롤러 크롤링 소설에 대한 질문

Question

{code...} 다음은 제가 요청한 코드입니다. 다른 js에서 특정 챕터 목록을 크롤링하여 json에 작성했습니다. 여기서는 각 링크를 직접 요청합니다. {code...} 이와 마찬가지입니다. 한참을 올라간 뒤, 아무리 기다려도 아무런 움직임이 없었다면..

漂亮男人 · Answer

지난 이틀 동안 이 문제를 해결해 왔습니다. 처음에는 동기화 요청 문제인 줄 알았으나 다른 것으로 변경했는데 여전히 동일합니다. IP 홈페이지가 막혔나 봐요. 나중에 점심시간에 동료들과 이야기를 나누다가 이게 문제인 것 같다고 하더군요. 이 경우 무료 프록시 IP를 구하러 갔다가 요청할 때 요청 시간이 초과되거나 오류가 보고되는 한 즉시 IP 주소로 전환하여 요청합니다. 이렇게 해서 어제 큰 소설을 올라왔는데 오늘 출근해서 보니 다 내려와서 별 문제가 없더라고요. 그러나 무료 프록시 IP 중 상당수를 사용할 수 없기 때문에 일부 시간이 낭비됩니다. 이제 여러 권의 책을 크롤링하는 방법을 살펴보겠습니다. ↖(^Ω^)↗