이제 웹사이트의 기사 목록과 목록의 실제 콘텐츠에서 데이터를 자동으로 수집해야 합니다. 각 기사의 ID는 목록에서 얻을 수 있으며, 각 기사는 통합 인터페이스를 통해 수집됩니다(매개변수는 해당 기사를 가져옵니다). 해당 json은 id로 얻을 수 있습니다.) 그 안에는 수집하고 분석해야 할 일부 데이터가 있습니다.
내 요구사항을 충족할 수 있는 성숙한 프레임워크나 휠이 있나요? (멀티스레딩이 필요하며, 컬렉션 수가 많아 연중무휴 안정적으로 실행 가능합니다)
그리고 수집된 컨텐츠(수백만~수천만)를 어떻게 저장하는지 문의드리고 싶습니다. 통계분석이 필요한 데이터 중에 수치적인 데이터가 있는데, mysql을 사용할 수 있나요? 아니면 사용할 수 있는 더 성숙하고 단순한 다른 바퀴가 있습니까?
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
