Web サイトの記事リストとリスト内の実際のコンテンツからデータを自動的に収集する必要があります。各記事の ID はリストから取得でき、各記事は統一インターフェイスを介して渡されます (パラメーターは記事をもたらします)。対応する json を取得できます) と、収集して分析する必要があるデータがいくつかあります。
私のニーズを満たすことができる比較的成熟したフレームワークまたはホイールはありますか? (コレクション数が膨大なため、マルチスレッドで24時間365日安定して実行できる必要があります)
また、収集したコンテンツ（数百万から数千万）を保存する方法についてお聞きしたいのですが、統計分析が必要なデータがいくつかあります。mysql を使用できますか?それとも、他に使用できる、より成熟したシンプルなホイールはありますか?
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
