まず私のアイデアについて話しましょう。淘宝網上の多くの商品の価格を同時に監視し、価格の傾向を取得します (これを取得するクローラーを自分で作成し、データベースに保存する予定です)。が、問題が発生します
過去 2 日または 7 日間 (できれば任意の日数) でどの商品の価格変動が最も大きかったかを分析できるようにデータを保存するにはどうすればよいですか、またこれをより適切に実装するにはどうすればよいですか。価格差を見つけるために毎日データベースを検索する必要があるとは言えませんが、経験豊富なマスターからアドバイスをいただけますか?
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
価格差を見つけるために毎日データベースを検索する必要があるとは言えませんね高すぎると思いますか?次に、ホット データをキャッシュに置き、このホットタイムの経過後にデータベースに永続化します。
ホットスポット データには次のものがありますが、これらに限定されません:
過去数日間に収集されたばかりのデータ
最も一般的に分析される日付範囲 (2 日、7 日、1 か月など)
これはJavaとは関係ありませんね?
データ分析手法は Java とはあまり関係がありません。ある観点から見ると、Java はアイデアを計算に変換し、コンピューターと通信できるようにするための単なるツールです。
分析が必要な急速に変化するデータ --> ホットデータ --> Redis、メモリに保存されます。
長期の履歴データ --> コールドデータ --> mysql / oracle、ディスクに保存されます。