84669 人學習
152542 人學習
20005 人學習
5487 人學習
7821 人學習
359900 人學習
3350 人學習
180660 人學習
48569 人學習
18603 人學習
40936 人學習
1549 人學習
1183 人學習
32909 人學習
先說說我的想法吧：同時監控淘寶上很多物品的價格，然後獲取價格走勢（這個我打算自己寫爬蟲獲取，然後存在數據庫裡），但是問題來了
我該怎麼儲存數據，讓我能分析哪些物品在最近2天或7天的價格波動最大（最好是任意天數），這個地方該怎麼實現比較好。總不能說每天我都要遍歷一次資料庫來求價格的差值吧，能不能有經驗的大師指點下。
總不能說每天我都要遍歷一次資料庫來求價格的差值吧是覺得開銷過大嗎？那就把熱點資料放Cache，過了這段熱點時間就持久化到資料庫。
熱點資料可以是但不限於：
這幾天剛採集的資料
最常分析的日期段，例如2天、7天、1個月
這個跟java沒關係
資料分析的方法和java不是強相關的，java從某個角度說只是一種工具，可以將你的想法交給計算完成，可以實現你與計算機的交流，有基於java相關的haoop生態，可以了解一哈
需要分析的變動快的 --> 熱數據 --> redis , 放在內存；長期的歷史數據 --> 冷數據 --> mysql / oracle ，放在磁碟。
總不能說每天我都要遍歷一次資料庫來求價格的差值吧是覺得開銷過大嗎？那就把熱點資料放Cache，過了這段熱點時間就持久化到資料庫。
熱點資料可以是但不限於：
這幾天剛採集的資料
最常分析的日期段，例如2天、7天、1個月
這個跟java沒關係
資料分析的方法和java不是強相關的，java從某個角度說只是一種工具，可以將你的想法交給計算完成，可以實現你與計算機的交流，有基於java相關的haoop生態，可以了解一哈
需要分析的變動快的 --> 熱數據 --> redis , 放在內存；
長期的歷史數據 --> 冷數據 --> mysql / oracle ，放在磁碟。