84669 人学习
152542 人学习
20005 人学习
5487 人学习
7821 人学习
359900 人学习
3350 人学习
180660 人学习
48569 人学习
18603 人学习
40936 人学习
1549 人学习
1183 人学习
32909 人学习
先说说我的想法吧：同时监控淘宝上很多物品的价格，然后获取价格走势（这个我打算自己写爬虫获取，然后存在数据库里），但是问题来了
我该怎么存储数据，使我能分析哪些物品在最近2天或7天的价格波动最大（最好是任意天数），这个地方该怎么实现比较好。总不能说每天我都要遍历一次数据库来求价格的差值吧，能不能有经验的大师指点下。
总不能说每天我都要遍历一次数据库来求价格的差值吧是觉得开销过大吗？那就把热点数据放Cache，过了这段热点时间就持久化到数据库。
热点数据可以是但不限于：
这几天刚采集的数据
最常常分析的日期段，比如2天、7天、1个月
这个和java没关系吧
数据分析的方法和java不是强相关的，java从某种角度说只是一种工具，可以将你的想法交给计算完成，可以实现你与计算机的交流，有基于java相关的haoop生态，可以了解一哈
需要分析的变动快的 --> 热数据 --> redis , 放在内存；长期的历史数据 --> 冷数据 --> mysql / oracle ，放在磁盘。
总不能说每天我都要遍历一次数据库来求价格的差值吧是觉得开销过大吗？那就把热点数据放Cache，过了这段热点时间就持久化到数据库。
热点数据可以是但不限于：
这几天刚采集的数据
最常常分析的日期段，比如2天、7天、1个月
这个和java没关系吧
数据分析的方法和java不是强相关的，java从某种角度说只是一种工具，可以将你的想法交给计算完成，可以实现你与计算机的交流，有基于java相关的haoop生态，可以了解一哈
需要分析的变动快的 --> 热数据 --> redis , 放在内存；
长期的历史数据 --> 冷数据 --> mysql / oracle ，放在磁盘。