84669 人学习
152542 人学习
20005 人学习
5487 人学习
7821 人学习
359900 人学习
3350 人学习
180660 人学习
48569 人学习
18603 人学习
40936 人学习
1549 人学习
1183 人学习
32909 人学习
问题：从100万行log记录中筛选有价值的信息，需要用到什么知识？是大数据么？具体是大数据的哪部分知识？把他们筛选出来，用什么工具？对它们分析，用什么工具？想自学这方面的东西，希望懂的人给个指点。多谢~~
小伙看你根骨奇佳，潜力无限，来学PHP伐。
100万行正常的日志，真的不大，grep即可
你可以试试HOOLI 是一款专门用于实时log数据分析的工具，支持日志数据收集 分析 索引 可视化等功能 登陆 www.hoolix.com 申请试用
我在这儿说一下，大数据不仅仅是数据量大，况且你的数据量也不大。无论是互联网时代还是大数据时代，技术永远是工具，去更好帮助人们解决生活社会问题的工具。就目前而言面对大量的数据，我认为我们可以做两件事，一，目标明确的查询检索，那可能会用到hadoop或者spark这些分布式运算引擎帮你快速计算出你要的结果；二，挖掘潜在价值，也就是你说的”筛选有价值的信息“，这可能需要机器学习算法，那么你得根据业务建模，然后把多维度，大量的数据导入训练。简单如上，如果像进一步学习可以相互交流。
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
100万行正常的日志，真的不大，grep即可
你可以试试HOOLI 是一款专门用于实时log数据分析的工具，支持日志数据收集 分析 索引 可视化等功能
登陆 www.hoolix.com 申请试用
我在这儿说一下，大数据不仅仅是数据量大，况且你的数据量也不大。无论是互联网时代还是大数据时代，技术永远是工具，去更好帮助人们解决生活社会问题的工具。就目前而言面对大量的数据，我认为我们可以做两件事，一，目标明确的查询检索，那可能会用到hadoop或者spark这些分布式运算引擎帮你快速计算出你要的结果；二，挖掘潜在价值，也就是你说的”筛选有价值的信息“，这可能需要机器学习算法，那么你得根据业务建模，然后把多维度，大量的数据导入训练。简单如上，如果像进一步学习可以相互交流。