java - hadoop数据查找
阿神
阿神 2017-04-18 10:48:19
0
1
630

使用hadoop查找文件中是否含有某些字符串,也就是要查找出set(string)中每个string对应的那一行,每条数据都不重复,请问怎么可以快速的找到呢?我写了简单的

# map.sh
awk -F "\03" '$3==xxx{print $0}' -

结果慢的要死,一直动不都不懂,请问有快点的办法吗?最好是可以一次性找出集合中所有的

阿神
阿神

闭关修行中......

reply all(1)
左手右手慢动作

Let’s write MR for this. If you want to save trouble, just import the data into hive and use sql to solve it

Latest Downloads
More>
Web Effects
Website Source Code
Website Materials
Front End Template