Hadoop到底是干什么用的，主要的应用场景和应用领域是什么，主要解决的核心问题又是什么，我们个人可

Hadoop到底是干什么用的，主要的应用场景和应用领域是什么，主要解决的核心问题又是什么，我们个人可以用它来干什么 产生价值呢

人工智能君 2020-09-24 16:31:30 0 1 1245

python - 使用pyhive 能够执行source 语句吗

cursor.execute("source '/home/hadoop/create_table.sql'")执行结果 {代码...} 以上报错

三叔 2017-06-28 09:22:35 0 1 1272

hadoop - 使用python hdfs模块或者其他类似模块过滤HDFS上的日志日志内容

目前公司使用HDFS存储各个节点服务器上传的日志。因为历史遗留问题，所以日志比较混杂。就是各种数据都会存入日志中。一个日志文件200mb左右。有时候要过滤一些内容，则需要根据时间戳，然后使用hdfs 的cat命令，...

淡淡烟草味 2017-06-13 09:24:45 0 1 714

hadoop - 不同机器上docker创建的虚拟机器怎么相互访问

我在A机器上用docker虚拟化创建了10台linux机器。B机器上同样虚拟化10台机器。我要搭建spark环境，B和A上的虚拟机可以相互通过ssh访问吗？

我想大声告诉你 2017-04-26 09:01:41 0 2 658

eclipse 读取Hadoop文件

如图，通过dfs，我能看见hdfs里的存储目录结构，但是双击后打开缺看不到文件的内容。报错：Could not obtain block: BP-583232605-127.0.1.1-1491132313734:blk_1073741825_1001 file=/hello.txt

世界只因有你 2017-04-25 09:02:41 0 0 540

在宿主机如何访问docker中hadoop的hdfs:ip:9000啊, 端口映射出来啊

本人有一个3节点hadoop, 启动了3个docker容器, 众所周知, docker容器内服务的端口是可以映射到宿主机的端口的, 我采用-P将容器的所有端口映射到主机端口, 命令如下: {代码...} 这是第master节点的启动脚本, 映射...

巴扎黑 2017-04-25 09:01:31 0 1 870

ubuntu - 关于hadoop和spark的宿主机系统依赖问题

为啥现在的hadoop和spark都是部署在ubuntu上，而不是centos，Ubuntu相较于centos对这些大数据处理平台有什么优势么？初学者，求解惑！

阿神 2017-04-24 15:58:55 0 0 411

eclipse neon如何配置hadoop插件？

我已经将jar包导入到eclipse的plugins文件夹下面，但是open perspective没有mapreduce选项

巴扎黑 2017-04-24 09:11:57 0 2 774

求助，Eclipse如何关联Hadoop的源码

最近在琢磨Hadoop，想要关联Hadoop的源码到Eclipse中，网上找了很多的文章，比较老旧，试了几次都没成功... 求助如何关联源码，需要安装插件吗？？？ P.S.：我的开发环境是Unbuntu 14.04 + Eclipse 4.5.2(EE 版) ...

巴扎黑 2017-04-22 09:00:40 0 1 599

eclipse - hadoop源码bin目录下找不到start-all.sh来启动hadoop

hadoop源码bin目录下找不到start-all.sh脚本。 说明一下，在hadoop导入进eclipse之前，这个脚本是存在的。 导入后，bin目录的文件被修改了，我需要的这个脚本也不见了。 所以我觉得应该是eclipse 的设置问题？？？

PHPz 2017-04-22 08:59:34 0 1 425

eclipse导入hadoop源码后，hadoop的bin目录发生变化，少了我一些需要的脚本！

这是我导入eclipse前hadoop 的bin文件夹 然后我新建java项目制定hadoop源码后，bin文件夹就变成这样了少了我需要的 start-all.sh脚本啊！！ 没这脚本我就启动不了hadoop了还有原本的文件都不同了！

高洛峰 2017-04-22 08:59:13 0 0 383

wordcount - hadoop eclipse

在eclipse上远程连接hadoop搭建完连接 运行wordcount到一半就卡了 希望高手帮忙。

迷茫 2017-04-21 11:17:02 0 0 438

hadoop2.0 - eclipse中阅读hadoop源代码求助

我想在eclipse中查看hadoop的源代码，下载了hadoop-2.4.1-src.tar.gz后，新建工程加载代码后发现source not found，看教程说是要在项目中properties中导入jar包，但是下载的src.tar.gz中没有发现有jar包，不知道...

ringa_lee 2017-04-21 11:16:45 0 1 476

java - hadoop数据查找

使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的 {代码...} 结果慢的要死，一直动不都不懂，请问有快...

阿神 2017-04-18 10:48:19 0 1 424

java - hadoop集群中如何获取各个机架之间的可用带宽？

最近在修改hadoop中mapreduce任务调度方面的源代码，有一个功能需要通过获取各个机架之间的可用带宽来实现。看了很多模块的代码，也从网上搜索了一下，没发现有现成接口可以调用。有没有人做过hadoop二次开发或者...

高洛峰 2017-04-18 10:23:15 0 0 259

java - hadoop默认是按行读取数据的，可是我这里的很多数据占据两行以上，格式不统一，有什么方法才可以方便顺利读取不出错？

因为数据比较多，手动排版数据比较麻烦。

伊谢尔伦 2017-04-18 10:21:53 0 2 234

大数据 - CDH5.8.2完全离线安装失败，报错Java拒绝连接

安装环境，三台centos6.5虚拟机，内存分配分别为8GB，2GB，2GBCDH版本为5.8.2，java版本均为1.8.0，使用完全离线安装，安装过程参考CDH5 Hadoop集群完全离线安装步骤总结Installation Path C - Manual Installati...

伊谢尔伦 2017-04-18 10:05:53 0 1 441

python - hadoop的hdfs挂了

我往hadoop的hdfs快速写大量数据，hdfs会挂，请问是什么原因。

高洛峰 2017-04-18 09:52:53 0 2 312

python - pyhdfs读文件报错

用pyhdfs对hadoop hdfs操作，之前用listdir正常读取目录文件没有问题，但是用open时候出现了Failed to establish a new connection:[Errno 11004] getaddrinfo failed。我的pyhdfs没有部署在节点里，因为是要在dj...

大家讲道理 2017-04-18 09:50:09 0 1 708

hadoop - openSUSE Leap下的默认JAVA安装在什么路径？

openSUSE Leap环境下练习Hadoop。etc/hadoop/hadoop-env.sh配置如下： {代码...} 运行语句却提示找不到相关目录 {代码...}

PHP中文网 2017-04-18 09:46:21 0 1 265