Comment installer Hadoop sous Linux

Comment installer Hadoop sur Linux : 1. Installez le service ssh ; 2. Utilisez ssh pour vous connecter sans authentification par mot de passe ; 3. Téléchargez le package d'installation Hadoop ; 4. Décompressez le package d'installation Hadoop ; Hadoop.

L'environnement d'exploitation de cet article : système Ubuntu 16.04, Hadoop version 2.7.1, ordinateur Dell G3.

Comment installer Hadoop sur Linux ?

[Big Data] Explication détaillée de l'installation de Hadoop (2.7.1) et de l'exécution de WordCount sous Linux

1. Introduction

Après avoir terminé la configuration de l'environnement de Storm, je souhaite bricoler l'installation de Hadoop, et il existe des tutoriels sur Internet Il y en a beaucoup, mais aucun d'entre eux n'est particulièrement adapté, j'ai donc encore rencontré beaucoup de problèmes lors du processus d'installation, j'ai finalement résolu le problème après avoir constamment vérifié les informations, je me sens bien. venons-en au fait.

　L'environnement de configuration de cette machine est le suivant :

　Hadoop(2.7.1)

　Ubuntu Linux (système 64 bits)

　Le processus de configuration est expliqué en détail en plusieurs étapes ci-dessous.

2. Installer le service ssh

Entrez la commande shell et entrez la commande suivante pour vérifier si le service ssh a été installé. Sinon, utilisez la commande suivante pour l'installer :

　　sudo apt-get. install ssh openssh-serversudo apt-get install ssh openssh-server

　　安装过程还是比较轻松加愉快的。

三、使用ssh进行无密码验证登录

　　1.创建ssh-key，这里我们采用rsa方式，使用如下命令：

　　　　ssh-keygen -t rsa -P ""

　　2.出现一个图形，出现的图形就是密码，不用管它

　　　　cat ~/.ssh/id_rsa.pub >> authorized_keys(好像是可以省略的)

　　3.然后即可无密码验证登录了，如下：

　　　　ssh localhost

　　成功截图如下：

四、下载Hadoop安装包

　　下载Hadoop安装也有两种方式

　　　　1.直接上官网进行下载，http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

　　　　2.使用shell进行下载，命令如下：

　　　　　　wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

　　貌似第二种的方法要快点，经过漫长的等待，终于下载完成。

五、解压缩Hadoop安装包

　　使用如下命令解压缩Hadoop安装包

　　　　tar -zxvf hadoop-2.7.1.tar.gz

　　解压缩完成后出现hadoop2.7.1的文件夹

六、配置Hadoop中相应的文件

　　需要配置的文件如下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml，所有的文件均位于hadoop2.7.1/etc/hadoop下面，具体需要的配置如下：

　　1.core-site.xml 配置如下：　　　　

<configuration>
　　　　　　<property>
　　　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp</value>
　　　　　　　　<description>Abase for other temporary directories.</description>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>fs.defaultFS</name>
　　　　　　　　<value>hdfs://localhost:9000</value>
　　　　　　</property>
　　　　</configuration>

　　其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。

　　2.mapred-site.xml.template配置如下：　　　　

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>mapred.job.tracker</name>
　　　　　　　　<value>localhost:9001</value>
　　　　　　</property>
　　　　</configuration>

　　3.hdfs-site.xml配置如下：

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>dfs.replication</name>
　　　　　　　　<value>1</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.namenode.name.dir</name>
　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp/dfs/name</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.datanode.data.dir</name>
　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp/dfs/data</value>
　　　　　　</property>
　　　　</configuration>

　　其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置，最好在hadoop.tmp.dir的目录下面。

　　补充，如果运行Hadoop的时候发现找不到jdk，可以直接将jdk的路径放置在hadoop.env.sh里面，具体如下：

　　　　export JAVA_HOME="/home/leesf/program/java/jdk1.8.0_60"

七、运行Hadoop

　　在配置完成后，运行hadoop。

　　1.初始化HDFS系统

　　　　在hadop2.7.1目录下使用如下命令：

　　　bin/hdfs namenode -format

　　　　截图如下：

　　　　过程需要进行ssh验证，之前已经登录了，所以初始化过程之间键入y即可。

　　　　成功的截图如下：

　　　　表示已经初始化完成。

　　2.开启NameNode和DataNode守护进程

　　　　使用如下命令开启：

　　　　sbin/start-dfs.sh，成功的截图如下：

　　1. Créez une clé ssh, ici nous utilisons la méthode rsa, utilisez la commande suivante :

　　ssh-keygen -t rsa -P ""

　2. Un graphique apparaîtra. Le graphique qui apparaît est le mot de passe Ne vous inquiétez pas

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!