CentOSにApache Hadoopをインストール！

＃＃＃導入＃＃＃ Apache Hadoop ソフトウェア ライブラリは、単純なプログラミング モデルを使用して、コンピューター クラスター上で大規模なデータ セットの分散処理を可能にするフレームワークです。 Apache™ Hadoop® は、信頼性が高く、スケーラブルな分散コンピューティングのためのオープンソース ソフトウェアです。 プロジェクトには次のモジュールが含まれています:

Hadoop Common: 他の Hadoop モジュールをサポートする共通ツール。

• Hadoop 分散ファイル システム (HDFS™): アプリケーション データへの高スループット アクセスのサポートを提供する分散ファイル システム。
• Hadoop YARN: ジョブ スケジューリングおよびクラスター リソース管理フレームワーク。
• Hadoop MapReduce: 大規模なデータ セット用の YARN ベースの並列処理システム。
この記事は、CentOS に Hadoop をインストールし、単一ノードの Hadoop クラスターを構成する手順を段階的に説明します。

Javaのインストール

Hadoop をインストールする前に、Java がシステムにインストールされていることを確認してください。このコマンドを使用して、インストールされている Java のバージョンを確認します。 リーリー

Java をインストールまたは更新するには、以下の段階的な手順を参照してください。

最初のステップは、Oracle 公式 Web サイトから Java の最新バージョンをダウンロードすることです。

リーリー

Java の新しいバージョンを代替として使用するにはセットアップが必要です。これを行うには、次のコマンドを使用します。

リーリー

ここで、javac および jar コマンド パスを設定するために、alternatives コマンドを使用する必要がある場合もあります。

リーリー

次のステップは、環境変数を構成することです。これらの変数を正しく設定するには、次のコマンドを使用します。

JAVA_HOME変数を設定します:

リーリー

JRE_HOME 変数を設定します:

リーリー

PATH 変数を設定します:

リーリー

Apache Hadoop をインストールする

Java 環境をセットアップした後。 Apache Hadoop のインストールを開始します。

最初のステップは、Hadoop インストール用のシステム ユーザー アカウントを作成することです。

リーリー

次に、ユーザー hadoop の ssh キーを構成する必要があります。次のコマンドを使用して、パスワードなしの ssh ログインを有効にします。

リーリー

次に、Hadoop の利用可能な最新バージョンを公式 Web サイト hadoop.apache.org からダウンロードします。

リーリー

次のステップは、Hadoop で使用される環境変数を設定することです。

~/.bashrc を編集し、ファイルの末尾に次の値を追加します。

リーリー

現在の実行環境に変更を適用します。

リーリー

$HADOOP_HOME/etc/hadoop/hadoop-env.sh を編集し、JAVA_HOME 環境変数を設定します。

リーリー

次に、基本的な Hadoop シングルノード クラスターの構成から始めます。

まず、Hadoop 構成ファイルを編集し、次の変更を加えます。

リーリー

core-site.xml を編集しましょう。

リーリー

次に、hdfs-site.xml を編集します:

リーリー

そして、mapred-site.xml を編集します:

リーリー

最終編集yarn-site.xml:

リーリー

次のコマンドを使用して、namenode をフォーマットします:

リーリー

すべての Hadoop サービスを開始するには、次のコマンドを使用します:

リーリー

すべてのサービスが正常に起動するかどうかを確認するには、jps コマンドを使用します。

リーリー

次のような出力が表示されるはずです。

リーリー

これで、ブラウザで Hadoop サービスにアクセスできるようになります: http://your-ip-address:8088/。

ハドゥープ

---

以上がCentOSにApache Hadoopをインストール！の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。