Linux で分散ファイル システムを構成する方法

Linux で分散ファイル システムを構成する方法

はじめに:
データ量の継続的な増加とビジネス ニーズの変化により、従来のスタンドアロン ファイル システムでは、現代の大規模ファイル システムのニーズを満たすことができなくなりました。 -大規模なデータ処理のニーズ。分散ファイル システムは、その高い信頼性、パフォーマンス、拡張性により、大規模データ センターの最初の選択肢となっています。この記事では、Linux 上で一般的な分散ファイル システムを構成する方法をコード例とともに紹介します。

1. 分散ファイル システムの概要
分散ファイル システムは、データを複数のノードに分散して保存し、ネットワーク経由でデータを共有したりアクセスしたりするファイル システムです。複数のマシンのストレージ リソースとコンピューティング能力を利用して、大規模なデータ ボリュームとユーザーの同時実行ニーズに対応する水平拡張機能を提供します。

一般的な分散ファイル システムには、Hadoop HDFS、Google GFS、Ceph などが含まれます。これらにはそれぞれ独自の特徴と適用可能なシナリオがありますが、構成と使用法には多くの類似点があります。

2. 分散ファイル システムのインストールと構成
Hadoop HDFS を例として、Linux 上で分散ファイル システムを構成する手順は次のとおりです。 #Hadoop をダウンロードしてインストールする

$ tar -xzvf hadoop-3.x.x.tar.gz
$ cd hadoop-3.x.x

ログイン後にコピー

1. 
   環境変数の構成

~/.bashrc
2. ファイルを編集し、Hadoop 環境変数を設定します。

   $ vi ~/.bashrc

   ログイン後にコピー
   
   次の内容をファイルの最後に追加します: <div class="code" style="position:relative; padding:0px; margin:0px;"><pre class='brush:php;toolbar:false;'>export HADOOP_HOME=/path/to/hadoop-3.x.x export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH</pre><div class="contentsignin">ログイン後にコピー</div></div>保存して終了し、次のコマンドを実行して環境変数を有効にします:

   $ source ~/.bashrc

   ログイン後にコピー

   Hadoop 構成ファイルの変更

   Hadoop 構成ディレクトリに入り、
hadoop-env.sh
3. ファイルを編集し、JAVA_HOME 環境変数を構成します。

   $ cd $HADOOP_HOME/etc/hadoop
   $ vi hadoop-env.sh

   ログイン後にコピー
   
   次の行を対応する Java インストール パスに変更します: <div class="code" style="position:relative; padding:0px; margin:0px;"><pre class='brush:php;toolbar:false;'>export JAVA_HOME=/path/to/java</pre><div class="contentsignin">ログイン後にコピー</div></div>次に、
   core-site.xml

   ファイルを編集して、デフォルトのファイル システムとデータ ストレージを構成します。 HDFS の場所。

   $ vi core-site.xml

   ログイン後にコピー

   次の構成を追加します。 <div class="code" style="position:relative; padding:0px; margin:0px;"><pre class='brush:php;toolbar:false;'>&lt;configuration&gt; &lt;property&gt; &lt;name&gt;fs.defaultFS&lt;/name&gt; &lt;value&gt;hdfs://localhost:9000&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;hadoop.tmp.dir&lt;/name&gt; &lt;value&gt;/path/to/tmp&lt;/value&gt; &lt;/property&gt; &lt;/configuration&gt;</pre><div class="contentsignin">ログイン後にコピー</div></div>最後に、

   hdfs-site.xml

   ファイルを編集し、HDFS 関連のパラメーターを構成します。

   $ vi hdfs-site.xml

   ログイン後にコピー

   次の構成を追加します: <div class="code" style="position:relative; padding:0px; margin:0px;"><pre class='brush:php;toolbar:false;'>&lt;configuration&gt; &lt;property&gt; &lt;name&gt;dfs.replication&lt;/name&gt; &lt;value&gt;3&lt;/value&gt; &lt;/property&gt; &lt;/configuration&gt;</pre><div class="contentsignin">ログイン後にコピー</div></div>

   HDFS のフォーマット

   ターミナルで次のコマンドを実行して、HDFS をフォーマットします。

$ hdfs namenode -format

ログイン後にコピー

4. 
   HDFS サービスの開始

   次のコマンドを実行して HDFS サービスを開始します。

$ start-dfs.sh

ログイン後にコピー

5. 
   これで、基本的な分散ファイル システムが正常に構成されました。ファイルのアップロード、ダウンロード、削除、その他の操作は、hdfs コマンドと関連 API を通じて実行できます。

結論:

以上がLinux で分散ファイル システムを構成する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。