ビッグデータの処理と分析をサポートするように Linux システムを構成する-Linuxの運用と保守-php.cn

ビッグデータの処理と分析をサポートするように Linux システムを構成する

王林

リリース： 2023-07-04 20:25:40

オリジナル

1120 人が閲覧しました

ビッグデータの処理と分析をサポートするように Linux システムを構成する

要約: ビッグデータ時代の到来により、ビッグデータの処理と分析の需要が増加しています。この記事では、ビッグデータの処理と分析をサポートするために Linux システム上でアプリケーションとツールを構成する方法について説明し、対応するコード例を示します。

キーワード: Linux システム、ビッグデータ、処理、分析、構成、コード例

はじめに: ビッグデータは、新たなデータ管理および分析テクノロジーとして、さまざまな分野で広く使用されています。ビッグデータの処理と分析の効率と信頼性を確保するには、Linux システムを正しく構成することが非常に重要です。

1. Linux システムをインストールする
まず、Linux システムを正しくインストールする必要があります。一般的な Linux ディストリビューションには、Ubuntu、Fedora などが含まれます。独自のニーズに応じて、適切な Linux ディストリビューションを選択できます。インストールプロセス中に、システムのインストール完了後により詳細な構成を可能にするためにサーバーのバージョンを選択することをお勧めします。

2. システムをアップデートし、必要なソフトウェアをインストールする
システムのインストールが完了したら、システムをアップデートし、必要なソフトウェアをインストールする必要があります。まず、ターミナルで次のコマンドを実行してシステムを更新します:

sudo apt update
sudo apt upgrade

ログイン後にコピー

次に、OpenJDK (Java Development Kit) をインストールします。これは、ほとんどのビッグデータ処理および分析アプリケーションは Java に基づいて開発されているためです:

sudo apt install openjdk-8-jdk

ログイン後にコピー

インストール完了後、以下のコマンドを実行することでJavaが正常にインストールされたか確認できます。

java -version

ログイン後にコピー

Javaのバージョン情報が出力されればインストールは成功です。

3. Hadoop の設定
Hadoop は、非常に大規模なデータセットを処理できるオープンソースのビッグデータ処理フレームワークです。 Hadoop を構成する手順は次のとおりです。

Hadoop をダウンロードして解凍します。

wget https://www.apache.org/dist/hadoop/common/hadoop-3.3.0.tar.gz
tar -xzvf hadoop-3.3.0.tar.gz

ログイン後にコピー

環境変数を構成します。
以下を追加します。コンテンツ ~/.bashrc ファイルに移動します:
```
export HADOOP_HOME=/path/to/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin
```
ログイン後にコピー
ファイルを保存した後、次のコマンドを実行して構成を有効にします:
```
source ~/.bashrc
```
ログイン後にコピー
ログイン後にコピー
Hadoop のコアファイルを構成する :
Hadoop の解凍ディレクトリに移動し、etc/hadoop/core-site.xml ファイルを編集し、次の内容を追加します:
```
<configuration>
  <property>
 <name>fs.defaultFS</name>
 <value>hdfs://localhost:9000</value>
  </property>
</configuration>
```
ログイン後にコピー
次に、etc/hadoop/hdfs -site.xml ファイルを編集し、次の内容を追加します:
```
<configuration>
  <property>
 <name>dfs.replication</name>
 <value>1</value>
  </property>
</configuration>
```
ログイン後にコピー
ファイルを保存した後、次のコマンドを実行して Hadoop ファイルシステムをフォーマットします:
```
hdfs namenode -format
```
ログイン後にコピー
最後に、Hadoop を起動します:
```
start-dfs.sh
```
ログイン後にコピー
4. Spark を構成する
Spark は、Hadoop で使用できる高速かつ多用途のビッグデータ処理および分析エンジンです。 Spark を構成する手順は次のとおりです:

Spark をダウンロードして解凍します:

wget https://www.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
tar -xzvf spark-3.1.2-bin-hadoop3.2.tgz

ログイン後にコピー

環境変数を構成します:
以下を追加しますコンテンツ ~/.bashrc ファイルに移動します:
```
export SPARK_HOME=/path/to/spark-3.1.2-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin
```
ログイン後にコピー
ファイルを保存した後、次のコマンドを実行して構成を有効にします:
```
source ~/.bashrc
```
ログイン後にコピー
ログイン後にコピー
Spark のコアファイルを構成します。
Spark 解凍ディレクトリに入り、conf/spark-env.sh.template ファイルをコピーし、名前を conf/spark-env.sh に変更します。 。 conf/spark-env.sh ファイルを編集し、次の内容を追加します。
```
export JAVA_HOME=/path/to/jdk1.8.0_*
export HADOOP_HOME=/path/to/hadoop-3.3.0
export SPARK_MASTER_HOST=localhost
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=4
export SPARK_WORKER_MEMORY=4g
```
ログイン後にコピー
このうち、JAVA_HOME には Java のインストールパスを設定する必要があります。 HADOOP_HOMEHadoop のインストールパスに設定する必要があります。SPARK_MASTER_HOST は現在のマシンの IP アドレスに設定されます。

ファイルを保存した後、Spark を開始します:

start-master.sh

ログイン後にコピー

次のコマンドを実行して Spark のマスターアドレスを表示します:

cat $SPARK_HOME/logs/spark-$USER-org.apache.spark.deploy.master*.out | grep 'Starting Spark master'

ログイン後にコピー

Spark ワーカーを開始します:

start-worker.sh spark://<master-ip>:<master-port>

ログイン後にコピー

このうち、<master-ip>はSparkのMasterアドレスのIPアドレス、<master-port>はSparkのMasterアドレスのポート番号です。。

概要: この記事では、Hadoop や Spark などのビッグデータの処理と分析のためのアプリケーションとツールをサポートするように Linux システムを構成する方法について説明します。 Linux システムを正しく構成することで、ビッグデータの処理と分析の効率と信頼性を向上させることができます。読者は、この記事のガイドラインとサンプルコードに従って、Linux システムの構成とアプリケーションを実践できます。

以上がビッグデータの処理と分析をサポートするように Linux システムを構成するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。