#MySQL のインストール ディレクトリは /usr/local/mysql で、データ ディレクトリは実際には /data/mysql/data です

#インストールできない場合は、MySQL を root ユーザーとしてインストールする必要があることに注意してください。 root ユーザーとしてインストールすると、簡単にインストールの問題が発生する可能性があります

#5.7.6 より前のバージョンのインストールは若干異なることに注意してください。

#新しいmysqlユーザーグループ

groupaddmysql

#新しいmysqlユーザーを作成し、Linuxログインユーザーとして使用できないように設定します

useradd-r-gmysql-s/bin/falsemysql

#mysql インストール ディレクトリに移動します

cd/usr/local

#バイナリ インストール パッケージを解凍します

tarxzfmysql-5.7.10-linux-glibc2.5-x86_64.tar.gz

#簡単なバージョンに依存しない短いリンクを覚えておいてください

ln -smysql-5.7.10-linux-glibc2.5-x86_64mysql

#mysqlディレクトリに入ります

cdmysql

#データディレクトリを作成します

mkdir -p /data/mysql/data

#データディレクトリのソフトリンクを作成し、/usr/local/mysql/data を /data/mysql/data

ln-s/data/mysql/data/usr/local/mysql にポイントさせます/data

#ディレクトリ権限を設定します

chmod770/data/mysql/data

chown-Rmysql/data/mysql/data

chgrp-Rmysql/data/mysql/data

chown-Rmysql.

chグループ-Rmysql.

#初期化 (正常に実行されました mysqld の完了後、一時的な root パスワードが提供されます。覚えておいてください)

# また、一時的なパスワードは期限切れになるため、root パスワードを変更する必要があることにも注意してください。可能です

# MySQLCli に入ったら、次のコマンドを実行して新しいパスワードに変更します ：

#SETPASSWORDFOR'root'@'localhost'=PASSWORD('new_password');

bin/mysqld--initialize--user =mysql--explicit_defaults_for_timestamp

#SSL をインストールして設定する

bin/mysql_ssl_rsa_setup

#ディレクトリ権限をリセットする

chown-Rroot.

chown-Rmysql/data/mysql/data

#mysqlを始める

bin/mysqld_safe--user=mysql&

#ポートが起動されているかどうかを確認します (構成を変更せず、パラメーター --port を指定しないでください。デフォルトのポート番号は 3306 です)

netstat-lpnt |grep3306

#MySQL を停止

support-files/mysql.serverstop

#mysql を設定するとシステムが自動的に起動します

cpsupport-files/mysql.server/etc/init.d/mysql.server

createdatabaseifnotexistshive;

createuserhiveidentifiedby'hive2016';

grantallonhive.*to'hive'@'localhost'identifiedby'hive2016';

grantallonhive.*to'hive'@'172.25.39.166'identifiedby'hive2016'; by'ハイブ2016 ';ハイブデータベースに入る：

1）ネイティブエントリ：mysql-uhive-phive2016

4 つのテンプレート ファイルが表示され、設定ファイル

5.4.2.1。 sh

HADOOP_HOME 環境変数がまだ設定されていない場合は、hive-env.sh で設定できます:

次に、ディレクトリ /data/hadoop/hive/logs/exec を作成します。

6. 起動して実行します

1) メタストアを初期化します

インストールと構成後、Hive サーバーを起動する前に、サーバー上で「schematool-dbTypemysql-initSchema」を実行してメタストアの初期化を完了する必要があります。

MySQL のマスター間同期が設定されている場合、1 台のハイブ マシンでのみ実行する必要があります。繰り返し実行するとエラーが発生します。

2) メタストアを開始します

コマンドを実行します: hive--servicemetastore&

3) Hive サービスを開始します

コマンドを実行します: hiveserver2&。

4) Hive コマンド ライン操作インターフェイスに入力します (mysql と同様)

実行: hive

hive コマンド ライン操作インターフェイスの使用に加えて、hiveserver2 は beeline も提供します (hive はユーザー名、hive2016 はユーザー名です)パスワードについては、HiveServer2+Clients から詳細情報を取得できます):

7. HSQL

パッケージ hive/bin、hive/lib、hive/conf、および hive/examples をリモートで実行します (tarczfhive-bin.tar.gzhive/binhive/libhive/confhive/examples など)。

その後、hive-bin.tar.gz を他のマシンにアップロードし、beeline を使用してリモートで HSQL を実行します (hive を使用すると問題が発生する可能性があります。この記事を操作する際、hive を使用すると、HSQL の実行時に常にスタックします。特別な理由は記録されておらず、まだ特定されていません）。

8. 基本コマンド

次の内容は公式 Web サイト (GettingStarted) からのものです。コマンドでは大文字と小文字が区別されないことに注意してください:

Hive のインストール ディレクトリには example サブディレクトリがありますory、使用されるデータ ファイルを保存します。例では。テーブル招待へのデータのロードをテストし、ファイル ../examples/files/kv2.txt をテーブル招待にロードします:

「select*frominvites;」または「selectcount(1)frominvites;」を実行して読み込みステータスを確認できます。

9. シングルポイント ソリューション

このシングル ポイントは、2 つのハイブをデプロイすることで解決できます。この 2 つの MySQL は、同じマシン上にデプロイされます。

Hive はマスターおよびホット バックアップの方法であり、同時に 1 つの Hive だけがサービスを提供するようにするのが最善です。ただし、多くの場合、両方の Hive がサービスを提供していれば正常に動作します。

10. Spark との統合

Spark の Hive 統合は非常に簡単で、次の手順に従うだけです:

1) HIVE_HOME をspark-env.sh に追加します (例:exportHIVE_HOME=/data/hadoop/hive

2) Hive の hive-site.xml ファイルと hive-log4j.properties ファイルを Spark の conf ディレクトリに追加します。

完了後、spark-sqlを再度実行してSparkのSQLCliに入り、コマンドshowtablesを実行してHiveで作成されたテーブルを確認します。

例:

./spark-sql--masteryarn--driver-class-path/data/hadoop/hive/lib/mysql-connector-java-5.1.38-bin.jar

11. Sqoop と統合する

sqoop-1.4.6.bin__hadoop-2.0.4-alpha を例に挙げると、Hive にデータをインポートできるだけでなく、HBase にデータをインポートしたり、DB からデータをインポートしたりすることもできます。 HDFS ストレージに。つまり、Sqoop は非常に強力ですが、ここでは簡単に紹介するだけです。

Sqoop の公式 Web サイトから sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz をダウンロードします (ダウンロード URL: http://www.apache.org/dyn/closer.lua/sqoop/1.4.6) 。

解凍して、Sqoop の conf ディレクトリに入り、次の変更を完了します:

11.1. sqoop-env.sh を変更します

sqoop-env-template.sh のコピーをコピーし、sqoop-env.sh という名前を付けます。 sqoop-env.sh で次の環境変数を設定します:

1) HADOOP_COMMON_HOME

値は Hadoop インストール ディレクトリです。例:exportHADOOP_COMMON_HOME=/data/hadoop

2) HADOOP_MAPRED_HOME

値は hadoop-common-* .tar ファイルが配置されるディレクトリは、Hadoop インストール ディレクトリの下にあります。

例:exportHADOOP_MAPRED_HOME=/data/hadoop/share/hadoop/common

3)HBASE_HOME

値はHBaseのインストールディレクトリです。例:exportHBASE_HOME=/data/hbase

4)HIVE_HOME

値はHive ディレクトリのインストール、例:exportHIVE_HOME=/data/hive

5) ZOOCFGDIR

の値は Zookeeper の設定ディレクトリです。例:exportZOOCFGDIR=/data/zookeeper/conf

11.2。

たとえば、データをエクスポートするために MySQL ツール mysqldump を使用することを示すために、パラメーター「--direct」を指定することをお勧めします。

「-m」は、並行してデータをインポートできるマップの数を示します。デフォルトは 4 です。クラスター内のマップの最大数を超える数を設定しないことをお勧めします。

「--table」はインポートするDBテーブル名を指定するために使用し、「--hive-import」はDBからHiveにデータをインポートすることを意味します。 SQL を使用してパラメータ「--query」を使用して条件付きで DB からエクスポートすることもできます。

文字セットを指定する必要がある場合は、パラメーター「--default-character-set」を使用します (例: --default-character-setUTF-8)。

12. 一般的なエラー

1) MySQL の「bin/mysqld--initialize--user=mysql」実行時のエラー。その理由は、MySQL バージョン 5.6 以降、タイムスタンプのデフォルト値が非推奨としてマークされているためです。つまり、タイムスタンプ型のフィールドが明示的に NULL として宣言されていない場合、デフォルト値は NOTNULL になります。タイムスタンプ フィールドが NULL に設定されている場合、現在のタイムスタンプが自動的に保存されます。

2)Can'tfinderror-messagefile'/usr/local/mysql/share/errmsg.sys'

MySQL の「bin/mysqld--initialize--user=mysql--explicit_defaults_for_timestamp」を実行するとエラーが発生します。

これは、以前に実行されたため、データ ディレクトリが空になっていない可能性があります。「bin/mysqld--verbose--help|grepdatadir」から、デフォルトのデータ ディレクトリが /var/lib/mysql/ であることがわかります。 」。 /var/lib/mysql/ ディレクトリが空であることを確認する必要があります。または、パラメーター --datadir を指定してデータ ディレクトリを変更します (例: "bin/mysqld --initialize --user=mysql --explicit_defaults_for_timestamp --datadir=/data/mysql/data")。

3)Can'tfinderror-messagefile'/usr/local/mysql/share/errmsg.sys'

エラーの場合:

Can'tfinderror-messagefile'/usr/local/mysql/share/errmsg.sys'。エラーメッセージファイルの場所と「lc-messages-dir」設定ディレクティブを確認してください。

公式 Web サイトからダウンロードした MySQL のデフォルトのインストールディレクトリは /usr/local/mysql です。実際には別のディレクトリである場合は、パラメータで指定することをお勧めします。 -basedir、それ以外の場合は、インストールで発生するエラーが少なくなります。 「bin/mysqld --verbose --help|grepbasedir」を実行すると、「--basedir」のデフォルト値が/usr/local/mysql/であることがわかります。

4) MetaStoreServer への接続に失敗しました

hiveserver2 を実行して次のエラーが発生した場合は、DEBUG ログ レベルをオンにして詳細情報を表示し、ログ構成ファイル hive で「hive.root.logger=WARN」を設定することをお勧めします。 -log4j.properties ,DRFA」は、「hive.root.logger=DEBUG,WARN,DRFA」に変更できます。