Hive 1.2.1&Spark&Sqoop安装指南

目录

目录1

1.前言1

2.约定2

3.服务端口2

4.安装MySQL 2

4.1.安装MySQL 2

4.2.创建Hive元数据库 4

5.安装步骤4

5.1.下载Hive1.2.1二进制安装包 4

5.2.安装Hive 5

5.3.安装MySQL-Connector 5

5.4.修改配置5

5.4.1.修改/etc/profile或~/.profile 5

5.4.2.修改其它配置文件5

5.4.2.1.修改hive-env.sh 6

5.4.2.2.修改hive-site.xml 6

5.4.2.3.修改hive-log4j.properties 7

5.4.2.4.修改hive-exec-log4j.properties 7

6.启动运行7

7.远程执行HSQL 8

8.基本命令8

9.单点方案9

10.和Spark集成 9

11.和Sqoop集成 9

11.1.修改sqoop-env.sh 9

11.2.修改sqoop-site.xml 10

11.3.验证测试10

12.常见错误10

13.相关文档14

1.前言

本文的安装参照《Hive0.12.0安装指南》，内容来源于官方的：GettingStarted，将Hive1.2.1安装在Hadoop2.7.1上。本文将Hive配置成Server模式，并且使用MySQL作为元数据数据库，远程连接MySQL。

关于Hadoop2.7.1的安装，请参见《Hadoop-2.7.1分布式安装手册》一文。

2.约定

本文约定Hadoop被安装在/data/hadoop/current，将Hive1.2.1的安装到目录/data/hadoop/hive（实际是指向/data/hadoop/hive-1.2.1-bin的软链接）。将MySQL5.7.10安装到目录/data/mysql。在实际安装部署时，可以指定为其它目录。

3.服务端口

4.安装MySQL

由于单台MySQL有单点问题，因此实际中需要配置成主备MySQL方式。

4.1.安装MySQL

本文MySQL被安装在172.25.39.166机器上，Hive用MySQL来存储元数据，因此需要先安装好MySQL。这里安装的是最新的MySQL5.7.10，下载网址为：http://dev.mysql.com/downloads/mysql/，本文选择是的“Linux-Generic”下的“Linux-Generic(glibc2.5)(x86,64-bit),CompressedTARArchive”，它的二进制安装包名为mysql-5.7.10-linux-glibc2.5-x86_64.tar.gz。

将二进制安装包解压后，可看到名为INSTALL-BINARY的文件，该文件有说明如何安装MySQL，本文基本参照它进行的。

由于官方提供的二进制安装包，编译的时候指定的“--prefix”为“/usr/local/mysql”，所以最好将mysql安装在/usr/local目录下，否则安装过程会容易遇到问题。但建立将数据目录指定为一个足够大的分区下的目录。

当然data目录也可以为软链接方式到足够大的分区目录，并且推荐使用软链接方式，否则在使用mysql命令时，经常需要指定参数“--datadir”，比如mysqld、mysqld_safe和mysql_ssl_rsa_setup等都需要指定“--datadir”。

如果不是安装在/usr/local/mysql，则需要为mysqld指定--basedir、--character-sets-dir、--language、--lc-messages-dir、--plugin-dir等众多参数值。

如果不能root用户安装，则还需要为mysqld指定--slow-query-log-file、--socket、--pid-file、--plugin-dir和--general-log-file等参数值。

这些参数的默认值，都可以通过执行MySQL的“bin/mysqld--verbose--help”查看到。

以上使用的都是MySQL默认配置，如果需要定制化，可以通过修改文件my.cnf来达成。MySQL5.7.10不带my.cnf，只有个support-files/my-default.cnf。

通过执行命令“support-files/my-default.cnf”，可以了解到MySQL搜索my.cnf的顺序依次为：/etc/my.cnf/etc/mysql/my.cnf/usr/local/mysql/etc/my.cnf~/.my.cnf，这样可以复制一份my-default.cnf，然后再修改，如：cpsupport-files/my-default.cnf/etc/my.cnf。

4.2.创建Hive元数据库

创建数据库hive：

创建数据库用户hive：

授权可以访问数据库hive的IP和用户，其中localhost的实际IP为172.25.39.166：

进入hive数据库：

1)本机进入：mysql-uhive-phive2016

2)非本机进入：mysql-uhive-h172.25.39.166-phive2016

注意如果配置了MySQL主主同步或其它同步，则如果同步的库不包含mysql，则创建库和用户需要分别在不同的MySQL上操作一次。

5.安装步骤

5.1.下载Hive1.2.1二进制安装包

下载网址：http://hive.apache.org/downloads.html，下载后的包名为：apache-hive-1.2.1-bin.tar.gz，然后将apache-hive-1.2.1-bin.tar.gz上传到/data目录下。

5.2.安装Hive

1)切换到/data目录：cd/data

2)解压二进制安装包：tarxzfapache-hive-1.2.1-bin.tar.gz

3)改个名：mvapache-hive-1.2.1-binhive-1.2.1

4)建立软链接：ln-shive-1.2.1hive

5.3.安装MySQL-Connector

MySQL-Connector下载网址：http://dev.mysql.com/downloads/connector/。

选择“Connector/J”，接着选择“PlatformIndependent”，本文下载的是“mysql-connector-java-5.1.38.tar.gz”。

压缩包“mysql-connector-java-5.1.38.tar.gz”中有个mysql-connector-java-5.1.38-bin.jar，解压后将mysql-connector-java-5.1.38-bin.jar上传到Hive的lib目录下，这个是MySQL的JDBC驱动程序。

5.4.修改配置

5.4.1.修改/etc/profile或~/.profile

设置环境变量HIVE_HOME，并将Hive加入到PATH中：

5.4.2.修改其它配置文件

进入/data/hadoop/hive/conf目录，可以看到如下：

可以看到4个模板文件，复制并重命名成配置文件：

5.4.2.1.修改hive-env.sh

如果之前没有设置好HADOOP_HOME环境变量，则可在hive-env.sh中，进行设置：

5.4.2.2.修改hive-site.xml

1)修改javax.jdo.option.ConnectionURL

将值设置为：

jdbc:mysql://172.25.39.166:3306/hive?useSSL=false，

注意加上“useSSL=false”，另外还有诸于参数characterEncoding=UTF-8等。

2)修改javax.jdo.option.ConnectionDriverName

将值设置为：com.mysql.jdbc.Driver。

3)修改javax.jdo.option.ConnectionUserName

将值设置为访问hive数据库的用户名hive：hive。

4)修改javax.jdo.option.ConnectionPassword

将值设置为访问hive数据库的密码：hive2016。

5)修改hive.metastore.schema.verification

该值试情况进行修改。

6)修改hive.zookeeper.quorum

将值设置为：10.12.154.77,10.12.154.78,10.12.154.79，ZooKeeper被安装在这三台机器上。建议使用机器名，而不是IP，因为机器退役可能导致IP变换。

7)修改hive.metastore.uris

将值设置为：thrift://172.25.40.171:9083，9083为Hive元数据的RPC服务端口。

8)修改hive.metastore.warehouse.dir

将值设置为：/data/hadoop/hive/warehouse，注意启动前，需要创建好该目录（mkdir/data/hadoop/hive/warehouse）。

9)修改hive.server2.thrift.bind.host

该值默认为localhost，如果需要在其它机器远程访问Hive，则需要将它改成IP地址，本文将它改成172.25.40.171，可以考虑为0.0.0.0。

10)修改hive.exec.scratchdir

这一步可选，可直接使用默认值/tmp/hive。设置为：/data/hadoop/hive/tmp或其它，并创建好目录。

11)修改hive.exec.local.scratchdir

设置为：/data/hadoop/hive/tmp/scratch或其它，并创建好目录。

12)修改hive.downloaded.resources.dir

设置为：/data/hadoop/hive/tmp/resources或其它，并创建好目录。

13)修改hive.querylog.location

设置为：/data/hadoop/hive/tmp/querylog或其它，并创建好目录。

14)修改hive.server2.logging.operation.log.location

设置为：/data/hadoop/hive/tmp/operation或其它，并创建好目录。

5.4.2.3.修改hive-log4j.properties

修改日志文件存放目录，将日志目录由/tmp/${user.name}改为/data/hadoop/hive/logs：

然后创建好目录/data/hadoop/hive/logs。

5.4.2.4.修改hive-exec-log4j.properties

修改日志文件存放目录，将日志目录由默认的/tmp/${user.name}改为/data/hadoop/hive/logs/exec：

然后创建好目录/data/hadoop/hive/logs/exec。

6.启动运行

1)初始化metastore

安装配置好后，在启动Hive服务端之前，需要在服务端执行一次“schematool-dbTypemysql-initSchema”，以完成对metastore的初始化。

如果配置了MySQL主主同步，则只需要一台hive机器上执行，重复执行会报错。

2)启动metastore

执行命令：hive--servicemetastore&

3)启动Hive服务

执行：hiveserver2&。

4)进入Hive命令行操作界面（类似于mysql）

执行：hive

除了使用hive命令行操作界面之外，hiveserver2还提供了beeline（hive是用户名，hive2016是密码，可以从HiveServer2+Clients获得更多信息）：

7.远程执行HSQL

将hive/bin、hive/lib、hive/conf和hive/examples打包，如：tarczfhive-bin.tar.gzhive/binhive/libhive/confhive/examples。

然后将hive-bin.tar.gz上传到其它机器，借助beeline即可远程执行HSQL（用hive可能会遇到问题，本文在操作时，使用hive，在执行HSQL时总会卡住，日志也没有记录特别原因，暂未去定位）。

8.基本命令

以下内容来自官网（GettingStarted），注意命令不区分大小写：

Hive的安装目录下有个examples子目录，存储了示例用到的数据文件等。测试往表invites中加载数据，将文件../examples/files/kv2.txt加载到表invites中：

可以通过“select*frominvites;”来检验加载情况，或者执行“selectcount(1)frominvites;”。

9.单点方案

可通过部署两个hive来解决单点，元数据库采用MySQL，MySQL和hive部署在相同机器上，两个MySQL配置成主主同步。

hive为一主一热备的方式，最好保证同一时刻只有一个hive提供服务，虽然很多情况下，两个hive都提供服务也能正常工作。

10.和Spark集成

Spark集成Hive非常简单，只需以下几步：

1)在spark-env.sh中加入HIVE_HOME，如：exportHIVE_HOME=/data/hadoop/hive

2)将Hive的hive-site.xml和hive-log4j.properties两个文件复制到Spark的conf目录下。

完成后，再次执行spark-sql进入Spark的SQLCli，运行命令showtables即可看到在Hive中创建的表。

示例：

./spark-sql--masteryarn--driver-class-path/data/hadoop/hive/lib/mysql-connector-java-5.1.38-bin.jar

11.和Sqoop集成

以sqoop-1.4.6.bin__hadoop-2.0.4-alpha为例，支持增量导入，不但可以将数据导入到Hive中，还可以往HBase导数据，也可以将数据从DB导入到HDFS存储。总之，Sqoop功能十分强大，但这里仅简单介绍。

从Sqoop的官网（下载网址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.6）下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz。

解压，然后进入Sqoop的conf目录，完成以下修改即可：

11.1.修改sqoop-env.sh

复制一份sqoop-env-template.sh，命名为sqoop-env.sh。在sqoop-env.sh中设置以下环境变量：

1)HADOOP_COMMON_HOME

值为Hadoop的安装目录，示例：exportHADOOP_COMMON_HOME=/data/hadoop

2)HADOOP_MAPRED_HOME

值为hadoop-common-*.tar文件所在目录，位于Hadoop安装目录之下。

示例：exportHADOOP_MAPRED_HOME=/data/hadoop/share/hadoop/common

3)HBASE_HOME

值为HBase的安装目录，示例：exportHBASE_HOME=/data/hbase

4)HIVE_HOME

值为Hive的安装目录，示例：exportHIVE_HOME=/data/hive

5)ZOOCFGDIR

值为Zookeeper的配置目录，示例：exportZOOCFGDIR=/data/zookeeper/conf

11.2.修改sqoop-site.xml

复制一份sqoop-site-template.xml，命名为sqoop-site.xml，可不做任何修改。

11.3.验证测试

1)列出MySQL数据库

2)根据MySQL表创建Hive表

如果Hive表需要分区，可以通过参数--hive-partition-key和--hive-partition-value来指定。

如果需覆盖已存在的Hive表，加上参数“--hive-overwrite”即可。“--hive-partition-key”值为分区名，默认为string型，“–hive-partition-value”为分区的值。

3)将数据从MySQL导入到Hive

建议带上参数“--direct”，表示使用快速模式，比如它会利用MySQL的工具mysqldump导出数据。

“-m”表示启用多少个map并行导入数据，默认是4个，最好不要将数字设置为高于集群的最大Map数。

“–table”用来指定要导入的DB表名，“--hive-import”表示从DB导入数据到Hive。还可以借助参数“--query”使用SQL有条件的从DB中导出。

如果需要指定字符集，使用参数“--default-character-set”，如：--default-character-setUTF-8。

12.常见错误

1)TIMESTAMPwithimplicitDEFAULTvalueisdeprecated

执行MySQL的“bin/mysqld--initialize--user=mysql”时报的错误。

原因是从MySQL5.6版本开始，timestamp的默认值已被标为deprecated，即如果类型为timestamp的字段，如果没有明确声明默认值为NULL，则默认为NOTNULL。如果设置timestamp字段为NULL，则自动存储当前的timestamp。

2)Can'tfinderror-messagefile'/usr/local/mysql/share/errmsg.sys'

执行MySQL的“bin/mysqld--initialize--user=mysql--explicit_defaults_for_timestamp”时报的错误。

这可能是因为之前有执行过，导致data目录不为空，通过“bin/mysqld--verbose--help|grepdatadir”可以查看到默认的数据目录为/var/lib/mysql/。需要保证/var/lib/mysql/目录为空。或者通过指定参数--datadir改变数据目录，如“bin/mysqld--initialize--user=mysql--explicit_defaults_for_timestamp--datadir=/data/mysql/data”。

3)Can'tfinderror-messagefile'/usr/local/mysql/share/errmsg.sys'

对于错误：

Can'tfinderror-messagefile'/usr/local/mysql/share/errmsg.sys'.Checkerror-messagefilelocationand'lc-messages-dir'configurationdirective.

从官网下载的MySQL默认安装目录为/usr/local/mysql，如果实际为其它目录，则建议通过参数--basedir指定，否则会遇到不少安装问题。通过执行“bin/mysqld--verbose--help|grepbasedir”即可看到“--basedir”的默认值为/usr/local/mysql/。

4)FailedtoconnecttotheMetaStoreServer

如果运行hiveserver2，遇到下列错误后，推荐打开DEBUG日志级别，以更查看更详细的信息，将日志配置文件hive-log4j.properties中的“hive.root.logger=WARN,DRFA”改成“hive.root.logger=DEBUG,WARN,DRFA”即可。

修改后，再次运行hiveserver2，日志变详细了，猜测是metastore没有起来，可以通过执行“hive--servicemetastore”来启动metastore。

5)Versioninformationnotfoundinmetastore

执行“./hive--servicemetastore”报下面这样的错误原因是未对metastore进行初始化，需要执行一次“schematool-dbTypemysql-initSchema”。

6)java.net.URISyntaxException:RelativepathinabsoluteURI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

解决办法：将hive-site.xml中所有的system:java.io.tmpdir都换成绝对路径，hive-1.2.1共有4处。

7)EstablishingSSLconnectionwithoutserver'sidentityverificationisnotrecommended

问题现象：

WedFeb1710:39:37CST2016WARN:EstablishingSSLconnectionwithoutserver'sidentityverificationisnotrecommended.AccordingtoMySQL5.5.45+,5.6.26+and5.7.6+requirementsSSLconnectionmustbeestablishedbydefaultifexplicitoptionisn'tset.ForcompliancewithexistingapplicationsnotusingSSLtheverifyServerCertificatepropertyissetto'false'.YouneedeithertoexplicitlydisableSSLbysettinguseSSL=false,orsetuseSSL=trueandprovidetruststoreforservercertificateverification.

解决办法是hive-site.xml中的配置项javax.jdo.option.ConnectionURL值需要加上“useSSL=false”，如：

jdbc:mysql://127.0.0.1:3306/hive?characterEncoding=UTF-8;useSSL=false。

8)SPARK_CLASSPATHwasdetected

SPARK_CLASSPATHwasdetected(setto'/data/hadoop/hive/lib/mysql-connector-java-5.1.38-bin.jar:').

ThisisdeprecatedinSpark1.0+.

Pleaseinsteaduse:

-./spark-submitwith--driver-class-pathtoaugmentthedriverclasspath

-spark.executor.extraClassPathtoaugmenttheexecutorclasspath

意思是不推荐在spark-env.sh中设置环境变量SPARK_CLASSPATH，可以改成如下推荐的方式：

./spark-sql--masteryarn--driver-class-path/data/hadoop/hive/lib/mysql-connector-java-5.1.38-bin.jar

13.相关文档

《HBase-0.98.0分布式安装指南》

《Hive1.2.1安装指南》

《ZooKeeper-3.4.6分布式安装指南》

《Hadoop2.3.0源码反向工程》

《在Linux上编译Hadoop-2.7.1》

《Accumulo-1.5.1安装指南》

《Drill1.0.0安装指南》

《Shark0.9.1安装指南》

更多，敬请关注技术博客：http://aquester.cublog.cn。