1 hadoop

hive的使用依赖hadoop,所以先介绍hadoop。

1.1 hadoop下载和安装

笔者是在Centos7.3上安装的hadoop,使用的是hadoop-3.2的版本。直接按照hadoop-2.9文档安装即可。

hadoop下载地址

1.2 设置hadoop的环境变量

hadoop的环境变量一定要设置，不然hive启动的时候会提示找不到hadoop。

在/etc/profile中加入
export $HADOOP_HOME=hadoop的安装路径
export $PATH=$PATH:$HADOOP_HOME/bin

注意：如果环境变量PATH设置错误，会导致一些命令失效。
centos 输入什么命令都失效

1.3 ssh localhost

启动hadoop的时候要求在不输入密码的情况下能够ssh localhost成功。在hadoop的官方文档有提到解决办法。我自己遇到的问题是：localhost:permission denied(publickey,password)

解决办法：
解决ssh localhost中root@localhost:要求输入密码问题（已经进行了无密码设置登录）
root用户操作文件：Operation not permitted

1.4 Name node is in safe mode

在使用bin/hdfs dfs -mkdir /tmp命令时出现Cannot create directory /usr. Name node is in safe mode问题，百度上很多答案都说用bin/hdfs dfsadmin -safemode leave关闭安全模式，但是我使用了这个命令，安全模式会自动再次打开，也有一种说法是磁盘满了，但是我的还有一半的空间没利用，最后没有找到其他办法，重启了Hadoop，就解决了。

2 hive

2.1 hive的下载和安装

我使用的是hive-3.1.1-bin版本，按照官方文档安装即可。

2.2 hive环境变量的配置

export HIVE_HOME=hive安装目录
export PATH=$PATH:$HIVE_HOME/bin

2.3 hive-site.xml配置

需要在添加一个数据库连接，如果在$HIVE_HOME/conf找不到hive-site.xml，可以自己创建一个。我使用的是mysql数据库。

hive-site.xml配置

在MySql数据库的连接url中要添加useSSL=false

遇到的问题：Unexpected character '=' (code 61); expected a semi-colon after the reference for entity 'useUnicode

2.4 元数据库初始化

FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

需要执行：schematool -dbType mysql -initSchema

2.5 mysql数据库

数据库是很早之前安装的，用的时候连接不上了，关闭mysql之后，启动不了。解决办法

用service mysqld start启动失败会提示使用service mysqld status和journalct -xe查看错误信息，但是这两个命令的结果都看不出错误信息。mysql的日志在/var/log/mysqld.log文件中，可以使用tail -n 1000 /var/log/mysqld.log查看错误信息。再错误信息排错。

以上就是自己在安装hadoop和hive的过程中遇到的问题，做个记录。