大数据集群搭建 - 2. CDH集群安装 - NTP,MYSQL,nginx安装

五、安装ntpd时间服务器

按照Cloudera的官方建议，所有的CDH节点和Cloudea Manager节点都需要启动ntpd服务。要不然会报如下错误： 
1. 此角色的主机的运行状况为不良。 以下运行状况测试不良： 时钟偏差. 
2. The host's NTP service is not synchronized to any remote server.

解决方法:
配置一台ntp服务器，所有的CDH节点作为此ntp服务器的客户端。
1.一台ntp服务器，192.168.168.81, 此机器负责与外部网络的ntp服务同步标准时间，并作为局域网内的ntp服务器。
2.两台ntp客户端,192.168.168.82,192.168.168.83, 这些机器与192.168.168.81服务器同步时间。

1.查看是否安装的ntp时间服务器
rpm -qa | grep ntp
2.安装ntp服务
yum install -y ntp ntpdate
3.修改ntp配置文件
vi /etc/ntp.conf

-----------------------------------------------------
ntp服务器需要修改的是
-----------------------------------------------------
# 中国这边最活跃的时间服务器 : http://www.pool.ntp.org/zone/cn
server 0.cn.pool.ntp.org
server 0.asia.pool.ntp.org
server 3.asia.pool.ntp.org

# allow update time by the upper server
# 允许上层时间服务器主动修改本机时间
restrict 0.cn.pool.ntp.org nomodify notrap noquery
restrict 0.asia.pool.ntp.org nomodify notrap noquery
restrict 3.asia.pool.ntp.org nomodify notrap noquery

# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available.
# 外部时间服务器不可用时，以本地时间作为时间服务
server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10


4.启动ntp服务
service ntpd start  启动ntp服务
service ntpd status 

5.设置开机启动
chkconfig ntpd on

查看是否已经打开服务
systemctl list-unit-files | grep ntp

6.查看服务连接和监听
netstat -tlunp | grep ntp

7.查看网络中的NTP服务器，同时显示客户端和每个服务器的关系
ntpq -p

8.查看时间同步状态，这个一般需要5-10分钟后才能成功连接和同步。所以，服务器启动后需要稍等下
ntpstat

客户端配置

1. 配置/etc/ntp.conf文件，在此文件中添加如下配置： 
server 192.168.168.81 prefer 
2. 执行chkconfig ntpd on，设置开机启动。
3. 执行service ntpd start启动ntpd服务。
4. 同步NTP-Server时间 
ntpdate -u 192.168.168.81
5. 执行hwclock –systohc，把系统时间同步到硬件BIOS。

安装好NTP之后，设置为开机自动启动，但是重启之后NTP并没有启动。
这是因为centos7已经安装了一个类似的工具chronyd。
需要先禁用chronyd。

systemctl enable ntpd
systemctl disable chronyd

六、安装mysql

1. 查看是否已经安装了mysql服务器
rpm -qa | grep -i mysql

2. 下载7.5 rpm
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm
sudo yum update

3. 安装mysql-server
sudo yum install mysql-server

4. 启动mysqld
sudo systemctl start mysqld

5. 设置开机启动
sudo systemctl enable mysqld

6. 配置msyql
首先停止mysql服务
sudo systemctl stop mysqld



安装JDBC驱动
1.下载JDBC驱动
http://www.mysql.com/downloads/connector/j/5.1.html (in .tar.gz format).
2.解压驱动包
tar zxvf mysql-connector-java-5.1.46.tar.gz
3.拷贝JDBC驱动，重命名，放到/usr/share/java/.
如果目标目录不存在，创建它。
sudo cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

七、安装nginx,挂载本地repo

步骤：

• 安装nginx，并打开目录浏览
• 下载CM和CDH的repo-as-tarball包

安装nginx,并打开目录浏览

安装nginx对应的源
rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
yum install nginx

开放目录权限
vi /etc/nginx/nginx.conf

在配置文件里面加入以下参数
autoindex on;
autoindex_exact_size on; 
autoindex_localtime on;

autoindex_exact_size on;
显示出文件的确切大小，单位是bytes。
改为off后，显示出文件的大概大小，单位是kB或者MB或者GB

autoindex_localtime on;
默认为off，显示的文件时间为GMT时间。
改为on后，显示的文件时间为文件的服务器时间

下载CM和CDH的repo-as-tarball包

下载跟OS发布版本对应的tar包

Cloudera Manager 5: 
https://archive.cloudera.com/cm5/repo-as-tarball/


检查centos的md5值
md5sum -c cm5.14.3-centos7.tar.gz.md5

拷贝解压后的文件到html目录下
cd /usr/share/nginx/html

我们可以通过http://dev-hd001/cm/来访问我们的仓库

指导地址

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_create_local_package_repo.html#cmig_topic_21_3

定义repo文件
vi /etc/yum.repos.d/cloudera-cm.repo
加入以下内容
# Packages for Cloudera's Distribution for cm, Version 5, on RedHat    or CentOS 7 x86_64
name=Cloudera's Distribution for cm, Version 5
baseurl=http://dev-hd001/cm/5.14.3/
gpgkey = http://dev-hd001/cm/RPM-GPG-KEY-cloudera    
gpgcheck = 1

安装CM
sudo yum install cloudera-manager-daemons cloudera-manager-server

拷贝驱动到cmf文件夹
cp mysql-connector-java.jar /usr/share/cmf/lib/

执行mysql配置语句
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep scm scm keep

执行完这条语句以后，我们发现db.properties文件发生了改变

[root@dev-fhcb-09-hd001 soft]# cat /etc/cloudera-scm-server/db.properties
# Auto-generated by scm_prepare_database.sh on Sun Oct  7 09:45:15 CST 2018
#
# For information describing how to configure the Cloudera Manager Server
# to connect to databases, see the "Cloudera Manager Installation Guide."
#
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=localhost
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=keep



sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep amon amon keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep rman rman keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep hue hue keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep metastore metastore keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep sentry sentry keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep nav nav keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep navms navms keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep oozie oozie keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep activity_monitor activity_monitor keep


启动CM
sudo systemctl start cloudera-scm-server

查看CM日志
sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

访问CM
http://dev-fhcb-09-hd001:7180/

每台机器上安装cdh agent

sudo yum install -y cloudera-manager-agent