centos6.7 64位 伪分布 安装 cdh5.4.8 + jdk 8
一、安装JAVA
#创建JAVA的目录
mkdir-p/usr/java
cd/usr/java
#将下载的rpm包移到此目录
#执行安装
rpm-ivhjdk-8u65-linux-x64.rpm(对应你的rpm)
#增加环境变量
vim/etc/profile
修改profile最后面加入
exportJAVA_HOME=/usr/java/jdk1.8.0_65
exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
exportPATH=$PATH:$JAVA_HOME/bin
#保存退出,之后运行
source/etc/profile
#之后运行
update-alternatives--install/usr/bin/javajava/usr/java/jdk1.8.0_65/bin/java60
update-alternatives--configjava
#测试java安装
java-version
出现
javaversion"1.8.0_65"
Java(TM)SERuntimeEnvironment(build1.8.0_65-b17)
JavaHotSpot(TM)64-BitServerVM(build25.65-b01,mixedmode)
表示安装完成
二、centos伪分布安装cdh5
下载CDH文件
#创建目录,并切换到此目录
mkdir/opt/soft
cd/opt/soft
#下载文件
wgethttp://archive.cloudera.com/cdh5/one-click-install/redhat/5/x86_64/cloudera-cdh-5-0.x86_64.rpm
#然后使用yum命令在本地安装
sudoyum--nogpgchecklocalinstallcloudera-cdh-5-0.x86_64.rpm
开始安装
(Optionally)addarepositorykey:
$sudorpm--importhttp://archive.cloudera.com/cdh5/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera
2.安装Hadoop伪节点模式
$sudoyuminstallhadoop-conf-pseudo
启动Hadoop并验证环境
#至此，Hadoop的伪节点安装已经完毕，下面我们就开始做一些配置，并启动Hadoop
#1.格式化NameNode
sudo-uhdfshdfsnamenode-format
#2.启动HDFS
forxin`cd/etc/init.d;lshadoop-hdfs-*`;dosudoservice$xstart;done
此处这样写主要是hadoop相关的命令在/etc/init.d/里面
为了验证是否启动成功，可以在浏览器里输入地址：http://localhost:50070(localhost也可更改为ip地址)进行查看
#3.创建/tmp，Staging以及Log的目录
$sudo-uhdfshadoopfs-mkdir-p/tmp/hadoop-yarn/staging/history/done_intermediate
$sudo-uhdfshadoopfs-chown-Rmapred:mapred/tmp/hadoop-yarn/staging
$sudo-uhdfshadoopfs-chmod-R1777/tmp
$sudo-uhdfshadoopfs-mkdir-p/var/log/hadoop-yarn
$sudo-uhdfshadoopfs-chownyarn:mapred/var/log/hadoop-yarn
#运行下面的指令，来查看文件是否建立:
$sudo-uhdfshadoopfs-ls-R/
#启动YARN(YARN是MapReduce的升级版)
sudoservicehadoop-yarn-resourcemanagerstart
sudoservicehadoop-yarn-nodemanagerstart
sudoservicehadoop-mapreduce-historyserverstart
#创建用户目录,为每个MapReduce用户创建home目录，<user>替换为你的用户
注意如果你想使用其他用户名比如myuser，那么你需要额外进行如下的操作
---------------------------------------------------------------------
useraddmyuser--创建用户
vim/etc/sudoers--修改myuser用户的权限
source/etc/sudoers--保存修改内容后，重启
sumyuser--切换用户
接下来执行下面的操作（若是不想添加下面的<user>用root替换；否则就用新建的用户替换）
---------------------------------------------------------------------
$sudo-uhdfshadoopfs-mkdir-p/user/<user>
$sudo-uhdfshadoopfs-chown<user>/user/<user>
#测试HDFS
$hadoopfs-mkdirinput
$hadoopfs-put/etc/hadoop/conf/*.xmlinput
$hadoopfs-lsinput
若是输出如下内容恭喜你成功了
-rw-r--r--1myusersupergroup21332015-11-0808:28input/core-site.xml
-rw-r--r--1myusersupergroup23242015-11-0808:28input/hdfs-site.xml
-rw-r--r--1myusersupergroup15492015-11-0808:28input/mapred-site.xml
-rw-r--r--1myusersupergroup23752015-11-0808:28input/yarn-site.xml