centos6.5 安装 hadoop 0.23.11 伪分布搭建
虚拟机是VMware10.0 + centos6.5, 配置难度不算高,
物理机IP:192.168.1.101,网关:192.168.1.1
虚拟机IP:192.168.1.201,网关:192.168.1.1
VMware Network Adapter VMnet8 IP:192.168.1.200 (NAT)
有两个问题:
1. 用PieTTY连接centos时,会拒绝连接,原因是sshd没有启动,需要配置sshd自动启动
#chkconfig --level 5 sshd on
2. 虚拟机无法上网,我暂时不知道怎么解决,目前不影响工作。
hadoop配置参考的是http://www.tuicool.com/articles/UnUnm2
但是里面漏写了几个地方,还有一些错误
1. 在运行start-dfs.sh 之前要格式化namenode,否则namenode进程不会启动,运行hadoop namenode -format
2. 运行start-yarn.sh 会出现找不到JAVA_HOME错误,有人说配置文件不是unix格式,好像不是这个问题。我是修改的 libexec/hadoop-config.sh, 在最上面加上JAVA_HOME=/usr/java/jdk8
3. 查到很多资料说可以把所有的环境变量配置到hadoop-env.sh这个文件,但是我没有找到,还是用老式的profile。有成功的朋友可以分享下,可能就是指hadoop-config.sh。
我折腾了几个晚上,最后祝大家都能配置成功。
相关推荐
changjiang 2020-11-16
minerd 2020-10-28
WeiHHH 2020-09-23
Aleks 2020-08-19
WeiHHH 2020-08-17
飞鸿踏雪0 2020-07-26
tomli 2020-07-26
deyu 2020-07-21
strongyoung 2020-07-19
eternityzzy 2020-07-19
Elmo 2020-07-19
飞鸿踏雪0 2020-07-09
飞鸿踏雪0 2020-07-04
xieting 2020-07-04
WeiHHH 2020-06-28
genshengxiao 2020-06-26
Hhanwen 2020-06-25