Hadoop完全分布式搭建datanode无法启动原因
终于成功搭建完毕Hadoop完全分布式环境。其中耽误时间最长的是datanode无法启动。其实是自己的低级错误。
3台虚拟机,一台master,两台salve。
第一次错误,查看日志,是hdfs-site.xml文件配置拼写错误。
第二次到第N次 都是 slave无法连接到master ,以下是我检查的方向:
1.master 和 slave的防火墙确认是关闭的。
2.再次检查配置文件:fs.default.name 和mapred.job.tracker 的value值 master和ip都试试。
3.再第一次发生错误修改完毕后,format namenode时无法成功,这是因为配置的dfs.name.dir和dfs.data.dir文件目录没有删除 ,需要手动删除master和slave的相关文件夹。
4.ssh连接。 配置完ssh无密码登陆之后 , 需要连接一次(第一次连接会让你输入yes?),这正是我花费时间最长的地方。master连接slave,slave也要连接master。之后再format,启动hadoop,jps查看进程 成功启动。
从这次搭建环境中,学会了试着分析日志找到问题,同时通过一步步排除可能的原因得到最后的原因。
相关阅读:
相关推荐
changjiang 2020-11-16
minerd 2020-10-28
WeiHHH 2020-09-23
Aleks 2020-08-19
WeiHHH 2020-08-17
飞鸿踏雪0 2020-07-26
tomli 2020-07-26
deyu 2020-07-21
strongyoung 2020-07-19
eternityzzy 2020-07-19
Elmo 2020-07-19
飞鸿踏雪0 2020-07-09
飞鸿踏雪0 2020-07-04
xieting 2020-07-04
WeiHHH 2020-06-28
genshengxiao 2020-06-26
Hhanwen 2020-06-25