hadoop集群的启动与停止
@
目录
单点启动
- 如果集群是第一次启动,需要格式化
NameNode
hadoop namenode -format
- 在某一台机器上启动
NameNode
节点
hadoop-daemon.sh start namenode
- 在其他机器上启动
DataNode
节点
hadoop-daemon.sh start datanode
漫长的启动时间…………
思考:每次都一个一个节点启动,如果节点数增加到1000个怎么办?
早上来了开始一个一个节点启动,到晚上下班刚好完成,下班?
群起集群
- 先配置各个节点之间的SSH免密登陆,请看我之前的文章:
SSH实现免密登陆 - 配置slaves
文件路径:$HADOOP_HOME/etc/hadoop/slaves
在文件中增加以下内容:
hadoop101 hadoop102 hadoop103
这些名称是我的三台机器的主机名,各位请改成自己的主机名!
注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
- 如果集群是第一次启动,需要格式化
NameNode
,这里使用的命令是hdfs
,不是单点启动时的hadoop
hdfs namenode -format
- 启动HDFS
start-dfs.sh
- 启动YARN
start-yarn.sh
查看是否启动成功
web端查看SecondaryNameNode
浏览器中输入:http://主机名或IP地址:50090/status.html
集群启动/停止方式总结
- 各个服务组件逐一启动/停止
- 分别启动/停止HDFS组件
hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
- 启动/停止YARN
yarn-daemon.sh start / stop resourcemanager / nodemanager
- 各个模块分开启动/停止(配置ssh是前提)常用
- 整体启动/停止HDFS
start-dfs.sh / stop-dfs.sh
- 整体启动/停止YARN
start-yarn.sh / stop-yarn.sh
- HDFS、YARN同时启动、停止
start-all.sh / stop-all.sh