hadoop 集群运行的原理与使用

hadoop集群运行的原理与使用

就是在每台服务器上分别安装hadoop环境,配置文件中指定master在那个服务器上,yarn的ResourceManager在那个服务器上,在salves上指定从机的hostmane,以便master可以知道

安装好hadoop后,其实已经安装好是hadoop的客户端（命令行）,当你一其中一个服务器输入命令运行一个工作时，工作任务信息先会发送到ResourceManager,由ResourceManager按照集群的运行情况给这个工作申请资源，申请成功后分发工作(变成了一个或多个子工作)任务到相应的节点中去运行，运行成功结果返回给ResourceManager,ResourceManager接收到所有节点的工作结果后再返回结果给hadoop的客户端

hadoop集群部署(yarn)

https://blog.csdn.net/liuxinghao/article/details/51028839