Hadoop面试题2020
- 元数据更新过程?
- MapReduce的Shuffle过程?
- HDFS的读的流程?
- HDFS写的流程?
- 如何将hadoop配置文件从一台机器同步到另一台机器上?
- scp -r hadoop-2.7.3 :/opt/modules/
- 如何终止yarn上正在运行的程序?
- yarn application -kill id
- yarn的运行流程?
- 客户端提交运行程序请求给ResourceManager(8032)
- resourcemanager中的APP manager随机选择一台nodemanager启动APP master
- APP master 向APP manager申请资源
- APP manager通过resource schedule向APP master分配资源和指令(container:资源(每台机器能够使用的资源)和指令集)
- APP master在每台nodemanager上启动map task以及reduce task
- 将所有的资源及指令分配给每个nodemanager,每个nodemanager对自己负责的数据进行处理
- 每个map task及reduce task将处理后的结果返回给app master
- app master将总的结果反馈给APP manager及客户端
相关推荐
liuxudong00 2020-11-19
wwzaqw 2020-11-11
lihaoxiang 2020-11-05
CrossingX 2020-11-04
xuegangic 2020-10-17
86417413 2020-11-25
83206733 2020-11-19
86276537 2020-11-19
83266337 2020-11-19
86256434 2020-11-17
zhouboxiao 2020-11-16
rise 2020-11-22
sssdssxss 2020-11-20
windle 2020-11-10
孙雪峰 2020-10-30
85477104 2020-11-17
xfcyhades 2020-11-20
cheidou 2020-11-19