Yarn架构

  • 主机1:ResourceManager
    • 处理客户端请求
    • 监控NodeManager
    • 启动或监控ApplicationMaster(干的活儿,单个任务)
    • 资源的分配与调度
  • 主机2:NodeManager
    • 管理单个节点上的资源
    • 处理ResourceManager的命令
    • 处理ApplicationMaser的命令
      • 负责数据的切分
      • 为应用程序申请资源并分配给内部任务
      • 任务的监控和容错
      • Container:封装了每个节点的多维度资源(内存,CPU,磁盘,网络)
  • 主机2:NodeManager
  • 主机4:NodeManager

相关推荐