Flink中逻辑计划和物理计划的概念划分和对应关系
逻辑计划
- logicGraph或者jobGraph,其端点为operator,edge为数据流向。
- operator往往代表一个函数。
同一个分区内的具有连续上下游关系的函数组成operator-chain,一个operator-chain内的数据来流动过程中不会出现序列化和分区间的网络通信。
物理计划
- physicalGraph是逻辑执行计划为并行执行而翻译的结果,其端点为task,edge为数据流向及数据分区。
- 一个task描述了一个operator或者operator-chain在分布式环境下对应的执行实例,是最小的调度单元。
- 一个sub-task是处理分区数据的task在分布式环境下的一个分身。
一个slot一时间只能执行一个sub-task(业务上一个slot一时间只能处理一条消息)。
相关推荐
amicablehj 2020-11-16
Cherishyuu 2020-06-16
Boy木 2020-06-12
吴家应 2020-03-02
园搬家测试账号 2020-04-26
dreamhua 2020-03-03
Cherishyuu 2020-02-20
chognzhihongseu 2020-01-30
CharlesYooSky 2019-12-27
lixiaotao 2019-12-17
黑板报 2019-12-17
zhongcanw 2019-11-10
yukyinbaby 2019-11-08
hanyueqi 2019-11-05
goawalk 2010-09-07
宿舍 2019-10-24
编程点滴 2018-04-30
mazegong 2018-09-18
wolf的技术 2016-09-20