Flink
许多大厂使用flin + storm.spart/storm是批处理大数据,flink是流处理大数据。也就是说支持增量的更新,不用牵一发而动全身,实施更改。
安装和部署。
可以用kubernates管理cluster,把程序部署到集群中。也可以部署到本地虚拟机。
nc -l -p 9000,然后输入命令行数据。
然后
datastream.map().keyby().print().sink()
关键概念:
flink支持savepoint, checkpoint,对出错点支持rollback,fallover.把运行中的状态保存到内存或者磁盘,同时支持watermark,所以数据是原子性的,有序的。
flink如何在代码级实现流的合并于通信,需要了解,以及并行度的问题
目前可以操作savePoint
相关推荐
raidtest 2020-10-09
匆匆那些年 2020-06-27
oXiaoChong 2020-06-20
yuchuanchen 2020-06-16
Spark高级玩法 2020-06-14
Leonwey 2020-06-11
Spark高级玩法 2020-06-09
文报 2020-06-09
xorxos 2020-06-07
xiaoyutongxue 2020-05-27
yuchuanchen 2020-05-27
阿尼古 2020-05-26
千慧 2020-05-18
yuchuanchen 2020-05-17
yuchuanchen 2020-05-16
Spark高级玩法 2020-05-11
yuchuanchen 2020-05-11