回顾 | Apache Flink 1.9 版本新特性强势预告
6月29日,Apache Flink Meetup 北京站圆满落幕,Apache Flink 1.9 版本是自 Flink 1.0 之后变化最大的版本,社区对 Flink 进行大量重构并且加入了很多新 Feature。此次 Meetup 重点解读 Flink 1.9 版本新特性。
本期 Meetup 由 Apache Flink PMC 与 Committer 开场,对 Flink 1.9 版本新特性进行全面分享;阿里巴巴技术专家从 Table API 和算法层面分享 Flink 的机器学习生态;还有 Flink on Kubernetes 、Flink 1.9 版本与 Hive 的兼容性解读,以及超过千台集群、日处理条目超过 264 亿条,处理峰值超过 3.6 千万条 / s 的 Flink 在快手的应用实践。
《Apache Flink 1.9 特性解读》
杨克特 | Apache Flink Committer,阿里巴巴高级技术专家
戴资力 | Apache Flink PMC ,Ververica Software Engineer
《Apache Flink 1.9 特性解读》由鲁尼老师与戴资力老师从 Flink 1.9.0 的特性解读与未来版本计划两方面分享。新特性部分主要从 Flink 1.9.0 架构的改动、Table API & SQL、Runtime & Core 以及生态四部分内容,关于 Flink 未来的版本计划主要分享了 SQL、Runtime 以及 Flink 的周边生态。
1.Apache Flink 1.9.0 特性解读
- 架构改动
- Table API & SQL
- Runtime & Core
- 生态
2.未来版本计划
- SQL
- Runtime
- 生态
《打造基于 Flink Table API 的机器学习生态》
秦江杰 | Apache Kafka PMC,阿里巴巴 高级技术专家
《打造基于 Flink Table API 的机器学习生态》由秦江杰老师分享,主要从为什么选择 TableAPI + AI 以及如何构建基于 TableAPI 的 AI 生态系统。
1.Why TableAPI + AI?
2.Build an AI Ecosystem on TableAPI
- TableAPI enhancement
- Iteration
- Machine Learning Pipeline & ML Libs
- Deep Learning on Flink (TensorFlow, PyTorch)
《基于 Flink on Kubernetes 的大数据平台》
张凯 | 阿里云 高级技术专家
任春德 | 阿里云 高级技术专家
《基于 Flink on Kubernetes 的大数据平台》由张凯老师和任春德老师分享,主要从 K8s 简介、Flink on K8s、大数据平台以及展望四个方面分享。
- K8s 简介
- Flink on K8s
- 大数据平台
- 展望
《基于 Apache Flink 的高性能机器学习算法库》
杨旭 | 阿里巴巴 资深算法专家
《基于 Apache Flink 的高性能机器学习算法库》由杨旭老师分享,杨旭老师主要分享了阿里巴巴计算平台事业部与 Flink 社区合作,开源自研的机器学习算法库,如何基于该算法库更方便地构建高性能的 Flink 机器学习作业以及基于 Flink 研发高性能机器学习算法库过程中的技术积累与收获。
- 概论
- 高性能机器学习算法库介绍
- 高性能机器学习算法库的核心技术
- 开源
《Apache Flink 在快手的应用与实践》
董亭亭 | 快手 实时计算引擎团队负责人
《Apache Flink 在快手的应用与实践》由董亭亭老师分享,主要介绍 Flink 系统在快手的应用实践,以及快手遇到的稳定性、性能等相关问题以及解决思路。例如,如何解决 interval join 场景下 rockdb backend 的性能瓶颈、大量读取历史数据时多数据源取数速度差异导致的稳定性问题等等。
- Flink 在快手应用场景与规模
- 快手 Flink 引擎的优化与改进
- 未来计划
《Apache Flink 1.9 与 Hive 的兼容性》
李锐 | Apache Hive PMC,阿里巴巴技术专家
《Apache Flink 1.9 与 Hive 的兼容性》由李锐老师分享,主要介绍了 Flink 与 Hive 集成项目的背景,项目的设计与架构,在 Flink 1.9 中与 Hive 集成的进展,以及我们后续工作的计划等。
- Flink 与 Hive 项目集成的背景
- 设计架构
- 项目进展
- Q & A
以上是 Apache Flink Meetup 北京站的全部内容,感谢报名的 1000+ 同学以及到场的 600+ 同学!Flink 1.9 版本将是自 Flink 1.0 以后变化最大的一个版本,希望今天老师们的分享能够带大家对 Flink 1.9 版本有个前瞻性的了解 ,一起期待Flink 1.9 版本的正式发布!直播回顾请点击扩展链接。