MapReduce作业大规模迁移Apache Spark在百度的实践

本文来自于2018年11月3日在上海举办的上海Spark+AI第十五次聚会。分享者叶先进，百度智能云技术二部, 高级研发工程师, 目前专注于分布式计算方向. 参与 Baidu 内部的 MR/Spark 的计算引擎研发, 是 Spark 社区的开源贡献者。

Baidu 拥有世界领先规模的 Hadoop/Spark 集群, 目前 MR 集群在厂内仍有日均过 50P 级别的输入数据处理量. 但随着架构的变迁和 Spark 生态的不断成熟, MR 在内部正在逐渐被 Spark 生态替换. 本分享介绍百度计算团队推动 MR 迁移 Spark 的一些背景, 后面介绍了许多踩坑以及解决方案，值得大家学习。

立刻关注本微信公众号 iteblog_hadoop 并回复 mr_to_spark 关键字获取本文 PPT。