熊猫直播：大视频数据业务的云上历程

在海量数据的大视频行业，如何满足大数据需求？ 12 月 20 日举办的北京云栖大会“企业云上业务优化”分论坛上，熊猫直播大数据技术专家卢圣刚，分享了熊猫直播不断优化云上资源，建立起灵活配置、高扩展性、易于运维的云上架构的宝贵经验。

作为知名泛娱乐直播平台，熊猫直播涵盖游戏、娱乐、综艺、户外、体育等多种泛娱乐直播内容。在身处大视频时代的当下，熊猫直播代表了众多大视频企业的大数据需求：面对分散在MySQL、Redis、MongoDB之中的数据源头，需要实现统一的数据存储；面对不同的业务场景和高速的业务发展，需要实现灵活的横向扩展——不仅能灵活添加开源组建，还需要能快速增加计算节点。

作为高速发展的直播平台，熊猫直播数据纬度多、数据量巨大——累计已经达到PB级，仅仅每天新增的就有几十T。就离线计算的数据量看，每天几百个日常计算任务，以及大量的临时查询需求。

为了满足这样的大数据需求，卢圣刚分享了熊猫直播从Fluentd+ODPS、到Flume+Ambari、再到Flume+EMR的架构演进历程。

阿里云EMR——ElasticMapReduce（E-MapReduce），是基于阿里云ECS之上半托管开源大数据软件栈。

卢圣刚分享了选择EMR的原因：“EMR的弹性动态伸缩，能够帮助熊猫直播直线快捷的扩容、缩容EMRHadoop集群，灵活、快速部署开源大数据服务（HBase、Kafka、Impala，Flink等），还具备数据存储成本低的优势。”

卢圣刚还特别了强调运维机制对于选择EMR的关键作用。阿里云企业服务对熊猫直播给予7* 24 小时钉钉群支持，快速解决集群使用问题。阿里云服务的支撑保障，使熊猫直播能够减少运维工作，更专注于业务。

未来，熊猫直播会将依托阿里云，继续深耕大视频数据业务，满足大视频时代不断演进的大数据需求。

免责声明：本文为厂商推广稿件，企业发布本文的目的在于推广其产品或服务，安科网发布此文仅为传递信息，不代表安科网赞同其观点，不对对内容真实性负责，仅供用户参考之用，不构成任何投资、使用等行为的建议。请读者使用之前核实真实性，以及可能存在的风险，任何后果均由读者自行承担。