基于HybridDB for MySQL的企业ODS方案

随着DT时代的到来，数据的价值日益凸显。企业积累的数据越来越多，数据库的规模也达到成百上千个实例，数据的规模更可能达到上百TB甚至PB级。如何以合理的成本管理并维护海量实例，利用尽可能短的时间窗口进行挖掘分析，成为各个企业IT管理中的核心问题。

当前方案，在线处理和离线分离，系统架构详见下图

常见业务场景

1、为了满足分析需要，ETL策略为ELT（Extraction-Loading-Transformation），将全量数据同步到大数据平台中（MaxCompute、EMR、或自建Hadoop）中进行离线运算，定期完成数据整合后供如决策支持类分析型应用使用。

2、自建或者云上的大数据平台拉取生产数据：

a）不允许入侵到生产库，以免引起生产库的性能波动。

b）生产数据库申请只读实例，并设定相关权限。

c）大数据平台可通过同步工具（DTS、CDP等）访问只读实例，也可写相应调度任务和程序访问。

d）根据访问要求设置只读实例相关访问权限。

业务痛点

1、数据分析类

a）需要数据搬运，所以分析以T+1为主，很难做到实时分析。

b）即席查询只能基于各个只读实例，需要配置多个数据源，增加开发难度。

c）自助式查询，在执行SQL验证正确性时的时执行时间较长，影响开发效率。

2、运维类

a）除了日常维护外，还需要维护只读实例，包括白名单、访问控制、日志同步等。

b）自建数据库需要在自行搭建和维护只读实例，和云环境整体对接运维成本开销巨大。

c）当实例量超过100+后，运维难度成倍数增长。

解决之道：引入HTAP数据库HybridDB for MySQL数据库充当ODS层。查看详情

1、实时推送：使用非入侵的数据同步方案，替换原只读实例。将所有MySQL的生产数据实时同步推送到HybridDB for MySQL中，按需生成一份涵盖当前决策需求的镜像。

2、T+0分析支持：数据实时同步到HybridDB for MySQL中，可支撑T+0分析的查询场景。

3、数据回流加速查询：将离线计算后的结果回流HybridDB for MySQL，加速查询性能。和业务数据提供更好的交互式查询。

4、降低开发难度：数据源由若干只读实例变为一个HybridDB for MySQL，在一份数据上按需完成整合，极大地降低了发开复杂度。

5、降低运维成本：干只读实例的运维成本下降为一个HybridDB for MySQL实例，帮助DBA可以从繁琐的运维事务中抽身出来，将精力投入更有意义的事情中，从数据架构本身出发更好地指导业务发展。

关于HybridDB for MySQL

是同时支持在线事务(OLTP)和在线分析(OLAP)的关系型 HTAP 类数据库。

HTAP是Hybrid Transaction/Analytical Processing的简写，意为将数据的事务处理（TP）与分析（AP）混合处理，从而实现对数据的实时处理分析。