从SQL Server到MySQL，近百亿数据量迁移实战

我们成立于 2001 年，作为较早期的教育学习网站，当时技术选型范围并不大：Java 的版本是 1.2，C# 尚未诞生，MySQL 还没有被 Sun 收购，版本号是 3.23。工程师们选择了当时最合适的微软体系，并在日后的岁月里，逐步从 ASP 过度到 .net，数据库也跟随 SQL Server 进行版本升级。

十几年过去了，技术社区已经发生了天翻地覆的变化。沪江部分业务还基本在 .net 体系上，这给业务持续发展带来了一些限制，在人才招聘、社区生态、架构优化、成本风险方面都面临挑战。集团经过慎重考虑，发起了大规模的去 Windows 化项目。这其中包含两个重点子项目：开发语言从 C# 迁移到 Java，数据库从 SQL Server 迁移到 MySQL。

本文主要向大家介绍，从 SQL Server 迁移到 MySQL 所面临的问题和我们的解决方案。

迁移方案的基本流程

设计迁移方案需要考量以下几个指标：

• 迁移前后的数据一致性；
• 业务停机时间；
• 迁移项目是否对业务代码有侵入；
• 需要提供额外的功能：表结构重构、字段调整。

经过仔细调研，在平衡复杂性和业务方需求后，迁移方案设计为两种：停机数据迁移和在线数据迁移。如果业务场景允许数小时的停机，那么使用停机迁移方案，复杂度低，数据损失风险低。如果业务场景不允许长时间停机，或者迁移数据量过大，无法在几个小时内迁移完成，那么就需要使用在线迁移方案了。

数据库停机迁移的流程：

停机迁移逻辑比较简单，使用 ETL（Extract Translate Load） 工具从 Source 写入 Target，然后进行一致性校验，最后确认应用运行 OK，将 Source 表名改掉进行备份。

在线迁移的流程：

在线迁移的方案稍微复杂一些，流程上有准备全量数据，然后实时同步增量数据， 在数据同步跟上（延迟秒级别）之后，进行短暂停机（Hang 住，确保没有流量），就可以使用新的应用配置，并使用新的数据库。

需要解决的问题

从 SQL Server 迁移到 MySQL，核心是完成异构数据库的迁移。

基于两种数据迁移方案，我们需要解决以下问题：

• 两个数据库的数据结构是否可以一一对应？出现不一致如何处理？
• MySQL 的使用方式和 SQL Server 使用方式是否一致？有哪些地方需要注意？
• 如何确保迁移前后的数据一致性？
• 在迁移中，如何支持数据结构调整？
• 如何保证业务不停情况下，实现在线迁移？
• 数据迁移后如果发现业务异常需要回滚，如何处理新产生的数据？

为了解决以上问题，我们需要引入一整套解决方案，包含以下部分：

• 指导文档 A：SQL Server 转换 MySQL 的数据类型对应表；
• 指导文档 B：MySQL 的使用方式以及注意点；
• 支持表结构变更，从 SQL Server 到 MySQL 的 ETL 工具；
• 支持 SQL Server 到 MySQL 的在线 ETL 工具；
• 一致性校验工具；
• 一个回滚工具。

让我们一一来解决这些问题。

SQL Server 到 MySQL 指导文档

非常幸运的是，MySQL 官方早就准备了一份如何从其他数据库迁移到 MySQL 的白皮书。MySQL :: Guide to Migrating from Microsoft SQL Server to MySQL 里提供了详尽的从 SQL Server 到 MySQL 的对应方案。 包含了：

• SQL Server to MySQL - Datatypes 数据类型对应表；
• SQL Server to MySQL - Predicates 逻辑算子对应表；
• SQL Server to MySQL - Operators and Date Functions 函数对应表；
• T-SQL Conversion Suggestions 存储过程转换建议。

需要额外处理的数据类型：

在实际进行中，还额外遇到了一个用来解决树形结构存储的字段类型 Hierarchyid。这个场景需要额外进行业务调整。

我们在内部做了针对 MySQL 知识的摸底排查工作，并进行了若干次的 MySQL 使用技巧培训，将工程师对 MySQL 的认知拉到一根统一的线。

关于存储过程使用，我们和业务方也达成了一致：所有 SQL Server 存储过程使用业务代码进行重构，不能在 MySQL 中使用存储过程。原因是存储过程增加了业务和 DB 的耦合，会让维护成本变得极高。另外，MySQL 的存储过程功能和性能都较弱，无法大规模使用。

最后我们提供了一个 MySQL 开发规范文档，借数据库迁移的机会，将之前相对混乱的表结构设计做了统一约束（部分有业务绑定的设计，在考虑成本之后没有做调整）。

ETL 工具

ETL 的全称是 Extract Translate Load（读取、转换、载入），数据库迁移最核心过程就是 ETL 过程。如果将 ETL 过程简化，去掉 Translate 过程，就退化为一个简单的数据导入导出工具。我们可以先看一下市面上常见的导入导出工具，了解他们的原理和特性，方便我们选型。

MySQL 同构数据库数据迁移工具：

• mysqldump 和 mysqlimport：MySQL 官方提供的 SQL 导入导出工具；
• pt-table-sync：Percona 提供的主从同步工具；
• XtraBackup：Percona 提供的备份工具。

异构数据库迁移工具：

• Database migration and synchronization tools：国外一家提供数据库迁移解决方案的公司；
• DataX ：阿里巴巴开发的数据库同步工具；
• yugong ：阿里巴巴开发的数据库迁移工具；
• MySQL Workbench ：MySQL 提供的 GUI 管理工具，包含数据库迁移功能；
• Data Integration - Kettle ：国外的一款 GUI ETL 工具；
• Ispirer ：提供应用程序、数据库异构迁移方案的公司；
• DB2DB 数据库转换工具 ：国产的一款商业数据库迁移软件；
• Navicat Premium ：经典的数据库管理工具，带数据迁移功能；
• DBImport ：个人维护的迁移工具，非常简陋，需要付费。

看上去异构数据库迁移工具和方案很多，但经过我们调研，其中不少是为老派的传统行业服务的。比如 Kettle / Ispirerer，他们关注的特性，不能满足互联网公司对性能、迁移耗时的要求。简单筛选后，以下几款工具进入了我们候选列表（为了做特性对比，加入几个同构数据库迁移工具）：

由于异构数据库迁移，真正能够进入我们选型的只有 DataX / yugong / DB2DB / MySQL Workbench。经过综合考虑，我们最终选用了三种方案，DB2DB 提供小数据量、简单模式的停机模式支持，足以应付小数据量的停机迁移，开发工程师可以自助完成。DataX 为大数据量的停机模式提供服务，使用 JSON 进行配置，通过修改查询 SQL，可以完成一部分结构调整工程。yugong 的强大可定制性也为在线迁移提供了基础，我们在官方开源版本的基础之上，增加了以下额外功能：

• 支持 SQL Server 作为 Source 和 Target；
• 支持 MySQL 作为 Source；
• 支持 SQL Server 增量更新；
• 支持使用 YAML 作为配置格式；
• 调整 yugong 为 fat jar 模式运行；
• 支持表名、字段名大小写格式变化，驼峰和下划线自由转换；
• 支持表名、字段名细粒度自定义；
• 支持复合主键迁移；
• 支持迁移过程中完成 Range / Time / Mod / Hash 分表；
• 支持新增、删除字段。

关于 yugong 的二次开发，我们也积累了一些经验，下文会详细分享。

一致性校验工具

在 ETL 之后，需要有一个流程来确认数据迁移前后是否一致。虽然理论上不会有差异，但是如果中间有程序异常，或者数据库在迁移过程中发生操作，数据就会不一致。

业界有没有类似的工具呢？有，Percona 提供了 pt-table-checksum 这样的工具，这个工具设计从 master 使用 checksum 来和 slave 进行数据对比。这个设计场景是为 MySQL 主从同步设计，显然无法完成从 SQL Server 到 MySQL 的一致性校验。尽管如此，它的一些技术设计特性也值得参考：

• 一次检查一张表；
• 每次检查表，将表数据拆分为多个 trunk 进行检查；
• 使用 REPLACE...SELECT 查询，避免大表查询的长时间带来的不一致性；
• 每个 trunk 的查询预期时间是 0.5s；
• 动态调整 trunk 大小，使用指数级增长控制大小；
• 查询超时时间 1s / 并发量 25；
• 支持故障后断点恢复；
• 在数据库内部维护 src / diff，meta 信息；
• 通过 Master 提供的信息自动连接上 slave；
• 必须 Schema 结构一致。

我们选择 yugong 作为 ETL 工具的一大原因也是因为它提供了多种模式。支持 CHECK / FULL / INC / AUTO 四种模式。其中 CHECK 模式就是将 yugong 作为数据一致性检查工具使用。yugong 工作原理是通过 JDBC 根据主键范围变化，将数据取出进行批量对比。

这个模式会遇到一点点小问题，如果数据库表没有主键，将无法进行顺序对比。其实不同数据库有自己的逻辑主键，Oracle 有 rowid，SQL Server 有 physloc。这种方案可以解决无主键进行比对的问题。

如何回滚

我们需要考虑一个场景，在数据库迁移成功之后业务已经运行了几个小时，但是遇到了一些 Critical 级别的问题，必须回滚到迁移之前状态。这时候如何保证这段时间内的数据更新到老的数据库里面去？

最朴素的做法是，在业务层面植入 DAO 层的打点，将 SQL 操作记录下来到老数据库进行重放。这种方式虽然直观，但是要侵入业务系统，直接被我们否决了。其实这种方式是 binlog statement based 模式，理论上我们可以直接从 MySQL 的 binlog 里面获取数据变更记录。以 row based 方式重放到 SQL Server。

这时候又涉及到逆向 ETL 过程，因为很可能 Translate 过程中，做了表结构重构。我们的解决方法是，使用 Canal 对 MySQL binlog 进行解析，然后将解析之后的数据作为数据源，将其中的变更重放到 SQL Server。

由于回滚的过程也是 ETL，基于 yugong，我们继续定制了 SQL Server 的写入功能，这个模式类似于在线迁移，只不过方向是从 MySQL 到 SQL Server。

其他实践

我们在迁移之前做了大量压测工作， 并针对每个迁移的 DB 进行线上环境一致的全真演练。我们构建了和生产环境机器配置一样、数据量一样的测试环境，并要求每个系统在上线之前都进行若干次演练。演练之前准备详尽的操作手册和事故处理方案。演练准出的标准是：能够在单次演练中不出任何意外，时间在估计范围内。通过演练我们保证了整个操作时间可控，减少操作时的风险。

为了让数据库的状态能更为直观地展现出来，我们对 MySQL / SQL Server 添加了细致的 Metrics 监控。在测试和迁移过程中，可以便利地看到数据库的响应情况。

为了方便 DBA 快速 Review SQL。我们提供了一些工具，直接将代码库中的 SQL 拎出来，可以方便地进行 SQL Review。再配合其他 SQL Review 工具，比如 Meituan-Dianping / SQLAdvisor，可以实现一部分自动化，提高 DBA 效率，避免线上出现明显的 Slow SQL。

小结

基于这几种方案我们打了一套组合拳。经过将近一年的使用，进行了 28 个通宵，迁移了 42 个系统，完成了包括用户、订单、支付、电商、学习、社群、内容和工具的迁移。迁移的数据总规模接近百亿，所有迁移项目均一次成功。迁移过程中积累了丰富的实战经验，保障了业务快速向前发展。

在线迁移的原理和流程

上文介绍了从 SQL Server 到 MySQL 异构数据库迁移的基本问题和全量解决方案。全量方案可以满足一部分场景的需求，但是这个方案仍然是有缺陷的：迁移过程中需要停机，停机的时长和数据量相关。对于核心业务来说，停机就意味着损失。比如用户中心的服务，以它的数据量来使用全量方案，会导致迁移过程中停机若干个小时。而一旦用户中心停止服务，几乎所有依赖于这个中央服务的系统都会停摆。

能不能做到无缝地在线迁移呢？系统不需要或者只需要极短暂的停机？作为有追求的技术人，我们一定要想办法解决这些问题。

针对 Oracle 到 MySQL，市面上已经有比较成熟的解决方案——alibaba 的 yugong 项目。在解决 SQL Server 到 MySQL 在线迁移之前，我们先研究一下 yugong 是如何做到 Oracle 的在线迁移。

下图是 yugong 针对 Oracle 到 MySQL 的增量迁移流程：

这其中有四个步骤：

1. 增量数据收集（创建 Oracle 表的增量物化视图）；
2. 进行全量复制；
3. 进行增量复制（可并行进行数据校验）；
4. 原库停写，切到新库。

Oracle 物化视图（Materialized View）是 Oracle 提供的一个机制。一个物化视图就是主库在某一个时间点上的复制，可以理解为是这个时间点上的 Snapshot。当主库的数据持续更新时，物化视图的更新则是要通过独立的批量更新完成，称之为 refreshes。一批 refreshes 之间的变化，就可以对应到数据库的内容变化情况。物化视图经常用来将主库的数据复制到从库，也常常在数据仓库用来缓存复杂查询。

物化视图有多种配置方式，这里比较关心刷新方式和刷新时间。刷新方式有三种：

• Complete Refresh：删除所有数据记录重新生成物化视图；
• Fast Refresh：增量刷新；
• Force Refresh：根据条件判断使用 Complete Refresh 和 Fast Refres。

刷新机制有两种模式： Refresh-on-commit 和 Refresh-On-Demand。

Oracle 基于物化视图，就可以完成增量数据的获取，从而满足阿里的数据在线迁移。将这个技术问题泛化一下，想做到在线增量迁移需要有哪些特性？

我们得到如下结论（针对源数据库）：

• 增量变化：支持增量获得增量数据库变化；
• 延迟：获取变化数据这个动作耗时需要尽可能低；
• 幂等一致性：变化数据的消费应当做到幂等，即不管目标数据库已有数据什么状态，都可以无差别消费。

回到我们面临的问题上来，SQL Server 是否有这个机制满足这三个特性呢？答案是肯定的，SQL Server 官方提供了 CDC 功能。

CDC 的工作原理

什么是 CDC？CDC 全称 Change Data Capture，设计目的就是用来解决增量数据的。它是 SQL Server 2008 新增的特性，在这之前可以使用 SQL Server 2005 中的 after insert / afterdelete/ after update Trigger 功能来获得数据变化。

CDC 的工作原理如下：

当数据库表发生变化时候，Capture process 会从 transaction log 里面获取数据变化，然后将这些数据记录到 Change Table 里面。有了这些数据，用户可以通过特定的 cdc 存储查询函数将这些变化数据查出来。

CDC 的数据结构和基本使用

CDC 的核心数据就是那些 Change Table 了，这里我们给大家看一下Change Table 长什么样，可以有个直观的认识。

通过以下的函数打开一张表（fruits）的 CDC 功能。

-- enable cdc 
for
 db
sys.sp_cdc_enable_db;
-- enable 
by
 table
EXEC sys.sp_cdc_enable_table 
@source_schema
 = N
'dbo'
, 
@source_name
 = N
'fruits'
, 
@role_name
 = NULL;
-- list cdc enabled table
SELECT name, is_cdc_enabled 
from
 sys.databases 
where
 is_cdc_enabled = 
1
;

左右滑动可完整查看

至此 CDC 功能已经开启，如果需要查看哪些表开启了 CDC 功能，可以使用一下 SQL：

-- list cdc enabled table
SELECT name, is_cdc_enabled 
from
 sys.databases 
where
 is_cdc_enabled = 
1
;

左右滑动可完整查看

开启 CDC 会导致产生一张 Change Table 表 cdc.dbo_fruits_CT，这张表的表结构如何呢？

.schema cdc.dbo_fruits_CT
name 
default
 nullable type length indexed
-------------- ------- -------- ------------ ------ -------
__$end_lsn 
null
 YES binary 
10
 NO
__$operation 
null
 NO 
int
 
4
 NO
__$seqval 
null
 NO binary 
10
 NO
__$start_lsn 
null
 NO binary 
10
 YES
__$update_mask 
null
 YES varbinary 
128
 NO
id 
null
 YES 
int
 
4
 NO
name 
null
 YES varchar(
255
) 
255
 NO

左右滑动可完整查看

这张表的 __ 开头的字段是 CDC 所记录的元数据， id 和 name 是 fruits 表的原始字段。这意味着 CDC 的表结构和原始表结构是一一对应的。

接下来我们做一些业务操作，让数据库的数据发生一些变化，然后查看 CDC 的 Change Table：

-- 
1
 step
DECLARE 
@begin_time
 datetime, 
@end_time
 datetime, 
@begin_lsn
 binary(
10
), 
@end_lsn
 binary(
10
);
-- 
2
 step
SET 
@begin_time
 = 
'2017-09-11 14:03:00.000'
;
SET 
@end_time
 = 
'2017-09-11 14:10:00.000'
;
-- 
3
 step
SELECT 
@begin_lsn
 = sys.fn_cdc_map_time_to_lsn(
'smallest greater than'
, 
@begin_time
);
SELECT 
@end_lsn
 = sys.fn_cdc_map_time_to_lsn(
'largest less than or equal'
, 
@end_time
);
-- 
4
 step
SELECT * FROM cdc.fn_cdc_get_all_changes_dbo_fruits(
@begin_lsn
, 
@end_lsn
, 
'all'
);

左右滑动可完整查看

这里的操作含义是：

1. 定义存储过程中需要使用的 4 个变量；
2. begintime / endtime 是 Human Readable 的字符串格式时间；
3. beginlsn / endlsn 是通过 CDC 函数转化过的 Log Sequence Number，代表数据库变更的唯一操作 ID；
4. 根据 beginlsn / endlsn 查询到 CDC 变化数据。

查询出来的数据如下所示：

__$start_lsn __$end_lsn __$seqval __$operation __$update_mask id name
-------------------- ---------- -------------------- ------------ -------------- -- ------
0000dede0000019f001a
 
null
 
0000dede0000019f0018
 
2
 
03
 
1
 apple
0000dede000001ad0004
 
null
 
0000dede000001ad0003
 
2
 
03
 
2
 apple2
0000dede000001ba0003
 
null
 
0000dede000001ba0002
 
3
 
02
 
2
 apple2
0000dede000001ba0003
 
null
 
0000dede000001ba0002
 
4
 
02
 
2
 apple3
0000dede000001c10003
 
null
 
0000dede000001c10002
 
2
 
03
 
3
 apple4
0000dede000001cc0005
 
null
 
0000dede000001cc0002
 
1
 
03
 
3
 apple4

左右滑动可完整查看

可以看到 Change Table 已经如实的记录了我们操作内容，注意 __$operation 代表了数据库操作：

• 1 删除
• 2 插入
• 3 更新前数据
• 4 更新后数据

根据查出来的数据，我们可以重现这段时间数据库的操作：

• 新增了 id 为 1 / 2 的两条数据；
• 更新了 id 为 2 的数据；
• 插入了 id 为 3 的数据；
• 删除了 id 为 3 的数据。

CDC 调优

有了 CDC 这个利器，意味着我们的方向是没有问题的，终于稍稍吁了一口气。但除了了解原理和使用方式，我们还需要深入了解 CDC 的工作机制，对其进行压测、调优，了解其极限和边界，否则一旦线上出现不可控的情况，就会对业务带来巨大损失。

我们先看看 CDC 的工作流程，就可以知道有哪些核心参数可以调整：

上图是 CDC Job 的工作流程：

• 蓝色区域是一次 Log 扫描执行的最大扫描次数：maxscans number（maxscans）；
• 蓝色区域同时被最大扫描 transcation 数量控制：maxtrans；
• 浅蓝色区域是扫描间隔时间，单位是秒：pollinginterval。

这三个参数平衡着 CDC 的服务器资源消耗、吞吐量和延迟，根据具体场景，比如大字段，宽表，BLOB 表，可以调整从而达到满足业务需要。他们的默认值如下：

• maxscan 默认值 10；
• maxtrans 默认值 500；
• pollinginterval 默认值 5 秒。

CDC 压测

掌握了能够调整的核心参数，我们即将对 CDC 进行了多种形式的测试。在压测之前，我们还需要确定关键的健康指标，这些指标有：

• 内存：buffer-cache-hit / page-life-expectancy / page-split 等；
• 吞吐：batch-requets / sql-compilations / sql-re-compilations / transactions count；
• 资源消耗：user-connections / processes-blocked / lock-waits / checkpoint-pages；
• 操作系统层面：CPU 利用率、磁盘 IO。

出于篇幅考虑，我们无法将所有测试结果贴出来，这里放一个在并发 30 下面插入一百万数据（随机数据）进行展示：

测试结论是，在默认的 CDC 参数下面：

CDC 的开启/关闭过程中会导致若干个 Process Block，大流量请求下面（15k TPS）过程会导致约 20 个左右 Process Block。这个过程中对服务器的 IO / CPU 无明显波动，开启/关闭瞬间会带来 mssql.sql-statistics.sql-compilations 剧烈波动。CDC 开启后，在大流量请求下面对 QPS / Page IO 无明显波动，对服务器的 IO / CPU 也无明显波动， CDC 开启后可以在 16k TPS 下正常工作。

如果对性能不达标，官方有一些简单的优化指南：

• 调整 maxscan maxtrans pollinginterval；
• 减少在插入后立刻插入；
• 避免大批量写操作；
• 限制需要记录的字段；
• 尽可能关闭 net changes；
• 没任务压力时跑 cleanup；
• 监控 log file 大小和 IO 压力，确保不会写爆磁盘；
• 要设置 filegroup_name；
• 开启 spcdcenable_table 之前设置 filegroup。

yugong 的在线迁移机制

截至目前为止，我们已经具备了 CDC 这个工具，但是这仅仅提供了一种可能性，我们还需要一个工具将 CDC 的数据消费出来，并喂到 MySQL 里面去。

还好有 yugong。Yugong 官方提供了 Oracle 到 MySQL 的封装，并且抽象了 Source / Target / SQL Tempalte 等接口，我们只要实现相关接口，就可以完成从 SQL Server 消费数据到 MySQL 了。

这里我们不展开，我后续还会专门写一篇文章讲如何在 yugong 上面进行开发。可以提前剧透一下，我们已经将支持 SQL Server 的 yugong 版本开源了。

如何回滚

数据库迁移这样的项目，我们不仅仅要保证单向从 SQL Server 到 MySQL 的写入，同时要从 MySQL 写入 SQL Server。

这个流程同样考虑增量写入的要素：增量消费、延迟、幂等一致性。

MySQL 的 binlog 可以满足这三个要素，需要注意的是，MySQL binlog 有三种模式，Statement based、Row based 和 Mixed。只有 Row based 才能满足幂等一致性的要求。

确认理论上可行之后，我们一样需要一个工具将 binlog 读取出来，并且将其转化为SQL Server 可以消费的数据格式，然后写入 SQL Server。

我们目光转到 alibaba 的另外一个项目 Canal。Canal 是阿里中间件团队提供的 binlog 增量订阅 & 消费组件。之所以叫组件，是由于 Canal 提供了 Canal-Server 应用和 Canal Client Library，Canal 会模拟成一个 MySQL 实例，作为 Slave 连接到 Master 上面，然后实时将 binlog 读取出来。至于 binlog 读出之后想怎么使用，权看用户如何使用。

我们基于 Canal 设计了一个简单的数据流，在 yugong 中增加了这么几个功能：

• SQL Server 的写入功能
• 消费 Canal 数据源的功能

Canal Server 中的 binlog 只能做一次性消费，内部实现是一个 Queue，为了满足我们可以重复消费数据的能力，我们还额外设计了一个环节，将 Canal 的数据放到 Queue 中，在未来任意时间可以重复消费数据。我们选择了 Redis 作为这个 Queue，数据流如下：

最佳实践

数据库的迁移在去 Windows 中，是最容不得出错的环节。应用是无状态的， 出现问题可以通过回切较快地回滚。但数据库的迁移就需要考虑周到，做好资源准备，发布流程，故障预案处理。

考虑到多个事业部都需要经历这样一个过程，我们项目组将每一个步骤都固化下来，形成了一个最佳实践。我们的迁移步骤如下，供大家参考：