详解MySQL Binlog解析工具--binlog2sql，基于表级别的数据恢复
概述
最近碰到某个表需要做数据回退，如果回退整个数据库动作又太大，所以用了binlog2sql来实现，这里先介绍一下binlog2sql的相关内容。
binlog2sql是一个开源的Python开发的MySQL Binlog解析工具，能够将Binlog解析为原始的SQL，也支持将Binlog解析为回滚的SQL，以便做数据恢复。
gihub:https://github.com/danfengcao/binlog2sql
一、闪回原理简析
开始之前，先说说闪回。我们都知道 MySQL binlog 以 event 为单位，记录数据库的变更信息，这些信息能够帮助我们重现这之间的所有变化，也就是所谓的闪回。
binlog 有三种可选的格式：
- statement：基于 SQL 语句的模式，binlog 数据量小，但是某些语句和函数在复制过程可能导致数据不一致甚至出错；
- mixed：混合模式，根据语句来选用是 statement 还是 row 模式；
- row：基于行的模式，记录的是行的完整变化。安全，但 binlog 会比其他两种模式大很多；
利用 binlog 做闪回，需要将 binlog 格式设置为 row，因为我们需要最详尽的信息来确定操作之后数据不会出错。既然 binlog 以 event 形式记录了所有的变更信息，那么我们把需要回滚的 event，从后往前回滚回去即可。
二、基本要求
1、MySQL server建议设置以下参数:
[mysqld] #二进制配置 server-id = 1 #log-bin = mysql-bin log-bin = /pasdata/log/mysql-bin.log log-bin-index =/pasdata/log/binlog.index log_bin_trust_function_creators=1 expire_logs_days=7 max_binlog_size = 1G binlog_format = row binlog_row_image = full
2、最小权限集合
select, super/replication client, replication slave --建议授权 GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO binlog2sql@'%' identified by 'binlog2sql'; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO binlog2sql@'localhost' identified by 'binlog2sql'; flush privileges;
权限说明
- select：需要读取server端information_schema.COLUMNS表，获取表结构的元信息，拼接成可视化的sql语句
- super/replication client：两个权限都可以，需要执行'SHOW MASTER STATUS', 获取server端的binlog列表
- replication slave：通过BINLOG_DUMP协议获取binlog内容的权限
三、binlog2sql参数选项
1、mysql连接选项，与mysql客户端的选项一致
-h host -P port -u user -p password
2、解析模式
--stop-never 持续解析binlog。可选。默认False，同步至执行命令时最新的binlog位置。 -K, --no-primary-key 对INSERT语句去除主键。可选。默认False -B, --flashback 生成回滚SQL，可解析大文件，不受内存限制。可选。默认False。与stop-never或no-primary-key不能同时添加。 --back-interval -B模式下，每打印一千行回滚SQL，加一句SLEEP多少秒，如不想加SLEEP，请设为0。可选。默认1.0。
3、解析范围控制
--start-file 起始解析文件，只需文件名，无需全路径 。必须。（注意，--start-file直接填binlog名称就可以，不要加路径） --start-position/--start-pos 起始解析位置。可选。默认为start-file的起始位置。 --stop-file/--end-file 终止解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never，此选项失效。 --stop-position/--end-pos 终止解析位置。可选。默认为stop-file的最末位置；若解析模式为stop-never，此选项失效。 --start-datetime 起始解析时间，格式'%Y-%m-%d %H:%M:%S'。可选。默认不过滤。 --stop-datetime 终止解析时间，格式'%Y-%m-%d %H:%M:%S'。可选。默认不过滤。
4、对象过滤
-d, --databases 只解析目标db的sql，多个库用空格隔开，如-d db1 db2。可选。默认为空。 -t, --tables 只解析目标table的sql，多张表用空格隔开，如-t tbl1 tbl2。可选。默认为空。 --only-dml 只解析dml，忽略ddl。可选。默认False。 --sql-type 只解析指定类型，支持INSERT, UPDATE, DELETE。多个类型用空格隔开，如--sql-type INSERT DELETE。可选。默认为增删改都解析。用了此参数但没填任何类型，则三者都不解析。
四、常用命令
1、解析出标准SQL
在没有加 --only-dml 参数的情况下，会连ddl语句也解析出来，加上 --only-dml 参数，看到只解析dml语句。
python binlog2sql.py -ubinlog2sql -pbinlog2sql -ddatabase_name -t table1 table2 --start-file='mysql-bin.000007' --start-datetime='2019-12-xx 06:00:00' --stop-datetime='2019-12-xx 11:30:00' >/tmp/binlog.txt
2、解析出回滚SQL
python binlog2sql.py --flashback -h127.0.0.1 -P 3306 -ubinlog2sql -pbinlog2sql -ddatabase_name -t table1 table2 --start-file='mysql-bin.000007' --start-position=763 --stop-position=1147 >/tmp/rollback.txt
3、定位误操作SQL的binlog位置
mysqlbinlog --base64-output=decode-rows -v --start-datetime='2019-12-04 05:00:00' /data/log/mysql-bin.000007 > /opt/binlog.sql
说明：配置文件使用了binlog_format= row，查看数据库binlog内容时候就看不到增删改查的具体语句，都是经过64位编码转换后的内容，所以需要加参数--base64-output=decode-rows转换。
五、优缺点
1、限制（对比mysqlbinlog）
- mysql server必须开启，离线模式下不能解析
- 参数 binlog_row_image 必须为FULL，暂不支持MINIMAL
- 解析速度不如mysqlbinlog
2、优点（对比mysqlbinlog）
- 纯Python开发，安装与使用都很简单
- 自带flashback、no-primary-key解析模式，无需再装补丁
- flashback模式下，更适合闪回实战
- 解析为标准SQL，方便理解、筛选
- 代码容易改造，可以支持更多个性化解析
到这里关于binlog2sql的概念基本就介绍完了，后面主要根据实际应用场景来介绍一下，觉得有用的朋友多帮忙转发哦！后面会分享更多devops和DBA方面的内容，感兴趣的朋友可以关注下~
