MySQL之日志和mysqlbinlog工具的使用
查看日志相关的全局变量:
mysql>SHOW GLOBAL VARIABLES LIKE '%log%'
修改相关变量:
1.对于开关某个功能,使用SET GLOBAL xxx=xxx即可。
2.涉及到文件的操作,只能修改配置文件,添加内容到配置文件并重启服务后生效。
错误日志:
记录内容:
服务器的启动和关闭产生的信息
服务器运行过程中的错误信息
时间调度器上运行一个事件时产生的信息
在从服务器上启动和关闭从服务器进程时产生的信息
文件位置:
默认是存放在数据目录,文件名为SERVERHOSTNAME.err的文件。
相关变量:
log_error 指定错误日志文件
log_warning 是否记录警告信息,1表示记录。默认为1。
一般查询日志:
记录内容:
查询的操作
文件位置:
默认是存放在数据目录,文件名为SERVERHOSTNAME.log的文件
相关变量:
general_log 是否启用一般查询日志,默认是OFF。避免记录大量的io。
general_log_file 指定一般查询日志文件的位置
log 是否记录所有语句到日志,默认为OFF。mysql5.6已废弃。
log_output 指定一般查询日志和慢查询日志的输出位置,默认是使用TABLE。在编译时会变为FILE。可以使用TABLE表示记录到表中或者NONE表示不记录。TABLE和FILE可以一起使用,用逗号隔开即可。注意此变量优先级高。一旦设定为NONE,即时general_log设定为ON,也不记录。
sql_log_off 控制是否禁止将一般查询日志信息记录进日志文件,默认为OFF。
慢查询日志:
记录内容:
查询时间较长的操作
文件位置:
默认在数据目录名为SERVERHOSTNAME-slow.log。
相关变量:
long_query_time 指定查询时长阈值,超过此时间都定义为慢查询。注意此长为实际操作执行的时长而不是cpu执行时长。最小值为0,默认为10,单位为秒,支持毫秒级解析度。
slow_query_log 是否启用慢查询日志,日志的输出位置也取决于log_output的设定。
slow_query_log_file 指定慢查询日志文件位置。
max_long_data_size
performance_schema_events_waits_history_long_size 收集事件等待历史的长度
二进制日志:
记录内容:
记录任何可能引起数据库变化的操作,包括DDL,DML,授权语句等等。使用mysql独有的二进制格式,为复制和即时点恢复提供支持。
二进制日志的格式:
基于语句:statment
基于行:row
混合方式:mixed
文件头+事件...
事件的组成:
position:上个事件的结束位置和下个事件的开始位置。
starttime:事件的起始时间
action:事件的动作。
文件位置:
使用工具mysqlbinlog查看,一般的文本编辑文件是无法产看的。
二进制日志文件:默认在数据目录以mysql-bin或SERVERHOSTNAME开头,末尾为.bin.00000NUM的文件。每次重启服务器后日志将进行滚动。保留旧文件,新创建文件。使用SHOW MASTER STATUS可以查看当前正在使用的文件。使用SHOW BINLOG EVENTS in ‘mysql-bin.00000NUM’ [FROM POSITION] 查看具体内容。日志文件的大小会大于数据的大小,因为里边还记录了其他的额外信息。
索引文件:记录了二进制日志文件的相关信息。默认在数据目录,名字为mysql-bin.index。
建议将二进制日志文件和数据分开存放在不同磁盘,这样既能保证安全性,又能保证日志文件之间不出现竞争io的情况。
也可以执行FLUSH LOGS来手动滚动日志。注意只有二进制和中继日志才是真的滚动,其他日志都是关闭后打开。
使用SHOW BINARY LOGS查看日志
使用PURGE BINARY LOGS TO ‘BINLOGFILE’ 可以删除指定文件之前的日志文件
相关变量:
binlog_format STATMENT|ROW|MIXED 指定二进制日志文件的格式
log_bin ON|OFF [FILE] 指定二进制日志文件的位置,没有指定FILE默认写在数据文件下,是否启用二进制日志文件功能。在mysql启动时使用 --log-bin=mysql-bin或者是修改配置文件,在[mysqld]中添加log-bin=mysql-bin和binlog_format=mixed。
sql_log_bin ON|OFF 控制是否将日志写入二进制日志文件
binlog_cache_size 缓存大小,跟随binlog_stmt_cache_size大小变化
binlog_stmt_cache_size 语句缓存大小
sync_binlog NUM 设定对二进制日志文件写入NUM次后就同步到磁盘。0表示不同步,1表示事务提交后才写入二进制日志中。其他正数都表示二进制日志在NUM次写入后就同步到磁盘。注意若autocommit=1,则每条语句的执行都将直接提交。否则事务只有执行COMMIT操作,明确提交后才写入二进制日志中。
max_binlong_cache_size 上限值
max_binlog_size
max_binlog_stmt_cache_size 上限值
expire_logs_days DAY 设定日志过期时间为DAY天,过期会被自动删除。默认为0。
中继日志:
记录内容:
从主服务器的二进制日志文件中复制而来的事件,本质上也是二进制日志文件。
文件位置:
位于从服务器上。
相关变量:
事务日志:
记录内容:
支持事务的引擎上特有,是为了保证事务的ACID特性,将随机io转换为顺序io,提高效率,保证事务不会丢失。
事务ID号+原始数据+新数据
TID<OLD_VLAUE><NEW_VALUE>
事务只能对表中的内容进行ROLLBACK,对于像DROP TABLE这样的操作是无法回滚的。
文件位置:
默认为数据目录内,名称为ib_logfileNUM。建议日志文件和数据文件分开存放,并为日志做镜像
相关变量:
innodb_flush_log_at_trx_commit 0|1|2 设定启用事务提交后将内存中的日志事件同步到日志文件中,1表示每当有事务提交或磁盘刷新写入,默认值。2表示每当有事务提交就同步。0表示每1秒同步一次,不在内核中缓存,直接写入磁盘。
innodb_log_buffer_size 内存缓存大小
innodb_log_size 日志文件大小
innodb_log_files_in_group 日志组中的日志文件个数
innodb_log_group_home_dir 日志存放位置,默认为数据目录
innodb_mirrored_log_groups 是否对日志文件组做镜像
innodb_support_xa=TURE|FLASE 是否启用分布式事务,默认是启用的。若在仅有一个线程修改数据的环境下,关闭后此以提高InnoDB的效率。
#mysqlbinlog [OPTION] BINLOGFILE 二进制日至文件查看工具
[OPTION]
--start-datetime
--stop-datetime
--start-position
--stop-position
例如:
#mysqlbinlog /mydata/mdata/mysql-bin.00005
#mysqlbinlog --start-position=177 --stop-position=358 /mydata/mdata/mysql-bin.00005
#mysqlbinlog --start-datetime='2015-07-21 19:22:31' /mydata/mdata/mysql-bin.00005
#mysqlbinlog /mydata/mdata/mysql-bin.00005 > a.sql 从二进制文件读取内容导出成sql脚本文件。
实例:
0.开启二进制日志记录功能:
#vim /etc/my.cnf
[mysqld]
log_bin=mysql-bin
binlog_format=MIXED
或在服务启动时指定
#mysqld_safe --log_bin=mysql-bin --binlog_format='MIXED' --user=root &
1.查看所有二进制日志文件:
mysql>SHOW BINARY LOGS;
2.显示当前正在使用的二进制日志文件:
mysql>SHOW MASTER STATUS;
3.查看指定二进制日至文件的具体内容:
mysql>SHOW BINLOG EVENTS in ‘mysql-bin.000005’ FROM POSITION=177;
或
#mysqlbinlog /mydata/mdata/mysql-bin.000005
4.手工滚动二进制文件:
mysql>FLUSH LOGS;
5.删除指定二进制日志文件之前的日志文件
mysql>PURGE BINARY LOGS TO ‘mysql-bin.00005’;
6.导出二进制日志文件为sql脚本:
#mysqlbinlog /mydata/mdata/mysql-bin.000005 > a.sql