Python自动创建MySQL的从库脚本

本脚本主要用于创建mysql主从的从库，并且主库已经配置好相关的主从参数，主库上面有需要同步的数据库备份，在从库上执行此脚本，通过内网取得主库的配置文件、数据库备份、主库的权限库等用于从库的创建，自动获得需要同步主库的bin-log位置及pos点（本脚本的备份是晚上0点备份，此脚本已经在我公司多个游戏数据库上应用，还不错，大家可以看看！

1. #!/usr/bin/env Python  
2. # -*- coding: utf-8 -*-  
3. ##############################################################################  
4. # @Author:       wangwei  
5. # @E-mail:        [email protected]  
6. # @Create Date:  2012-06-19  
7. # @Version:      V1  
8. #注意事项：1、主库已经按照要求修改配置文件打开了bin-log，设置了相关参数  
9. #          2、从库已经安装和主库一样版本的mysql  
10. #          3、运行之后删除/data1/目录下的压缩包  
11. #          4、运行格式：python create_slave.py 根据提示输入主库的内网地址  
12. #          5、在执行check_mysql时，会出现Broken pipe的错误，这个是由于python调用系统命令关闭和打开mysql时显示的信息没有正确的显示在终端造成的，没有影响，暂时没有找到不让显示此类信息的方法，亟待解决  
13. ##############################################################################  
14. import paramiko,os,sys,datetime,time,MySQLdb  
15.  
16. class Database:  
17.  
18.     def __init__(self,host):  
19.         self.user='root' 
20.         self.password='14314' 
21.         self.port=10000 
22.         self.today=datetime.date.today().strftime('%Y%m%d')  
23.         self.bindir='/data1/mysql_log' 
24.         self.host=host  
25.         if not os.path.isdir(self.bindir):  
26.             os.mkdir(self.bindir)  
27.             os.popen("ln -s /data1/mysql_log /mysql_log")  
28.         if not os.path.isdir('/data1/mysql_log/binlog'):   
29.             os.mkdir('/data1/mysql_log/binlog')  
30.         if not os.path.isdir('/data1/mysql_log/relaylog'):  
31.             os.mkdir('/data1/mysql_log/relaylog')  
32.         os.popen("chown -R mysql.mysql /data1/mysql_log/")  
33.  
34.     def check_mysql(self):#检查从库nysql数据库服务是否运行，如在运行则pkill掉，然后跳过权限表启动，为导入数据做准备  
35.         print "\033[1;32;40m%s\033[0m" % "Check mysql now,Please wait...." 
36.         if not os.path.isdir("/usr/local/mysql"):  
37.             print "\033[1;31;40m%s\033[0m" % "    Mysql not install,Please install mysql !" 
38.             sys.exit()  
39.         if os.popen("netstat -ntlp|grep 3306|wc -l").read().strip() != '0':  
40.             os.popen("pkill mysqld")  
41.             time.sleep(5)  
42.         conm = "/usr/local/mysql/bin/mysqld_safe --defaults-file=/usr/local/mysql/etc/innodb.cnf --datadir=/home/mysql/data --user=mysql --skip-grant-tables &" 
43.         os.popen(conm)  
44.         time.sleep(5)  
45.         if os.popen("netstat -ntlp|grep 3306|wc -l").read().strip() == '0':  
46.             print "\033[1;31;40m%s\033[0m" % "Mysql not Running,please start with '--skip-grant-tables' !" 
47.             sys.exit()  
48.  
49.     def export_table(self):#导出当前主库的表结构和备份mysql权限库  
50.         print "\033[1;32;40m%s\033[0m" % "Export master table and back mysql,Please wait ...." 
51.         try:  
52.             s=paramiko.SSHClient()  
53.             s.set_missing_host_key_policy(paramiko.AutoAddPolicy())  
54.             s.connect(self.host,self.port,self.user,self.password)  
55.             conm = "/usr/local/mysql/bin/mysqldump --add-drop-table -udump -p1443214234 -d -B test adb ddb tdb|bzip2 -2 > /data/script/db_back/table_%s.bz2 && tar -zcvf /data/script/db_back/mysql.tgz /home/mysql/data/mysql && cp -f /usr/local/mysql/etc/innodb.cnf /data/script/db_back/ && echo $?" % self.today  
56.             stdin,stdout,stderr=s.exec_command(conm)  
57.             result = stdout.readlines()[-1].strip()  
58.             s.close()  
59.             if result == '0':  
60.                 print "    Export_table success !" 
61.             else:  
62.                 print "\033[1;31;40m%s\033[0m" % "Export_table Error !" 
63.                 sys.exit()  
64.         except Exception,e:  
65.             print "\033[1;31;40m%s\033[0m" % "SSH connect Error !" 
66.             sys.exit()  
67.  
68.     def down_back(self):#拷贝主库当天的数据库备份和表结构  
69.         local_dir='/data1/' 
70.         remote_dir='/data/script/db_back/' 
71.         try:  
72.             t=paramiko.Transport((self.host,self.port))  
73.             t.connect(username=self.user,password=self.password)  
74.             sftp=paramiko.SFTPClient.from_transport(t)  
75.             files=sftp.listdir(remote_dir)  
76.             print "\033[1;32;40m%s\033[0m" % "Download back file,Please wait ...." 
77.             print '    Beginning to download file  from %s  %s ' % (self.host,datetime.datetime.now())  
78.             for f in files:  
79.                 if f.find(self.today) != -1 or f == 'mysql.tgz' or f == 'innodb.cnf':  
80.                     print '        Downloading file:',self.host + ':' + os.path.join(remote_dir,f)  
81.                     sftp.get(os.path.join(remote_dir,f),os.path.join(local_dir,f))  
82.                     #sftp.put(os.path.join(local_dir,f),os.path.join(remote_dir,f))  
83.             t.close()  
84.             print '    Download All back file success %s ' % datetime.datetime.now()  
85.         except Exception,e:  
86.             print "\033[1;31;40m%s\033[0m" % "SFTP connect Error !" 
87.             sys.exit()  
88.  
89.     def unbz2(self):#解压拷贝的数据库备份和表结构bz2包  
90.         print "\033[1;32;40m%s\033[0m" % "Decompression file,Please wait ...." 
91.         print '    Beginning to Decompression file  from %s' % datetime.datetime.now()  
92.         conm = 'bzip2 -dfk /data1/*%s*.bz2 && echo $?' % self.today  
93.         bz = os.popen(conm).read().strip()  
94.         if bz == '0':  
95.             print '    Decompression file  success %s' % datetime.datetime.now()  
96.         else:  
97.             print "\033[1;31;40m%s\033[0m" % "Decompression Error !" 
98.             sys.exit()  
99.  
100.     def restart_mysql(self):  
101.         print "\033[1;32;40m%s\033[0m" % "Restart mysql Now,Please wait ...." 
102.         os.popen("rm -rf /usr/local/mysql/etc/innodb.cnf && cp -f /data1/innodb.cnf /usr/local/mysql/etc/innodb.cnf")  
103.         os.popen("sed -i 's/server-id       = 1/server-id       = 2/' /usr/local/mysql/etc/innodb.cnf")  
104.         os.popen("/usr/local/mysql/bin/mysqladmin shutdown")  
105.         os.popen("tar -zxvf /data1/mysql.tgz -C /")  
106.         os.popen("rm -rf /home/mysql/data/*.info && rm -rf /home/mysql/data/ib_logfile*")  
107.         os.popen("/usr/local/mysql/bin/mysqld_safe --defaults-file=/usr/local/mysql/etc/innodb.cnf --datadir=/home/mysql/data --user=mysql &")  
108.         time.sleep(5)  
109.         if os.popen("netstat -ntlp|grep 3306|wc -l").read().strip() == '0':  
110.             print "\033[1;31;40m%s\033[0m" % "Mysql not Running,please start with '--skip-grant-tables' !" 
111.             sys.exit()  
112.  
113.     def import_date(self):#导入表结构和备份数据库  
114.         print "\033[1;32;40m%s\033[0m" % "Slave import master date,Please wait ...." 
115.         #导入表结构  
116.         dir = '/data1/' 
117.         table = 'table_%s' % self.today  
118.         conm = "/usr/local/mysql/bin/mysql  < %s%s && echo $?" % (dir,table)  
119.         result = os.popen(conm).read().strip()  
120.         if result == '0':  
121.             print "    Import %s success !" % table  
122.         else:  
123.             print "\033[1;31;40m%s\033[0m" % "Import Table structure Error !" 
124.             sys.exit()  
125.  
126.         for f in os.listdir(dir):#导入数据库  
127.             if os.path.isfile(os.path.join(dir,f)) and (f.find('bz2') == -1) and (f.find('table') == -1):  
128.                 if f.find('adb') != -1:  
129.                     conm = "/usr/local/mysql/bin/mysql adb < %s && echo $?" % os.path.join(dir,f)  
130.                     result = os.popen(conm).read().strip()  
131.                     if result == '0':  
132.                         print "    Import %s success !" % f  
133.                     else:  
134.                         print "\033[1;31;40m%s\033[0m" % "Import Database adb Error !" 
135.                         sys.exit()  
136.                 elif f.find('tdb') != -1:  
137.                     conm = "/usr/local/mysql/bin/mysql tdb < %s && echo $?" % os.path.join(dir,f)  
138.                     result = os.popen(conm).read().strip()  
139.                     if result == '0':  
140.                         print "    Import %s success !" % f  
141.                     else:  
142.                         print "\033[1;31;40m%s\033[0m" % "Import Database tdb Error !" 
143.                         sys.exit()  
144.                 elif f.find('ddb') != -1:  
145.                     conm = "/usr/local/mysql/bin/mysql ddb < %s && echo $?" % os.path.join(dir,f)  
146.                     result = os.popen(conm).read().strip()  
147.                     if result == '0':  
148.                         print "    Import %s success !" % f  
149.                     else:  
150.                         print "\033[1;31;40m%s\033[0m" % "Import Database ddb Error !" 
151.                         sys.exit()  
152.  
153.     def slave_start(self):#启动salve  
154.         print "\033[1;32;40m%s\033[0m" % "Settings Slave,Please wait ...." 
155.         binlog,log_pos=self.bin_pos()  
156.         sql = "change master to master_host='%s',master_user='repl',master_password='12341324',master_port=3306,master_log_file='%s',master_log_pos=%s;" % (self.host,binlog,log_pos)  
157.         try:  
158.             conn = MySQLdb.connect(host = '127.0.0.1',user = 'repl_monitor',passwd = 'sdfsdgfg',connect_timeout=5)  
159.             cursor = conn.cursor(cursorclass = MySQLdb.cursors.DictCursor)  
160.             #cursor.execute("slave stop;")  
161.             cursor.execute(sql)  
162.             cursor.execute("slave start;")  
163.             cursor.execute("show slave status;")  
164.             alldata = cursor.fetchall()[0]  
165.             for key in alldata:  
166.                 print "%21s :" % key + '\t' + alldata[key]  
167.             time.sleep(2)  
168.             print 
169.             print "******************************************" 
170.             print 
171.             cursor.execute("show slave status;")  
172.             alldata = cursor.fetchall()[0]  
173.             for key in alldata:  
174.                 print "%21s :" % key + '\t' + alldata[key]  
175.             cursor.close()  
176.             conn.close()  
177.         except MySQLdb.Error,e:  
178.             print e  
179.  
180.     def bin_pos(self):#获取主库备份前的一个bin-log文件以及它的第一个pos位置  
181.         today=datetime.date.today()  
182.         yesterday = (today - datetime.timedelta(days=1)).strftime('%b %d')  
183.         try:  
184.             s=paramiko.SSHClient()  
185.             s.set_missing_host_key_policy(paramiko.AutoAddPolicy())  
186.             s.connect(self.host,self.port,self.user,self.password)  
187.             conm = "ls -al /mysql_log/binlog|grep '%s'|tail -1|awk '{print $9}'" % yesterday  
188.             stdin,stdout,stderr=s.exec_command(conm)  
189.             binlog = stdout.read().strip()  
190.             conm = "/usr/local/mysql/bin/mysqlbinlog /mysql_log/binlog/%s|grep log_pos|head -1|awk '{print $7}'" % binlog  
191.             stdin,stdout,stderr=s.exec_command(conm)  
192.             log_pos = stdout.read().strip()  
193.             s.close()  
194.             return binlog,log_pos  
195.         except Exception,e:  
196.             print "\033[1;31;40m%s\033[0m" % "SSH connect Error !" 
197.             sys.exit()  
198.  
199. if __name__=="__main__":  
200.     master_ip = raw_input('Enter :Mater_eth1_ip :')  
201.     boss = Database(master_ip)  
202.     boss.check_mysql()  
203.     boss.export_table()  
204.     boss.down_back()  
205.     boss.unbz2()  
206.     boss.import_date()  
207.     boss.restart_mysql()  
208.     boss.slave_start()