一次mysql主從同步解決過程
前天進行表結構的修改,將其中一個表進行字段結構的擴展,從varchar(30)擴展到varchar(50),表格資料是120萬多條,在主函式庫執行起來只花了40秒,而從函式庫同步卻要用4小時。
雖然主庫執行很快,但是影響的行數是120萬行,從庫是同步120萬行的結構變化而去,而不是簡單的執行sql命令修改從庫。
一開始並沒有發現,後面當業務緩慢的時候,就開始感覺不對勁了,趕緊上了mysql上進行查看當前堵塞的mysql進程:
show proccesslist
這裡的結果不是當時的結果(當時是很多查詢都被阻塞):
| Id | User | Host | db | Command | Time | State | Info | +--------+-------+-----------------+------+-------------+--------+-----------------------------------------------------------------------+------------------+ | 722874 | bakup | 127.0.0.1:36759 | NULL | Binlog Dump | 281055 | Master has sent all binlog to slave; waiting for binlog to be updated | NULL | | 991867 | root | localhost | NULL | Sleep | 780 | | NULL | | 992585 | root | localhost | NULL | Query | 0 | NULL | show processlist |
1.Id :行程id,你要kill一個語句的時候很有用。
2.User:顯示單前用戶,如果不是root,這個指令就只顯示你權限範圍內的sql語句。
3.Host:顯示這個語句是從哪個ip的哪個連接埠上發出的
4.db:顯示這個行程目前連接的是哪一個資料庫
5.Command:顯示目前連接的執行的命令,休眠(sleep),查詢(query),連接(connect),binlog(主從)
#6.Time:此這個狀態持續的時間,單位是秒。
7.State:顯示使用目前連線的sql語句的狀態,很重要的列,後續會有所有的狀態的描述,請注意,state只是語句執行中的某一個狀態,一個sql語句,已查詢為例,可能需要經過copying to tmp table,Sorting result,Sending data等狀態才可以完成,
8.info:顯示這個sql語句
當下進行了殺死堵塞進程,即同步修改結構的進程
kill 722874
得以恢復業務正常的查詢,但是新的問題來了,主從被強制暫停,發生了錯誤,主庫無法同步到從庫,業務查詢最新資料無法同步過來了。
上從庫查詢指令(這裡的結果不是當時的結果(當時是提示錯誤的資訊)):
(Mon Jun 26 20:49:40 2017) db_2 >>show slave status\G*************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 127.0.0.1 Master_User: bakup Master_Port: 3306Connect_Retry: 60 Master_Log_File: mysql-bin.000330 Read_Master_Log_Pos: 445043216 Relay_Log_File: 174-relay-bin.000043Relay_Log_Pos: 445043362Relay_Master_Log_File: mysql-bin.000330 Slave_IO_Running: Yes Slave_SQL_Running: Yes Replicate_Do_DB: Replicate_Ignore_DB: information_schema,mysql,performance_schema,test,zabbix,information_schema,mysql,performance_schema,test,zabbix Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0 Last_Error: Skip_Counter: 0 Exec_Master_Log_Pos: 445043216 Relay_Log_Space: 445043559 Until_Condition: None Until_Log_File: Until_Log_Pos: 0 Master_SSL_Allowed: No Master_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: 0Master_SSL_Verify_Server_Cert: No Last_IO_Errno: 0Last_IO_Error: Last_SQL_Errno: 0 Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 11 row in set (0.00 sec)
於是找維商議,採取了如下方法:
恢复主库到改变字段前的状态 2 停止主从二进制日志的写入,主从同步停止 3 开始改变主库字段结构 4 改变从库字段结构(注意此时主从同步已经停止) 5 修正此前发生的同步错误 6 恢复主从二进制日志的写入 7 重新开启主从同步
問題得以解決,約40分鐘。
這次操作也是有點急促,本來應該在夜晚後台幾乎不被訪問的時候,進行大數據量的結構改變比較好。當天也進行了評估,是2小時內既可以成功。
附,state 欄位資訊:
Checking table 正在检查数据表(这是自动的)。 Closing tables 正在将表中修改的数据刷新到磁盘中,同时正在关闭已经用完的表。这是一个很快的操作,如果不是这样的话,就应该确认磁盘空间是否已经满了或者磁盘是否正处于重负中。 Connect Out 复制从服务器正在连接主服务器。 Copying to tmp table on disk 由于临时结果集大于tmp_table_size,正在将临时表从内存存储转为磁盘存储以此节省内存。 Creating tmp table 正在创建临时表以存放部分查询结果。 deleting from main table 服务器正在执行多表删除中的第一部分,刚删除第一个表。 deleting from reference tables 服务器正在执行多表删除中的第二部分,正在删除其他表的记录。 Flushing tables 正在执行FLUSH TABLES,等待其他线程关闭数据表。 Killed 发送了一个kill请求给某线程,那么这个线程将会检查kill标志位,同时会放弃下一个kill请求。MySQL会在每次的主循环中检查kill标志位,不过有些情况下该线程可能会过一小段才能死掉。如果该线程程被其他线程锁住了,那么kill请求会在锁释放时马上生效。 Locked 被其他查询锁住了。 Sending data 正在处理SELECT查询的记录,同时正在把结果发送给客户端。 Sorting for group 正在为GROUP BY做排序。 Sorting for order 正在为ORDER BY做排序。 Opening tables 这个过程应该会很快,除非受到其他因素的干扰。例如,在执ALTER TABLE或LOCK TABLE语句行完以前,数据表无法被其他线程打开。正尝试打开一个表。 Removing duplicates 正在执行一个SELECT DISTINCT方式的查询,但是MySQL无法在前一个阶段优化掉那些重复的记录。因此,MySQL需要再次去掉重复的记录,然后再把结果发送给客户端。 Reopen table 获得了对一个表的锁,但是必须在表结构修改之后才能获得这个锁。已经释放锁,关闭数据表,正尝试重新打开数据表。 Repair by sorting 修复指令正在排序以创建索引。 Repair with keycache 修复指令正在利用索引缓存一个一个地创建新索引。它会比Repair by sorting慢些。 Searching rows for update 正在讲符合条件的记录找出来以备更新。它必须在UPDATE要修改相关的记录之前就完成了。 Sleeping 正在等待客户端发送新请求. System lock 正在等待取得一个外部的系统锁。如果当前没有运行多个mysqld服务器同时请求同一个表,那么可以通过增加--skip-external-locking参数来禁止外部系统锁。 Upgrading lock INSERT DELAYED正在尝试取得一个锁表以插入新记录。 Updating 正在搜索匹配的记录,并且修改它们。 User Lock 正在等待GET_LOCK()。 Waiting for tables 该线程得到通知,数据表结构已经被修改了,需要重新打开数据表以取得新的结构。然后,为了能的重新打开数据表,必须等到所有其他线程关闭这个表。以下几种情况下会产生这个通知:FLUSH TABLES tbl_name, ALTER TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE,或OPTIMIZE TABLE。 waiting for handler insert INSERT DELAYED已经处理完了所有待处理的插入操作,正在等待新的请求。
#
以上是mysql主從同步問題及解決過程詳解的詳細內容。更多資訊請關注PHP中文網其他相關文章!