解決主庫(kù)問(wèn)題

主庫(kù)問(wèn)題重現(xiàn)

回到公司一看，斷電的是公司的消息服務(wù)子系統(tǒng)數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)共3臺(tái)，一種兩從，并采用了分庫(kù)分表的方式存儲(chǔ)數(shù)據(jù)。我首先把三臺(tái)服務(wù)器啟動(dòng)好，發(fā)現(xiàn)主數(shù)據(jù)庫(kù)的進(jìn)程無(wú)法啟動(dòng)，兩臺(tái)從數(shù)據(jù)庫(kù)同步主庫(kù)數(shù)據(jù)的狀態(tài)異常。按照順序，我先看主數(shù)據(jù)庫(kù)的日志信息，發(fā)現(xiàn)MySQL的錯(cuò)誤日志中輸出了如下信息。

-----------------------------------------161108 23:36:45 mysqld_safe Starting mysqld daemon with 
databases from /usr/local/mysql/var2021-02-28 23:36:46 0 [Warning] TIMESTAMP with implicit DEFAULT 
value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).2021-02-28 23:36:46 5497 [Note] Plugin 'FEDERATED' is disabled.2021-02-28 23:36:46 

7f11c48e1720 InnoDB: Warning: Using innodb_additional_mem_pool_size is DEPRECATED. This option may be 
removed in future releases, together with the option innodb_use_sys_malloc and with the InnoDB's 
internal memory allocator.2021-02-28 23:36:46 5497 [Note] InnoDB: Using atomics to ref count buffer 
pool pages2021-02-28 23:36:46 5497 [Note] InnoDB: The InnoDB memory heap is disabled2021-02-28 
23:36:46 5497 [Note] InnoDB: Mutexes and rw_locks use GCC atomic builtins2021-02-28 23:36:46 5497 
[Note] InnoDB: Memory barrier is not used2021-02-28 23:36:46 5497 [Note] InnoDB: Compressed tables 

use zlib 1.2.32021-02-28 23:36:46 5497 [Note] InnoDB: Using CPU crc32 instructions2021-02-28 23:36:46 5497 [Note] InnoDB: Initializing buffer pool, size = 16.0M2021-02-28 23:36:46 5497 [Note] InnoDB: 
Completed initialization of buffer poolInnoDB: Database page corruption on disk or a failedInnoDB: 
file read of page 5.InnoDB: You may have to recover from a backup.2021-02-28 23:36:46 7f11c48e1720 
InnoDB: Page dump in ascii and hex (16384 bytes): len 16384; hex 
7478d078000000050000000000000000000000000f271f4d000700000000000000000000000000000000001b4000000000000
000000200f20000000000000006000000000000002d000000000000002e000000000000002f0000000000000030000000000（
省略很多類(lèi)似代碼）InnoDB: End of page dump2021-02-28 23:36:46 7f11c48e1720 InnoDB: uncompressed page, 
stored checksum in field1 1954074744, calculated checksums for field1: crc32 993334256, innodb 
2046145943, none 3735928559, stored checksum in field2 1139795846, calculated checksums for field2: 

crc32 993334256, innodb 1606613742, none 3735928559, page LSN 0 254222157, low 4 bytes of LSN at page end 254221236, page number (if stored to page already) 5, space id (if created with >= MySQL-4.1.1 
and stored already) 0InnoDB: Page may be a transaction system pageInnoDB: Database page corruption on disk or a failedInnoDB: file read of page 5.InnoDB: You may have to recover from a backup.InnoDB: It 
is also possible that your operatingInnoDB: system has corrupted its own file cacheInnoDB: and 
rebooting your computer removes theInnoDB: error.InnoDB: If the corrupt page is an index pageInnoDB: 
you can also try to fix the corruptionInnoDB: by dumping, dropping, and reimportingInnoDB: the 
corrupt table. You can use CHECKInnoDB: TABLE to scan your table for corruption.InnoDB: See also 
http://dev.mysql.com/doc/refman/5.6/en/forcing-innodb-recovery.htmlInnoDB: about forcing 
recovery.InnoDB: Ending processing because of a corrupt database page.2021-02-28 23:36:46 
7f11c48e1720  InnoDB: Assertion failure in thread 139714288817952 in file buf0buf.cc line 4201InnoDB: We intentionally generate a memory trap.InnoDB: Submit a detailed bug report to 
http://bugs.mysql.com.InnoDB: If you get repeated assertion failures or crashes, evenInnoDB: 

immediately after the mysqld startup, there may beInnoDB: corruption in the InnoDB tablespace. Please refer toInnoDB: http://dev.mysql.com/doc/refman/5.6/en/forcing-innodb-recovery.htmlInnoDB: about 
forcing recovery.03:36:46 UTC - mysqld got signal 6 ;This could be because you hit a bug. It is also possible that this binaryor one of the libraries it was linked against is corrupt, improperly 
built,or misconfigured. This error can also be caused by malfunctioning hardware.We will try our best 
to scrape up some info that will hopefully helpdiagnose the problem, but since we have already 
crashed,something is definitely wrong and this may 
fail.key_buffer_size=16777216read_buffer_size=262144max_used_connections=0max_threads=1000thread_coun
t=0connection_count=0It is possible that mysqld could use up tokey_buffer_size + (read_buffer_size + 
sort_buffer_size)*max_threads = 798063 K  bytes of memoryHope that's ok; if not, decrease some 
variables in the equation.Thread pointer: 0x0Attempting backtrace. You can use the following 
information to find outwhere mysqld died. If you see no messages after this, something wentterribly 
wrong...stack_bottom = 0 thread_stack 0x40000/usr/local/mysql/bin/mysqld(my_print_stacktrace+0x35)
[0x8e64b5]/usr/local/mysql/bin/mysqld(handle_fatal_signal+0x41b)
[0x652fbb]/lib64/libpthread.so.0(+0xf7e0)[0x7f11c44c77e0]/lib64/libc.so.6(gsignal+0x35)
[0x7f11c315d625]/lib64/libc.so.6(abort+0x175)

[0x7f11c315ee05]/usr/local/mysql/bin/mysqld[0xa585c5]/usr/local/mysql/bin/mysqld[0xa6c7b4]/usr/local/
mysql/bin/mysqld[0xa6cbc7]/usr/local/mysql/bin/mysqld[0xa5bce2]/usr/local/mysql/bin/mysqld[0xa1e2ba]/usr/local/mysql/bin/mysqld[0xa0bf60]/usr/local/mysql/bin/mysqld[0x95a427]/usr/local/mysql/bin/mysqld(_Z24ha_initialize_handlertonP13st_plugin_int+0x48)
[0x58f788]/usr/local/mysql/bin/mysqld[0x6e4a36]/usr/local/mysql/bin/mysqld(_Z11plugin_initPiPPci+0xb3e)
[0x6e826e]/usr/local/mysql/bin/mysqld[0x582d85]/usr/local/mysql/bin/mysqld(_Z11mysqld_mainiPPc+0x4d8)
[0x587d18]/lib64/libc.so.6(__libc_start_main+0xfd)
[0x7f11c3149d5d]/usr/local/mysql/bin/mysqld[0x57a019]The manual page at 
http://dev.mysql.com/doc/mysql/en/crashing.html containsinformation that should help you find out 
what is causing the crash.161108 23:36:46 mysqld_safe mysqld from pid file 
/usr/local/mysql/var/VM_241_49_centos.pid 
ended------------------------------------------------------------------------------

主庫(kù)問(wèn)題分析

從日志中可以看出是innodb引擎出了問(wèn)題。日志里提示到 http://dev.mysql.com/doc/refman/5.6/en/forcing-innodb-recovery.html查看強(qiáng)制恢復(fù)的方法。在mysql的配置文件my.cnf里找到 [mysqld]字段下，添加 innodb_force_recovery=1：

[mysqld]innodb_force_recovery = 1

如果innodb_force_recovery = 1不生效，則可嘗試2——6幾個(gè)數(shù)字

然后重啟mysql，重啟成功。然后使用mysqldump或 pma 導(dǎo)出數(shù)據(jù)，執(zhí)行修復(fù)操作等。修復(fù)完成后，把該參數(shù)注釋掉，還原默認(rèn)值0。

配置文件的參數(shù)：innodb_force_recovery

innodb_force_recovery影響整個(gè)InnoDB存儲(chǔ)引擎的恢復(fù)狀況。默認(rèn)為0，表示當(dāng)需要恢復(fù)時(shí)執(zhí)行所有的恢復(fù)操作（即校驗(yàn)數(shù)據(jù)頁(yè)/purge undo/insert buffer merge/rolling back&forward），當(dāng)不能進(jìn)行有效的恢復(fù)操作時(shí)，mysql有可能無(wú)法啟動(dòng)，并記錄錯(cuò)誤日志；

innodb_force_recovery可以設(shè)置為1-6,大的數(shù)字包含前面所有數(shù)字的影響。當(dāng)設(shè)置參數(shù)值大于0后，可以對(duì)表進(jìn)行select,create,drop操作,但insert,update或者delete這類(lèi)操作是不允許的。

• (SRV_FORCE_IGNORE_CORRUPT):忽略檢查到的corrupt頁(yè)。
• (SRV_FORCE_NO_BACKGROUND):阻止主線程的運(yùn)行，如主線程需要執(zhí)行full purge操作，會(huì)導(dǎo)致crash。
• (SRV_FORCE_NO_TRX_UNDO):不執(zhí)行事務(wù)回滾操作。
• (SRV_FORCE_NO_IBUF_MERGE):不執(zhí)行插入緩沖的合并操作。
• (SRV_FORCE_NO_UNDO_LOG_SCAN):不查看重做日志，InnoDB存儲(chǔ)引擎會(huì)將未提交的事務(wù)視為已提交。
• (SRV_FORCE_NO_LOG_REDO):不執(zhí)行前滾的操作。

主庫(kù)解決方案

一般修復(fù)方法參考：

第一種方法

建立一張新表：

create table demo_bak #和原表結(jié)構(gòu)一樣，只是把INNODB改成了MYISAM。 

把數(shù)據(jù)導(dǎo)進(jìn)去

insert into demo_bak select * from demo;

刪除掉原表：

drop table demo;

注釋掉 innodb_force_recovery 之后，重啟。

重命名：

rename table demo_bak to demo;

最后改回存儲(chǔ)引擎：

alter table demo engine = innodb 

第二種方法

另一個(gè)方法是使用mysqldump將表格導(dǎo)出，然后再導(dǎo)回到InnoDB表中。這兩種方法的結(jié)果是相同的。備份導(dǎo)出(包括結(jié)構(gòu)和數(shù)據(jù))：

mysqldump -uroot -p123 test > test.sql

還原方法1：

use test;source test.sql

還原方法2（系統(tǒng)命令行）：

mysql -uroot -p123 test < test.sql;

注意，CHECK TABLE命令在InnoDB數(shù)據(jù)庫(kù)中基本上是沒(méi)有用的。

第三種方法

（1）配置my.cnf

配置innodb_force_recovery = 1或2——6幾個(gè)數(shù)字，重啟MySQL

（2）導(dǎo)出數(shù)據(jù)腳本

mysqldump -uroot -p123 test > test.sql

導(dǎo)出SQL腳本。或者用Navicat將所有數(shù)據(jù)庫(kù)/表導(dǎo)入到其他服務(wù)器的數(shù)據(jù)庫(kù)中。注意：這里的數(shù)據(jù)一定要備份成功。然后刪除原數(shù)據(jù)庫(kù)中的數(shù)據(jù)。

（3）刪除ib_logfile0、ib_logfile1、ibdata1

備份MySQL數(shù)據(jù)目錄下的ib_logfile0、ib_logfile1、ibdata1三個(gè)文件，然后將這三個(gè)文件刪除

（4）配置my.cnf

將my.cnf中innodb_force_recovery = 1或2——6幾個(gè)數(shù)字這行配置刪除或者配置為innodb_force_recovery = 0，重啟MySQL服務(wù)

（5）將數(shù)據(jù)導(dǎo)入MySQL數(shù)據(jù)庫(kù)

mysql -uroot -p123 test < test.sql; 或者用Navicat將備份的數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)中。

此種方法下要注意的問(wèn)題：

• ib_logfile0、ib_logfile1、ibdata1這三個(gè)文件一定要先備份后刪除；
• 一定要確認(rèn)原數(shù)據(jù)導(dǎo)出成功了
• 當(dāng)數(shù)據(jù)導(dǎo)出成功后，刪除原數(shù)據(jù)庫(kù)中的數(shù)據(jù)時(shí)，如果提示不能刪除，可在命令行進(jìn)入MySQL的數(shù)據(jù)目錄，手動(dòng)刪除相關(guān)數(shù)據(jù)庫(kù)的文件夾或者數(shù)據(jù)庫(kù)文件夾下的數(shù)據(jù)表文件，前提是數(shù)據(jù)一定導(dǎo)出或備份成功。

這里，我使用的是第三種方法恢復(fù)了主數(shù)據(jù)庫(kù)的數(shù)據(jù)。

接下來(lái)，我們?cè)賮?lái)看看從數(shù)據(jù)庫(kù)數(shù)據(jù)的恢復(fù)。

解決從庫(kù)問(wèn)題

主從復(fù)制原理

這里，我就簡(jiǎn)單的說(shuō)下MySQL數(shù)據(jù)庫(kù)的主從復(fù)制原理。

MySQL主從復(fù)制原理，也稱為A/B原理。

(1) Master 將數(shù)據(jù)改變記錄到二進(jìn)制日志(binary log)中，也就是配置文件 log-bin 指定的文件， 這些記錄叫做二進(jìn)制日志事件(binary log events)；

(2) Slave 通過(guò) I/O 線程讀取 Master 中的 binary log events 并寫(xiě)入到它的中繼日志(relay log)；

(3) Slave 重做中繼日志中的事件，把中繼日志中的事件信息一條一條的在本地執(zhí)行一次，完 成數(shù)據(jù)在本地的存儲(chǔ)，從而實(shí)現(xiàn)將改變反映到它自己的數(shù)據(jù)(數(shù)據(jù)重放)。

復(fù)制過(guò)濾可以讓你只復(fù)制服務(wù)器中的一部分?jǐn)?shù)據(jù)，有兩種復(fù)制過(guò)濾：

(1) 在 Master 上過(guò)濾二進(jìn)制日志中的事件；

(2) 在 Slave 上過(guò)濾中繼日志中的事件。如下：

relay_log配置中繼日志，log_slave_updates表示slave將復(fù)制事件 寫(xiě)進(jìn)自己的二進(jìn)制日志.當(dāng)設(shè)置log_slave_updates時(shí)，你可以讓slave扮演其它slave的master.此時(shí)，slave把sql線程執(zhí)行的事件寫(xiě)進(jìn)自己的二進(jìn)制日志(binary log)然后，它的slave可以獲取這些事件并執(zhí)行它。如下圖所示(發(fā)送復(fù)制事件到其它的Slave):

從庫(kù)問(wèn)題重現(xiàn)

恢復(fù)主庫(kù)的數(shù)據(jù)后，向主庫(kù)中插入了一批測(cè)試數(shù)據(jù)，大概有1000條，但是插入數(shù)據(jù)后，從庫(kù)遲遲沒(méi)有將數(shù)據(jù)同步過(guò)來(lái)。于是我先登錄主庫(kù)，執(zhí)行如下命令。

mysql>show processlist;

查看下進(jìn)程是否Sleep太多。發(fā)現(xiàn)很正常。

再查看下主庫(kù)的狀態(tài)。

show master status;

也正常。

mysql> show master status;
+-------------------+----------+--------------+-------------------------------+ | File              | Position | Binlog_Do_DB | Binlog_Ignore_DB              |
+-------------------+----------+--------------+-------------------------------+ | mysqld-bin.000001 |     3260 |              | mysql,test,information_schema |
+-------------------+----------+--------------+-------------------------------+ 1 row in set (0.00 sec)

再到從庫(kù)上查看從庫(kù)的狀態(tài)。

mysql> show slave status\G                                                
 
Slave_IO_Running: Yes
Slave_SQL_Running: No 

發(fā)現(xiàn)是Slave不同步了。這里，如果主從數(shù)據(jù)庫(kù)版本一致或不一致又會(huì)存在兩種解決方案。

主從版本一致解決方案

下面介紹兩種解決方法

方法一：忽略錯(cuò)誤后，繼續(xù)同步

該方法適用于主從庫(kù)數(shù)據(jù)相差不大，或者要求數(shù)據(jù)可以不完全統(tǒng)一的情況，數(shù)據(jù)要求不嚴(yán)格的情況

解決：

stop slave; #表示跳過(guò)一步錯(cuò)誤，后面的數(shù)字可變 set global sql_slave_skip_counter =1; start slave;

之后再用mysql> show slave status\G  查看

mysql> show slave status\G
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

ok，現(xiàn)在主從同步狀態(tài)正常了。。。

方式二：重新做主從，完全同步

該方法適用于主從庫(kù)數(shù)據(jù)相差較大，或者要求數(shù)據(jù)完全統(tǒng)一的情況

解決步驟如下：

（1）先進(jìn)入主庫(kù)，進(jìn)行鎖表，防止數(shù)據(jù)寫(xiě)入

使用命令：

mysql> flush tables with read lock;

注意：該處是鎖定為只讀狀態(tài)，語(yǔ)句不區(qū)分大小寫(xiě)

（2）進(jìn)行數(shù)據(jù)備份

#把數(shù)據(jù)備份到mysql.bak.sql文件

mysqldump -uroot -p -hlocalhost > mysql.bak.sql

這里注意一點(diǎn)：數(shù)據(jù)庫(kù)備份一定要定期進(jìn)行，可以用shell腳本或者python腳本，都比較方便，確保數(shù)據(jù)萬(wàn)無(wú)一失。

（3）查看master 狀態(tài)

mysql> show master status;
+-------------------+----------+--------------+-------------------------------+ | File              | Position | Binlog_Do_DB | Binlog_Ignore_DB              |
+-------------------+----------+--------------+-------------------------------+ | mysqld-bin.000001 |     3260 |              | mysql,test,information_schema |
+-------------------+----------+--------------+-------------------------------+ 1 row in set (0.00 sec)

（4）把mysql備份文件傳到從庫(kù)機(jī)器，進(jìn)行數(shù)據(jù)恢復(fù)

scp mysql.bak.sql root@192.168.128.101:/tmp/

（5）停止從庫(kù)的狀態(tài)

mysql> stop slave;

（6）然后到從庫(kù)執(zhí)行mysql命令，導(dǎo)入數(shù)據(jù)備份

mysql> source /tmp/mysql.bak.sql

（7）設(shè)置從庫(kù)同步，注意該處的同步點(diǎn)，就是主庫(kù)show master status信息里的| File| Position兩項(xiàng)

change master to master_host = '192.168.128.100', master_user = 'rsync',  master_port=3306, master_password='', master_log_file = 'mysqld-bin.000001', master_log_pos=3260;

（8）重新開(kāi)啟從同步

mysql> start slave;

（9）查看同步狀態(tài)

mysql> show slave status\G  

Slave_IO_Running: Yes
Slave_SQL_Running: Yes

（10）回到主庫(kù)并執(zhí)行如下命令解除表鎖定。

UNLOCK TABLES;

如果主從數(shù)據(jù)庫(kù)的版本是一致的，以上述方式回復(fù)從數(shù)據(jù)庫(kù)是沒(méi)啥問(wèn)題的，如果主從數(shù)據(jù)庫(kù)版本不一致的話，以上述方式回復(fù)主從數(shù)據(jù)庫(kù)可能還會(huì)存在問(wèn)題。

主從版本不一致解決方案

如果MySQL主庫(kù)和從庫(kù)的版本不一致時(shí)，使用 show slave status \G命令查看從庫(kù)狀態(tài)時(shí)可能會(huì)看到如下所示的信息。

Slave_IO_Running: Yes
Slave_SQL_Running: No
……
Last_Errno: 1755
Last_Error: Cannot execute the current event group in the parallel mode. Encountered event Gtid, relay-log name ./mysql-relay.000002, position 123321 which prevents execution of this event group in parallel mode. Reason: The master event is logically timestamped incorrectly...

注意如下的輸出信息。

Last_Errno: 1755
Last_Error: Cannot execute the current event group in the parallel mode. Encountered event Gtid, relay-log name ./mysql-relay.000002, position 123321 which prevents execution of this event group in parallel mode. Reason: The master event is logically timestamped incorrectly...

這是由于主庫(kù)使用的是MySQL5.6，從庫(kù)使用的是MySQL5.7，數(shù)據(jù)庫(kù)版本不一致引起的。

從MySQL官網(wǎng)搜索1755的報(bào)錯(cuò)看到是并行復(fù)制bug導(dǎo)致的報(bào)錯(cuò)。想要解決的辦法也很簡(jiǎn)單，直接關(guān)掉并行復(fù)制即可。

stop slave; set global slave_parallel_workers=0; start slave;

如果從庫(kù)還是存在問(wèn)題，則可按照主從版本一致的方案來(lái)恢復(fù)從庫(kù)的數(shù)據(jù)。