MySQL復制實例詳解之GTID復制

本篇文章給大家帶來了關于mysql的相關知識,其中主要介紹了關于gtid復制的相關問題,gtid是對于一個已提交事務的編號,并且是一個全局唯一的編號,下面一起來看一下,希望對大家有幫助。

MySQL復制實例詳解之GTID復制

推薦學習:mysql

mysql 5.6.5開始新增了一種基于GTID的復制方式。通過GTID保證了每個在主庫上提交的事務在集群中有一個唯一的ID。這種方式強化了數據庫的主備一致性,故障恢復以及容錯能力。

GTID是什么

GTID (Global Transaction ID) 是對于一個已提交事務的編號,并且是一個全局唯一的編號。 GTID實際上是由UUID+TID 組成的。其中UUID是一個 MySQL實例的唯一標識。TID代表了該實例上已經提交的事務數量,并且隨著事務提交單調遞增。

下面是一個GTID的具體形式:3E11FA47-71CA-11E1-9E33-C80AA9429562:23,冒號分割前邊為uuid,后邊為TID。

GTID集合可以包含來自多個MySQL實例的事務,它們之間用逗號分隔。

如果來自同一MySQL實例的事務序號有多個范圍區間,各組范圍之間用冒號分隔。例如:e6954592-8dba-11e6-af0e-fa163e1cf111:1-5:11-18,e6954592-8dba-11e6-af0e-fa163e1cf3f2:1-27。

GTID改進有哪些

在原來基于二進制日志的復制中,從庫需要告知主庫要從哪個偏移量進行增量同步,如果指定錯誤會造成數據的遺漏,從而造成數據的不一致。借助GTID,在發生主備切換的情況下,MySQL的其它從庫可以自動在新主庫上找到正確的復制位置,這大大簡化了復雜復制拓撲下集群的維護,也減少了人為設置復制位置發生誤操作的風險。另外,基于GTID的復制可以忽略已經執行過的事務,減少了數據發生不一致的風險。

主庫基于gtid set可以準確的知道從庫缺少哪些數據,不會多給從庫數據,也不會少給,避免網絡帶寬浪費。

mysql主從結構在一主一從情況下對于GTID來說就沒有優勢了,而對于2臺主以上的結構優勢異常明顯,可以在數據不丟失的情況下切換新主。

注意:在構建主從復制之前,在一臺將成為主的實例上進行一些操作(如數據清理等),通過GTID復制,這些在主從成立之前的操作也會被復制到從服務器上,引起復制失敗。也就是說通過GTID復制都是從最先開始的事務日志開始,即使這些操作在復制之前執行。比如在server1上執行一些drop、delete的清理操作,接著在server2上執行change的操作,會使得server2也進行server1的清理操作。

GTID的工作原理

  1. 當一個事務在主庫端執行并提交時,產生GTID,一同記錄到binlog日志中。
  2. binlog傳輸到slave,并存儲到slave的relaylog后,讀取這個GTID的這個值設置gtid_next變量,即告訴Slave,下一個要執行的GTID值。
  3. sql線程從relay log中獲取GTID,然后對比slave端的binlog是否有該GTID。
  4. 如果有記錄,說明該GTID的事務已經執行,slave會忽略。
  5. 如果沒有記錄,slave就會執行該GTID事務,并記錄該GTID到自身的binlog,在讀取執行事務前會先檢查其他session持有該GTID,確保不被重復執行。

一主一從GTID復制的搭建

主機規劃:

  • master:docker,端口3312
  • slave:docker,端口3313

master的配置

配置文件my.cnf內容如下:

$ cat /home/mysql/docker-data/3313/conf/my.cnf # For advice on how to change settings please see # http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html  [mysqld] # # Remove leading # and set to the amount of RAM for the most important data # cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%. # innodb_buffer_pool_size = 128M # # Remove leading # to turn on a very important data integrity option: logging # changes to the binary log between backups. # log_bin # # Remove leading # to set options mainly useful for reporting servers. # The server defaults are faster for transactions and fast SELECTs. # Adjust sizes as needed, experiment to find the optimal values. # join_buffer_size = 128M # sort_buffer_size = 2M # read_rnd_buffer_size = 2M #datadir=/home/mysql/docker-data/3307/data #socket=/home/mysql/docker-data/3307/mysql.sock  character_set_server=utf8 init_connect='SET NAMES utf8'  # Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0  #log-error=/home/mysql/docker-data/3307/logs/mysqld.log #pid-file=/home/mysql/docker-data/3307/mysqld.pid lower_case_table_names=1 server-id=1403311 log-bin=mysql-bin binlog-format=ROW auto_increment_increment=1 auto_increment_offset=1 # 開啟gtid gtid_mode=ON enforce-gtid-consistency=true  #rpl_semi_sync_master_enabled=1 #rpl_semi_sync_master_timeout=10000

創建docker實例:

$ docker run --name mysql3312 -p 3312:3306 --privileged=true -ti -e MYSQL_ROOT_PASSWORD=root -e MYSQL_DATABASE=order -e MYSQL_USER=user -e MYSQL_PASSWORD=pass -v /home/mysql/docker-data/3312/conf:/etc/mysql/conf.d -v /home/mysql/docker-data/3312/data/:/var/lib/mysql -v /home/mysql/docker-data/3312/logs/:/var/log/mysql -d mysql:5.7

添加用于復制的用戶并授權:

mysql> GRANT REPLICATION SLAVE,FILE,REPLICATION CLIENT ON *.* TO 'repluser'@'%' IDENTIFIED BY '123456'; Query OK, 0 rows affected, 1 warning (0.01 sec)  mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.01 sec)

slave的配置

配置文件my.cnf內容與master一致,注意修改server-id,保持唯一。

創建docker實例:

$ docker run --name mysql3313 -p 3313:3306 --privileged=true -ti -e MYSQL_ROOT_PASSWORD=root -e MYSQL_DATABASE=order -e MYSQL_USER=user -e MYSQL_PASSWORD=pass -v /home/mysql/docker-data/3313/conf:/etc/mysql/conf.d -v /home/mysql/docker-data/3313/data/:/var/lib/mysql -v /home/mysql/docker-data/3313/logs/:/var/log/mysql -d mysql:5.7

開啟GTID同步:

mysql> change master to master_host='172.23.252.98',master_port=3310,master_user='repluser',master_password='123456',master_auto_position=1; Query OK, 0 rows affected, 2 warnings (0.02 sec)  mysql> start slave; Query OK, 0 rows affected (0.02 sec)

查看狀態:

mysql> show master status; +------------------+----------+--------------+------------------+----------------------------------------+ | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                      | +------------------+----------+--------------+------------------+----------------------------------------+ | mysql-bin.000008 |      154 |              |                  | cd2eaa0a-7a59-11ec-b3b4-0242ac110002:1 | +------------------+----------+--------------+------------------+----------------------------------------+ 1 row in set (0.00 sec)  mysql> show slave statusG; *************************** 1. row ***************************                Slave_IO_State: Waiting for master to send event                   Master_Host: 172.23.252.98                   Master_User: repluser                   Master_Port: 3312                 Connect_Retry: 60               Master_Log_File: mysql-bin.000006           Read_Master_Log_Pos: 419                Relay_Log_File: 5dfbef024732-relay-bin.000003                 Relay_Log_Pos: 632         Relay_Master_Log_File: mysql-bin.000006              Slave_IO_Running: Yes             Slave_SQL_Running: Yes               Replicate_Do_DB:           Replicate_Ignore_DB:            Replicate_Do_Table:        Replicate_Ignore_Table:       Replicate_Wild_Do_Table:   Replicate_Wild_Ignore_Table:                    Last_Errno: 0                    Last_Error:                  Skip_Counter: 0           Exec_Master_Log_Pos: 419               Relay_Log_Space: 846               Until_Condition: None                Until_Log_File:                 Until_Log_Pos: 0            Master_SSL_Allowed: No            Master_SSL_CA_File:            Master_SSL_CA_Path:               Master_SSL_Cert:             Master_SSL_Cipher:                Master_SSL_Key:         Seconds_Behind_Master: 0 Master_SSL_Verify_Server_Cert: No                 Last_IO_Errno: 0                 Last_IO_Error:                Last_SQL_Errno: 0                Last_SQL_Error:   Replicate_Ignore_Server_Ids:              Master_Server_Id: 1403311                   Master_UUID: cd2eaa0a-7a59-11ec-b3b4-0242ac110002              Master_Info_File: /var/lib/mysql/master.info                     SQL_Delay: 0           SQL_Remaining_Delay: NULL       Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates            Master_Retry_Count: 86400                   Master_Bind:       Last_IO_Error_Timestamp:      Last_SQL_Error_Timestamp:                Master_SSL_Crl:            Master_SSL_Crlpath:            Retrieved_Gtid_Set: cd2eaa0a-7a59-11ec-b3b4-0242ac110002:1             Executed_Gtid_Set: cd2eaa0a-7a59-11ec-b3b4-0242ac110002:1                 Auto_Position: 1          Replicate_Rewrite_DB:                  Channel_Name:            Master_TLS_Version: 1 row in set (0.00 sec)

在master.order表插入數據:

mysql> insert into t_order values(4,"V");

發現數據已經同步至slave:

mysql> select * from order.t_order; +------+------+ | id   | name | +------+------+ |    4 | V    | +------+------+ 3 rows in set (0.00 sec)

先停止slave,再在master.order表插入數據:

mysql> insert into t_order values(5,"X");

然后再啟動slave,發現數據已自動同步:

mysql> stop slave; Query OK, 0 rows affected (0.01 sec)  mysql> select * from order.t_order; +------+------+ | id   | name | +------+------+ |    4 | V    | +------+------+ 3 rows in set (0.00 sec)  mysql> start slave; Query OK, 0 rows affected (0.02 sec)  mysql> select * from order.t_order; +------+------+ | id   | name | +------+------+ |    4 | V    | |    5 | X    | +------+------+ 4 rows in set (0.00 sec)

遇到的問題

在slave服務器show slave status:

Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.

首先檢查master和slave的server_id是否一致,如果一致去修改my.cnf文件中的server_id字段:

mysql> show variables like 'server_id';

然后排查master和slave的uuid是否一致:

mysql> show variables like '%uuid%';

如果uuid一致去修改data目錄下的auto.cnf文件,拷貝整個data目錄,把auto.cnf文件也拷貝過來了,里面記錄了數據庫的uuid,每個庫的uuid應該是不一樣的。

推薦學習:mysql

? 版權聲明
THE END
喜歡就支持一下吧
點贊14 分享