本篇文章是mysql的進(jìn)階學(xué)習(xí),介紹一下主從復(fù)制原理及其配置,希望對(duì)大家有所幫助!
對(duì)于現(xiàn)在的系統(tǒng)來(lái)說(shuō),在業(yè)務(wù)復(fù)雜的系統(tǒng)中,數(shù)據(jù)庫(kù)往往是應(yīng)用的瓶頸,單機(jī)往往是不能扛住大型系統(tǒng)的并發(fā)壓力的,這時(shí)候需要從數(shù)據(jù)庫(kù)方面下手解決其瓶頸,例如sql語(yǔ)句需要鎖表,導(dǎo)致暫時(shí)不能使用讀的服務(wù),那么就很影響運(yùn)行中的業(yè)務(wù)。使用主從之后,從庫(kù)的讀操作是不受影響的。【相關(guān)推薦:mysql】
一、為什么需要主從復(fù)制?
1,使用主從復(fù)制,讓主庫(kù)負(fù)責(zé)寫(xiě),從庫(kù)負(fù)責(zé)讀,這樣,即使主庫(kù)出現(xiàn)了鎖表的情景,通過(guò)讀從庫(kù)也可以保證業(yè)務(wù)的正常運(yùn)作。
2,架構(gòu)的擴(kuò)展。業(yè)務(wù)量越來(lái)越大,I/O訪問(wèn)頻率過(guò)高,單機(jī)無(wú)法滿(mǎn)足,此時(shí)做多庫(kù)的存儲(chǔ),降低磁盤(pán)I/O訪問(wèn)的頻率,提高單個(gè)機(jī)器的I/O性能。
3,主從多臺(tái)服務(wù)器,同樣也可以當(dāng)作數(shù)據(jù)備份的。
二、什么是mysql的主從復(fù)制?
mysql 主從復(fù)制是指數(shù)據(jù)可以從一個(gè)MySQL數(shù)據(jù)庫(kù)服務(wù)器主節(jié)點(diǎn)復(fù)制到一個(gè)或多個(gè)從節(jié)點(diǎn)。MySQL 默認(rèn)采用異步復(fù)制方式,這樣從節(jié)點(diǎn)不用一直訪問(wèn)主服務(wù)器來(lái)更新自己的數(shù)據(jù),數(shù)據(jù)的更新可以在遠(yuǎn)程連接上進(jìn)行,從節(jié)點(diǎn)可以復(fù)制主數(shù)據(jù)庫(kù)中的所有數(shù)據(jù)庫(kù)或者特定的數(shù)據(jù)庫(kù)或者特定的表。
三、mysql復(fù)制原理
原理:
(1)master服務(wù)器將數(shù)據(jù)的改變記錄二進(jìn)制binlog日志,當(dāng)master上的數(shù)據(jù)發(fā)生改變時(shí),則將其改變寫(xiě)入二進(jìn)制日志中;
(2)slave服務(wù)器會(huì)在一定時(shí)間間隔內(nèi)對(duì)master二進(jìn)制日志進(jìn)行探測(cè)其是否發(fā)生改變,如果發(fā)生改變,則開(kāi)始一個(gè)I/O Thread請(qǐng)求master二進(jìn)制事件;
(3)同時(shí)主節(jié)點(diǎn)為每個(gè)I/O線程啟動(dòng)一個(gè)dump線程,用于向其發(fā)送二進(jìn)制事件,并保存至從節(jié)點(diǎn)本地的中繼日志中,從節(jié)點(diǎn)將啟動(dòng)SQL線程從中繼日志中讀取二進(jìn)制日志,在本地重放,使得其數(shù)據(jù)和主節(jié)點(diǎn)的保持一致,最后I/OThread和SQLThread將進(jìn)入睡眠狀態(tài),等待下一次被喚醒。
也就是說(shuō): 從庫(kù)會(huì)生成兩個(gè)線程,一個(gè)I/O線程,一個(gè)SQL線程; I/O線程會(huì)去請(qǐng)求主庫(kù)的binlog,并將得到的binlog寫(xiě)到本地的relay-log(中繼日志)文件中; 主庫(kù)會(huì)生成一個(gè)log?dump線程,用來(lái)給從庫(kù)I/O線程傳binlog; SQL線程,會(huì)讀取relay?log文件中的日志,并解析成sql語(yǔ)句逐一執(zhí)行;
注意:
- master將操作語(yǔ)句記錄到binlog日志中,然后授予slave遠(yuǎn)程連接的權(quán)限(master一定要開(kāi)啟binlog二進(jìn)制日志功能;通常為了數(shù)據(jù)安全考慮,slave也開(kāi)啟binlog功能)。
- slave開(kāi)啟兩個(gè)線程:IO線程和SQL線程。其中:IO線程負(fù)責(zé)讀取master的binlog內(nèi)容到中繼日志relay log里;SQL線程負(fù)責(zé)從relay log日志里讀出binlog內(nèi)容,并更新到slave的數(shù)據(jù)庫(kù)里,這樣就能保證slave數(shù)據(jù)和master數(shù)據(jù)保持一致了。
- Mysql復(fù)制至少需要兩個(gè)Mysql的服務(wù),當(dāng)然Mysql服務(wù)可以分布在不同的服務(wù)器上,也可以在一臺(tái)服務(wù)器上啟動(dòng)多個(gè)服務(wù)。
- Mysql復(fù)制最好確保master和slave服務(wù)器上的Mysql版本相同(如果不能滿(mǎn)足版本一致,那么要保證master主節(jié)點(diǎn)的版本低于slave從節(jié)點(diǎn)的版本)
- master和slave兩節(jié)點(diǎn)間時(shí)間需同步。
圖來(lái)源《高性能mysql》
具體步驟:
1、從庫(kù)通過(guò)手工執(zhí)行change master to 語(yǔ)句連接主庫(kù),提供了連接的用戶(hù)一切條件(user 、password、port、ip),并且讓從庫(kù)知道二進(jìn)制日志的起點(diǎn)位置(file名 position 號(hào));start slave
2、從庫(kù)的IO線程和主庫(kù)的dump線程建立連接。
3、從庫(kù)根據(jù)change master to 語(yǔ)句提供的file名和position號(hào),IO線程向主庫(kù)發(fā)起binlog的請(qǐng)求。
4、主庫(kù)dump線程根據(jù)從庫(kù)的請(qǐng)求,將本地binlog以events的方式發(fā)給從庫(kù)IO線程。
5、從庫(kù)IO線程接收binlog events,并存放到本地relay-log中,傳送過(guò)來(lái)的信息,會(huì)記錄到master.info中。
6、從庫(kù)SQL線程應(yīng)用relay-log,并且把應(yīng)用過(guò)的記錄到relay-log.info中,默認(rèn)情況下,已經(jīng)應(yīng)用過(guò)的relay 會(huì)自動(dòng)被清理purge。
四、mysql主從同步延時(shí)分析
mysql的主從復(fù)制都是單線程的操作,主庫(kù)對(duì)所有DDL和DML產(chǎn)生的日志寫(xiě)進(jìn)binlog,由于binlog是順序?qū)懀孕屎芨撸瑂lave的sql thread線程將主庫(kù)的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是隨機(jī)的,不是順序,所以成本要高很多,另一方面,由于sql thread也是單線程的,當(dāng)主庫(kù)的并發(fā)較高時(shí),產(chǎn)生的DML數(shù)量超過(guò)slave的SQL thread所能處理的速度,或者當(dāng)slave中有大型query語(yǔ)句產(chǎn)生了鎖等待,那么延時(shí)就產(chǎn)生了。
解決方案:
1.業(yè)務(wù)的持久化層的實(shí)現(xiàn)采用分庫(kù)架構(gòu),mysql服務(wù)可平行擴(kuò)展,分散壓力。
2.單個(gè)庫(kù)讀寫(xiě)分離,一主多從,主寫(xiě)從讀,分散壓力。這樣從庫(kù)壓力比主庫(kù)高,保護(hù)主庫(kù)。
3.服務(wù)的基礎(chǔ)架構(gòu)在業(yè)務(wù)和mysql之間加入memcache或者redis的cache層。降低mysql的讀壓力。
4.不同業(yè)務(wù)的mysql物理上放在不同機(jī)器,分散壓力。
5.使用比主庫(kù)更好的硬件設(shè)備作為slave,mysql壓力小,延遲自然會(huì)變小。
6.使用更加強(qiáng)勁的硬件設(shè)備。
mysql5.7之后使用MTS并行復(fù)制技術(shù),永久解決復(fù)制延時(shí)問(wèn)題 這個(gè)后面文章在說(shuō)下吧
五、主從復(fù)制的配置
1、基礎(chǔ)設(shè)置準(zhǔn)備
本次測(cè)試mysql的版本是5.7. ?比較窮,在一臺(tái)機(jī)子上裝了兩個(gè)mysql實(shí)例,修改下不同端口即可。 當(dāng)然如果有錢(qián)準(zhǔn)備兩臺(tái)能互相訪問(wèn)的機(jī)子安裝兩個(gè)mysql也是可以的。
測(cè)試階段兩個(gè)mysql實(shí)例IP相同都是本機(jī)(ip=127.0.0.1),區(qū)分下分別命名 主是node1,從是node2,端口不同 我實(shí)際測(cè)試用的是3306和3307)
2、安裝mysql數(shù)據(jù)庫(kù)
網(wǎng)上很多按照的例子,這里就不重復(fù)說(shuō)了,請(qǐng)自行百度/google(結(jié)果是數(shù)據(jù)庫(kù)能正常使用),待兩臺(tái)mysql都按照完成之后,我們開(kāi)始配置主從復(fù)制了。
3、在兩臺(tái)數(shù)據(jù)庫(kù)中分別創(chuàng)建數(shù)據(jù)庫(kù)
--注意兩臺(tái)必須全部執(zhí)行,兩臺(tái)的數(shù)據(jù)庫(kù)保持相同 create?database?test;
4、在主(node1)服務(wù)器進(jìn)行如下配置:
#修改配置文件,執(zhí)行以下命令打開(kāi)mysql配置文件 vi?/etc/my.cnf #在mysqld模塊中添加如下配置信息 log-bin=master-bin?#二進(jìn)制文件名稱(chēng) #二進(jìn)制日志格式,有row、statement、mixed三種格式, binlog-format=ROW?? server-id=1???#要求各個(gè)服務(wù)器的id必須不一樣 binlog-do-db=test???#同步的數(shù)據(jù)庫(kù)名稱(chēng)
二進(jìn)制日志格式,有row、statement、mixed三種格式; ? row指的是把改變的內(nèi)容復(fù)制過(guò)去,而不是把命令在從服務(wù)器上執(zhí)行一遍;statement指的是在主服務(wù)器上執(zhí)行的SQL語(yǔ)句,在從服務(wù)器上執(zhí)行同樣的語(yǔ)句。MySQL默認(rèn)采用基于語(yǔ)句的復(fù)制,效率比較高; ?mixed指的是默認(rèn)采用基于語(yǔ)句的復(fù)制,一旦發(fā)現(xiàn)基于語(yǔ)句的無(wú)法精確的復(fù)制時(shí),就會(huì)采用基于行的復(fù)制。
5、配置從(node2)服務(wù)器登錄主服務(wù)器的賬號(hào)授權(quán)
--授權(quán)操作 set?global?validate_password_policy=0; set?global?validate_password_length=1; grant?replication?slave?on?*.*?to?'root'@'%'?identified?by?'123456'; --刷新權(quán)限 flush?privileges;
6、從(node2)服務(wù)器的配置
#修改配置文件,執(zhí)行以下命令打開(kāi)mysql配置文件 vi?/etc/my.cnf #在mysqld模塊中添加如下配置信息 log-bin=master-bin?#二進(jìn)制文件的名稱(chēng) binlog-format=ROW??#二進(jìn)制文件的格式 server-id=2?#服務(wù)器的id
7、重啟主服務(wù)器的mysqld服務(wù)
#重啟mysql服務(wù) service?mysqld?restart #登錄mysql數(shù)據(jù)庫(kù) mysql?-uroot?-p #查看master的狀態(tài) show?master?status;
8、重啟從服務(wù)器并進(jìn)行相關(guān)配置
#重啟mysql服務(wù) service?mysqld?restart #登錄mysql mysql?-uroot?-p #連接主服務(wù)器(master_host是主的IP地址,我測(cè)試本地) change?master?to?master_host='127.0.0.1',master_user='root',master_password='123456',master_port=3306,master_log_file='master-bin.000001',master_log_pos=154; #啟動(dòng)slave start?slave #查看slave的狀態(tài) show?slave?statusG?#(注意沒(méi)有分號(hào))
至此主從的配置已經(jīng)完成,此時(shí)可以在主服務(wù)器進(jìn)行相關(guān)的數(shù)據(jù)添加刪除工作,在從服務(wù)器看相關(guān)的狀態(tài),查看對(duì)應(yīng)數(shù)據(jù)有沒(méi)有變化。
更多編程相關(guān)知識(shí),請(qǐng)?jiān)L問(wèn):mysql!!