相關(guān)學(xué)習推薦:mysql教程
? ?什么是基準測試
? ? 數(shù)據(jù)庫的基準測試是對數(shù)據(jù)庫的性能指標進行定量的、可復(fù)現(xiàn)的、可對比的測試?;鶞蕼y試與壓力測試 基準測試可以理解為針對系統(tǒng)的一種壓力測試。但基準測試不關(guān)心業(yè)務(wù)邏輯,更加簡單、直接、易于測試,數(shù)據(jù)可以由工具生成,不要求真實;而壓力測試一般考慮業(yè)務(wù)邏輯(如購物車業(yè)務(wù)),要求真實的數(shù)據(jù)。
? ?基準測試的作用
? ? 對于多數(shù)Web應(yīng)用,整個系統(tǒng)的瓶頸在于數(shù)據(jù)庫;原因很簡單:Web應(yīng)用中的其他因素,例如網(wǎng)絡(luò)帶寬、負載均衡節(jié)點、應(yīng)用服務(wù)器(包括CPU、內(nèi)存、硬盤燈、連接數(shù)等)、緩存,都很容易通過水平的擴展(俗稱加機器)來實現(xiàn)性能的提高。而對于MySQL,由于數(shù)據(jù)一致性的要求,無法通過增加機器來分散向數(shù)據(jù)庫寫數(shù)據(jù)帶來的壓力;雖然可以通過前置緩存(Redis等)、讀寫分離、分庫分表來減輕壓力,但是與系統(tǒng)其它組件的水平擴展相比,受到了太多的限制。
? ? 而對數(shù)據(jù)庫的基準測試的作用,就是分析在當前的配置下(包括硬件配置、OS、數(shù)據(jù)庫設(shè)置等),數(shù)據(jù)庫的性能表現(xiàn),從而找出MySQL的性能閾值,并根據(jù)實際系統(tǒng)的要求調(diào)整配置。
? ?基準測試的指標
? ? 常見的數(shù)據(jù)庫指標包括:
? ? TPS/QPS:衡量吞吐量。響應(yīng)時間:包括平均響應(yīng)時間、最小響應(yīng)時間、最大響應(yīng)時間、時間百分比等,其中時間百分比參考意義較大,如前95%的請求的最大響應(yīng)時間。。并發(fā)量:同時處理的查詢請求的數(shù)量。
? ?基準測試的分類
? ? 對MySQL的基準測試,有如下兩種思路:
- ? ? ? ?針對整個系統(tǒng)的基準測試:通過http請求進行測試,如通過瀏覽器、APP或postman等測試工具。該方案的優(yōu)點是能夠更好的針對整個系統(tǒng),測試結(jié)果更加準確;缺點是設(shè)計復(fù)雜實現(xiàn)困難。
- ? ? ? ?只針對MySQL的基準測試:優(yōu)點和缺點與針對整個系統(tǒng)的測試恰好相反。
? ? 在針對MySQL進行基準測試時,一般使用專門的工具進行,例如mysqlslap、sysbench等。其中,sysbench比mysqlslap更通用、更強大,且更適合Innodb(因為模擬了許多Innodb的IO特性),下面介紹使用sysbench進行基準測試的方法。
? ?sysbench簡介
? ? sysbench是跨平臺的基準測試工具,支持多線程,支持多種數(shù)據(jù)庫;主要包括以下幾種測試:
? ? 1.cpu性能2.磁盤io性能3.調(diào)度程序性能4.內(nèi)存分配及傳輸速度5.POSIX線程性能6.數(shù)據(jù)庫性能(OLTP基準測試)7.本文主要介紹對數(shù)據(jù)庫性能的測試。
? ?sysbench安裝
? ? 本文使用的環(huán)境時CentOS 6.5;在其他Linux系統(tǒng)上的安裝方法大同小異。MySQL版本是5.6。
1.下載解壓 wget?https://github.com/akopytov/sysbench/archive/1.0.zip?-O?"sysbench-1.0.zip" unzip?sysbench-1.0.zip cd?sysbench-1.0 2.安裝依賴 yum?install?automake?libtool?–y 3.安裝?安裝之前,確保位于之前解壓的sysbench目錄中。 ./autogen.sh ./configure export?LD_LIBRARY_PATH=/usr/local/mysql/include? #這里換成機器中mysql路徑下的include make make?install 4.安裝成功 [[email?protected]?sysbench-1.0]#?sysbench?--version sysbench?1.0.9
? ?sysbench語法
? ? 執(zhí)行sysbench –help,可以看到sysbench的詳細使用方法。sysbench的基本語法如下:
sysbench?[options]...?[testname]?[command]
? ? 下面說明實際使用中,常用的參數(shù)和命令。
? ?1.command?command是sysbench要執(zhí)行的命令,包括prepare、run和cleanup,顧名思義,prepare是為測試提前準備數(shù)據(jù),run是執(zhí)行正式的測試,cleanup是在測試完成后對數(shù)據(jù)庫進行清理。
? ?2.testname?testname指定了要進行的測試,在老版本的sysbench中,可以通過–test參數(shù)指定測試的腳本;而在新版本中,–test參數(shù)已經(jīng)聲明為廢棄,可以不使用–test,而是直接指定腳本。
? ? 例如,如下兩種方法效果是一樣的:
sysbench?--test=./tests/include/oltp_legacy/oltp.lua sysbench?./tests/include/oltp_legacy/oltp.lua
? ? 測試時使用的腳本為lua腳本,可以使用sysbench自帶腳本,也可以自己開發(fā)。對于大多數(shù)應(yīng)用,使用sysbench自帶的腳本就足夠了。不同版本的sysbench中,lua腳本的位置可能不同,可以自己在sysbench路徑下使用find命令搜索oltp.lua。P.S.:大多數(shù)數(shù)據(jù)服務(wù)都是oltp類型的,如果你不了解什么是oltp,那么大概率你的數(shù)據(jù)服務(wù)就是oltp類型的。
? ?3.options?sysbench的參數(shù)有很多,其中比較常用的包括:?MySQL連接信息參數(shù):
? ? 1.–mysql-host:MySQL服務(wù)器主機名,默認localhost;如果在本機上使用localhost報錯,提示無法連接MySQL服務(wù)器,改成本機的IP地址應(yīng)該就可以了。2.–mysql-port:MySQL服務(wù)器端口,默認33063.–mysql-user:用戶名4.–mysql-password:密碼
? ?MySQL執(zhí)行參數(shù):
? ? 1.–oltp-test-mode:執(zhí)行模式,包括simple、nontrx和complex,默認是complex。simple模式下只測試簡單的查詢;nontrx不僅測試查詢,還測試插入更新等,但是不使用事務(wù);complex模式下測試最全面,會測試增刪改查,而且會使用事務(wù)??梢愿鶕?jù)自己的需要選擇測試模式。2.–oltp-tables-count:測試的表數(shù)量,根據(jù)實際情況選擇3.–oltp-table-size:測試的表的大小,根據(jù)實際情況選擇4.–threads:客戶端的并發(fā)連接數(shù)5.–time:測試執(zhí)行的時間,單位是秒,該值不要太短,可以選擇1206.–report-interval:生成報告的時間間隔,單位是秒,如10
? ?sysbench使用舉例
? ? 在執(zhí)行sysbench時,應(yīng)該注意:
? ? 1.盡量不要在MySQL服務(wù)器運行的機器上進行測試,一方面可能無法體現(xiàn)網(wǎng)絡(luò)(哪怕是局域網(wǎng))的影響,另一方面,sysbench的運行(尤其是設(shè)置的并發(fā)數(shù)較高時)會影響MySQL服務(wù)器的表現(xiàn)。2.可以逐步增加客戶端的并發(fā)連接數(shù)(–thread參數(shù)),觀察在連接數(shù)不同情況下,MySQL服務(wù)器的表現(xiàn);如分別設(shè)置為10,20,50,100等。3.一般執(zhí)行模式選擇complex即可,如果需要特別測試服務(wù)器只讀性能,或不使用事務(wù)時的性能,可以選擇simple模式或nontrx模式。4.如果連續(xù)進行多次測試,注意確保之前測試的數(shù)據(jù)已經(jīng)被清理干凈。
? ?下面是sysbench使用的一個例子:
? ?1.準備數(shù)據(jù)
sysbench?./tests/include/oltp_legacy/oltp.lua?--mysql-host=192.168.10.10?--mysql-port=3306?--mysql-user=root?--mysql-password=123456?--oltp-test-mode=complex?--oltp-tables-count=10?--oltp-table-size=100000?--threads=10?--time=120?--report-interval=10?prepare
? ? 其中,執(zhí)行模式為complex,使用了10個表,每個表有10萬條數(shù)據(jù),客戶端的并發(fā)線程數(shù)為10,執(zhí)行時間為120秒,每10秒生成一次報告。?
? ?2.執(zhí)行測試?將測試結(jié)果導(dǎo)出到文件中,便于后續(xù)分析。
sysbench?./tests/include/oltp_legacy/oltp.lua?--mysql-host=192.168.10.10?--mysql-port=3306?--mysql-user=root?--mysql-password=123456?--oltp-test-mode=complex?--oltp-tables-count=10?--oltp-table-size=100000?--threads=10?--time=120?--report-interval=10?run?>>?/home/test/mysysbench.log
? ?3.清理數(shù)據(jù)?執(zhí)行完測試后,清理數(shù)據(jù),否則后面的測試會受到影響。
sysbench?./tests/include/oltp_legacy/oltp.lua?--mysql-host=192.168.10.10?--mysql-port=3306?--mysql-user=root?--mysql-password=123456?cleanup
? ?測試結(jié)果
? ? 測試結(jié)束后,查看輸出文件,如下所示:? ?
? ? 其中,對于我們比較重要的信息包括:queries:查詢總數(shù)及qps transactions:事務(wù)總數(shù)及tps Latency-95th percentile:前95%的請求的最大響應(yīng)時間,本例中是344毫秒,這個延遲非常大,是因為我用的MySQL服務(wù)器性能很差;在正式環(huán)境中這個數(shù)值是絕對不能接受的。
? ?建議
? ? 下面是使用sysbench的一些建議。
? ?1.在開始測試之前,應(yīng)該首先明確:應(yīng)采用針對整個系統(tǒng)的基準測試,還是針對MySQL的基準測試,還是二者都需要。2.如果需要針對MySQL的基準測試,那么還需要明確精度方面的要求:是否需要使用生產(chǎn)環(huán)境的真實數(shù)據(jù),還是使用工具生成也可以;前者實施起來更加繁瑣。如果要使用真實數(shù)據(jù),盡量使用全部數(shù)據(jù),而不是部分數(shù)據(jù)。3.基準測試要進行多次才有意義。4.測試時需要注意主從同步的狀態(tài)。5.測試必須模擬多線程的情況,單線程情況不但無法模擬真實的效率,也無法模擬阻塞甚至死鎖情況。
想了解更多編程學(xué)習,敬請關(guān)注php培訓(xùn)欄目!