MySQL 大數據量快速插入方法和語句優化分享

對于事務表,應使用BEGIN和COMMIT代替LOCK TABLES來加快插入

鎖定也將降低多連接測試的整體時間,盡管因為它們等候鎖定最大等待時間將上升。例如:

代碼如下:
Connection 1 does 1000 inserts
Connections 2, 3, and 4 do 1 insert
Connection 5 does 1000 inserts

  如果不使用鎖定,2、3和4將在1和5前完成。如果使用鎖定,2、3和4將可能不在1或5前完成,但是整體時間應該快大約40%。

  INSERT、UPDATE和DELETE操作在MySQL中是很快的,通過為在一行中多于大約5次連續不斷地插入或更新的操作加鎖,可以獲得更好的整體性能。如果在一行中進行多次插入,可以執行LOCK TABLES,隨后立即執行UNLOCK TABLES(大約每1000行)以允許其它的線程訪問表。這也會獲得好的性能。

  INSERT裝載數據比LOAD DATA INFILE要慢得多,即使是使用上述的策略。

  為了對LOAD DATA INFILE和INSERT在MyISAM表得到更快的速度,通過增加key_buffer_size系統變量來擴大 鍵高速緩沖區。

  INSERT語法

代碼如下:
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name [(col_name,…)]
VALUES ({expr | default},…),(…),…
[ ON DUPLICATE KEY UPDATE col_name=expr, … ]

  或:

代碼如下:

INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name
SET col_name={expr | DEFAULT}, …
[ ON DUPLICATE KEY UPDATE col_name=expr, … ]

  或:

代碼如下:
 
INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name [(col_name,…)]
SELECT …
[ ON DUPLICATE KEY UPDATE col_name=expr, … ]

  一、DELAYED 的使用

  使用延遲插入操作DELAYED調節符應用于INSERT和REPLACE語句。當DELAYED插入操作到達的時候,服務器把數據行放入一個隊列中,并立即給客戶端返回一個狀態信息,這樣客戶端就可以在數據表被真正地插入記錄之前繼續進行操作了。如果讀取者從該數據表中讀取數據,隊列中的數據就會被保持著,直到沒有讀取者為止。

  接著服務器開始插入延遲數據行(delayed-row)隊列中的數據行。在插入操作的同時,服務器還要檢查是否有新的讀取請求到達和等待。如果有,延遲數據行隊列就被掛起,允許讀取者繼續操作。當沒有讀取者的時候,服務器再次開始插入延遲的數據行。這個過程一直進行,直到隊列空了為止。

  幾點要注意事項:

  INSERT DELAYED應該僅用于指定值清單的INSERT語句。服務器忽略用于INSERT DELAYED…SELECT語句的DELAYED。服務器忽略用于INSERT DELAYED…ON DUPLICATE UPDATE語句的DELAYED。

  因為在行被插入前,語句立刻返回,所以您不能使用LAST_INSERT_ID()來獲取AUTO_INCREMENT值。AUTO_INCREMENT值可能由語句生成。

  對于SELECT語句,DELAYED行不可見,直到這些行確實被插入了為止。

  DELAYED在從屬復制服務器中被忽略了,因為DELAYED不會在從屬服務器中產生與主服務器不一樣的數據。注意,目前在隊列中的各行只保存在存儲器中,直到它們被插入到表中為止。這意味著,如果您強行中止了mysqld(例如,使用kill -9)或者如果mysqld意外停止,則所有沒有被寫入磁盤的行都會丟失。

? 版權聲明
THE END
喜歡就支持一下吧
點贊14 分享