在mysql中,臨時表指的是臨時使用的一張表,是用于存儲一些中間結果集的表;臨時表只在當前連接可見,當關閉連接時,Mysql會自動刪除表并釋放所有空間。
本教程操作環境:windows7系統、mysql8版本、Dell G3電腦。
臨時表,是臨時使用的一張表。
臨時表是MySQL用于存儲一些中間結果集的表,臨時表只在當前連接可見,當關閉連接時,Mysql會自動刪除表并釋放所有空間。
使用其他MySQL客戶端程序連接MySQL數據庫服務器來創建臨時表,那么只有在關閉客戶端程序時才會銷毀臨時表,當然也可以手動刪除。
注:臨時表在MySQL 3.23版本中添加,如果你的MySQL版本低于 3.23版本就無法使用MySQL的臨時表。不過現在一般很少有再使用這么低版本的MySQL數據庫服務了
MySQL中的兩種臨時表
外部臨時表
通過CREATE TEMPORARY TABLE 創建的臨時表,這種臨時表稱為外部臨時表。這種臨時表只對當前用戶可見,當前會話結束的時候,該臨時表會自動關閉。這種臨時表的命名與非臨時表可以同名(同名后非臨時表將對當前會話不可見,直到臨時表被刪除)。
內部臨時表
內部臨時表是一種特殊輕量級的臨時表,用來進行性能優化。這種臨時表會被MySQL自動創建并用來存儲某些操作的中間結果。這些操作可能包括在優化階段或者執行階段。這種內部表對用戶來說是不可見的,但是通過EXPLAIN或者SHOW STATUS可以查看MYSQL是否使用了內部臨時表用來幫助完成某個操作。內部臨時表在SQL語句的優化過程中扮演著非常重要的角色, MySQL中的很多操作都要依賴于內部臨時表來進行優化。但是使用內部臨時表需要創建表以及中間數據的存取代價,所以用戶在寫SQL語句的時候應該盡量的去避免使用臨時表。
內部臨時表有兩種類型:
-
一種是HEAP臨時表,這種臨時表的所有數據都會存在內存中,對于這種表的操作不需要IO操作。
-
另一種是OnDisk臨時表,顧名思義,這種臨時表會將數據存儲在磁盤上。OnDisk臨時表用來處理中間結果比較大的操作。
如果HEAP臨時表存儲的數據大于MAX_HEAP_TABLE_SIZE,HEAP臨時表將會被自動轉換成OnDisk臨時表。
OnDisk臨時表在5.7中可以通過INTERNAL_TMP_DISK_STORAGE_ENGINE系統變量選擇使用MyISAM引擎或者InnoDB引擎。
外部臨時表的常見用法
外部臨時表是通過CREATE TEMPORARY TABLE及DROP TABLE來操作的,但是SHOW TABLES命令顯示數據表列表時,你將無法看到自己創建的臨時表的。并且在退出當前會話后,臨時表就會被自動銷毀。當然也可以手動(DROP TABLE)銷毀。
1、引擎類型:只能是:memory(heap)、myisam、merge、innodb ,不支持mysql cluster(簇)。
2、外部臨時表使用時注意幾點:
1)、自己所用的數據庫賬號要有建立臨時表的權限;?
2)、在同一條sql中,不能關聯2次相同的臨時表,不然,就會報如下錯誤;
mysql>?select?*?from?temp_table,?temp_table?as?t2; error?1137:?can't?reopen?table:?'temp_table'
3)、臨時表在建立連接時可見,關閉時會清除空間,刪除臨時表;?
4)、show tables 不會列出臨時表;
5)、不能使用rename重命名臨時表。但是,你可以alter table代替:只能使用alter table old_tp_table_name rename new_tp_table_name;
6)、影響使用replication功能;
7)、如果你為一個表聲明了別名,當你指向這個表的時候,就必須使用這個別名。見《MySQL 多表關聯更新及刪除》
示例:
mysql>?CREATE?TEMPORARY?TABLE?SalesSummary?( ????->?product_name?VARCHAR(50)?NOT?NULL ????->?,?total_sales?DECIMAL(12,2)?NOT?NULL?DEFAULT?0.00 ????->?,?avg_unit_price?DECIMAL(7,2)?NOT?NULL?DEFAULT?0.00 ????->?,?total_units_sold?INT?UNSIGNED?NOT?NULL?DEFAULT?0 ); Query?OK,?0?rows?affected?(0.00?sec) mysql>?INSERT?INTO?SalesSummary ????->?(product_name,?total_sales,?avg_unit_price,?total_units_sold) ????->?VALUES ????->?('cucumber',?100.25,?90,?2); mysql>?SELECT?*?FROM?SalesSummary; +--------------+-------------+----------------+------------------+ |?product_name?|?total_sales?|?avg_unit_price?|?total_units_sold?| +--------------+-------------+----------------+------------------+ |?cucumber?????|??????100.25?|??????????90.00?|????????????????2?| +--------------+-------------+----------------+------------------+ 1?row?in?set?(0.00?sec) mysql>?DROP?TABLE?SalesSummary;?? mysql>??SELECT?*?FROM?SalesSummary;?? ERROR?1146:?Table?'RUNOOB.SalesSummary'?doesn't?exist
3、mybatis中臨時表操作
???<update> ????????CREATE?TEMPORARY?TABLE?IF?NOT?EXISTS?temp? ????????SELECT?*?FROM?settlement_temp ?????????WHERE?settle_date=#{settleDate}?AND?LENGTH(operator)?IN(16,32)?AND??pay_status?IN?('01','06')? ?????????ORDER?BY?settle_date,merchant_no ????</update>
??<!-- 4、刪除臨時表 --> ????<update>?? ????????DROP?TEMPORARY?TABLE?IF?EXISTS?settlement_temp; ????</update>
內部臨時表的常見用法
如果用戶在書寫SQL語句的時候能夠盡量少的使用內部臨時表進行查詢優化,將有效的提高查詢執行的效率。
首先我們定義一個表t1,
CREATE?TABLE?t1(?a?int,?b?int);? INSERT?INTO?t1?VALUES(1,2),(3,4);
下面所有的操作都是基于表t1進行舉例的。
-
在SQL語句中使用SQL_BUFFER_RESULT hint
SQL_BUFFER_RESULT主要用來讓MySQL盡早的釋放表上的鎖。因為如果數據量很大的話,需要較長時間將數據發送到客戶端,通過將數據緩沖到臨時表中可以有效的減少讀鎖對表的占用時間。SQL_BUFFER_RESULT見《mysql查詢優化之三:查詢優化器提示(hint)》
例如:
mysql>?explain?format=json?select?SQL_BUFFER_RESULT?*?from?t1; ????EXPLAIN ????{ ??????"query_block":?{ ????????"select_id":?1, ????????"cost_info":?{ ??????????"query_cost":?"2.00" ????????}, ????????"buffer_result":?{ ??????????"using_temporary_table":?true, ??????????"table":?{ ????????????"table_name":?"t1", ????????????"access_type":?"ALL", ????????...
-
如果SQL語句中包含了DERIVED_TABLE。
在5.7中,由于采用了新的優化方式,我們需要使用 set optimizer_switch=’derived_merge=off’來禁止derived table合并到外層的Query中。
例如:
mysql>?explain?format=json?select?*?from?(select?*?from?t1)?as?tt; ????EXPLAIN ????{ ??????"query_block":?{ ????????"select_id":?1, ????????"cost_info":?{ ??????????"query_cost":?"2.40" ????????}, ????????"table":?{ ??????????"table_name":?"tt", ??????????"access_type":?"ALL", ??????????... ??????????"materialized_from_subquery":?{ ????????????"using_temporary_table":?true, ????????...
-
如果我們查詢系統表的話,系統表的數據將被存儲到內部臨時表中。
我們當前不能使用EXPLAIN來查看是否讀取系統表數據需要利用到內部臨時表,但是可以通過SHOW STATUS來查看是否利用到了內部臨時表。
例如:
mysql>?select?*?from?information_schema.character_sets; mysql>?show?status?like?'CREATE%';
-
如果DISTINCT語句沒有被優化掉,即DISTINCT語句被優化轉換為GROUP BY操作或者利用UNIQUE INDEX消除DISTINCT, 內部臨時表將會被使用。
mysql>?explain?format=json?select?distinct?a?from?t1; ????EXPLAIN ????{ ????{ ??????"query_block":?{ ????????"select_id":?1, ????????"cost_info":?{ ??????????"query_cost":?"1.60" ????????}, ????????"duplicates_removal":?{ ??????????"using_temporary_table":?true, ????????...
-
如果查詢帶有ORDER BY語句,并且不能被優化掉。下面幾種情況會利用到內部臨時表緩存中間數據,然后對中間數據進行排序。
1)如果連接表使用BNL(Batched Nestloop)/BKA(Batched Key Access)
例如:
1))BNL默認是打開的
mysql>?explain?format=json?select?*?from?t1,?t1?as?t2?order?by?t1.a; EXPLAIN { ??"query_block":?{ ??"select_id":?1, ??"cost_info":?{ ????"query_cost":?"22.00" ??}, ??"ordering_operation":?{ ????"using_temporary_table":?true, ??...
2))關掉BNL后,ORDER BY將直接使用filesort。
mysql>?set?optimizer_switch='block_nested_loop=off'; Query?OK,?0?rows?affected?(0.00?sec) mysql>?explain?format=json?select?*?from?t1,?t1?as?t2?order?by?t1.a; EXPLAIN { ???"query_block":?{ ????"select_id":?1, ????"cost_info":?{ ??????"query_cost":?"25.00" ????}, ????"ordering_operation":?{ ??????"using_filesort":?true, ????...
2)ORDER BY的列不屬于執行計劃中第一個連接表的列。?
例如:
mysql>?explain?format=json?select?*?from?t?as?t1,?t?as?t2?order?by?t2.a; EXPLAIN { ???"query_block":?{ ????"select_id":?1, ????"cost_info":?{ ??????"query_cost":?"25.00" ????}, ????"ordering_operation":?{ ??????"using_temporary_table":?true, ????...
3)如果ORDER BY的表達式是個復雜表達式。
那么什么樣的ORDER BY表達式,MySQL認為是復雜表達式呢?
1))如果排序表達式是SP或者UDF。
例如:
drop?function?if?exists?func1; delimiter?| create?function?func1(x?int) returns?int?deterministic begin declare?z1,?z2?int; set?z1?=?x; set?z2?=?z1+2; return?z2; end| delimiter?; explain?format=json?select?*?from?t1?order?by?func1(a); { ????"query_block":?{ ????"select_id":?1, ????"cost_info":?{ ??????"query_cost":?"2.20" ????}, ????"ordering_operation":?{ ??????"using_temporary_table":?true, ????...
2))ORDER BY的列包含聚集函數
為了簡化執行計劃,我們利用INDEX來優化GROUP BY語句。
例如:
create?index?idx1?on?t1(a); ??explain?format=json?SELECt?a?FROM?t1?group?by?a?order?by?sum(a); ??|?{ ???????"query_block":?{ ????????"select_id":?1, ????????"cost_info":?{ ??????????"query_cost":?"1.20" ????????}, ????????"ordering_operation":?{ ??????????"using_temporary_table":?true, ??????????"using_filesort":?true, ??????????"grouping_operation":?{ ????????????"using_filesort":?false, ????????... ??drop?index?idx1?on?t1;
3))ORDER BY的列中包含有SCALAR SUBQUERY,當然該SCALAR SUBQUERY沒有被優化掉。
例如:
explain?format=json?select?(select?rand()?from?t1?limit?1)?as?a?from?t1?order?by?a;???????? |?{ ??????"query_block":?{ ????????"select_id":?1, ????????"cost_info":?{ ??????????"query_cost":?"1.20" ????????}, ????????"ordering_operation":?{ ??????????"using_temporary_table":?true, ??????????"using_filesort":?true, ????????????...
4) 如果查詢既帶有ORDER BY同時也有GROUP BY語句,但是兩個語句使用的列不相同。
注意: 如果是5.7,我們需要將sql_mode設置為非only_full_group_by模式,否則會報錯。
同樣為了簡化執行計劃,我們利用INDEX來優化GROUP BY語句。
例如:
set?sql_mode=''; create?index?idx1?on?t1(b); explain?format=json?select?t1.a?from?t1?group?by?t1.b?order?by?1; |?{ ?????"query_block":?{ ????????"select_id":?1, ????????"cost_info":?{ ??????????"query_cost":?"1.40" ????????}, ????"ordering_operation":?{ ??????????"using_temporary_table":?true, ??????????"using_filesort":?true, ??????????"grouping_operation":?{ ????????????"using_filesort":?false, ????... drop?index?idx1?on?t1;
-
如果查詢帶有GROUP BY語句,并且不能被優化掉。下面幾種情況會利用到內部臨時表緩存中間數據,然后對中間數據進行GROUP BY。
1)如果連接表使用BNL(Batched Nestloop)/BKA(Batched Key Access)。
例如:
explain?format=json?select?t2.a?from?t1,?t1?as?t2?group?by?t1.a; ????|?{ ????????"query_block":?{ ????????"select_id":?1, ????????"cost_info":?{ ??????????"query_cost":?"8.20" ????????}, ????????"grouping_operation":?{ ??????????"using_temporary_table":?true, ??????????"using_filesort":?true, ??????????"cost_info":?{ ????????????"sort_cost":?"4.00" ????????...
2) 如果GROUP BY的列不屬于執行計劃中的第一個連接表。
例如:
explain?format=json?select?t2.a?from?t1,?t1?as?t2?group?by?t2.a; ????|?{ ????????"query_block":?{ ????????"select_id":?1, ????????"cost_info":?{ ??????????"query_cost":?"8.20" ????????}, ????????"grouping_operation":?{ ??????????"using_temporary_table":?true, ??????????"using_filesort":?true, ??????????"nested_loop":?[ ????????...
3) 如果GROUP BY語句使用的列與ORDER BY語句使用的列不同。
例如:
set?sql_mode=''; explain?format=json?select?t1.a?from?t1?group?by?t1.b?order?by?t1.a; |?{ ???"query_block":?{ "select_id":?1, "cost_info":?{ ??"query_cost":?"1.40" }, "ordering_operation":?{ ??"using_filesort":?true, ??"grouping_operation":?{ "using_temporary_table":?true, "using_filesort":?false, ...
4) 如果GROUP BY帶有ROLLUP并且是基于多表外連接。
例如:
explain?format=json?select?sum(t1.a)?from?t1?left?join?t1?as?t2?on?true?group?by?t1.a?with?rollup; |?{ "query_block":?{ "select_id":?1, "cost_info":?{ ??"query_cost":?"7.20" }, "grouping_operation":?{ ??"using_temporary_table":?true, ??"using_filesort":?true, ??"cost_info":?{ "sort_cost":?"4.00" ??}, ...
5) 如果GROUP BY語句使用的列來自于SCALAR SUBQUERY,并且沒有被優化掉。
例如:
explain?format=json?select?(select?avg(a)?from?t1)?as?a?from?t1?group?by?a; |?{ "query_block":?{ "select_id":?1, "cost_info":?{ ??"query_cost":?"3.40" }, "grouping_operation":?{ ??"using_temporary_table":?true, ??"using_filesort":?true, ??"cost_info":?{ "sort_cost":?"2.00" ??}, ...
IN表達式轉換為semi-join進行優化
1) 如果semi-join執行方式為Materialization
例如:
set?optimizer_switch='firstmatch=off,duplicateweedout=off'; explain?format=json?select?*?from?t1?where?a?in?(select?b?from?t1); |?{ "query_block":?{ "select_id":?1, "cost_info":?{ ??"query_cost":?"5.60" }, "nested_loop":?[ ??{ "rows_examined_per_scan":?1, ??"materialized_from_subquery":?{ "using_temporary_table":?true, "query_block":?{ ??"table":?{ "table_name":?"t1", "access_type":?"ALL", ...
2) 如果semi-join執行方式為Duplicate Weedout
例如:
set?optimizer_switch='firstmatch=off'; explain?format=json?select?*?from?t1?where?a?in?(select?b?from?t1); |?{ "query_block":?{ "select_id":?1, "cost_info":?{ ??"query_cost":?"4.80" }, "duplicates_removal":?{ ??"using_temporary_table":?true, ??"nested_loop":?[ { ...
-
如果查詢語句帶有UNION,MySQL將利用內部臨時表幫助UNION操作消除重復。
例如:
explain?format=json?select?*?from?t1?union?select?*?from?t1; |?{ "query_block":?{ "union_result":?{ ??"using_temporary_table":?true, ??"table_name":?"<union1>", ...</union1>
-
如果查詢語句使用多表更新。
這里Explain不能看到內部臨時表被利用,所以需要查看status。
例如:
update?t1,?t1?as?t2?set?t1.a=3; show?status?like?'CREATE%';
-
如果聚集函數中包含如下函數,內部臨時表也會被利用。
1)?count(distinct?*) 例如: explain?format=json?select?count(distinct?a)?from?t1; 2)?group_concat 例如: explain?format=json?select?group_concat(b)?from?t1;
總之,上面列出了10種情況,MySQL將利用內部臨時表進行中間結果緩存,如果數據量比較大的話,內部臨時表將會把數據存儲在磁盤上,這樣顯然會對性能有所影響。為了盡可能的減少性能損失,我們需要盡量避免上述情況的出現。
MySQL在以下幾種情況會創建臨時表:
1、UNION查詢; 2、用到TEMPTABLE算法或者是UNION查詢中的視圖; 3、ORDER?BY和GROUP?BY的子句不一樣時; 4、表連接中,ORDER?BY的列不是驅動表中的; 5、DISTINCT查詢并且加上ORDER?BY時; 6、SQL中用到SQL_SMALL_RESULT選項時; 7、FROM中的子查詢; 8、子查詢或者semi-join時創建的表;
EXPLAIN 查看執行計劃結果的 Extra 列中,如果包含 Using Temporary 就表示會用到臨時表。
當然了,如果臨時表中需要存儲的數據量超過了上限( tmp-table-size 或 max-heap-table-size 中取其大者),這時候就需要生成基于磁盤的臨時表了。
在以下幾種情況下,會創建磁盤臨時表:
1、數據表中包含BLOB/TEXT列; 2、在?GROUP?BY?或者?DSTINCT?的列中有超過?512字符?的字符類型列(或者超過?512字節的?二進制類型列,在5.6.15之前只管是否超過512字節); 3、在SELECT、UNION、UNION?ALL查詢中,存在最大長度超過512的列(對于字符串類型是512個字符,對于二進制類型則是512字節); 4、執行SHOW?COLUMNS/FIELDS、DESCRIBE等SQL命令,因為它們的執行結果用到了BLOB列類型。
從5.7.5開始,新增一個系統選項 internal_tmp_disk_storage_engine 可定義磁盤臨時表的引擎類型為 InnoDB,而在這以前,只能使用 MyISAM。而在5.6.3以后新增的系統選項 default_tmp_storage_engine 是控制 CREATE TEMPORARY TABLE 創建的臨時表的引擎類型,在以前默認是MEMORY,不要把這二者混淆了。
見下例:
mysql>?set?default_tmp_storage_engine?=?"InnoDB"; -rw-rw----???1?mysql?mysql??8558?Jul??7?15:22?#sql4b0e_10_0.frm?--?InnoDB引擎的臨時表 -rw-rw----???1?mysql?mysql?98304?Jul??7?15:22?#sql4b0e_10_0.ibd -rw-rw----???1?mysql?mysql??8558?Jul??7?15:25?#sql4b0e_10_2.frm mysql>?set?default_tmp_storage_engine?=?"MyISAM"; -rw-rw----???1?mysql?mysql?????0?Jul??7?15:25?#sql4b0e_10_2.MYD?--?MyISAM引擎的臨時表 -rw-rw----???1?mysql?mysql??1024?Jul??7?15:25?#sql4b0e_10_2.MYI mysql>?set?default_tmp_storage_engine?=?"MEMORY"; -rw-rw----???1?mysql?mysql??8558?Jul??7?15:26?#sql4b0e_10_3.frm?--?MEMORY引擎的臨時表
【相關推薦:mysql視頻教程】