一、我們遇到了什么問題
在標準SQL里面,我們通常會寫下如下的SQL insert語句。
INSERT INTO TBL_TEST (id) VALUES(1);
很顯然,在MYSQL中,這樣的方式也是可行的。但是當我們需要批量插入數(shù)據(jù)的時候,這樣的語句卻會出現(xiàn)性能問題。例如說,如果有需要插入100000條數(shù)據(jù),那么就需要有100000條insert語句,每一句都需要提交到關系引擎那里去解析,優(yōu)化,然后才能夠到達存儲引擎做真的插入工作。
正是由于性能的瓶頸問題,MYSQL官方文檔也就提到了使用批量化插入的方式,也就是在一句INSERT語句里面插入多個值。即,
INSERT INTO TBL_TEST (id) VALUES (1), (2), (3)
這樣的做法確實也可以起到加速批量插入的功效,原因也不難理解,由于提交到服務器的INSERT語句少了,網(wǎng)絡負載少了,最主要的是解析和優(yōu)化的時間看似增多,但是實際上作用的數(shù)據(jù)行卻實打?qū)嵉囟嗔?。所以整體性能得以提高。根據(jù)網(wǎng)上的一些說法,這種方法可以提高幾十倍。
然而,我在網(wǎng)上也看到過另外的幾種方法,比如說預處理SQL,比如說批量提交。那么這些方法的性能到底如何?本文就會對這些方法做一個比較。
二、比較環(huán)境和方法
我的環(huán)境比較苦逼,基本上就是一個落后的虛擬機。只有2核,內(nèi)存為6G。操作系統(tǒng)是SUSI Linux,MYSQL版本是5.6.15。
可以想見,這個機子的性能導致了我的TPS一定非常低,所以下面的所有數(shù)據(jù)都是沒有意義的,但是趨勢卻不同,它可以看出整個插入的性能走向。
由于業(yè)務特點,我們所使用的表非常大,共有195個字段,且寫滿(每個字段全部填滿,包括varchar)大致會有略小于4KB的大小,而通常來說,一條記錄的大小也有3KB。
由于根據(jù)我們的實際經(jīng)驗,我們很肯定的是,通過在一個事務中提交大量INSERT語句可以大幅度提高性能。所以下面的所有測試都是建立在每插入5000條記錄提交一次的做法之上。
最后需要說明的是,下面所有的測試都是通過使用MYSQL C API進行的,并且使用的是INNODB存儲引擎。
三、比較方法
理想型測試(一)——方法比較
目的:找出理想情況下最合適的插入機制
關鍵方法:
1. 每個進/線程按主鍵順序插入
2. 比較不同的插入方法
3. 比較不同進/線程數(shù)量對插入的影響
*“普通方法”指的是一句INSERT只插入一個VALUE的情況。
*“預處理SQL”指的是使用預處理MYSQL C API的情況。
* “多表值SQL(10條)”是使用一句INSERT語句插入10條記錄的情況。為什么是10條?后面的驗證告訴了我們這樣做性能最高。
結(jié)論,很顯然,從三種方法的趨勢上來看,多表值SQL(10條)的方式最為高效。
理想型測試(二)——多表值SQL條數(shù)比較
很顯然,在數(shù)據(jù)量提高的情況下,每條INSERT語句插入10條記錄的做法最為高效。
理想型測試(三)——連接數(shù)比較
結(jié)論:在2倍與CPU核數(shù)的連接和操作的時候,性能最高
一般性測試—— 根據(jù)我們的業(yè)務量進行測試
目的:最佳插入機制適合普通交易情況?
關鍵方法:
1. 模擬生產(chǎn)數(shù)據(jù)(每條記錄約3KB)
2. 每個線程主鍵亂序插入
很顯然,如果是根據(jù)主鍵亂序插入的話,性能會有直線下降的情況。這一點其實和INNODB的內(nèi)部實現(xiàn)原理所展現(xiàn)出來的現(xiàn)象一致。但是仍然可以肯定的是,多表值SQL(10條)的情況是最佳的。
壓力測試
目的:最佳插入機制適合極端交易情況?
關鍵方法:
1. 將數(shù)據(jù)行的每一個字段填滿(每條記錄約為4KB)
2. 每個線程主鍵亂序插入
結(jié)果和我們之前的規(guī)律類似,性能出現(xiàn)了極端下降。并且這里驗證了隨著記錄的增大(可能已經(jīng)超過了一個page的大小,畢竟還有slot和page head信息占據(jù)空間),會有page split等現(xiàn)象,性能會下降。
四、結(jié)論
根據(jù)上面的測試,以及我們對INNODB的了解,我們可以得到如下的結(jié)論。
•采用順序主鍵策略(例如自增主鍵,或者修改業(yè)務邏輯,讓插入的記錄盡可能順序主鍵)
•采用多值表(10條)插入方式最為合適
•將進程/線程數(shù)控制在2倍CPU數(shù)目相對合適
五、附錄
我發(fā)現(xiàn)網(wǎng)上很少有完整的針對MYSQL 預處理SQL語句的例子。這里給出一個簡單的例子。
--建表語句 CREATE TABLE tbl_test ( pri_key varchar(30), nor_char char(30), max_num DECIMAL(8,0), long_num DECIMAL(12, 0), rec_upd_ts TIMESTAMP );
c代碼
#include string.h> #include iostream> #include mysql.h> #include sys/time.h> #include sstream> #include vector> using namespace std; #define STRING_LEN 30 char pri_key [STRING_LEN]= "123456"; char nor_char [STRING_LEN]= "abcabc"; char rec_upd_ts [STRING_LEN]= "NOW()"; bool SubTimeval(timeval result, timeval begin, timeval end) { if ( begin.tv_sec>end.tv_sec ) return false; if ( (begin.tv_sec == end.tv_sec) (begin.tv_usec > end.tv_usec) ) return false; result.tv_sec = ( end.tv_sec - begin.tv_sec ); result.tv_usec = ( end.tv_usec - begin.tv_usec ); if (result.tv_usec0) { result.tv_sec--; result.tv_usec+=1000000;} return true; } int main(int argc, char ** argv) { INT32 ret = 0; char errmsg[200] = {0}; int sqlCode = 0; timeval tBegin, tEnd, tDiff; const char* precompile_statment2 = "INSERT INTO `tbl_test`( pri_key, nor_char, max_num, long_num, rec_upd_ts) VALUES(?, ?, ?, ?, ?)"; MYSQL conn; mysql_init(conn); if (mysql_real_connect(conn, "127.0.0.1", "dba", "abcdefg", "TESTDB", 3306, NULL, 0) == NULL) { fprintf(stderr, " mysql_real_connect, 2 failed\n"); exit(0); } MYSQL_STMT *stmt = mysql_stmt_init(conn); if (!stmt) { fprintf(stderr, " mysql_stmt_init, 2 failed\n"); fprintf(stderr, " %s\n", mysql_stmt_error(stmt)); exit(0); } if (mysql_stmt_prepare(stmt, precompile_statment2, strlen(precompile_statment2))) { fprintf(stderr, " mysql_stmt_prepare, 2 failed\n"); fprintf(stderr, " %s\n", mysql_stmt_error(stmt)); exit(0); } int i = 0; int max_num = 3; const int FIELD_NUM = 5; while (i max_num) { //MYSQL_BIND bind[196] = {0}; MYSQL_BIND bind[FIELD_NUM]; memset(bind, 0, FIELD_NUM * sizeof(MYSQL_BIND)); unsigned long str_length = strlen(pri_key); bind[0].buffer_type = MYSQL_TYPE_STRING; bind[0].buffer = (char *)pri_key; bind[0].buffer_length = STRING_LEN; bind[0].is_null = 0; bind[0].length = str_length; unsigned long str_length_nor = strlen(nor_char); bind[1].buffer_type = MYSQL_TYPE_STRING; bind[1].buffer = (char *)nor_char; bind[1].buffer_length = STRING_LEN; bind[1].is_null = 0; bind[1].length = str_length_nor; bind[2].buffer_type = MYSQL_TYPE_LONG; bind[2].buffer = (char*)max_num; bind[2].is_null = 0; bind[2].length = 0; bind[3].buffer_type = MYSQL_TYPE_LONG; bind[3].buffer = (char*)max_num; bind[3].is_null = 0; bind[3].length = 0; MYSQL_TIME ts; ts.year= 2002; ts.month= 02; ts.day= 03; ts.hour= 10; ts.minute= 45; ts.second= 20; unsigned long str_length_time = strlen(rec_upd_ts); bind[4].buffer_type = MYSQL_TYPE_TIMESTAMP; bind[4].buffer = (char *)ts; bind[4].is_null = 0; bind[4].length = 0; if (mysql_stmt_bind_param(stmt, bind)) { fprintf(stderr, " mysql_stmt_bind_param, 2 failed\n"); fprintf(stderr, " %s\n", mysql_stmt_error(stmt)); exit(0); } cout "before execute\n"; if (mysql_stmt_execute(stmt)) { fprintf(stderr, " mysql_stmt_execute, 2 failed\n"); fprintf(stderr, " %s\n", mysql_stmt_error(stmt)); exit(0); } cout "after execute\n"; i++; } mysql_commit(conn); mysql_stmt_close(stmt); return 0; }
以上就是mysql批量插入數(shù)據(jù)的優(yōu)化方法,建議大家也可以多看下腳本之家以前的文章。
標簽:咸寧 內(nèi)江 林芝 三明 朔州 汕頭 AXB 宿州
巨人網(wǎng)絡通訊聲明:本文標題《MYSQL開發(fā)性能研究之批量插入數(shù)據(jù)的優(yōu)化方法》,本文關鍵詞 MYSQL,開發(fā),性能,研究,之,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡,涉及言論、版權(quán)與本站無關。