Mysql大型SQL文件快速恢復(fù)方案分享

前言

在使用Mysql數(shù)據(jù)庫(kù)的過(guò)程中,經(jīng)常需要使用到備份和恢復(fù)數(shù)據(jù)庫(kù),最簡(jiǎn)單便捷的方法便是通過(guò)導(dǎo)出SQL數(shù)據(jù)文件和導(dǎo)入SQL數(shù)據(jù)文件來(lái)完成備份和恢復(fù),但是隨著項(xiàng)目的增長(zhǎng),數(shù)據(jù)量越來(lái)越大,每次恢復(fù)就成了一件很頭疼的事情。

當(dāng)我最近一次拉下項(xiàng)目中的5GB大小的數(shù)據(jù)庫(kù)到本地進(jìn)行恢復(fù)時(shí),竟然需要耗時(shí)40-50分鐘,想著日后的數(shù)據(jù)擴(kuò)增,數(shù)據(jù)量越來(lái)越大,恢復(fù)成本也越來(lái)越高,于是便查閱了一些資料,可以通過(guò)以下設(shè)置來(lái)提高你的恢復(fù)效率.

1.更改備份參數(shù)

首先我們需要在備份數(shù)據(jù)庫(kù)的時(shí)候,可以通過(guò)更改參數(shù)來(lái)提高我們的恢復(fù)效率.

mysqldump --extended-insert

mysqldump的--extended-insert參數(shù)表示批量插入,會(huì)將多個(gè)insert語(yǔ)句合并成一個(gè)語(yǔ)句,與沒(méi)有開(kāi)啟-extended-insert的備份導(dǎo)入效率相差3-4倍.

使用--extended-insert=false導(dǎo)出的sql文件數(shù)據(jù)是這樣的,每行一條insert語(yǔ)句,執(zhí)行效率非常低下

使用--extended-insert=true導(dǎo)出的表如下圖這種，一個(gè)很長(zhǎng)的insert語(yǔ)句,會(huì)進(jìn)行批量插入。

2.調(diào)整MYSQL快速插入?yún)?shù)

如果你的數(shù)據(jù)庫(kù)儲(chǔ)存引擎是MYISAM參數(shù)的話(huà),可以將此參數(shù)設(shè)置到512M或256M,MyISAM會(huì)使用一種特殊的樹(shù)狀緩存來(lái)做出更快的批量插入。

相關(guān)文檔：https://dev.mysql.com/doc/refman/5.7/en/server-system-variables.html#sysvar_bulk_insert_buffer_size

該值默認(rèn)是8M = 8388608byte

查看插入緩沖區(qū)大小

SHOW VARIABLES LIKE '%bulk%';

設(shè)置插入緩沖區(qū)大小(全局)

SET GLOBAL bulk_insert_buffer_size =1024*1024*512;

設(shè)置插入緩沖區(qū)大小(session)

SET bulk_insert_buffer_size =1024*1024*256;

如果需要設(shè)置Mysql重新啟動(dòng)時(shí),依然保留該值,需要將這段配置添加了my.cnf

[mysqld]
bulk_insert_buffer_size = 256M

3.關(guān)閉檢查項(xiàng)

對(duì)于Innodb引擎中,我們可以關(guān)閉一些系統(tǒng)檢查項(xiàng)來(lái)實(shí)現(xiàn)更快的插入的方案.

//關(guān)閉自動(dòng)提交
SET autocommit=0;

//關(guān)閉唯一檢查
set unique_checks = 0;

//關(guān)閉外鍵檢查
SET foreign_key_checks=0;

//備份的時(shí)候開(kāi)啟--extended-insert參數(shù)

關(guān)于Innodb批量數(shù)據(jù)加載相關(guān)文檔:https://dev.mysql.com/doc/refman/5.7/en/optimizing-innodb-bulk-data-loading.html

4.實(shí)踐

做好以上優(yōu)化后,你的Mysql恢復(fù)效率瞬間會(huì)提升一個(gè)檔次,在沒(méi)做以上參數(shù)優(yōu)化時(shí),每次恢復(fù)數(shù)據(jù)庫(kù)都需要耗費(fèi)40分鐘的時(shí)間,設(shè)置后只需要16分鐘左右,我的數(shù)據(jù)庫(kù)文件容量在5GB左右.

以上就這些,途觀有更好的方案和建議的話(huà),希望各位同學(xué)一起探討,Happy Coding。

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。