主頁(yè) > 知識(shí)庫(kù) > MySQL 線上數(shù)據(jù)庫(kù)清理數(shù)據(jù)的方法

MySQL 線上數(shù)據(jù)庫(kù)清理數(shù)據(jù)的方法

熱門(mén)標(biāo)簽:html地圖標(biāo)注并導(dǎo)航 武漢電銷機(jī)器人電話 400電話辦理服務(wù)價(jià)格最實(shí)惠 北京金倫外呼系統(tǒng) 呂梁外呼系統(tǒng) 400電話變更申請(qǐng) 催天下外呼系統(tǒng) 大豐地圖標(biāo)注app 南太平洋地圖標(biāo)注

01 場(chǎng)景分析

 今天下午,開(kāi)發(fā)的同事提來(lái)一個(gè)需求,需要在線上要?jiǎng)h除一些數(shù)據(jù)記錄,簡(jiǎn)單看了看數(shù)據(jù)的分布,大概是要?jiǎng)h除數(shù)據(jù)表中的兩千七百多萬(wàn)條記錄,數(shù)據(jù)表的總記錄是兩千八百多萬(wàn),也就是說(shuō),要?jiǎng)h除的記錄占了總記錄的絕大部分比重,兩千七百多萬(wàn)的數(shù)據(jù)記錄,要是刪除的話,使用的時(shí)間是相當(dāng)長(zhǎng)的,對(duì)線上的業(yè)務(wù)肯定會(huì)造成影響。這里將實(shí)際的應(yīng)用案例簡(jiǎn)單重構(gòu)為以下方法:

mysql> select date,count(*) from test.tbl_a  group by date;
+----------+----------+
|   date | count(*) |
+----------+----------+
| |  63103 |
| 20190118 | |
| |  125916 |
| 20190120 |   |
| |  129198 |
| 20190122 |  |
| | 5191247 |
+----------+----------+
 rows in set (13.21 sec)

上面就是重構(gòu)之后的表的結(jié)構(gòu),我們可以看到,test數(shù)據(jù)庫(kù)中的表tbl_b按照date分組之后,每個(gè)組的數(shù)據(jù)量都不小,而我們的需求是將date為20190118和20190123的記錄刪除,可以看到這兩種記錄總計(jì)有兩千多萬(wàn)條,占了表中數(shù)據(jù)的絕大部分,如果直接刪除的話,線上的業(yè)務(wù)肯定會(huì)受到阻塞。

以下是操作方法,需要注意的是,應(yīng)用下面的操作方法的前提是:

要?jiǎng)h除的數(shù)據(jù)占了數(shù)據(jù)表中的絕大部分。

02 操作辦法

 通過(guò)分析,知道剩余的表數(shù)據(jù)對(duì)于全表來(lái)說(shuō)是很小的一部分,這個(gè)操作我們分為4步:

1.我們先把剩余的數(shù)據(jù)存入到另外一個(gè)數(shù)據(jù)庫(kù)test1中:

create table test1.tbl_b_new as 
select * from test.tbl_b 
where date in(,,,,);

這個(gè)操作的時(shí)間只有3s左右;

2.我們?cè)趖est1數(shù)據(jù)庫(kù)中創(chuàng)建一個(gè)同名的表tbl_b,它的結(jié)構(gòu)和test數(shù)據(jù)庫(kù)中的tbl_b數(shù)據(jù)結(jié)構(gòu)一致:

create table test1.tbl_b like test.tbl_b;

3.緊接著,我們使用數(shù)據(jù)庫(kù)中的rename操作將表test中的表tbl_b和test1中的表tbl_b進(jìn)行交換,等價(jià)于將test數(shù)據(jù)庫(kù)中的表所有數(shù)據(jù)清除。

RENAME TABLE test.tbl_b  TO test1.tbl_b_bak,
         test1.tbl_b  TO test.tbl_b,
         test1.tbl_b_bak TO test1.tbl_b;

4.再講第一步保存的剩余數(shù)據(jù)填充到新表中來(lái),如下:

insert into test.tbl_b select * from  test1.tbl_b_new;

03 結(jié)果分析

 看上去我們好像把問(wèn)題搞復(fù)雜了,直接刪除的事情,被我們搞的多了好幾個(gè)步驟,但是實(shí)際上不是這樣的,這一套操作可以幫我們節(jié)省好幾分鐘時(shí)間,對(duì)線上業(yè)務(wù)的影響也更小,原因如下:

  1. 我們使用create table as的方法創(chuàng)建剩余的數(shù)據(jù)表,這種方法使我們僅對(duì)數(shù)據(jù)表中的少部分?jǐn)?shù)據(jù)進(jìn)行了操作。避免了我們對(duì)過(guò)多的數(shù)據(jù)進(jìn)行掃描。
  2. mysql中對(duì)大表進(jìn)行rename的操作,rename命令會(huì)直接修改底層的.frm文件,所以它的速度是相當(dāng)之快的。

   第二個(gè)特點(diǎn)給我們提供了一種思路,在一個(gè)很著急的業(yè)務(wù)中,要使用一個(gè)表的時(shí)候,往往不給我們留充足的時(shí)間備份表,如果我們想要?jiǎng)h除一個(gè)大表里面的數(shù)據(jù),而且需要進(jìn)行相關(guān)備份,我們可以通過(guò)rename操作迅速處理,然后再想辦法去備份rename之后的表。

    上面的例子中使用create table as 和create table like兩種克隆表的方式,有幾點(diǎn)需要注意:

create table like方式會(huì)完整地克隆表結(jié)構(gòu),但不會(huì)插入數(shù)據(jù),需要單獨(dú)使用insert into或load data方式加載數(shù)據(jù)
create table as  方式會(huì)部分克隆表結(jié)構(gòu),完整保留數(shù)據(jù)

    如果有興趣,可以做做試驗(yàn)進(jìn)行驗(yàn)證。

以上就是MySQL 線上數(shù)據(jù)庫(kù)清理數(shù)據(jù)的方法的詳細(xì)內(nèi)容,更多關(guān)于MySQL 線上數(shù)據(jù)庫(kù)清理數(shù)據(jù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

您可能感興趣的文章:
  • MySQL導(dǎo)出數(shù)據(jù)遇到secure-file-priv問(wèn)題的解決方法
  • MySQL 線上日志庫(kù)遷移實(shí)例
  • mysql創(chuàng)建表添加字段注釋的實(shí)現(xiàn)方法
  • MySQL 大表的count()優(yōu)化實(shí)現(xiàn)
  • MySQL source命令的使用簡(jiǎn)介
  • MySQL too many connections錯(cuò)誤的原因及解決
  • 解決出現(xiàn)secure_file_priv null的問(wèn)題

標(biāo)簽:自貢 西寧 龍巖 麗水 南充 徐州 迪慶 無(wú)錫

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《MySQL 線上數(shù)據(jù)庫(kù)清理數(shù)據(jù)的方法》,本文關(guān)鍵詞  MySQL,線上,數(shù)據(jù)庫(kù),清理,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《MySQL 線上數(shù)據(jù)庫(kù)清理數(shù)據(jù)的方法》相關(guān)的同類信息!
  • 本頁(yè)收集關(guān)于MySQL 線上數(shù)據(jù)庫(kù)清理數(shù)據(jù)的方法的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章