MongoDB釋放空閑空間的幾種常用方法

前言

當(dāng)我們從MongoDB中刪除文檔或集合時(shí)，MongoDB并不會(huì)將已經(jīng)占用了的磁盤空間釋放，它會(huì)一直維護(hù)已經(jīng)占用了磁盤空間的數(shù)據(jù)文件，盡管數(shù)據(jù)文件中可能存在大大小小的空記錄列表（empty record list）。當(dāng)客戶端程序再次插入文檔時(shí)，MongoDB會(huì)從空記錄列表中分配存儲(chǔ)空間給新文檔。那么為了更加有效的使用磁盤空間，我們需要對(duì)mongodb的數(shù)據(jù)文件做碎片整理以及未使用空間的回收。思想無非兩種：

1、對(duì)原數(shù)據(jù)進(jìn)行重組

2、僅將數(shù)據(jù)復(fù)制出來，形成僅數(shù)據(jù)的完整備份

以下介紹幾種常用的實(shí)施方法：

1、compact

2、db.repairDatabase()

3、secondary節(jié)點(diǎn)重同步

4、db.copyDatabase()

一、compat

官網(wǎng)對(duì)該命令的定義：對(duì)集合中的所有數(shù)據(jù)和索引進(jìn)行重寫和碎片整理。

使用方法

use yourdatabase;
db.runCommand({ compact : 'yourCollection' });

注意事項(xiàng)

1、在執(zhí)行命令前請(qǐng)保證你有比較新的備份

2、在使用MMAPv1存儲(chǔ)引擎的MongoDB上compact需要數(shù)據(jù)文件所在分區(qū)至少有2G的空閑空間

3、在使用WiredTiger存儲(chǔ)引擎的MongoDB上，compact命令將重寫集合和索引，且釋放未使用的空間，但使用MMAPv1存儲(chǔ)引擎的MongoDB上，該命令只對(duì)集合的數(shù)據(jù)文件進(jìn)行碎片整理并重新創(chuàng)建其索引。不會(huì)釋放空間，在使用MMAPv1存儲(chǔ)引擎的MongoDB上回收空間，建議使用第三種方法“secondary節(jié)點(diǎn)重同步”

4、使用MMAPv1存儲(chǔ)引擎的MongoDB中的Capped Collections，是無法被壓縮的，但使用WiredTiger存儲(chǔ)引擎的MongoDB在執(zhí)行compact時(shí)會(huì)進(jìn)行壓縮。

5、在副本集上運(yùn)行該命令時(shí)，要分別在每個(gè)節(jié)點(diǎn)執(zhí)行

6、該命令只能在mongod實(shí)例上執(zhí)行，不能再mongos實(shí)例上運(yùn)行。也就是說針對(duì)分片集群的compact操作要分別在每個(gè)分片節(jié)點(diǎn)上執(zhí)行。

7、一般該命令運(yùn)行在secondary節(jié)點(diǎn)上，在執(zhí)行時(shí)，會(huì)強(qiáng)制節(jié)點(diǎn)進(jìn)入RECOVERING狀態(tài)，RECOVERING狀態(tài)的實(shí)例讀寫操作將被阻塞

8、再碰到特殊情況要停止運(yùn)行該命令時(shí)，可通過db.currentOp()查詢進(jìn)程信息，然后通過db.killOp()干掉進(jìn)程

9、compact可能會(huì)增加數(shù)據(jù)文件的總大小和數(shù)量，尤其是第一次運(yùn)行時(shí)。但這不會(huì)增加總集合使用的磁盤空間，因?yàn)榇鎯?chǔ)大小是數(shù)據(jù)庫文件中分配的數(shù)據(jù)量，而不是文件系統(tǒng)上文件的大小/數(shù)量

10、使用MMAPv1存儲(chǔ)引擎的MongoDB中的Capped Collections，是無法被壓縮的，但使用WiredTiger存儲(chǔ)引擎的MongoDB在執(zhí)行compact時(shí)會(huì)進(jìn)行壓縮。

二、db.repairDatabase()

官網(wǎng)該命令的定義：通過丟無效或損壞的數(shù)據(jù)老重建數(shù)據(jù)庫和索引。類似于文件系統(tǒng)修復(fù)命令fsck。所以此命令主要是用于修復(fù)數(shù)據(jù)。

使用方法

use yourdatabase;
db.repairDatabase();

注意事項(xiàng)

1、db.repairDatabase()主要用于修復(fù)數(shù)據(jù)。若你擁有數(shù)據(jù)的完整副本，且有權(quán)限訪問，請(qǐng)使用第三種方法“secondary節(jié)點(diǎn)重同步”

2、在執(zhí)行命令前請(qǐng)保證你有比較新的備份

3、此命令會(huì)完全阻塞數(shù)據(jù)庫的讀寫，謹(jǐn)慎操作

4、此命令執(zhí)行需要數(shù)據(jù)文件所在位置有等同于所有數(shù)據(jù)文件大小總和的空閑空間再加上2G

5、在使用MMAPv1存儲(chǔ)引擎的secondary節(jié)點(diǎn)上執(zhí)行該命令可以壓縮集合數(shù)據(jù)

6、在使用WiredTiger存儲(chǔ)引擎的MongoDB庫上執(zhí)行不會(huì)有壓縮的效果

7、再碰到特殊情況要停止運(yùn)行該命令時(shí)，可通過db.currentOp()查詢進(jìn)程信息，然后通過db.killOp()干掉進(jìn)程

8、非常消耗時(shí)間

三、secondary節(jié)點(diǎn)重同步

主要思想就是：刪除secondary節(jié)點(diǎn)中指定數(shù)據(jù)，使之與primary重新開始數(shù)據(jù)同步。當(dāng)副本集成員數(shù)據(jù)太過陳舊，也可以使用重新同步。數(shù)據(jù)的重新同步與直接復(fù)制數(shù)據(jù)文件不同，MongoDB會(huì)只同步數(shù)據(jù)，因此重同步完成后的數(shù)據(jù)文件是沒有空集合的，以此實(shí)現(xiàn)了磁盤空間的回收。

使用方法

首先必須確保數(shù)據(jù)有完整的備份。

1、若是primary節(jié)點(diǎn)，先強(qiáng)制將之變?yōu)閟econdary節(jié)點(diǎn)，否則跳過此步驟：

 rs.stepdown(120)；

2、然后在primary上刪除secondary節(jié)點(diǎn)：

 rs.remove("IP:port");

3、刪除secondary節(jié)點(diǎn)dbpath下的所有文件。

4、將節(jié)點(diǎn)重新加入集群，然后使之自動(dòng)進(jìn)行數(shù)據(jù)的同步：

 rs.add("IP:port");

5、等數(shù)據(jù)同步完成后，循環(huán)1-4的步驟可以將集群中所有節(jié)點(diǎn)的磁盤空間釋放

針對(duì)一些特殊情況，不能下線secondary節(jié)點(diǎn)的，可以新增一個(gè)節(jié)點(diǎn)到副本集中，然后secondary就自動(dòng)開始數(shù)據(jù)的同步了。

總的來說，重同步的方法是比較好的，第一基本不會(huì)阻塞副本集的讀寫，第二消耗的時(shí)間相對(duì)前兩種比較短

四、db.copyDatabase()

mongodb還支持在線復(fù)制數(shù)據(jù)：db.copyDatabase("from","to","IP:port"),此種方法也能釋放空間，因?yàn)閐b.copyDatabase復(fù)制的數(shù)據(jù)，而不是表示在磁盤中的數(shù)據(jù)文件。但，該命令在4.0版本起被棄用；3.x版本還能繼續(xù)使用

如：

 db.copyDatabase("sourceDB","DistDB");

    將源庫sourceDB?？截悶镈istDB。

當(dāng)然，該命令支持遠(yuǎn)程復(fù)制。

該命令的完整語法為：

db.copyDatabase(源數(shù)據(jù)庫名稱>, 目標(biāo)數(shù)據(jù)庫名稱>, 源mongodb的IP：port>, 源數(shù)據(jù)庫連接需要的賬戶>,密碼>, mechanism>)

以上：命令必須在目標(biāo)數(shù)據(jù)庫服務(wù)器上執(zhí)行。若源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫存在于一個(gè)MongoDB服務(wù)器，源mongodb的IP：port>, 源數(shù)據(jù)庫連接需要的賬戶>,密碼>都可省略。mechanism>是身份驗(yàn)證類型，可選的。

注意事項(xiàng)

1、db.copyDatabase()不會(huì)阻塞源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫數(shù)據(jù)的讀寫，因此可能會(huì)出現(xiàn)兩份數(shù)據(jù)不一致的情況

2、db.copyDatabase()復(fù)制索引數(shù)據(jù)會(huì)鎖定數(shù)據(jù)庫，此操作也會(huì)對(duì)其他數(shù)據(jù)庫產(chǎn)生影響

3、db.copyDatabase()不要在mongos實(shí)例中使用

4、db.copyDatabase()不要用于復(fù)制包含分片集合的數(shù)據(jù)庫

5、在4.0版中更改：db.copyDatabase()僅支持SCRAM進(jìn)行身份驗(yàn)證fromhost，mechanism>選項(xiàng)。

6、某些不同版本的MongoDB間不支持此種復(fù)制方法，詳見鏈接：https://docs.mongodb.com/manual/reference/method/db.copyDatabase/

除此之外，還有一些方法，像使用導(dǎo)入/導(dǎo)出的方法（mongodump/mongorestore），這種方法在數(shù)據(jù)量非常大的情況是不適用的，因?yàn)閷?dǎo)入導(dǎo)出的方法使用的全量的形式，要保證有足夠的空閑空間來存放導(dǎo)入的數(shù)據(jù)。

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問大家可以留言交流，謝謝大家對(duì)腳本之家的支持。