主頁 > 知識庫 > 如何利用MongoDB存儲Docker日志詳解

如何利用MongoDB存儲Docker日志詳解

熱門標(biāo)簽:濟(jì)南電銷機(jī)器人加盟公司 蘋果汽車租賃店地圖標(biāo)注 呼和浩特電銷外呼系統(tǒng)加盟 廣州長安公司怎樣申請400電話 云南外呼系統(tǒng) 老虎洗衣店地圖標(biāo)注 怎么投訴地圖標(biāo)注 杭州人工電銷機(jī)器人價格 電銷機(jī)器人是什么軟件

前言

日志是系統(tǒng)很重要的一個組成部分,通過日志可以及時發(fā)現(xiàn)系統(tǒng)中存在的問題,也可以為修復(fù)問題提供線索。Docker提供了多種插件方式管理日志,本文就對使用MongoDB存儲Docker日志的過程做個記錄。

數(shù)據(jù)流


Docker產(chǎn)生的日期 發(fā)送到 FluentD,然后FluentD在轉(zhuǎn)存到MongoDB。

配置Fluentd

前提:操作系統(tǒng)是CentOS7,已安裝MongoDB3.4

1. 安裝Fluentd

CentOS 7的軟件庫并沒有包含F(xiàn)luentd的安裝包,所以需要手動安裝。在CentOS使用的軟件td-agent。

# curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

上面命令會在/etct/yum.repo.d/目錄中,創(chuàng)建一個td-agent的安裝庫 td.repo,然后自動安裝td-agent。安裝完畢后設(shè)為自動啟動。

# systemctl start td-agent
# systemctl enable td-agent

如果在啟動過程中出現(xiàn)問題,可以查看位于/var/log/td-agent/下日志文件td-agent.log

2. 配置將docker日志轉(zhuǎn)存到MongoDB

轉(zhuǎn)存到MongoDB需要插件支持,但是默認(rèn)情況下td-agent是沒有安裝該插件的,需要安裝。

# yum -y install td-agent-gemt
# td-agent-gem install fluent-plugin-mongo

編輯/etc/td-agent/td-agent.conf,增加

## match tag=docker.* and dump to mongodb
## 在docker啟動容器時,日志的tag要符合docker.*的形式
match docker.*>
 @type mongo
 # 數(shù)據(jù)庫地址
 host 127.0.0.1
 # 數(shù)據(jù)庫端口
 port 22017
 # 存儲日志的數(shù)據(jù)庫和數(shù)據(jù)集名稱
 database docker
 collection log
/match>

重啟td-agent。

啟動容器

啟動容器的命令改為:

$ docker run --mount type=bind,source=/home/demo/app,destination=/app --log-driver=fluentd --log-opt tag="docker.log" python3:latest python3 /app/test.py

運(yùn)行完畢后,可以到MongoDB中查看日志。

后續(xù)

但是在實(shí)際的使用過程中,卻發(fā)現(xiàn)Docker生成的日志并不會立即寫入到MongoDB中,有大概1分鐘左右的延遲。

查閱Fluentd的文檔得知,有一個flush參數(shù)可以控制日志的寫入頻率,默認(rèn)的是60s。更改flush_interval參數(shù)就可以提高寫入頻率,具體更改如下:

## match tag=docker.* and dump to console match docker.*> @type mongo host 127.0.0.1 port 22017 database docker collection log buffer> flush_mode interval flush_interval 1s /buffer> /match>

剛開始對文檔理解不太透徹,增加了flush_interval參數(shù)后,并沒有發(fā)揮作用,第一次更改時,并沒有將flush_mode和flush_interval放在buffer結(jié)構(gòu)中。也就是:

## match tag=docker.* and dump to console match docker.*> @type mongo host 127.0.0.1 port 22017 database docker collection log flush_mode interval flush_interval 1s /match>

從日志中也可以看出上面的配置,并沒有發(fā)揮作用:

2018-01-19 14:33:32 +0800 [warn]: parameter '**flush_mode**' in match docker.*> @type mongo host "1270.0.0.1" port 22017 database "docker" collection "log" flush_mode interval flush_interval 1s buffer_chunk_limit 8m time_key time inject> time_key time time_format %Y-%m-%d %H:%M:%S.%L /inject> /match> is not used.

上面說flush_mode并沒有起作用。

總結(jié)

以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,如果有疑問大家可以留言交流,謝謝大家對腳本之家的支持。

參考文檔:

  • https://docs.treasuredata.com/articles/td-agent
  • https://docs.docker.com/engine/admin/logging/fluentd/
  • https://docs.fluentd.org/v1.0/articles/out_mongo
您可能感興趣的文章:
  • Docker mongoDB 4.2.1 安裝并收集springboot日志的步驟詳解
  • MongoDB中4種日志的詳細(xì)介紹
  • MongoDB數(shù)據(jù)庫的日志文件深入分析
  • SpringBoot中l(wèi)ogback日志保存到mongoDB的方法
  • Linux下定時切割Mongodb數(shù)據(jù)庫日志并刪除指定天數(shù)前的日志記錄
  • 深入講解MongoDB的慢日志查詢(profile)
  • 使用MongoDB分析Nginx日志的方法詳解
  • MongoDB運(yùn)行日志實(shí)現(xiàn)自動分割的方法實(shí)例
  • Node.js和MongoDB實(shí)現(xiàn)簡單日志分析系統(tǒng)
  • MongoDB日志文件過大的解決方法
  • 詳解MongoDB中的日志模塊

標(biāo)簽:自貢 泰安 無錫 遼陽 雞西 玉林 興安盟 廈門

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《如何利用MongoDB存儲Docker日志詳解》,本文關(guān)鍵詞  如何,利用,MongoDB,存儲,Docker,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《如何利用MongoDB存儲Docker日志詳解》相關(guān)的同類信息!
  • 本頁收集關(guān)于如何利用MongoDB存儲Docker日志詳解的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章