中日韩国极品内精品视频,久久久久久久精品免费观看

主頁(yè) > 知識(shí)庫(kù) > 以示例講解Clickhouse Docker集群部署以及配置

以示例講解Clickhouse Docker集群部署以及配置

寫(xiě)在前面

　　抽空來(lái)更新一下大數(shù)據(jù)的玩意兒了，起初架構(gòu)選型的時(shí)候有考慮Hadoop那一套做數(shù)倉(cāng)，但是Hadoop要求的服務(wù)器數(shù)量有點(diǎn)高，集群至少6臺(tái)或以上，所以選擇了Clickhouse（后面簡(jiǎn)稱CH）。CH做集群的話，3臺(tái)服務(wù)器起步就可以的，當(dāng)然，不是硬性，取決于你的zookeeper做不做集群，其次CH性能更強(qiáng)大，對(duì)于量不是非常巨大的場(chǎng)景來(lái)說(shuō)，單機(jī)已經(jīng)足夠應(yīng)對(duì)OLAP多種場(chǎng)景了。

　　進(jìn)入正題，相關(guān)環(huán)境：

IP	服務(wù)器名	操作系統(tǒng)	服務(wù)	備注
172.192.13.10	server01	Ubuntu20.04	兩個(gè)Clickhouse實(shí)例、Zookeeper	CH實(shí)例1端口:tcp 9000, http 8123, 同步端口9009，MySQL 9004, 類型: 主分片1 CH實(shí)例2端口:tcp 9000, http 8124, 同步端口9010，MySQL 9005, 類型: server02的副本
172.192.13.11	server02	Ubuntu20.04	兩個(gè)Clickhouse實(shí)例、Zookeeper	CH實(shí)例3端口:tcp 9000, http 8123, 同步端口9009，MySQL 9004, 類型: 主分片2 CH實(shí)例4端口:tcp 9000, http 8124, 同步端口9010，MySQL 9005, 類型: server03的副本
172.192.13.12	server03	Ubuntu20.04	兩個(gè)Clickhouse實(shí)例、Zookeeper	CH實(shí)例5端口:tcp 9000, http 8123, 同步端口9009，MySQL 9004, 類型: 主分片3 CH實(shí)例6端口:tcp 9000, http 8124, 同步端口9010，MySQL 9005, 類型: server01的副本

　　在每一臺(tái)服務(wù)上都安裝docker，docker里面分別安裝有3個(gè)服務(wù)：ch-main，ch-sub，zookeeper_node，如圖所示：

　　細(xì)心的已經(jīng)看到，PORTS沒(méi)有映射關(guān)系，這里是使用Docker host網(wǎng)絡(luò)模式，模式簡(jiǎn)單并且性能高，避免了很多容器間或跨服務(wù)器的通信問(wèn)題，這個(gè)踩了很久。

環(huán)境部署

1. 服務(wù)器環(huán)境配置

　　在每一臺(tái)服務(wù)器上執(zhí)行：vim /etc/hosts，打開(kāi)hosts之后新增配置：

172.192.13.10 server01
172.192.13.11 server02
172.192.13.12 server03

2.安裝docker

　　太簡(jiǎn)單，略...

3.拉取clickhouse、zookeeper鏡像

　　太簡(jiǎn)單，略...

Zookeeper集群部署

　　在每個(gè)服務(wù)器上你想存放的位置，新建一個(gè)文件夾來(lái)存放zk的配置信息，這里是/usr/soft/zookeeper/，在每個(gè)服務(wù)器上依次運(yùn)行以下啟動(dòng)命令：

server01執(zhí)行：

docker run -d -p 2181:2181 -p 2888:2888 -p 3888:3888 --name zookeeper_node --restart always \

-v /usr/soft/zookeeper/data:/data \

-v /usr/soft/zookeeper/datalog:/datalog \

-v /usr/soft/zookeeper/logs:/logs \

-v /usr/soft/zookeeper/conf:/conf \

--network host  \

-e ZOO_MY_ID=1  zookeeper

server02執(zhí)行：

docker run -d -p 2181:2181 -p 2888:2888 -p 3888:3888 --name zookeeper_node --restart always \

-v /usr/soft/zookeeper/data:/data \

-v /usr/soft/zookeeper/datalog:/datalog \

-v /usr/soft/zookeeper/logs:/logs \

-v /usr/soft/zookeeper/conf:/conf \

--network host  \

-e ZOO_MY_ID=2  zookeeper

server03執(zhí)行：

docker run -d -p 2181:2181 -p 2888:2888 -p 3888:3888 --name zookeeper_node --restart always \

-v /usr/soft/zookeeper/data:/data \

-v /usr/soft/zookeeper/datalog:/datalog \

-v /usr/soft/zookeeper/logs:/logs \

-v /usr/soft/zookeeper/conf:/conf \

--network host  \

-e ZOO_MY_ID=3  zookeeper

唯一的差別是：-e ZOO_MY_ID=*而已。

　　其次，每臺(tái)服務(wù)上打開(kāi)/usr/soft/zookeeper/conf路徑，找到zoo.cfg配置文件，修改為：

dataDir=/data
dataLogDir=/datalog
tickTime=2000
initLimit=5
syncLimit=2
clientPort=2181
autopurge.snapRetainCount=3
autopurge.purgeInterval=0
maxClientCnxns=60

server.1=172.192.13.10:2888:3888
server.2=172.192.13.11:2888:3888
server.3=172.192.13.12:2888:3888

然后進(jìn)入其中一臺(tái)服務(wù)器，進(jìn)入zk查看是否配置啟動(dòng)成功：

docker exec -it zookeeper_node /bin/bash

./bin/zkServer.sh status

Clickhouse集群部署

1.臨時(shí)鏡像拷貝出配置　　

　　運(yùn)行一個(gè)臨時(shí)容器，目的是為了將配置、數(shù)據(jù)、日志等信息存儲(chǔ)到宿主機(jī)上：

docker run --rm -d --name=temp-ch yandex/clickhouse-server

　　拷貝容器內(nèi)的文件：

docker cp temp-ch:/etc/clickhouse-server/ /etc/

//https://www.cnblogs.com/EminemJK/p/15138536.html

2.修改config.xml配置

//同時(shí)兼容IPV6，一勞永逸
<listen_host>0.0.0.0</listen_host>

//設(shè)置時(shí)區(qū)
<timezone>Asia/Shanghai</timezone>

//刪除原節(jié)點(diǎn)<remote_servers>的測(cè)試信息
<remote_servers incl="clickhouse_remote_servers" />

//新增，和上面的remote_servers 節(jié)點(diǎn)同級(jí)
<include_from>/etc/clickhouse-server/metrika.xml</include_from>

//新增，和上面的remote_servers 節(jié)點(diǎn)同級(jí)
<zookeeper incl="zookeeper-servers" optional="true" />

//新增，和上面的remote_servers 節(jié)點(diǎn)同級(jí)
<macros incl="macros" optional="true" />

其他listen_host僅保留一項(xiàng)即可，其他listen_host則注釋掉。

3.拷貝到其他文件夾

cp -rf /etc/clickhouse-server/ /usr/soft/clickhouse-server/main
cp -rf /etc/clickhouse-server/ /usr/soft/clickhouse-server/sub

main為主分片，sub為副本。

4.分發(fā)到其他服務(wù)器

#拷貝配置到server02上
scp /usr/soft/clickhouse-server/main/ server02:/usr/soft/clickhouse-server/main/
scp /usr/soft/clickhouse-server/sub/ server02:/usr/soft/clickhouse-server/sub/ 
#拷貝配置到server03上
scp /usr/soft/clickhouse-server/main/ server03:/usr/soft/clickhouse-server/main/
scp /usr/soft/clickhouse-server/sub/ server03:/usr/soft/clickhouse-server/sub/

SCP真香。

　　然后就可以刪除掉臨時(shí)容器：docker rm -f temp-ch

配置集群

　　這里三臺(tái)服務(wù)器，每臺(tái)服務(wù)器起2個(gè)CH實(shí)例，環(huán)狀相互備份，達(dá)到高可用的目的，資源充裕的情況下，可以將副本Sub實(shí)例完全獨(dú)立出來(lái)，修改配置即可，這個(gè)又是Clickhouse的好處之一，橫向擴(kuò)展非常方便。

1.修改配置

　　進(jìn)入server1服務(wù)器，/usr/soft/clickhouse-server/sub/conf修改config.xml文件，主要修改內(nèi)容：

原：
<http_port>8123</http_port>
<tcp_port>9000</tcp_port>
<mysql_port>9004</mysql_port>
<interserver_http_port>9009</interserver_http_port>

修改為：
<http_port>8124</http_port>
<tcp_port>9001</tcp_port>
<mysql_port>9005</mysql_port>
<interserver_http_port>9010</interserver_http_port>

　　修改的目的目的是為了和主分片main的配置區(qū)分開(kāi)來(lái)，端口不能同時(shí)應(yīng)用于兩個(gè)程序。server02和server03如此修改或scp命令進(jìn)行分發(fā)。

2.新增集群配置文件metrika.xml

server01，main主分片配置：

　　進(jìn)入/usr/soft/clickhouse-server/main/conf文件夾內(nèi)，新增metrika.xml文件（文件編碼：utf-8）。

<yandex>
    <!-- CH集群配置,所有服務(wù)器都一樣 -->
    <clickhouse_remote_servers>
        <cluster_3s_1r>
            <!-- 數(shù)據(jù)分片1  -->
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>server01</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>server03</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
            <!-- 數(shù)據(jù)分片2  -->
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>server02</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>server01</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
            <!-- 數(shù)據(jù)分片3  -->
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>server03</host>
                    <port>9000</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>server02</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
        </cluster_3s_1r>
    </clickhouse_remote_servers>

    <!-- zookeeper_servers所有實(shí)例配置都一樣 -->
    <zookeeper-servers>
        <node index="1">
            <host>172.16.13.10</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>172.16.13.11</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>172.16.13.12</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>

    <!-- marcos每個(gè)實(shí)例配置不一樣 -->
    <macros>
        <layer>01</layer>
        <shard>01</shard>
        <replica>cluster01-01-1</replica>
    </macros>
    <networks>
        <ip>::/0</ip>
    </networks>

    <!-- 數(shù)據(jù)壓縮算法  -->
    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>
            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>lz4</method>
        </case>
    </clickhouse_compression>
</yandex>

　　<macros>節(jié)點(diǎn)每個(gè)服務(wù)器每個(gè)實(shí)例不同，其他節(jié)點(diǎn)配置一樣即可，下面僅列舉<macros>節(jié)點(diǎn)差異的配置。

server01，sub副本配置：

<macros>
    <layer>01</layer>
    <shard>02</shard>
    <replica>cluster01-02-2</replica>
</macros>

server02，main主分片配置：

<macros>
    <layer>01</layer>
    <shard>02</shard>
    <replica>cluster01-02-1</replica>
</macros>

server02，sub副本配置：

<macros>
    <layer>01</layer>
    <shard>03</shard>
    <replica>cluster01-03-2</replica>
</macros>

server03，main主分片配置：

<macros>
    <layer>01</layer>
    <shard>03</shard>
    <replica>cluster01-03-1</replica>
</macros>

server03，sub副本配置：

<macros>
    <layer>01</layer>
    <shard>02</shard>
    <replica>cluster01-01-2</replica>
</macros>

　　至此，已經(jīng)完成全部配置，其他的比如密碼等配置，可以按需增加。

集群運(yùn)行及測(cè)試

　　在每一臺(tái)服務(wù)器上依次運(yùn)行實(shí)例，zookeeper前面已經(jīng)提前運(yùn)行，沒(méi)有則需先運(yùn)行zk集群。

運(yùn)行main實(shí)例：

docker run -d --name=ch-main -p 8123:8123 -p 9000:9000 -p 9009:9009 --ulimit nofile=262144:262144 \-v /usr/soft/clickhouse-server/main/data:/var/lib/clickhouse:rw \-v /usr/soft/clickhouse-server/main/conf:/etc/clickhouse-server:rw \-v /usr/soft/clickhouse-server/main/log:/var/log/clickhouse-server:rw \

--add-host server01:172.192.13.10 \

--add-host server02:172.192.13.11 \

--add-host server03:172.192.13.12 \

--hostname server01 \

--network host \

--restart=always \

 yandex/clickhouse-server

運(yùn)行sub實(shí)例：

docker run -d --name=ch-sub -p 8124:8124 -p 9001:9001 -p 9010:9010 --ulimit nofile=262144:262144 \

-v /usr/soft/clickhouse-server/sub/data:/var/lib/clickhouse:rw \

-v /usr/soft/clickhouse-server/sub/conf:/etc/clickhouse-server:rw \

-v /usr/soft/clickhouse-server/sub/log:/var/log/clickhouse-server:rw \

--add-host server01:172.192.13.10 \

--add-host server02:172.192.13.11 \

--add-host server03:172.192.13.12 \

--hostname server01 \

--network host \

--restart=always \

 yandex/clickhouse-server

　　在每臺(tái)服務(wù)器執(zhí)行命令，唯一不同的參數(shù)是hostname，因?yàn)槲覀兦懊嬉呀?jīng)設(shè)置了hostname來(lái)指定服務(wù)器，否則在執(zhí)行select * from system.clusters查詢集群的時(shí)候，將is_local列全為0，則表示找不到本地服務(wù)，這是需要注意的地方。在每臺(tái)服務(wù)器的實(shí)例都啟動(dòng)之后，這里使用正版DataGrip來(lái)打開(kāi)：

　　在任一實(shí)例上新建一個(gè)查詢：

create table T_UserTest on cluster cluster_3s_1r
(
    ts  DateTime,
    uid String,
    biz String
)
    engine = ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/T_UserTest', '{replica}')
        PARTITION BY toYYYYMMDD(ts)
        ORDER BY ts
        SETTINGS index_granularity = 8192;

　　cluster_3s_1r是前面配置的集群名稱，需一一對(duì)應(yīng)上，/clickhouse/tables/是固定的前綴，相關(guān)語(yǔ)法可以查看官方文檔了。

　　刷新每個(gè)實(shí)例，即可看到全部實(shí)例中都有這張T_UserTest表，因?yàn)橐呀?jīng)搭建zookeeper，很容易實(shí)現(xiàn)分布式DDL。

　　繼續(xù)新建Distributed分布式表：

CREATE TABLE T_UserTest_All ON CLUSTER cluster_3s_1r AS T_UserTest ENGINE = Distributed(cluster_3s_1r, default,  T_UserTest, rand())

每個(gè)主分片分別插入相關(guān)信息：

--server01insert into  T_UserTest values ('2021-08-16 17:00:00',1,1)
--server02
insert into  T_UserTest values ('2021-08-16 17:00:00',2,1)
--server03
insert into  T_UserTest values ('2021-08-16 17:00:00',3,1)

然后查詢分布式表select * from T_UserTest_All，

　　查詢對(duì)應(yīng)的副本表或者關(guān)閉其中一臺(tái)服務(wù)器的docker實(shí)例，查詢也是不受影響，時(shí)間關(guān)系不在測(cè)試。

到此這篇關(guān)于Clickhouse Docker集群配置及部署的文章就介紹到這了,更多相關(guān)Clickhouse Docker集群內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

標(biāo)簽：朝陽(yáng) 蕪湖慶陽(yáng) 那曲泰州銅川周口松原

巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《以示例講解Clickhouse Docker集群部署以及配置》，本文關(guān)鍵詞以,示例,講解,Clickhouse,Docker,；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題，煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無(wú)關(guān)。