ClickHouse【高可用篇】02：ClickHouse分片集群部署

已于 2025-06-13 08:37:16 修改
阅读量1.4k 收藏 28
点赞数 22
CC 4.0 BY-SA版权
分类专栏： ClickHouse 文章标签： clickhouse debian 运维
于 2025-05-24 08:20:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40612128/article/details/148170742

一、环境准备

1、环境信息

192.168.184.161  zk  ck
192.168.184.162  zk  ck
192.168.184.163  zk  ck
192.168.184.164      ck

在这里插入图片描述

2、修改主机名

（1）161节点执行

hostname  node-01
sudo hostnamectl set-hostname node-01
su -

在这里插入图片描述

（2）162节点执行

hostname  node-02
sudo hostnamectl set-hostname node-02
su -

在这里插入图片描述

（3）163节点执行

hostname  node-03
sudo hostnamectl set-hostname node-03
su -

在这里插入图片描述

（3）164节点执行

hostname  node-04
sudo hostnamectl set-hostname node-04
su -

在这里插入图片描述

3、修改hosts

vim /etc/hosts

添加如下内容

192.168.184.161 node-01
192.168.184.162 node-02
192.168.184.163 node-03
192.168.184.164 node-04

在这里插入图片描述

4、安装java环境

在zk集群安装即可，我这里是161、162、163节点进行安装。

yum -y install java

在这里插入图片描述

java -version

在这里插入图片描述

5、安装clickhouse

在161、162、163、164节点安装clickhouse，可参考：

ClickHouse安装以及常见字段类型

二、ClickHouse分片架构图

在这里插入图片描述
在这里插入图片描述

三、zookeeper安装和启动

1、下载zookeeper

网盘地址：

链接: https://pan.baidu.com/s/1p2aPuhR3GSo3qDehTPmypg?pwd=hkyw
提取码: hkyw 

mkdir /data/zookeeper
cd /data/zookeeper
ll

在这里插入图片描述

tar zxvf apache-zookeeper-3.9.3-bin.tar.gz
cd apache-zookeeper-3.9.3-bin
cd conf/

cp zoo_sample.cfg zoo.cfg

在这里插入图片描述

2、修改配置文件

vim /data/zookeeper/apache-zookeeper-3.9.3-bin/conf/zoo.cfg

加入

server.1=192.168.184.161:2888:3888
server.2=192.168.184.162:2888:3888
server.3=192.168.184.163:2888:3888

在这里插入图片描述

3、配置myid

（1）161节点执行

mkdir -p /tmp/zookeeper/ 
echo 1 >/tmp/zookeeper/myid

在这里插入图片描述

（2）162节点执行

mkdir -p /tmp/zookeeper/ 
echo 2 >/tmp/zookeeper/myid

在这里插入图片描述

（3）163节点执行

mkdir -p /tmp/zookeeper/ 
echo 3 >/tmp/zookeeper/myid

在这里插入图片描述

4、启动zookeeper

/data/zookeeper/apache-zookeeper-3.9.3-bin/bin/zkServer.sh start

在这里插入图片描述

查看进程

ps -ef | grep zookeeper

在这里插入图片描述

四、配置ClickHouse的分片集群

在161、162、163、164节点进行配置

1、修改分片配置文件

vim /etc/clickhouse-server/config.xml

（1）调整监听的host

调整监听的host，这里一般安装的时候就设置好了：

<listen_host>0.0.0.0</listen_host>

在这里插入图片描述

（2）zookeeper的配置

加入zookeeper的配置：

<zookeeper>
    <node>
        <host>node-01</host>
        <port>2181</port>
    </node>
    <node>
        <host>node-02</host>
        <port>2181</port>
    </node>
    <node>
        <host>node-03</host>
        <port>2181</port>
    </node>
</zookeeper>

在这里插入图片描述

（3）分片集群的配置

加入分片集群的配置：

<remote_servers>
  <!-- 2分片1副本 -->
  <cluster_test>
    <!-- 数据分片1 -->
    <shard>
      <weight>1</weight>
      <!-- Optional. Whether to write data to just one of the replicas. Default: false (write data to all replicas). -->
      <internal_replication>true</internal_replication>
      <replica>
        <host>192.168.184.161</host>
        <port>9000</port>
      </replica>
      <replica>
         <host>192.168.184.162</host>
         <port>9000</port>
      </replica>

    </shard>
    <!-- 数据分片2 -->
    <shard>
      <weight>1</weight>
      <internal_replication>true</internal_replication>
      <replica>
        <host>192.168.184.163</host>
        <port>9000</port>
      </replica>
      <replica>
        <host>192.168.184.164</host>
        <port>9000</port>
      </replica>

    </shard>
  </cluster_test>
</remote_servers>

在这里插入图片描述
在这里插入图片描述

参数解释：

internal_replication
这个参数表示是否将数据写入其中一个副本，如果是false，表示写入所有副本。
每个分片可以配置权重weight，默认都是1

（4）分片集群的名称

注意，这里每一个节点都不一样，要注意一下!!

161节点

<macros>
    <shard>01</shard>
    <replica>node-01</replica>
</macros>

在这里插入图片描述

162节点

<macros>
    <shard>01</shard>
    <replica>node-02</replica>
</macros>

在这里插入图片描述

163节点

<macros>
    <shard>02</shard>
    <replica>node-03</replica>
</macros>

在这里插入图片描述

164节点

<macros>
    <shard>02</shard>
    <replica>node-04</replica>
</macros>

在这里插入图片描述

参数解释：

这一段是ClickHouse里面的宏，类似代码里的变量
在等一下创建分布式表的时候，会调用这两个宏
分片1，shard写成01
分片2，shard写成02
replica，每个节点唯一，比如是node-01 到04

2、重启clickhouse

/etc/init.d/clickhouse-server restart

在这里插入图片描述

3、查看集群信息

随便选择一个节点，登录clickhouse，这里我在161节点进行登录

clickhouse-client -m

在这里插入图片描述

查看集群信息

select * from system.clusters;

在这里插入图片描述

4、创建本地表和总表

（1）创建库

在所有节点创建库，我这里是161、162、163、164节点

clickhouse-client -m

在这里插入图片描述

CREATE DATABASE cluster_db;

在这里插入图片描述
在这里插入图片描述

（2）创建本地表

到其中一个节点创建本地表，会自动同步到其他节点，我这里在161节点进行创建。

clickhouse-client -m

在这里插入图片描述

CREATE TABLE cluster_db.cluster_table_local on cluster cluster_test
(
    EventDate DateTime,
    CounterID UInt32,
    UserID UInt32
) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/cluster_table_local', '{replica}')
PARTITION BY toYYYYMM(EventDate)
ORDER BY (CounterID, EventDate, intHash32(UserID));

在这里插入图片描述

参数解释：

ENGINE = ReplicatedMergeTree('zk_path', 'replica_name')

1、zk_path 用于指定在 zk 中创建数据表的路径，一般 zk_path 建议配置成如下形式：
/clickhouse/fcluster}/{shard}{table name}
	（1）{cluster}表示集群名;
	（2）{shard}表示分片编号;
	（3）{table_name}表示数据表的名称;
2、replica_name 的定义，需要注意的是同一分片不同副本，需要定义不同的名称;
3、而 zk path 的定义，需要注意的是同一分片不同副本，需要定义相同的路径。

（3）创建分布式总表

所有节点都需要创建分布式总表：

CREATE TABLE  cluster_db.cluster_table_all AS  cluster_db.cluster_table_local ENGINE = Distributed(cluster_test, cluster_db, cluster_table_local, rand());

在这里插入图片描述

参数解释：

cluster_test：集群名
cluster_db和cluster_table：库表名
rand()：分片方式

五、数据分布测试

1、往总表写入数据

在161节点写入数据

insert into cluster_db.cluster_table_all values ('2030-01-01 12:00:00',1,1),
('2030-02-01 12:00:00',2,2),
('2030-03-01 12:00:00',3,3),
('2030-04-01 12:00:00',4,4);

在这里插入图片描述

2、查询总表数据

161、162、163、164节点查询数据

select * from cluster_db.cluster_table_all;

在这里插入图片描述

3、查询各个分片本地表的数据

161、162、163、164节点查询数据

select * from cluster_db.cluster_table_local;

在这里插入图片描述

六、高可用测试

1、停一个节点

停掉163节点的ck

/etc/init.d/clickhouse-server stop

在这里插入图片描述

2、测试总表写入数据

161节点写入数据

insert into cluster_db.cluster_table_all values 
('2030-05-01 12:00:00',5,5),
('2030-06-01 12:00:00',6,6);

在这里插入图片描述

3、测试总表查询

161、162、164节点查询数据

select * from cluster_db.cluster_table_all ;

在这里插入图片描述

七、问题总结

1、怎样完全删除分片表

如果创建了本地表，想删除，可以登录zookeeper

（1）登录zookeeper

/data/zookeeper/apache-zookeeper-3.9.3-bin/bin/zkCli.sh

在这里插入图片描述

（2）查询

ls /

在这里插入图片描述

（3）删除

deleteall /clickhouse/tables/01
deleteall /clickhouse/tables/02

在这里插入图片描述

2、某个实例本地表没有任何数据可能的原因

如果发现某个本地表没有保存任何数据，可能是listen_host没有开放，配置如下:

<listen_host>0.0.0.0</listen_host>
第十阶段【ClickHouse基础及运维】07：ClickHouse分片集群部署
weixin_40612128的博客
05-06 64
ClickHouse分片集群部署
clickhouse的集群部署
ecloud_developer的博客
05-27 3364
因为已经配置了zookeeper，所以创建表的DDL语句也会同步到其他节点上。任选一台机器，创建一个 ReplicatedMergeTree 引擎的测试表，测试 ZooKeeper 同步功能。不用也可以，但建议还是使用。配置文件是热更新的，所以修改配置后无需要重启服务，除非是首次启动 ClickHouse。，准备搭建一个3分片2副本集群，当然也可根据你自己实际情况选择机器数量。根据每台机器的分片副本，配置。（一定要看，本人亲自搭建过，一步一步来，不会有问题）如果集群部署成功，你会看到所有机器的信息。
clickhouse集群部署保姆级教程
weixin_53587261的博客
03-10 1442
23.8及之后的版本。
clickhouse集群版本部署文档
最新发布
weixin_53587261的博客
04-02 1110
clickhouse是表级别的集群，一个clickhouse实例可以有分布式表，也可以有本地表。本文介绍4个节点的clickhouse情况下部署配置。分布式表数据分成2个分片，2个副本，总共4份数据：分片1，分片2组成一份完整的数据。这种配置可以在使用中4个节点共同处理一个sql查询，在一个节点宕机情况下保证数据不丢失，集群版本与单机版本区别在于节点间要相互，与单机版部署区别如下：以192.168.1.10，192.168.1.11，192.168.1.12，192.168.1.13四台集群模式为例配置实际
全网最细~ Clickhouse 集群部署
weixin_43849156的博客
05-10 1582
比如ORDER BY (Col1, Col2)，值得注意的是，如果没有指定主键，默认情况下 sorting key(排序字段)即为主键。ReplicatedMergeTree表引，使得以上 MergeTree 家族拥有副本机制，保证高可用，用于生产环境，对于大数据量的表来说不推荐使用，因为副本是基于zk做数据同步的，大数据量会对zk造成巨大压力，成为整个ck整个集群瓶颈。大约在配置文件的1037行，表示分片号，因为集群就一个分片，所以3个节点的分片号都是01，表示副本名称，三个节点的副本名称不能一样。
ClickHouse集群部署
长臂人猿的博客
05-31 1050
目录 1. 环境数据 2. Tgz包准备 2.1. 查看系统版本信息 2.2. 下载相关安装包 2.3. 创建相关目录 2.4. 中转Jar包 2.5. 创建clickHouse目录 3. 解压安装 3.1. 解压 3.2. 安装 4. 配置文件修改 4.1. clickhouse-server 4.1.1. config.xml 5. 启动单节点 5.1. 启动clickhouse-server 5.1.1. 报错 5.1.2. 解决 5.2. 验证clickHouse是
Clickhouse 生产集群部署（Centos 环境）
奔跑的蜗牛的博客
07-29 2501
本文总结了如何在 centos 环境下，使用 rpm 构建部署生产环境的 clickhouse 集群。
ClickHouse分布式集群部署
qq_25409421的博客
09-21 1万+
ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的用于在线分析处理查询(OLAP :Online Analytical Processing)MPP架构的列式存储数据库(DBMS:Database Management System),能够使用 SQL 查询实时生成分析数据报告。ClickHouse的全称是Click Stream,Data WareHouse。 clickhouse可以做用户行为分析,流批一体，线性扩展和可靠性保障能够原生支持 shard + replication
ClickHouse高可用架构测试
m0_58557478的博客
08-05 1105
现状：安装的是单节点。 规划：改为多节点。则单点服务改多点服务，则避免单个点断开后整个服务器重启。现在用的虚拟机1T，计划改为固态硬盘，则性能更好。 执行：运维已搭建，测试时运行etl作业观察节点间是否影响。
Centos 6.4 / ClickHouse高可用集群配置
u013205003的专栏
02-21 5654
ClickHouse高可用集群配置 参考如下文档：  ClickHouse高可用集群的配置：    https://www.cnblogs.com/freeweb/p/9352947.html   副本表以及分布式表简单实践 :  https://www.cnblogs.com/leodaxin/p/10023641.html  ClickHouse之集群搭建以及数据复制：https://...
ClickHouse三分片两副本集群部署
zhaizhai6_6的博客
07-18 607
ClickHouse 三分片两副本配置案例，包括 chproxy 的配置。
Chproxy+Clickhouse高可用集群部署监控
三思的博客
03-06 8230
文章目录一、环境描述1.1 服务部署规划1.2 CK集群设置二、chproxy的使用2.1 chproxy的优势2.2 Clickhouse集群安装部署2.3 chproxy安装部署2.4 chproxy功能测试三、chproxy监控3.1 安装grafana3.2 安装prometheus3.3 配置chproxy监控 一、环境描述 1.1 服务部署规划 服务器名称 IP地址 服务配置 mdw 172.16.104.11 grafana、prometheus、ck sdw1 172.1
ClickHouse集群搭建部署
热门推荐
u013332124的专栏
01-27 1万+
文章目录一、单机版安装和启停二、集群部署搭建1、手动搭建clickhouse集群2、使用docker-compose快速搭建clickhouse集群三、集群扩容如何保证扩容后的数据均匀分布？四、集群缩容docker-compose 中的一些文件 一、单机版安装和启停 单机版的安装相对简单，官网介绍了好几种办法： https://clickhouse.com/docs/zh/getting-started/install/ 这里提一下tgz安装包的方式，目前官网的文档有点问题(不知道将来会不会更新)。从21
Clickhouse集群安装部署
HiterCoder
03-01 1268
相关知识参考：https://www.cnblogs.com/jmx-bigdata/p/13708835.html 1、Clickhouse集群安装部署，首先安装单机版，可参考之前：https://www.cnblogs.com/biehongli/p/14364802.html，我是先安装了一台虚拟机，然后克隆了两台机器，所以，克隆完成，配置好ip地址，三台服务器的Clickhouse就安装...
clickhouse集群部署
weixin_57205390的博客
03-03 712
复制是异步的，因此在给定时刻，并非所有副本都可能包含最近插入的数据。在本教程中，我们将使用Yandex.Metrica的匿名数据，它是在ClickHouse成为开源之前作为生产环境运行的第一个服务（关于这一点的更多内容请参阅。常见的做法是在集群的所有计算机上创建类似的分布式表。note "注意" ZooKeeper不是一个严格的要求：在某些简单的情况下，您可以通过将数据写入应用程序代码中的所有副本来复制数据。安装后不会自动启动。建议的，在这种情况下，ClickHouse将无法保证所有副本上的数据一致性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

做一个有趣的人Zz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值