ZooKeeper安装配置--集群模式

最新推荐文章于 2025-06-12 20:42:48 发布
最新推荐文章于 2025-06-12 20:42:48 发布
阅读量1.3k 收藏 26
点赞数 22
CC 4.0 BY-SA版权
文章标签： zookeeper 分布式 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79986451/article/details/143185511

前言

ZooKeeper 是 Apache Hadoop 生态系统中的一个重要组件，最初是为分布式应用程序提供协调服务而设计的。它解决了分布式系统中的复杂性，提供了集中化的配置管理、分布式同步和分布式节点管理等功能。

ZooKeeper的主要特点

  • 分布式协调服务：ZooKeeper 提供了一种通用的协调服务，用于分布式系统中的各种应用场景，包括配置管理、领导选举、分布式锁和元数据管理等。
  • 高可用性和可靠性：ZooKeeper 通过多节点（Quorum）的方式提供高可用性。它采用了主-从架构，其中一个节点充当领导者 (Leader)，其他节点为跟随者 (Follower)。只要超过半数的节点正常运行，ZooKeeper 集群就能继续提供服务。
  • 强一致性：ZooKeeper 保证了分布式系统中数据的强一致性。所有写操作都会在领导者节点上执行，然后同步到跟随者节点，确保所有客户端在读取时能看到相同的数据。
  • 简洁的 API：ZooKeeper 提供了简单的客户端 API，支持创建、读取、更新和删除 (CRUD) 操作，同时支持临时节点、顺序节点和监视机制 (Watcher) 等功能，帮助开发者实现复杂的分布式逻辑。

ZooKeeper的核心概念

节点（ZNode）

ZooKeeper 中的所有数据都存储在树形结构中的节点上，每个节点被称为 ZNode。ZNode 可以包含数据或子节点。每个 ZNode 的路径是唯一的，就像 Unix 文件系统中的路径一样，例如 /myapp/config。

ZNode 有以下几种类型：

  • 持久节点：一旦创建，除非显式删除，否则持久存在。

  • 临时节点：客户端会话结束时临时节点会自动删除。

  • 顺序节点：创建时，ZooKeeper 会在节点名称后自动附加一个唯一的数字，用来标识顺序。

会话（Session）

ZooKeeper 使用会话机制来管理客户端与服务器的连接。每个客户端在连接时都会与服务器建立一个会话。会话有一个超时时间，超时后 ZooKeeper 将认为客户端断开连接，并删除与该客户端关联的临时节点。

Watcher机制

Watcher 是 ZooKeeper 提供的一种事件通知机制，允许客户端在特定的 ZNode 上注册监听器。当该节点发生变化时，ZooKeeper 会通知相应的客户端。Watcher 是一次性的，即当事件触发时，监听器会被触发，然后需要重新注册。

版本号

每个 ZNode 都有一个版本号，每次对 ZNode 的数据进行修改时，ZooKeeper 都会递增该版本号。通过版本号，ZooKeeper 可以实现乐观并发控制，避免多个客户端同时修改数据时产生冲突。

ZooKeeper 的架构

ZooKeeper 采用主从 (Leader-Follower) 架构，其中一个节点被选举为领导者，其他节点作为跟随者。所有写操作都在领导者节点上执行，并同步到跟随者。读取操作可以在任意节点上执行。ZooKeeper 通过一致性算法 Zab（类似于 Paxos）来保证数据的一致性。

  • Leader：负责处理所有的写请求，并同步数据到 Follower。
  • Follower：接收客户端的读取请求，并将写请求转发给 Leader 进行处理。
  • Observer：只用于接收数据的同步，而不参与投票，通常用于减少 Follower 的负载。

ZooKeeper 使用两个重要的时间参数来管理节点之间的通信和同步：

  • syncLimit：Follower 能够与 Leader 之间同步的最大延迟时间。
  • initLimit：Follower 在启动时与 Leader 同步状态的最大允许时间。

ZooKeeper 的典型应用场景

分布式锁

ZooKeeper 可以用来实现分布式锁。通过使用临时顺序节点，ZooKeeper 可以确保每个客户端在获取锁时，都有一个唯一的顺序号。客户端只需要检查当前序列号是否是最小的，最小的则获得锁。

领导者选举

ZooKeeper 常用于领导者选举。所有的客户端尝试创建一个相同的 ZNode，ZooKeeper 只允许一个客户端成功创建，其余的客户端将收到失败通知。第一个成功创建节点的客户端就成为领导者。

配置管理

ZooKeeper 可以用作分布式系统的配置管理中心。所有服务都可以将其配置保存在 ZooKeeper 中，并在需要时读取配置，甚至可以动态更新配置，而不需要重启服务。

命名服务

ZooKeeper 可用于实现分布式系统的命名服务，每个服务都可以注册一个 ZNode，其他服务可以通过 ZooKeeper 获取该服务的地址或其他元数据。

ZooKeeper的缺点和限制

  • 读写性能：ZooKeeper 主要为了保证一致性设计，写操作的性能比读操作慢，因为所有写操作都必须通过领导者节点，且同步到所有的跟随者节点。
  • 容量限制：ZooKeeper 的每个 ZNode 数据量不应超过 1MB，适合存储轻量级的配置信息和元数据，不适合存储大规模数据。
  • 延迟敏感：ZooKeeper 对网络延迟非常敏感，如果网络不稳定或延迟较高，可能会导致服务的性能下降。

ZooKeeper 的集群管理

ZooKeeper 的高可用性通过集群（Quorum）来实现，通常建议集群中的节点数量为奇数。ZooKeeper 使用过半原则（majority），即只要超过半数的节点正常运行，集群就能继续提供服务。这意味着在三节点的 ZooKeeper 集群中，只允许有一个节点故障；在五节点集群中，允许最多有两个节点故障。

ZooKeeper 安装配置流程

  • 单节点部署：适用于开发环境或轻量级应用场景。

  • 集群部署：在生产环境中使用 ZooKeeper 时，通常会部署一个 ZooKeeper 集群来提供高可用性。ZooKeeper 通过 zoo.cfg 文件进行配置，关键参数包括 dataDir、clientPort、server.X 等。

ZooKeeper 的替代方案

  • etcd：一个分布式键值存储系统，广泛应用于 Kubernetes 集群的管理。
  • Consul：提供了分布式服务发现和配置管理功能。
  • Eureka：Netflix 开源的服务发现系统。

ZooKeeper 是一个用于分布式系统的强大协调服务，能够解决分布式系统中的许多关键问题，如一致性、领导选举、配置管理和分布式锁。尽管它有一些性能和容量限制，但在需要分布式协调的场景中，ZooKeeper 是一种可靠且成熟的解决方案。

ZooKeeper下载

官方网站：https://zookeeper.apache.org/releases.html#download

这里我使用的版本是zookeeper-3.4.8.tar.gz

本文将安装的ZooKeeper采用的是集群模式

准备工作

Java 环境

ZooKeeper 是用 Java 开发的，因此需要安装 Java 运行时环境（JRE）或 Java 开发工具包（JDK）。

节点介绍

在每个服务器节点上都需要安装 ZooKeeper 3.4.8。假设我们有三台服务器

master172.16.250.205
slave1172.16.250.206
slave2172.16.250.207

安装与配置

上传ZooKeeper

这里的上传路径为/root下

上传方式可通过本地拖拽文件上传，也可通过连接xftp来拖拽至xshell命令行里实现

解压ZooKeeper

解压至/root/software目录下

tar -zxvf zookeeper-3.4.8.tar.gz -C software/

重命名（可选）

mv zookeeper-3.4.8/ zookeeper

添加至环境变量

vim /etc/profile

添加以下参数

export ZOOKEEPER_HOME=/root/software/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

wq保存退出

刷新变量

source /etc/profile

配置zoo.cfg文件

首先在zookeeper目录下创建data目录

用于数据存储路径

mkdir data

以及日志存储路径（可选）

mkdir logs

进入conf/目录下

将zoo_sample.cfg拷贝一份并重命名为zoo.cfg

使用vim编辑器打开

vim zoo.cfg

修改zoo.cfg文件为以下内容：

# 数据存储路径
dataDir=/root/software/zookeeper/data
# 日志存储路径（可选）
dataLogDir=/root/software/zookeeper/logs
# 客户端连接的端口
clientPort=2181
# 发送初始消息的超时时间
initLimit=5
# 心跳间隔
syncLimit=2

# 集群中的服务器配置
server.1=192.168.1.101:2888:3888
server.2=192.168.1.102:2888:3888
server.3=192.168.1.103:2888:3888

配置完成，wq保存并退出

使用scp命令同步

将master上的zookeeper安装目录同步和环境变量同步至slave1、slave2上

scp -r zookeeper/ slave1:/root/software
scp -r zookeeper/ slave2:/root/software
scp -r /etc/profile slave1:/etc/profile
scp -r /etc/profile slave2:/etc/profile

为每个节点设置、创建myid文件

每个 ZooKeeper 节点需要一个 myid 文件，该文件位于 dataDir 目录中，用来唯一标识集群中的每个节点。在每个节点上，执行以下步骤来创建 myid 文件。

在master上

echo "1" > /root/software/zookeeper/data/myid

在slave1上

echo "2" > /root/software/zookeeper/data/myid

在slave2上

echo "3" > /root/software/zookeeper/data/myid

每个 myid 文件的内容应该是对应 server.X 的数字。

启动ZooKeeper集群

在每个节点上启动ZooKeeper

bin/zkServer.sh start

master

slave1

slave2

开启成功

测试ZooKeeper集群

你可以使用 ZooKeeper 客户端来连接并测试集群是否工作正常。可以在任意节点上执行

我在master节点上试着连接slave1来测试

注：172.16.250.206是slave1的ip

bin/zkCli.sh -server 172.16.250.206:2181

[root@master zookeeper]# bin/zkCli.sh -server 172.16.250.206:2181
Connecting to 172.16.250.206:2181
2024-10-23 22:59:05,346 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.8--1, built on 02/06/2016 03:18 GMT
2024-10-23 22:59:05,351 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=master
2024-10-23 22:59:05,351 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_241
2024-10-23 22:59:05,354 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2024-10-23 22:59:05,354 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/root/software/jdk1.8.0_241/jre
2024-10-23 22:59:05,354 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/root/software/zookeeper/bin/../build/classes:/root/software/zookeeper/bin/../build/lib/*.jar:/root/software/zookeeper/bin/../lib/slf4j-log4j12-1.6.1.jar:/root/software/zookeeper/bin/../lib/slf4j-api-1.6.1.jar:/root/software/zookeeper/bin/../lib/netty-3.7.0.Final.jar:/root/software/zookeeper/bin/../lib/log4j-1.2.16.jar:/root/software/zookeeper/bin/../lib/jline-0.9.94.jar:/root/software/zookeeper/bin/../zookeeper-3.4.8.jar:/root/software/zookeeper/bin/../src/java/lib/*.jar:/root/software/zookeeper/bin/../conf:
2024-10-23 22:59:05,355 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2024-10-23 22:59:05,355 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2024-10-23 22:59:05,355 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2024-10-23 22:59:05,355 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2024-10-23 22:59:05,355 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2024-10-23 22:59:05,355 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.10.0-1160.119.1.el7.x86_64
2024-10-23 22:59:05,355 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
2024-10-23 22:59:05,355 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
2024-10-23 22:59:05,356 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/root/software/zookeeper
2024-10-23 22:59:05,357 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=172.16.250.206:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@25f38edc
Welcome to ZooKeeper!
2024-10-23 22:59:05,394 [myid:] - INFO  [main-SendThread(172.16.250.206:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server 172.16.250.206/172.16.250.206:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2024-10-23 22:59:05,501 [myid:] - INFO  [main-SendThread(172.16.250.206:2181):ClientCnxn$SendThread@876] - Socket connection established to 172.16.250.206/172.16.250.206:2181, initiating session
[zk: 172.16.250.206:2181(CONNECTING) 0] 2024-10-23 22:59:05,581 [myid:] - INFO  [main-SendThread(172.16.250.206:2181):ClientCnxn$SendThread@1299] - Session establishment complete on server 172.16.250.206/172.16.250.206:2181, sessionid = 0x292b9e186fd0000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null

[zk: 172.16.250.206:2181(CONNECTED) 0]

连接成功

列出当前所有节点

ls /

退出客户端

quit
小木日①
关注
Zookeeper架构系列——集群模式
庄的博客
01-24 1838
Zookeeper架构系列——集群模式
ZooKeeper 5：集群模式
mxb1234567的博客
06-28 722
ZooKeeper作为目前开源技术体系的无可替代的基础组件，首先要保证自身的高可用，也就是对于部分服务下线要有一定的容忍能力，不能说ZooKeeper突然挂了所有的服务都跟着寄了。为保证高可用，ZooKeeper提供了集群模式，或者说是Master/Slave架构，防止单点故障影响整个服务。......
ZooKeeper-单机安装&集群安装
最新发布
06-12 349
ZooKeeper 是一个分布式协调服务，广泛应用于分布式系统的配置管理、命名服务、分布式锁等场景。本文将详细介绍 ZooKeeper 单机安装和集群安装的步骤。
Mycat学习实战-Mycat的zookeeper集群模式
热门推荐
ygqygq2的IT博客
10-20 1万+
Mycat学习实战-Mycat的zookeeper集群模式
ZooKeeper 集群
qq_39144436的博客
03-22 4892
为了保证高可用，最好是以集群形态来部署 ZooKeeper，这样只要集群中大部分机器是可用的（能够容忍一定的机器故障），那么 ZooKeeper 本身仍然是可用的。通常 3 台服务器就可以构成一个 ZooKeeper 集群了。ZooKeeper 官方提供的架构图就是一个 ZooKeeper 集群整体对外提供服务。 上图中每一个 Server 代表一个安装 ZooKeeper 服务的服务器。组成 ZooKeeper 服务的服务器都会在内存中维护当前的服务器状态，并且每台服务器之间都互相保持着通信。集群间
05-zookeeper的集群搭建
拒绝熬夜啊的博客
02-22 732
搭建Zookeeper集群 1.1 搭建要求 真实的集群是需要部署在不同的服务器上的，但是在我们测试时同时启动很多个虚拟机内存会吃不消，所以我们通常会搭建伪集群，也就是把所有的服务都搭建在一台虚拟机上，用端口进行区分。 我们这里要求搭建一个三个节点的Zookeeper集群（伪集群）。 1.2 准备工作 重新部署一台虚拟机作为我们搭建集群的测试服务器。 （1）安装JDK 【此步骤省略】。 （2）Zookeeper压缩包上传到服务器 （3）将Zookeeper解压 ，建立/usr/software/zooke
apache-zookeeper-3.8.4-bin.tar
04-10
2. **集群模式（Cluster）**：多个Zookeeper Server组成集群，提供高可用性和容错性。 3. **镜像模式（Mirror）**：用于数据备份，一个集群的数据被实时复制到另一个集群。 **Zookeeper的安装与使用：** 1. 解压`...
最新版linux apache-zookeeper-3.7.0-bin.tar.gz
04-01
- **集群模式**：生产环境中常见，多个Zookeeper实例组成集群，提供高可用性和容错性。 4. **Zookeeper的主要应用**： - **命名服务**：为分布式组件提供全局唯一的名字服务。 - **配置管理**：集中存储和管理...
apache-zookeeper-3.5.9-bin.tar.gz
11-05
- **集群模式**: 由多个服务器节点组成，每个节点都存有数据的副本，提供高可用性和数据一致性。 - **选举机制**: 当集群中某个节点故障时，通过选举产生新的领导者（Leader）。 - **Quorum机制**: 读写操作需要...
apache-zookeeper-3.5.10-bin.tar.gz
06-09
2. **ZooKeeper配置**：在部署ZooKeeper时，我们需要配置`conf/zoo.cfg`文件。关键配置项包括： - `dataDir`：存储ZNode数据和日志的地方。 - `clientPort`：客户端连接ZooKeeper服务器的端口。 - `server.x`：...
apache-zookeeper-3.5.8-bin.tar.gz
07-22
5. **集群模式配置**：如果要在多台机器上部署Zookeeper集群，需要在每台机器上配置相同的`zoo.cfg`，并确保它们之间可以互相通信。 Zookeeper广泛应用于分布式环境中，如Hadoop、HBase、Kafka、Storm等，它提供了...
zookeeper集群模式的安装
浅汐
04-07 251
1.下载解压zookeeper-3.4.6.tar.gz [root@hadoop001 software]# tar -xvf zookeeper-3.4.6.tar.gz [root@hadoop001 software]# mv zookeeper-3.4.6 zookeeper [root@hadoop001 software]# [root@ha...
Zookeeper集群模式安装
上善若水
12-13 922
1.安装zookeeper前需要先安装jdk（详见http://blog.csdn.net/u012343297/article/details/78748446）安装jdk完成后，再下载zookeeper-3.4.11.tar.gz，下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.11/。 2.解压
zookeeper集群模式
做你想做的人，没有时间的限制，只要愿意，什么时候都可以start。
02-24 201
集群模式 1.准备工作 准备三个虚拟机,注意关闭防火墙 192.168.0.11 192.168.0.12 192.168.0.13 每个虚拟机都安装好zookeeper之后,接下来要先创建几个文件夹. 创建zookeeper工作目录： mkdir -p /usr/zookeeperdata/ mkdir -p /usr/zookeeperdata/data 创建zookeeper日志目录： mkdir -p /usr/zookeeperdata/log 2.修改配置文件 修改zoo.cfx # The
配置zookeeper集群
aoliangzhen4700的博客
08-07 211
创建3台服务，不同ip，相同端口 1.先安装jdk1.8 解压： 　　 tar -zxvf jdk-8u11-linux-x64.tar.gz 　　 重新命名文件夹名字： mv jdk1.8.0_11/ jdk8 配置系统环境变量： vim /etc/profile # java export JAVA_HOME=/usr/jdk8 ex...
zookeeper 集群模式安装
java程序员之路
08-11 883
集群模式的配置和伪集群基本一致. 由于集群模式下, 各server部署在不同的机器上, 因此各server的conf/zoo.cfg文件可以完全一样. 示例： tickTime=2000    initLimit=5    syncLimit=2    dataDir=/opt/zk/zk/data    dataLogDir=/opt/zk/zk/logs    cli
zookeeper集群模式安装
qq_32929101的博客
07-04 280
zookeeper集群模式安装（linux） 1.安装前准备 要预先安装JDK1.7 或以上版本。 2.下载与解压 下载地址:http://zookeeper.apache.org/releases.html 本文安装的版本是zookeeper-3.4.13.tar.gz 下载后，使用ftp工具（例：Fil...
Zookeeper集群
weixin_52269501的博客
04-09 2925
Zookeeper
zookeeper集群配置
jikuibu
06-03 1万+
在集群环境下配置zookeeper， 先准备三台linux服务器，记住ip地址。1： 官网下载zookeeper，可百度。2： 解压，放至其中一台linux服务器某个目录下。如图：注意： 是以root用户放进来的，现在想将权限赋给hadoop用户，注意一下操作。3：将此目录赋权限给hadoop用户。4：建立配置文件，进入conf目录，新建立一个zoo.cfg文件，文件内容如下：tickTime=2...
Zookeeper与Dubbo-Admin的部署和配置指南
用户可以通过修改此配置文件来定义数据目录、端口号、集群模式下的节点地址等。常见的配置项包括： - dataDir：Zookeeper存储内存数据库快照的位置。 - clientPort：客户端连接的端口，默认为2181。 - initLimit：...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值