彻底搞懂 etcd 系列文章（九）：etcd compact 和 watch API

最新推荐文章于 2025-05-31 09:00:00 发布
最新推荐文章于 2025-05-31 09:00:00 发布
阅读量1.6k 收藏 4
点赞数
CC 4.0 BY-SA版权
文章标签： java python redis 数据库 http
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/keets1992/article/details/108722430
本文详细解析了etcd的Compact方法和Watch服务，包括事件、监视流和Watch service的定义。了解这些内容能帮助我们更好地掌握etcd在微服务和Kubernetes集群中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

0 专辑概述

etcd 是云原生架构中重要的基础组件，由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现，还可以作为 key-value 存储的中间件。

《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析，以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章，笔者将会每周持续更新，欢迎关注。

1 Compact方法

Compact 方法压缩 etcd 键值对存储中的事件历史。键值对存储应该定期压缩，否则事件历史会无限制的持续增长。

rpc Compact(CompactionRequest) returns (CompactionResponse) {}

请求的消息体是 CompactionRequest， CompactionRequest 压缩键值对存储到给定修订版本。所有修订版本比压缩修订版本小的键都将被删除：

message CompactionRequest {
  // 键值存储的修订版本，用于比较操作
  int64 revision = 1;

  bool physical = 2;
}

physical 设置为 true 时 RPC 将会等待直到压缩物理性的应用到本地数据库，到这程度被压缩的项将完全从后端数据库中移除。应答的消息体 CompactionResponse 定义为：

message CompactionResponse {
  ResponseHeader header = 1;
}

CompactionResponse 只有一个通用的响应头。

2 Watch 服务

Watch API 提供了一个基于事件的接口，用于异步监视键的更改。etcd3 监视程序通过从给定的修订版本（当前版本或历史版本）持续监视 key 更改，并将 key 更新流回客户端。

事件

每个键的更改都用事件消息表示。事件消息会同时提供更新数据和更新类型，mvccpb.Event 的消息体定义如下：

message Event {
  enum
最低0.47元/天 解锁文章

200万优质内容无限畅学
aoho
关注
ETCD -- 压缩（Compaction）​详解
qq_41768644的博客
03-24 169
etcd compaction机制和命令详解
ETCD使用中需要注意的问题--自动压缩--最大字节数--存储数据大小
一名数据库爱好者的专栏
08-19 1463
我们在实际生产中使用ETCD存储元数据，　起初集群规模不大的时候元数据信息不多没有发现什么问题。随着集群规模越来越大问题逐渐暴露了有些实际的配置还是需要在初始化的时候就研究确定。
请小心ETCD的Compact
csdnYF的博客
09-19 2060
本文想讨论一些ETCD的使用注意事项，ETCD作为一个分布式KV数据库，作用有很多，下面以用ETCD作为配置中心来举例，用到了ETCD关键的两个功能：Watch和Revision。Watch可以实时推送配置变更，而Revision可以回溯配置的历史变更列表。关于Revision的概念，请参考在ETCD中，老实说对Revision的概念支持的不是很好，虽然标榜自己是可以回溯历史版本的，但我找了半天，除了一个--rev参数，没有找到更多的API来利用这些历史版本。可以通过。
etcd详解
技术人集结地
05-31 978
摘要 etcd是一个高可用的分布式键值存储系统，基于Raft共识算法确保数据强一致性。它具有键值存储、Watch监听、租约机制等核心特性，广泛应用于服务发现、配置管理、分布式锁等场景。作为Kubernetes的核心组件，etcd存储集群状态和配置数据。其架构包含Leader/Follower角色，使用BoltDB和WAL实现数据持久化。运维时需关注集群部署、性能优化、监控和备份恢复。相比ZooKeeper和Consul，etcd在云原生领域表现突出，提供简洁API和可靠存储方案。
Etcd架构与实现解析
热门推荐
dirk2014的博客
12-09 1万+
前一段时间的项目里用到了 Etcd（http://jolestar.com/etcd-architecture）， 所以研究了一下它的源码以及实现。网上关于 Etcd 的使用介绍的文章不少，但分析具体架构实现的文章不多，同时 Etcd v3的文档也非常稀缺。本文通过分析 Etcd 的架构与实现，了解其优缺点以及瓶颈点，一方面可以学习分布式系统的架构，另外一方面也可以保证在业务中正确使用 Etc
etcdv3.6源码流程---compact
cser的博客
05-05 679
因为treeIndex中包含所有的elemkey，所以压缩的思路就是先遍历整个treeIndex来进行压缩：没有被删除的elemkey就用最后一次写入的值来覆盖，然后把该elemkey对应的(revision,version)作为key保存到一个map keep中，被删除的key则不会保存到该map keep中，然后遍历数据库中所有key,如果该key即(revision,version)不在map keep中，那么就从数据库中删除该key，如果在，则跳过，然后就完成了整个压缩操作。
etcd客户端c#
jinyuttt的专栏
09-24 1393
etcd是什么东西就不介绍了，自己网上搜索，简单说就是一个分布式K/V存储系统； 由于它是go语言写的，没有其它客户端，找到一个java的。 出于方案积累原因，写了c#版本，可以使用。c#版本是基于etcdv3的，采用grpc.已经上传nuget,名称：etcdclient 如果要使用v2，则网上已经有了。 项目地址 https://github.com/jinyuttt/etcdcli...
etcd与mysql_彻底搞懂 etcd 系列文章（五）：etcdctl 的使用
weixin_32938207的博客
02-23 806
0 专辑概述etcd 是云原生架构中重要的基础组件，由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现，还可以作为 key-value 存储的中间件。《彻底搞懂 etcd 系列文章》将会从 etcd 的基本功能实践、API 接口、实现原理、源码分析，以及实现中的踩坑经验等几方面具体展开介绍 etcd。预计会有 20 篇左右的文章，笔者将会每周持续更...
​彻底搞懂 etcd 系列文章（十）：etcd 租约 Lease API
aoho求索
10-03 1431
0 专辑概述etcd 是云原生架构中重要的基础组件，由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现，还可以作为 key-value ...
彻底搞懂 etcd 系列文章（五）：etcdctl 的使用
aoho求索
07-07 4749
0 专辑概述etcd 是云原生架构中重要的基础组件，由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现，还可以作为 key-value ...
Etcd教程 — 第八章 Etcd之Compact、Watch和Lease API_etcd compact
2401_87361210的博客
09-21 1112
/ start_revision 是可选的开始(包括)观察的修订版本。// 如果 prev_kv 被设置，被创建的观察者在事件发生前获取上一次的KV。// 过滤器，在服务器端发送事件给回观察者之前，过滤掉事件。// cancel_reason 指出取消观察者的理由.// 如果上一次的KV已经被压缩，则不会返回任何东西。// watch_id 是和应答相关的观察者的ID。// prev_kv 持有在事件发生前的键值对。// key 是注册要观察的 key。// 过滤掉 delete 事件。
etcd-cpp-client:这是基于gRPC的简单etcd cpp客户端。 该客户端仅提供有限的服务，例如在ttl中注册密钥，保持活动状态以及监视密钥更改
04-28
etcd-cpp客户端 这是基于gRPC的简单etcd cpp客户端。 该客户端仅提供有限的服务，例如在ttl中注册密钥，保持活动状态以及在密钥上监视删除，并在检测到删除时重新注册密钥。 预先建立： 安装升压 安装protobuf $ git clone $ cd protobuf $ git子模块更新--init-递归 $ ./autogen.sh 要构建和安装C ++ Protocol Buffer运行时和Protocol Buffer编译器（protoc），请执行以下操作： $ ./configure $ make $ make check $ sudo make install $ sudo ldconfig # refresh shared library cache. 安装Protoc for C ++ $ git clone $ cd grpc $
etcdclient:用于 etcd 的 c++ 客户端库
06-05
用于 etcd 的 c++ 客户端库 // Create etcd session. vector<Host> hosts { Host ( " localhost " , 4001l ) }; etcd::Session session (hosts); // GET request for a key. unique_ptr<GetResponse> r = session.get( " /message " ); string value = r-> getNode ()->getValue(); // GET request for directory. unique_ptr<GetResponse> r = session.get( " /directory " ); vector<Node> children = r-> getNode ()->getNodes(); //
Etcd C++客户端 V3
07-06
写的一个跨平台C++ etcd client，基于v3协议，支持get、put、delete和watch以及内置keepalive， ，windows版本使用vs2015编译的，源码连接：https://download.csdn.net/download/wutaozhao/12342526
etcd watch 实现原理
daemon365的博客
06-16 1040
在 etcd 中，watch 是一个非常重要的特性，它可以让客户端监控 etcd 中的 key 或者一组 key，当 key 发生变化时，etcd 会通知客户端。本文将介绍 etcd watch 的实现原理。# 当 /test 的值发生变化时，会输出如下信息PUT/testaPUT/testbDELETE/test。
【重识云原生】第六章容器6.3.4节——etcd组件
junbaozi的专栏
09-20 933
​etcd是CoreOS基于Raft协议开发的分布式key-value存储系统，可用于服务发现、共享配置以及一致性保障（如数据库选主、分布式锁等），授权协议为Apache。在分布式系统中，如何管理节点间的状态一直是一个难题，etcd像是专门为集群环境的服务发现和注册而涉及，它提供了数据TTL失效、数据改变监视、多值、目录监听、分布式锁原子操作等功能，可以方便的跟踪并管理集群节点的状态。
使用etcd的proto文件生成编译etcd client v3的c++客户端代码
wufolangren的专栏
03-23 2739
目录 下载安装grpc 下载安装protobuf 整理etcd的proto文件生成c++代码 下载安装grpc 下载源码，一般使用git较为方便，源码地址：https://github.com/grpc/grpc git clonehttps://github.com/grpc/grpc.git cd grpc git submodule update –init //这里...
etcdctl - etcd3 的简单命令行客户端（etcdctl命令使用详解）
学无止尽，谨言慎行！
08-26 1160
etcdctl - etcd3 的简单命令行客户端（etcdctl命令使用详解）
etcd 笔记（03）— etcd 客户端使用（键值的增、删、改、查）、watch监测键、lease使用（创建租约、撤销租约、刷新租期、查询租期）
wohu1104的专栏
04-28 5018
1. etcd 客户端 etcdctl 是一个命令行客户端，便于我们进行服务测试或手动修改数据库内容，etcdctl 在两个不同的 etcd 版本（v2 和 v3）下的功能和使用方式也完全不同。 一般通过如下方式来指定使用 etcd 的版本： export ETCDCTL_API=2 export ETCDCTL_API=3 在前面我们已经在 /tmp/etcd-download-test/ 安装了 etcd，那么就可以将当前的安装路径加到环境变量 PATH 中，如下： vi ~/.bashrc 在最后
etcdserver/api/etcdhttp: /health error due to memberID:1801147372557469565 alarm:NOSPACE
最新发布
07-09
<think>嗯，用户这次提出了一个非常具体的etcd运维问题：健康检查报错显示成员ID 1801147372557467469565触发NOSPACE告警。这显然是个生产环境紧急故障，需要快速响应。 从引用内容看，用户已经具备一定etcd基础：引用1展示了典型的空间溢出状态（DB SIZE达2.1GB并触发NOSPACE），引用3提到配额配置方法。但用户没提是否做过快照备份，这很关键——数据恢复操作前必须确认备份状态。 核心矛盾点在于：etcd的boltdb存储引擎达到配额上限后，会拒绝所有写操作导致集群不可用。需要分三步处理： 1. 立即扩容：临时调大quota_backend_bytes值缓解（如引用3所述），但要注意v3.4+版本需通过API动态调整 2. 紧急释放空间：必须用etcdctl defrag命令，但需谨慎——在线碎片整理会瞬间增加内存压力 3. 根本解决：需检查compact参数是否合理，默认5分钟compact一次可能不够 用户给出的成员ID很完整（180114...），说明已经准确定位到故障节点。不过etcd集群通常有多个节点，需要确认其他节点状态：若只有单节点报错可能只需局部处理，但引用1显示整个集群触发告警（alarm list输出NOSPACE），说明是全局存储溢出。 突然想到个风险点：碎片整理期间如果客户端持续写入，可能触发mvcc: database space exceeded错误。最好在业务低峰期操作，并提前用etcdctl endpoint status确认所有节点状态。 用户没提K8s环境，但根据经验这大概率是K8s的etcd集群。需要提醒检查kube-apiserver日志——当etcd不可写时，apiserver会返回503错误，这比etcd自身的健康检查更能反映业务影响。</think>根据您的描述，etcd集群出现了健康检查错误（`memberID:1801147372557469565`）和`NOSPACE`告警，这通常由**存储空间耗尽**引起。以下是完整解决方案： --- ### **原因分析** 1. **存储超限** - `alarm:NOSPACE`表示etcd后端数据库超过配额（默认2GB），触发写保护机制[^1]。 - 通过`etcdctl endpoint status`可确认DB大小（如引用中`2.1 GB`已超限）[^1]。 2. **碎片累积** - etcd频繁更新/删除数据会产生存储碎片，即使实际数据量未超限，碎片仍占用配额[^3]。 --- ### **解决步骤** #### **1. 紧急释放空间** ```bash # 查看当前告警（确认NOSPACE） ETCDCTL_API=3 etcdctl --endpoints=127.0.0.1:2379 alarm list # 执行在线碎片整理（在**每个**etcd节点运行） ETCDCTL_API=3 etcdctl --endpoints=127.0.0.1:2379 defrag # 解除告警（整理后执行） ETCDCTL_API=3 etcdctl --endpoints=127.0.0.1:2379 alarm disarm ``` > **风险提示**：`defrag`会阻塞etcd进程，需在低峰期操作，否则可能触发请求超时！ #### **2. 永久调整存储配额** 编辑etcd配置文件（如`/etc/etcd/etcd.conf`）： ```ini # 将配额调整为8GB（根据业务需求设定） ETCD_QUOTA_BACKEND_BYTES="8589934592" ``` 重启etcd服务： ```bash sudo systemctl restart etcd ``` #### **3. 检查历史压缩** ```bash # 确认自动压缩已启用（默认每5分钟压缩） ETCDCTL_API=3 etcdctl --endpoints=127.0.0.1:2379 endpoint status -w fields | grep "dbSizeInUse" ``` 若`dbSizeInUse`接近`dbSize`，说明碎片过多，需**手动压缩历史版本**： ```bash # 获取当前版本号 rev=$(ETCDCTL_API=3 etcdctl endpoint status --write-out="json" | grep -o '"revision":[0-9]*' | cut -d: -f2) # 压缩所有旧版本 ETCDCTL_API=3 etcdctl compact $rev # 执行碎片整理（再次defrag） ``` #### **4. 监控与预防** - **定期检查**： ```bash ETCDCTL_API=3 etcdctl --write-out=table endpoint status ``` - **设置告警**：监控`etcd_mvcc_db_total_size_in_bytes`指标（Prometheus）。 - **备份策略**：每日执行快照备份： ```bash ETCDCTL_API=3 etcdctl snapshot save /backup/etcd-$(date +%s).db ``` --- ### **关键注意事项** 1. **碎片整理顺序**： `compact → defrag → disarm`，避免直接整理未压缩的数据[^3]。 2. **成员ID一致性**： 操作时确保`memberID`与故障节点一致（您提供的`1801147372557469565`需与实际节点匹配）。 3. **多节点集群**： 若为集群环境，需**依次操作每个节点**，并确保多数节点在线。 > 通过上述步骤，可解除`NOSPACE`告警并恢复健康状态。若问题持续，需检查是否由**内存泄漏**或**磁盘故障**引发[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值