kafka修改日志保留时间参数（不用重启kafka）

最新推荐文章于 2025-06-26 15:08:50 发布

天津托

最新推荐文章于 2025-06-26 15:08:50 发布

阅读量1.2w

点赞数 1

CC 4.0 BY-SA版权

分类专栏： kafka 文章标签： kafka retention kafka日志 kafka日志保留时 kafka参数

本文链接：https://blog.csdn.net/uuilghiugiu/article/details/78191844

kafka 专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何使用kafka-configs.sh脚本修改Kafka中特定主题的保留时间配置，从默认的168小时调整为120小时，并提供毫秒级参数设置示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

默认7天 168小时现在改成5天
kafka-configs.sh –zookeeper localhost:2181 –entity-type topics –entity-name test –alter –add-config log.retention.hours=120

更改参数解决,需要自己转换毫秒
kafka-configs.sh –zookeeper localhost:2181 –entity-type topics –entity-name test –alter –add-config retention.ms=43200000
这里写图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

天津托

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Kafka系列：动态更改Kafka Topic的数据保留时间，无需重启Kafka集群

TechWhiz的博客

08-30

758

Kafka系列：动态更改Kafka Topic的数据保留时间，无需重启Kafka集群在大数据领域，Kafka是一种广泛使用的分布式流数据平台，它在处理高吞吐量和低延迟的数据流时表现出色。在Kafka中，Topic是数据流的逻辑容器，它允许发布者将消息发送到指定的主题，并允许订阅者从该主题读取消息。在一些场景中，我们可能需要根据需求动态更改Kafka Topic的数据保留时间，而无需重启整个Kafka集群。本文将介绍如何通过Kafka的API和命令行工具实现这一目标。

Kafka系列之：不重启kafka集群设置kafka topic数据保留时间

zhengzaifeidelushang的博客

07-11

2357

Kafka系列之：不重启kafka集群设置kafka topic数据保留时间

1 条评论您还未登录，请先登录后发表或查看评论

Kafka 中，retention.ms 和 delete.retention.ms

最新发布

喝醉酒的小白

06-26

710

参数应用范围用途典型用途默认值所有 topic消息保留时间控制普通消息多久被清理7 天被标记删除的 key 的实际删除延迟控制 tombstone 或旧 key 被真正删除前的等待时间1 天参数应用策略作用对象默认值delete普通消息（非 tombstone），控制日志段在多久后删除604 800 000 ms（7 天） (compacttombstone（value=null）的 key 标志，在多久后可清理86 400 000 ms（1 天）

Kafka日志保存时间？

mischen520的博客

06-25

1054

默认保存7天；生产环境建议3天

【kafka】Kafka修改topic的日志保留时间

九师兄

04-03

400

message.timestamp.difference.max.ms=9223372036854775807：定义了消息时间戳之间的最大差异，这里是没有限制。min.compaction.lag.ms=0：定义了触发日志紧凑（compaction）的最小延迟时间，这里是0毫秒。segment.index.bytes=10485760：定义了每个日志段的索引文件的大小，这里是10 MB。file.delete.delay.ms=60000：定义了删除文件的延迟时间，这里是60秒。

【查看Kafka存储日志时间】

weixin_46356409的博客

08-02

1425

通过查看Kafka的配置文件，你可以了解Kafka broker的默认配置参数，包括消息保留时间和存储大小等。根据需要，你可以修改这些参数来调整Kafka的行为。如果你需要对特定的Topic进行配置，可以使用命令显式设置这些参数，这样在描述信息中就会显示这些参数。要查看Kafka Topic的配置参数，你可以使用命令的--describe选项。这个命令会显示Topic的基本信息，包括分区、副本等，但不会直接显示所有的配置参数。要查看特定的配置参数，你需要使用命令。使用。

如何修改 Kafka 消息保留时长：经验总结

05-28

2万+

Apache Kafka 是一种高性能的分布式消息系统，用于处理实时数据流。在实际使用中，我们可能需要根据业务需求调整 Kafka 消息的保留时长。本文将介绍如何修改 Kafka 消息保留时长，并分享在实际操作中的一些经验。修改 Kafka 消息保留时长是优化 Kafka 系统性能和资源使用的重要手段。通过合理的配置，可以满足不同业务场景的需求，同时确保系统的稳定性和高效性。希望本文的介绍和经验总结能帮助你更好地管理 Kafka 集群，提升业务处理能力。

Kafka

小道的博客

11-23

2263

Kafka知识点汇总

Debezium系列之：详细记录一次在不重启kafka集群的情况下清空Kafka日志文件的方法

zhengzaifeidelushang的博客

10-12

1323

Debezium系列之：详细记录一次在不重启kafka集群的情况下清空Kafka日志文件的方法

【Kafka】Kafka 如果动态不停止的情况下修改消费组 offset

九师兄

03-26

1387

测试点：有人遇到这样的情况，他一个消费者正在消费一个环境的topic，然后他想启动另外一个消费组，但是是使用了同一个消费组，这个去更改消费组offset 结果发现，无法修改，我这里测试一下。【Flink】Flink 运行实时修改消费组offset【Kafka】Kafka使用代码设置offset值【Kafka】Kafka 修改某个消费组的偏移量。

Kafka 日志消息保存时间总结

08-30

7674

Kafka 日志消息保存时间总结 Kafka 作为一个高吞吐的消息中间件和传统的消息中间件一个很大的不同点就在于它的日志实际上是以日志的方式默认保存在/kafka-logs文件夹中的。虽然默认有7天清楚的机制，但是在数据量大，而磁盘容量不足的情况下，经常出现无法写入的情况。如何调整Kafka的一些默认参数就显得比较关键了。这里笔者整理了一些常见的配置参数供大家参考：分段策略属性属性名含义默认值 log.roll.{hours,ms} 日志滚动的周期时间，到达指定周期时间时

05-kafka日志保存时间

huaxing_ba的博客

05-28

1384

题目：kafka日志保存时间答案： kafka默认保存7天；生产环境建议3天

09、Kafka ------ 通过修改保存时间来删除消息（retention.ms 配置）

Java 领域技术分享

01-10

2548

Kafka ------ 通过修改保存时间来删除消息（retention.ms 配置）

Kafka：设置Topic日志文件清理时间和清理策略

程序员无羡的博客

03-20

2049

Kafka：设置Topic日志文件清除时间和清除策略

kafka日志存储

Markland_l的博客

05-06

1334

当前风控系统使用的kafka是1.1版本，随机下载了相关源码，由于kafka是用scala编写的，并用gradle进行打包处理，也进行了相关程序的下载，对应的版本见下述列出，感兴趣的同事可以按如下版本下载，解压编译kafka源码，然后就可以在idea中查看了。目前风控kafka上述两个配置都是默认值，见下图，log.segment.bytes是1G，log.roll.hours是7d，这两个配置在后续分析segment相关原理时还会再详细介绍。

可以动态修改的kafka 配置

紫蝶侠的博客

01-11

3535

可以动态修改的kafka 配置，不要重启即可生效对于单独broker 动态修改配置： bin/kafka-configs.sh --bootstrap-server kafka2:6667 --entity-type brokers --entity-name 2 --alter --add-config log.cleaner.threads=2 entity-name 2为broker id 号查看修改的配置： bin/kafka-configs.sh --bootstrap-server kaf

配置Kafka消息保留时间

neweastsun的专栏

09-29

9488

本文探索了Apache Kafka消息基于时间的保留策略。通过创建简单的shell脚本来简化管理过程，接着我们创建了独立的消费者和生产者，以验证在保留期之后消息的过期场景。

log.retention.hours和消息保留时长

喝醉酒的小白

01-01

862

和 “消息保留时长（小时）” 实际上是密切相关的概念。如果您的场景需要更精细的控制，可以选择调整特定主题的。或其他保留策略参数。在 Kafka 中，

修改kafka单个topic的数据过期时间

u011076848的专栏

10-30

1683

数据默认7天过期，86400000ms = 1天。修改为30天过期时间。查看修改后的过期时间。

Kafka消费者重启与数据重置策略解析

`kafka.api.OffsetRequest.EarliestTime()`允许从日志开始位置读取，而`kafka.api.OffsetRequest.LatestTime()`则只读取最新的日志数据。首先，确定要读取的topic和partition，然后找到对应的Broker Leader，向其...