kafka 单独设置某个topic的数据过期时间

最新推荐文章于 2025-04-03 00:15:00 发布

zhang641692786

最新推荐文章于 2025-04-03 00:15:00 发布

阅读量3.4k

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

本文链接：https://blog.csdn.net/zhang641692786/article/details/125501377

本文介绍了如何调整Kafka的默认数据保留时间，以适应磁盘空间有限的情况。通过修改server.properties文件，可以将全局的数据保留时间设置为72小时。此外，还可以针对特定topic设置更短的过期时间，如将某topic的保留时间设置为一天。如果需要立即删除topic下的数据，可以通过kafka-topics.sh脚本更改cleanup.policy属性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kafka 默认存放7天的临时数据，如果遇到磁盘空间小，存放数据量大，可以设置缩短这个时间。

全局设置

修改 server.properties

log.retention.hours=72 log.cleanup.policy=delete 12

单独对某一个topic设置过期时间

但如果只有某一个topic数据量过大。

想单独对这个topic的过期时间设置短点：

./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name mytopic --entity-type topics --add-config retention.ms=86400000 1

retention.ms=86400000 为一天，单位是毫秒。

查看设置：

$ ./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name mytopic --entity-type topics Configs for topics:wordcounttopic are retention.ms=86400000 12

立即删除某个topic下的数据

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic mytopic --config cleanup.policy=delete