kafka 数据拉取到本地文件脚本

见即所幸

于 2022-04-02 17:34:08 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： python

本文链接：https://blog.csdn.net/csrh131/article/details/123925517

Python 专栏收录该内容

17 篇文章

订阅专栏

这是一个Python脚本，使用Confluent Kafka库创建消费者，从指定的Kafka主题中获取消息，并将这些消息写入到提供的文件中。如果在等待消息时超时，会尝试一定次数后退出。程序通过argparse模块接收命令行参数，包括主题名、Kafka主机地址和输出文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/usr/bin/env python
# -*- encoding: utf-8 -*-

# here put the import lib
import argparse
from os import close
import time
from confluent_kafka import Consumer
import uuid

if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--topic", type=str)
    parser.add_argument("--host", type=str, default="127.0.0.1:9092")
    parser.add_argument("-f", "--file", type=str, required=True)
    args = parser.parse_args()

    consumer = Consumer({
            'bootstrap.servers': args.host,
            'group.id': "downloader-{}".format(uuid.uuid4),
            'auto.offset.reset': 'earliest',
        })
    consumer.subscribe([args.topic])

    timeout_try_max = 3
    timeout_try_count = 0
    wf = open(args.file, "w", encoding="utf-8")
    try:
        while True:
            msg = consumer.poll(2)

            if msg is None:
                print(None)
                if timeout_try_count > timeout_try_max:
                    break
                timeout_try_count += 1
                time.sleep(1)
                continue
            elif msg.error():
                buf = "Consumer error: {}".format(msg.error())
                print(buf)
                continue

            wf.write(msg.value().decode("utf-8") + "\n")
            timeout_try_count = 0

    except KeyboardInterrupt:
        pass
    finally:
        wf.close()