python 使用pykafka连接kafka生产消息

定格的青春

已于 2022-05-07 17:13:04 修改

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

文章标签： python kafka

于 2020-09-07 13:35:41 首次发布

本文链接：https://blog.csdn.net/qq_41998415/article/details/108446186

本文介绍了如何使用pykafka库在Python 2.7环境中连接Kafka并生产消息。由于kafka-python对gevent协程支持不足，作者选择了pykafka，利用greenlet实现异步操作。安装pykafka只需`pip install pykafka`，随后展示了简单的生产者代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

开始使用了kafka-python, 发现对gevent协程支持不太好，就选择了pykafka, 异步也是使用协程greenlet。了解gevent的应该都知道，gevent是greenlet的升级。

安装非常简单，(我是py2.7)直接pip: pip install pykafka

下面直接上代码：生产者的代码


import Queue
import json
from datetime import datetime
import traceback
import random
import time

import gevent
from pykafka import KafkaClient


class ActivityPushKafka(object):
    """只做了生产者"""

    # _instance = None
    #
    # def __new__(cls, *args, **kwargs):
    #
    #     if cls._instance is None:
    #         cls._instance = object.__new__(cls, *args, **kwargs)
    #     return cls._instance

    def __init__(self, hosts='ip:port', zookeeper_hosts=None):
        """
        :param hosts: kafkafka服务地址和端口
        :param zookeeper_hosts: ZK的集群配置地址和端口，不为None优先于hosts
        """
        self.hosts = hosts
        self.zookeeper_hosts = zookeeper_hosts
        # use_greenlets=True 设置为True才能对gevent支持更友好，否则为造成连接失败
        self.client = KafkaClient(ho