阿里云CentOS8下Kafka安装使用问题

本文解决Kafka在小内存环境下启动失败的问题,通过调整JVM内存配置,确保Kafka正常运行。同时,针对消费者启动报错,提供最新版本正确的启动命令。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、云主机内存1G,启动Kakfka报错: commit_memory(0x00000000c0000000, 1073741824, 0) failed ..解决方案...

报错原因: 

      Kafka默认使用的JVM内存配置:

                export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

     如果服务器内存较小,需要调整启动配置。 

 

解决办法:   

    vi kafka_2.11-2.3.0/bin/kafka-server-start.sh,降低启动内存大小.
       
    如:export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M"

二、kafka 创建消费者报错 consumer zookeeper is not a recognized option

在做kafka测试的时候,使用命令bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning启动消费者,发现报错consumer zookeeper is not a recognized option。

在最新的版本中,这种启动方式已经被删除了,

最后附上0.90版本之后启动消费者的方法: bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
安装教程参考:https://www.cnblogs.com/shamo89/p/11921610.html

要在CentOS使用Docker安装Kafka,请按照以下步骤进行操作: 1. 首先,您需要安装Docker。对于Windows系统,您可以安装Docker Desktop软件。您可以从官方网站下载纯净版的CentOS镜像。您可以在阿里云官方网站上找到需要的版本并进行下载。 2. 下载完CentOS镜像后,使用以下命令导入该镜像: ``` docker load -i centos.7.61810.tar ``` 3. 创建容器时,我们需要映射两个端口,即9092端口用于Kafka,2181端口用于Zookeeper。执行以下命令创建容器,其中【镜像ID】是刚刚导入的CentOS镜像的ID: ``` docker run -itd -p 9092:9092 -p 2181:2181 --privileged --name kafka-server-3.4.0 【镜像ID】 /usr/sbin/init ``` 4. 请注意,由于Docker Kafka版本不断迭代,不再建议使用localhost/127.0.0.1作为KAFKA_ADVERTISED_HOST_NAME。因此,您需要将KAFKA_ADVERTISED_HOST_NAME设置为您的IP地址。 5. 启动容器后,可以使用以下命令进入容器并验证Kafka是否正确安装: ``` docker exec -it kafka bash ``` 6. 如果容器启动后不久就自动退出,并且日志显示启动失败且指向的主机不可达,可能是由于防火墙的原因导致的。您可以通过执行以下命令关闭防火墙: ``` systemctl stop firewalld ``` 7. 如果关闭防火墙后重启容器失败,可能是由于关闭防火墙时清空了iptables表。您可以重建iptables来解决此问题8. 现在,您已经成功安装Kafka。您可以使用以下命令验证Kafka是否正确安装: ``` docker export -o kafka-server-3.4.0.tar 【容器ID】 ``` 请注意,这只是在CentOS使用Docker安装Kafka的一种方法。根据您的需求和环境,您可能需要进行适当的调整。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [使用centos搭建kafka服务器Docker](https://blog.csdn.net/nhx900317/article/details/130833181)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Docker搭建kafka](https://blog.csdn.net/qq_31728357/article/details/119297596)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值