Kafka公网访问

real向往

已于 2024-01-19 08:54:36 修改

阅读量3.4k

点赞数 18

CC 4.0 BY-SA版权

分类专栏： Kafka 文章标签： kafka 公网访问

于 2024-01-08 21:06:42 首次发布

本文链接：https://blog.csdn.net/yuanfangPOET/article/details/135466504

文章目录

一、背景

kafka机器只有内网IP，没有绑定外网网卡，但是可以在防火墙或通过其他有公网IP的设备上进行公网IP+端口的映射。

二、需求

kafka集群端口映射后，可以通过外网IP+端口进行数据生产和消费。一帮情况下，只配置9092端口，即使映射到公网，外部也无法访问，因为kafka需要修改其他配置，开启外部访问端口。

三、调研

一般情况下，kafka的listeners参数配置为127.0.0.1或本地IP地址，只能本地访问，无法通过外部网络访问。且如果在防火墙上进行外网端口映射，就会出现如下报错：

$ ./kafka-console-producer.sh --broker-list 公网IP:39092 --topic test1-topic
>hello
[2023-06-26 15:03:19,708] ERROR Error when sending message to topic test1-topic with key: null, value: 5 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Topic test1-topic not present in metadata after 60000 ms.


$ ./kafka-console-consumer.sh --bootstrap-server 公网IP:39092 --topic test1-topic --from-beginning
[2023-06-26 15:04:25,078] WARN [Consumer clientId=consumer-console-consumer-58924-1, groupId=console-consumer-58924] Connection to node