Flume-Kafka-Flink的一个示例

# vi los-flume-kakfa.conf

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /tmp/test_logs/app.log #这里定义了flume获取日志的源文件

# Describe the sink

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink #指定数据写入目标类型为kafka
a1.sinks.k1.topic = test #这里的topic的名字很重要，在kafaka生产和消费的时候需要用到。
a1.sinks.k1.brokerList = 172.17.0.1:9092 #kafka的地址，集群多个地址用逗号分隔

a1.sinks.k1.requiredAcks = 1
a1.sinks.k1.batchSize = 20

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

ZOOKEEPER/KAFKA

安装与配置

docker pull wurstmeister/zookeeper
docker run -d --restart=always --log-driver json-file --log-opt maxsize=100m --log-opt max-file=2 --name zookeeper -p 2181:2181 -v
/etc/localtime:/etc/localtime wurstmeister/zookeeper

docker pull wurstmeister/kafka:2.11-0.11.0.3 #或者版本2.12-2.3.0
docker run -d --restart=always --log-driver json-file --log-opt maxsize=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e
KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.17.0.1:2181/kafka -e
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.17.0.1:9092 -e
KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime
wurstmeister/kafka:2.11-0.11.0.3

# 参数说明：
# -e KAFKA_BROKER_ID=0 在kafka集群中，每个kafka都有一个BROKER_ID来区分自己；
# -e KAFKA_ZOOKEEPER_CONNECT=172.17.0.1:2181/kafka 配置zookeeper管理kafka的路径；
# -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.17.0.1:9092 把kafka的地址端口注册给zookeeper，如果是远程访问要改成外网IP,类如Java程序访问出现无法连接；
# -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口；
# -v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间

# kafka管理平台（可装可不装）
docker pull docker.io/sheepkiller/kafka-manager
docker run -it -d --name kafka-manager --rm -p 9000:9000 -e
ZK_HOSTS="172.17.0.1:2181" sheepkiller/kafka-manager
firewall-cmd --add-port=9000/tcp
#创建成后，在浏览器中访问 http://ds2.andunip.cn:9000

flume+kafka测试

### 运行kafka消费者接收消息
docker exec -it kafka bash #进入容器
#./bin/kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic topicName #可以接收多个节点的消息

/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --
topic test --from-beginning # --from-beginning从指定主题中有效的起始位移位置开始消费所有分区的消息

#/opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --property print.key=true --topic test --from-beginning #消费出的消息结果将打印出消息体的 key 和 value

# 可以通过向/tmp/test_logs/app.log里添加日志来测试kafaka是否输出
echo hello >> /tmp/test_logs/app.log
echo "{\"id\":105,\"name\":\"ee655kkjj\"}" >> /tmp/test_logs/app.log #注意如果要求json格式，需要用\

cat>job-kafka2print.py<<EOF
#!/usr/bin/python
# pyflink实时接收kafka数据至print
# -*- coding: UTF-8 -*-
from pyflink.table import EnvironmentSettings, TableEnvironment
# 1. 创建 TableEnvironment
env_settings =
EnvironmentSettings.new_instance().in_streaming_mode().use_blink_planner().b
uild()
table_env = TableEnvironment.create(env_settings)
# 2. 创建 source 表
table_env.execute_sql("""
CREATE TABLE datagen (
id INT,
name VARCHAR
) WITH (
'connector' = 'kafka',
'topic' = 'test',
'properties.bootstrap.servers' = '172.17.0.1:9092',
'properties.group.id' = 'test_Print',
'scan.startup.mode' = 'latest-offset',
'format' = 'json'
)
""")
# 3. 创建 sink 表
table_env.execute_sql("""
CREATE TABLE print (
id INT,
name VARCHAR
) WITH (
'connector' = 'print'
)
""")
# 4. 查询 source 表，同时执行计算
# 通过 Table API 创建一张表：
source_table = table_env.from_path("datagen")
# 或者通过 SQL 查询语句创建一张表：
#source_table = table_env.sql_query("SELECT * FROM datagen")
result_table = source_table.select(source_table.id, source_table.name)
print("result tabel:",type(result_table))
#print("r data: ",source_table.name)
# 5. 将计算结果写入给 sink 表
# 将 Table API 结果表数据写入 sink 表：
result_table.execute_insert("print").wait()
# 或者通过 SQL 查询语句来写入 sink 表：
#table_env.execute_sql("INSERT INTO print SELECT * FROM datagen").wait()
EOF

千言工厂实训营