超级会员免费看
本文介绍了如何使用Flink SQL进行实时计算，以解决公司每半小时统计一次关键指标当日累计值的需求。最初设计直接通过FlinkSQL从Kafka源到Clickhouse，但由于平台限制，最终采用两步方案：Kafka到Kafka再到Clickhouse，其中Flink SQL用于加工数据至DWD层。
因公司发展需要，需半小时统计一次截止到当前时间的关键指标的当日累计值。
v1.0 链路采取的是 kafka-> clickhouse
在设计的时候，一开始本人是想一个flinksql从source到transform到sink完成.
v2.0 链路采取的是 kafka->kafka-> clickhouse
奈何公司平台sink到ck的时候不支持upsert流。因此只能分解到先用一个flinksql加工出dwd.再起一个任务从dwd读数加工到ck.
未完待续
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
