Flink SQL中使用异步io关联维表

最新推荐文章于 2024-07-29 18:55:54 发布

且听_风吟

最新推荐文章于 2024-07-29 18:55:54 发布

阅读量2.2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Flink的思考文章标签：实时数仓 flink sql

本文链接：https://blog.csdn.net/qq_26803795/article/details/121655461

本文探讨如何在Flink SQL中实现异步IO关联维表，目前社区尚未提供官方支持，但已有接口允许自定义实现。介绍了自行构建的Demo方案，并提到了HBase connector即将在Flink 1.13支持这一特性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、目标

希望使用flink sql来关联维度表，但是想用异步IO的方式关联。

二、方案

当前社区进展：目前Flink SQL 中的connector都没实现异步io关联维表，但是接口是已经支持了的，可以自定义实现；HBase connector 社区有人正在支持异步io关联维表，预计1.13可以使用。

2.1、自己实现demo：

    /**
     * An async lookup function which find matched rows with the given fields. NOTE: We have to
     * declare it as public because it will be used in code generation.
     */
    public static class AsyncTestValueLookupFunction extends AsyncTableFunction<Row> {
   
   

        private static final long serialVersionUID = 1L;
        private final Map<Row, List<Row>> mapping;
        private transient boolean isOpenCalled = false;
        private transient ExecutorService executor;