Flink构造宽表实时入库案例介绍

最新推荐文章于 2024-07-29 10:46:37 发布
最新推荐文章于 2024-07-29 10:46:37 发布
阅读量1.6k 收藏 20
点赞数 26
CC 4.0 BY-SA版权
分类专栏： 数据库 文章标签： flink 大数据 mysql sql sequoiaDB
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014439239/article/details/135495181

1. 安装包准备

Flink 1.15.4 安装包

Flink cdc的mysql连接器

Flink sql的sdb连接器

MySQL驱动

SDB驱动

Flink jdbc的mysql连接器

 

2. 入库流程图

3. Flink安装部署

  1. 上传Flink压缩包到服务器，并解压

tar -zxvf  flink-1.14.5-bin-scala_2.11.tgz  -C /opt/
  1. 复制依赖至Flink中

cp sdb-flink-connector-3.4.8-jar-with-dependencies.jar /opt/flink-1.14.5/lib
cp sequoiadb-driver-3.4.8.jre8.jar /opt/flink-1.14.5/lib
cp flink-sql-connector-mysql-cdc-2.2.1.jar /opt/flink-1.14.5/lib
cp flink-connector-jdbc_2.11-1.14.6.jar /opt/flink-1.14.5/lib
  1. 修改flink-conf.yaml文件

vi conf/flink-conf.yaml

### 配置Master的机器名（IP地址）
jobmanager.rpc.address: sdb1
### 配置每个taskmanager 生成的临时文件夹
io.tmp.dirs: /opt/flink-1.14.5/tmp
  1. 修改master文件

vi conf/masters

#作为master的ip和端口号
upgrade1:8081
  1. 修改worker文件

vi conf/workers

#集群主机名
upgrade1
upgrade2
upgrade3
  1. 拷贝到集群其他机器

scp -r /opt/flink-1.14.5 sdbadmin@up
最低0.47元/天 解锁文章

200万优质内容无限畅学
Flink源码解析系列--DataStream JDBC-Sink
打酱油的葫芦娃
02-23 9702
本文的Flink源码版本为: 1.15-SNAPSHOT，读者可自行从Github clone. 进行源码分析之前，首先看一下Flink DataStream JDBC-Sink的官方示例: StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env .fromElements(...) .addSink(JdbcSink.sink( "insert into books (.
【硬刚大数据】2021年从零到大数据专家之Kudu篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-14 804
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家之Hadoop/HDFS/Yarn篇 2021.
9.Flink实时项目之订单宽表
Player_001的博客
03-17 3300
订单是统计分析的重要的对象，围绕订单有很多的维度统计需求，比如用户、地区、商品、品类、品牌等等。为了之后统计计算更加方便，减少大表之间的关联，所以在实时计算过程中将围绕订单的相关数据整合成为一张订单的宽表。那究竟哪些数据需要和订单整合在一起？
基于 FLINK SQL 的实时数据打宽
chbxw
09-15 1556
一、数据打宽 二、双流 Join & 区间 Join 三、时态表 Join 四、案例 关注我的公众号【宝哥大数据】， 更多大数据干货 参考： https://www.bilibili.com/video/BV1Ap4y1h7j1?from=search&seid=16517504794128610121&spm_id_from=333.337.0.0 完整课程及PPT下载：https://flink-learning.org.cn/activity/detail/1e05a0837
【Flink实时数仓】需求二：用户事件信息宽表的构建 Kafka Hbase Flink
qq_31412425的博客
07-23 1205
实时中的宽表其实是在退维，退维是数据处理中的一种操作，它是将细粒度的数据合并、归并为粗粒度数据的过程。在数据处理的过程中，原始数据往往包含大量的细节和细粒度信息，而有时候我们需要将这些细粒度数据转化为更高层次、更普遍的概要信息，以支持更广泛的数据分析和业务需求，这个过程就是退维。总之，退维是数据处理中的重要环节，它帮助我们从复杂的细粒度数据中提取出有用的信息，简化数据分析过程，同时还有助于节约存储空间和提高数据处理效率。通过退维，我们可以更好地理解数据，发现数据的规律和趋势，并支持更广泛的业务应用和决策。
大数据 Flink SQL CDC 实时数据整库同步 实时宽表 实时计算 流批一体
zhaoyang10的专栏
12-15 5962
应用案例 基于 Apache Flink 和规则引擎的实时风控解决方案 ​ 日均百亿级日志处理：微博基于Flink的实时计算平台建设 基于Flink的超大规模在线实时反欺诈系统的建设与实践 每秒1.8亿条高峰流量，美团数仓上Flink Flink CDC Flink CDC采集MySQL binlog日志实时写入ClickHouse Docker 安装 Flink Docker Hub flink最新版本 docker安装flink 使用Docker搭建Flink集群 docker-compose 部署fl
11.Flink实时项目之支付宽表
Player_001的博客
04-17 2176
支付宽表的目的，最主要的原因是支付表没有到订单明细，支付金额没有细分到商品上， 没有办法统计商品级的支付状况。 所以本次宽表的核心就是要把支付表的信息与订单明细关联上。
使用 LakeSoul 构建实时机器学习样本库
weixin_56712350的博客
05-26 701
LakeSoul 是数元灵研发并开源的流批一体表存储框架。本文以实时机器学习样本库场景为落地案例，带大家探索体验使用 LakeSoul 强大的流批一体入湖能力是解决实际业务痛点。
Java 学习路线大全，再也不用迷路啦（持续更新）
腾讯全栈-ITCJF
10-14 3628
路线特点 最新，完整一条龙，从入门到入土（⭐ 表示推荐学习） 给出目标、学习建议、关键知识点、最优资源以及各类资源推荐（视频、书籍、文档、项目、工具等） 划分阶段、更有计划，且在最后给出持续学习的方向、探索 Java 程序员发展的无限可能 前言 首先呢，我们要了解 Java 的应用场景和就业方向，看看和自己的学习目的是否一致，目前，Java 的岗位需求多，是后台开发的主流编程语言，功能强大，还是很值得学习的。 阶段 1：Java 入门 目标 培养兴趣、快速上手 前期准备 准备好一款在线、随时随地
Flink实时销售宽表构建
xkxdqj的博客
12-09 3725
Flink 实时宽表
实时宽表建设
最新发布
weixin_44263023的博客
07-29 440
实时宽表，顾名思义，是指具有较多字段（列）的数据库表，且这些表能够实时或接近实时地反映数据的变化。它通常是通过将多个业务主题相关的实时数据表进行关联和整合，形成一张包含丰富信息的大表。
Flink实时数仓DWM层: 订单宽表
weixin_42796403的博客
03-17 1447
Flink实时数仓DWM层: 订单宽表 需求分析与思路 订单是统计分析的重要的对象，围绕订单有很多的维度统计需求，比如用户、地区、商品、品类、品牌等等。 为了之后统计计算更加方便，减少大表之间的关联，所以在实时计算过程中将围绕订单的相关数据整合成为一张订单的宽表。 那究竟哪些数据需要和订单整合在一起？ 由于在之前的操作已经把数据分拆成了事实数据和维度数据，事实数据（绿色）进入kafka数据流（DWD层）中，维度数据（蓝色）进入hbase中长期保存。那么我们在DWM层中要把实时和维度数据进行整合关联在一起，
Flink实时数仓订单宽表设计思路及优化
狗不理的博客
12-05 1391
Flink数仓建设有感
flink打宽数据的三种方式
SQL_mjkl963124412的博客
01-27 2865
1：首先要区分普通表和时态表 1.1：普通表： 可以理解为普通表就是一张随着时间数据在不断变化的表，类似于每个停车场内现存的车辆个数，他的最大特点是数据持续发生变化但是始终保持原有的条数，类似于总量总和，这个数据是不断的发生变化的，一般来讲这张表对应的是外部数据表例如： 假设 LatestRates 是一个物化的最新汇率表 (比如：一张 HBase 表)，LatestRates 总是表示 HBase 表 Rates 的最新内容。 我们在 10:15:00 时查询到的内容如下所示： 我们在 11
实时宽表的完美方案看这一篇就可以了
https://risingwave.com/
12-12 388
1. 支持流流关联 2. 支持 Confluent Schema Registry 3. 支持 Avro 4. Sink 目标丰富，常用关系型数据库、Kafka 等都支持，跟 CVTE 技术架构完美集成 兼容 Postgres 协议 5. 支持几乎所有常用函数，CVTE 的视图从 Postgres 或者 Oracle 迁移过来很少要调整 6. 支持私有化容器部署 7. 支持计算存储分离，存储还支持 S3 对象存储 8. 支持服务重启后增量计算 9. 内存资源占用小
实时数仓宽表加工解决方案
诸葛子房的博客
08-28 4640
一.实时数据仓库与离线数据仓库 由于离线数据每天凌晨拉去线上生成数据库(凌晨请求较少，减少线上库压力)，导致数据是T+1，而对于一些时效性要求较强的场景。比如需要看现在的用户数、GMV等等，离线方案就很难解决了。 实时数据仓库就是刚好为了满足时效性要求较高的场景下而生的，但是在做实时数据仓库中经常会遇到一些问题。离线由于表数据都同步到数据仓库中，可以进行随意关联，出一些业务想要的统计结果。但是...
基于Flink实时数仓——DWS 层-商品主题宽表的计算（7）
qq_46045632的博客
01-21 1068
代码实现： public class ProductStatsApp { public static void main(String[] args) throws Exception { //TODO 1.获取执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); .
flink1.12 纯flinkSql 双流join实现舆情数据宽表加工
m0_37592814的博客
07-28 1310
细节待补充 主要是maxwell 监控采集到mysql中舆情数据表、用户信息表信息，用户表先与重点关注人员维度表、省份维度表关联得到用户信息维度表，再与舆情数据表实时join 最终落到es中 供各项指标查询 ...
基于Flink实时数仓——DWS 层的设计访客主题宽表（6）
qq_46045632的博客
01-20 1290
DWS 层的定位是什么 轻度聚合，因为 DWS 层要应对很多实时查询，如果是完全的明细那么查询的压力是非常大的。 将更多的实时数据以主题的方式组合起来便于管理，同时也能减少维度查询的次数。 DWS 层-访客主题宽表的计算 设计一张 DWS 层的表其实就两件事：维度和度量(事实数据) 度量包括 PV、UV、跳出次数、进入页面数(session_count)、连续访问时长 维度包括在分析中比较重要的几个字段：渠道、地区、版本、新老用户进行聚合 需求分析与思路 接收各个明细数据，变为数据流.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值