qq_27960935的博客

Canal介绍 简介 基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger（触发器） 获取增量变更 从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务，基于日志增量订阅和消费的业务包括 数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新 带业务逻辑的增量数据处理 当前的

文章目录1. mysql(maridb) 开启binlog1.2 创始用户及表2. maxwell2.1 输入到控制台2.2 输出到kafak2.2.1 kafak-topic2.2.2 配置3. bireme 1. mysql(maridb) 开启binlog SHOW VARIABLES LIKE '%log_bin%'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | log_bin

文章目录Flink部署1、下载2、解压3、启动Flink3、开放端口80814、访问ui界面5、测试6、ui界面信息Flink集群配置1、资源分配：2、配置flink-conf.yaml文件3、配置masters文件4、配置slaves文件5、开放8899端口6、启动测试Flink实现JobManager High Availability (HA)修改配置文件启动 flink测试高可用是否生效问题集1、启动Flink报错： Flink部署 1、下载 官网下载地址：http://flink.apache.o