docker部署Debezium

### 使用 Docker 部署 Debezium 的教程 为了通过 Docker 部署 Debezium 并将其与 PostgreSQL 和 Kafka 结合使用，以下是详细的说明： #### 1. 设置环境变量并启动容器 在开始之前，需要设置 `DEBEZIUM_VERSION` 环境变量以指定使用的 Debezium 版本。随后可以通过 `docker-compose` 命令启动所需的组件。 ```bash export DEBEZIUM_VERSION=3.0.0.Final docker-compose up -d --build ``` 这条命令会基于当前目录下的 `docker-compose.yml` 文件构建和启动服务[^1]。 --- #### 2. 安装和配置 Kafka Connect Kafka Connect 是用于将外部系统（如数据库）集成到 Apache Kafka 中的关键工具。Debezium 提供了一个专门的连接器来捕获变更数据流 (CDC)。 ##### 下载并启动 Kafka Connect 下载官方镜像并通过以下命令启动 Kafka Connect 实例： ```bash docker pull debezium/connect docker run -d --name connect \ -p 8083:8083 \ -e GROUP_ID=1 \ -e CONFIG_STORAGE_TOPIC=my_connect_configs \ -e OFFSET_STORAGE_TOPIC=my_connect_offsets \ -e STATUS_STORAGE_TOPIC=my_connect_statuses \ --link zookeeper:zookeeper \ --link kafka:kafka \ --link postgres:postgres \ debezium/connect ``` 上述命令定义了必要的存储主题以及与其他服务（如 ZooKeeper、Kafka 和 PostgreSQL）之间的链接关系[^3]。 --- #### 3. 创建 Debezium Connector 要监控 PostgreSQL 数据库中的表变化，需创建一个 Debezium 连接器实例。这通常通过 HTTP POST 请求完成，请求体应包含具体的配置参数。 示例如下： ```json { "name": "inventory-connector", "config": { "connector.class": "io.debezium.connector.postgresql.PostgresConnector", "tasks.max": "1", "database.hostname": "postgres", "database.port": "5432", "database.user": "debezium", "database.password": "dbz", "database.dbname": "inventory", "database.server.name": "dbserver1", "slot.name": "debezium_slot", "plugin.name": "pgoutput" } } ``` 注意，在此 JSON 负载中设置了 `"plugin.name"` 参数为 `"pgoutput"`，这是由于 PostgreSQL 的逻辑解码功能依赖于该插件[^2]。 发送请求的方式如下所示： ```bash curl -X POST http://localhost:8083/connectors/ \ -H "Content-Type: application/json" \ -d @path/to/config.json ``` 其中 `@path/to/config.json` 表示保存有上述 JSON 对象的文件路径。 --- #### 4. 查看 Kafka 主题列表 一旦连接器成功建立，Debezium 将自动向 Kafka 发送事件消息。可以验证这些操作是否正常工作。 如果本地已安装 Kafka 工具，则可执行以下脚本来列出所有可用的主题： ```bash bin/kafka-topics.sh --bootstrap-server 172.17.0.1:9092 --list ``` 或者利用 Debezium/Kafka 映像内的内置工具实现相同目标： ```bash docker run --rm -e ZOOKEEPER_CONNECT=127.0.0.1:2181 debezium/kafka list-topics ``` 对于特定主题的消息消费情况也可以实时观察： ```bash docker run --rm -e ZOOKEEPER_CONNECT=127.0.0.1:2181 \ -e KAFKA_BROKER=127.0.0.1:9092 \ debezium/kafka watch-topic dbserver1.inventory.customers ``` 这里替换了实际存在的 topic 名称作为例子。 --- #### 总结 以上步骤涵盖了从初始化环境到最终测试整个流程的操作指南。每一步都紧密关联，确保能够顺利部署 Debezium 来捕捉 PostgreSQL 变更记录，并传输至 Kafka 消息队列之中。