---

title: Kafka Connect 与 Debezium MySQL CDC 实战

keywords:

  • Kafka Connect
  • Debezium
  • MySQL CDC
  • Binlog
  • Connector

description: 使用 Debezium 在 Kafka Connect 中捕获 MySQL 变更,提供 Connector 配置与主题命名规范,适合增量数据管道。

tags:

  • Binlog
  • Connector
  • Debezium
  • Kafka
  • Kafka Connect
  • MySQL CDC
  • 后端
  • 数据同步

categories:

  • 文章资讯
  • 技术教程

---

Kafka Connect 与 Debezium MySQL CDC 实战

前置条件

  • MySQL 启用 binlog:log_binbinlog_format=ROW
  • 为连接器账户授予 REPLICATION SLAVEREPLICATION CLIENT

连接器配置(HTTP)

POST /connectors
Content-Type: application/json

{
  "name": "debezium-mysql",
  "config": {
    "connector.class": "io.debezium.connector.mysql.MySqlConnector",
    "database.hostname": "mysql",
    "database.port": "3306",
    "database.user": "debezium",
    "database.password": "secret",
    "database.server.id": "184054",
    "database.server.name": "db",
    "database.include.list": "app",
    "table.include.list": "app.items",
    "include.schema.changes": "false",
    "decimal.handling.mode": "double"
  }
}

主题命名

  • 变更主题:db.app.items

验证

  • 消费 db.app.items 主题,观察 op 字段的 c/u/d 变更类型

总结

Debezium 提供稳定的 CDC 能力,配合 Kafka Connect 便于扩展增量数据处理链路。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部