Debezium CDC 数据变更捕获（Kafka Connect、事务边界与幂等）

# Debezium CDC 数据变更捕获（Kafka Connect、事务边界与幂等） ## 概述 Debezium 基于数据库事务日志捕获变更事件。合理配置连接器与主题分发可实现高可靠的数据同步与集成。 ## 关键实践与参数 - 连接器配置：设置 `include.schema.changes=true`、`tombstones.on.delete=true`；按库/表白名单。 - 事务边界：开启事务标记以保证事件顺序；消费者按事务批次处理。 - 幂等与去重：使用 `event_id`（LSN + 表主键）与窗口去重；重复事件不影响投影。 ## 验证方法 - 比较源库与下游主题事件数量与顺序；回放检验一致性。 - 压测高并发写入下的延迟与抖动；观察消费者 lag。 - 故障演练：断电与恢复后事件是否连续且无丢失。 ## 注意事项 - 变更过滤与敏感字段脱敏；遵循合规。 - 大事务与批量操作可能产生事件风暴；设置限速与分区策略。 - 连接器与数据库版本兼容性需验证。