PostgreSQL 逻辑复制与 CDC 深度实战:从 WAL 解码到实时数据管道的工程边界 从 WAL 二进制结构、REPLICA IDENTITY 与复制槽机制出发,深度拆解 PostgreSQL 逻辑复制的工程实现:Publication 白名单设计、Debezium/pgoutput 生产配置、Python 手写流复制客户端的保活陷阱,以及 DDL 不传播、大事务内存膨胀、TOAST 列缺失、failover 丢槽四大边界问题与应对方案。 数据库技术 2026年09月29日 0 点赞 0 评论 50 浏览
Apache Airbyte 数据集成引擎深度实战:从 Airbyte Protocol 消息流、增量同步与 CDC 状态语义到 Destination Normalization 的工程全解 拆解 Apache Airbyte 数据集成引擎:Airbyte Protocol 消息信封(RECORD/STATE/TRACE/CONTROL)、Catalog 与四种同步模式、cursor 增量与 CDC 全局位点的状态语义差异、raw table + normalization 落地路径、JSON Schema 到目标端的类型精度映射,以及 Temporal 编排、背压与 checkpoint 调优清单。 工程实践 2026年10月01日 0 点赞 0 评论 52 浏览
Apache Hudi 深度工程实战:从 Timeline MVCC、记录级索引到 MOR/COW 的湖仓 Upsert 引擎全解 拆解 Apache Hudi 的三层工程内核:Timeline 时间线 MVCC 的快照与增量语义、File Group/File Slice 的物理布局、记录级索引(Bloom/Bucket/Record Index)的代价模型;对比 COW 与 MOR 的取舍边界,给出 Compaction/Clustering/Cleaner 表服务节奏、OCC 多写入端冲突治理与七个生产踩坑清单。 工程实践 2026年10月04日 0 点赞 0 评论 59 浏览