数据库技术

PostgreSQL 逻辑复制与 CDC 深度实战:从 WAL 解码到实时数据管道的工程边界

从 WAL 二进制结构、REPLICA IDENTITY 与复制槽机制出发,深度拆解 PostgreSQL 逻辑复制的工程实现:Publication 白名单设计、Debezium/pgoutput 生产配置、Python 手写流复制客户端的保活陷阱,以及 DDL 不传播、大事务内存膨胀、TOAST 列缺失、failover 丢槽四大边界问题与应对方案。

OpenLineage 与列级数据血缘深度实战:从 SQL AST 作用域解析到 Marquez 图存储的工程全解

深入解析列级数据血缘的工程落地:OpenLineage 的 Run/Job/Dataset/Facet 事件模型、columnLineage facet 结构、SQL 作用域与别名消解的列依赖解析算法(sqlglot 实现)、CTE/UNION/JOIN 合并列处理与降级策略、Spark/Flink/dbt/Airflow 跨引擎统一上报,以及 Marquez 的 Dataset 版本化图存储与递归 CTE 血缘遍历。