数据治理

Agent数据工程实战:从数据管道到知识引擎的系统化构建

系统讲解Agent数据工程全栈实践:多源数据接入与统一视图、知识化转换(分块策略/多模态表示/知识图谱)、批流一体架构(实时与离线统一)、数据质量与治理(可信度评分/ACL/脱敏)、以智能投研Agent六类数据源全链路实战落地为例展示从零构建路径。

OpenLineage 与列级数据血缘深度实战:从 SQL AST 作用域解析到 Marquez 图存储的工程全解

深入解析列级数据血缘的工程落地:OpenLineage 的 Run/Job/Dataset/Facet 事件模型、columnLineage facet 结构、SQL 作用域与别名消解的列依赖解析算法(sqlglot 实现)、CTE/UNION/JOIN 合并列处理与降级策略、Spark/Flink/dbt/Airflow 跨引擎统一上报,以及 Marquez 的 Dataset 版本化图存储与递归 CTE 血缘遍历。

OpenMetadata 深度实战:从 JSON Schema 实体模型、Ingestion Framework 到血缘图与数据质量的元数据平台工程全解

深入拆解 OpenMetadata 元数据平台的三层工程架构:JSON Schema 驱动的实体类型系统与代码生成、Source/Processor/Sink 管道编译模型与增量抽取实践、基于 FQN 幂等合并的血缘图构建、数据质量断言模型,以及关系库+Elasticsearch 双写存储与生产调优清单。