数据湖
  1. 首页
  2. 数据湖

列表

Apache Paimon 流式数据湖深度实战：从主键表 LSM 结构、Changelog 生成与 Merge Engine 到 Bucket 分桶与 Lookup Join 的工程全解

Apache Paimon 流式数据湖深度实战：从主键表 LSM 结构、Changelog 生成与 Merge Engine 到 Bucket 分桶与 Lookup Join 的工程全解

深入解析 Apache Paimon 如何把 LSM-Tree 写入模型搬到对象存储：主键表 bucket 分片、deduplicate/partial-update/aggregation 三种 Merge Engine、sequence field 乱序治理、四种 changelog-producer 取舍、minor/full compaction 与 write-only 读写分离、动态分桶与跨分区 Upsert、Lookup Join 维表缓存调优，以及 snapshot 过期与生产避坑清单。
工程实践 2026年10月01日
Apache Iceberg：湖仓一体架构的深度工程实践

Apache Iceberg：湖仓一体架构的深度工程实践

深入剖析 Apache Iceberg 表格式的三层元数据架构、时间旅行与分支管理、ACID 事务优化、隐藏分区演进、Compaction 策略以及 Flink 流式写入的生产实践，全面解析现代数据平台的存储层设计范式。
全栈开发 2026年09月30日
Apache Parquet 文件格式深度实战：从 Dremel 记录拆解到 Page Index 谓词下推的工程全链路

Apache Parquet 文件格式深度实战：从 Dremel 记录拆解到 Page Index 谓词下推的工程全链路

从文件物理布局讲起，拆解 Parquet 如何用 Dremel 的 repetition/definition level 无损表达嵌套结构，给出可运行的记录装配与 RLE/Bit-Packing 解码实现，并系统梳理字典编码、BYTE_STREAM_SPLIT 等编码体系与 Row Group / Page / Bloom Filter 三级谓词下推，最后给出生产环境 row group 大小、排序、schema 演进与压缩选型的实战经验。
工程实践 2026年09月30日
Apache Hudi 深度工程实战：从 Timeline MVCC、记录级索引到 MOR/COW 的湖仓 Upsert 引擎全解

Apache Hudi 深度工程实战：从 Timeline MVCC、记录级索引到 MOR/COW 的湖仓 Upsert 引擎全解

拆解 Apache Hudi 的三层工程内核：Timeline 时间线 MVCC 的快照与增量语义、File Group/File Slice 的物理布局、记录级索引（Bloom/Bucket/Record Index）的代价模型；对比 COW 与 MOR 的取舍边界，给出 Compaction/Clustering/Cleaner 表服务节奏、OCC 多写入端冲突治理与七个生产踩坑清单。
工程实践 2026年10月04日