Apache Iceberg 湖仓表格式深度实战:从元数据树与快照隔离到 COW/MOR 的工程全解 从元数据三层树、快照隔离与乐观并发控制出发,拆解 Apache Iceberg 的 Hidden Partitioning、Copy-on-Write 与 Merge-on-Read 删除流派、Schema Evolution 的 field-id 机制,并给出小文件压缩与元数据治理的生产级运维清单。 工程实践 2026年09月30日 0 点赞 0 评论 51 浏览
Apache Parquet 文件格式深度实战:从 Dremel 记录拆解到 Page Index 谓词下推的工程全链路 从文件物理布局讲起,拆解 Parquet 如何用 Dremel 的 repetition/definition level 无损表达嵌套结构,给出可运行的记录装配与 RLE/Bit-Packing 解码实现,并系统梳理字典编码、BYTE_STREAM_SPLIT 等编码体系与 Row Group / Page / Bloom Filter 三级谓词下推,最后给出生产环境 row group 大小、排序、schema 演进与压缩选型的实战经验。 工程实践 2026年09月30日 0 点赞 0 评论 50 浏览
Delta Lake 事务日志深度实战:从对象存储原子性难题到多部分 Checkpoint 与 Deletion Vector 的工程全解 从 Delta Log 的物理布局出发,拆解 putIfAbsent 提交协议、S3 条件写的演进、多部分 Checkpoint 并行生成、Z-Order 与 Liquid Clustering 数据跳过、Deletion Vector 的 Merge-on-Read 实现,以及 Time Travel、VACUUM、Change Data Feed 的生产落地与调优清单。 存储系统 2026年09月30日 0 点赞 0 评论 42 浏览
Apache Iceberg:湖仓一体架构的深度工程实践 深入剖析 Apache Iceberg 表格式的三层元数据架构、时间旅行与分支管理、ACID 事务优化、隐藏分区演进、Compaction 策略以及 Flink 流式写入的生产实践,全面解析现代数据平台的存储层设计范式。 全栈开发 2026年09月30日 0 点赞 0 评论 48 浏览
Apache Paimon 流式数据湖深度实战:从主键表 LSM 结构、Changelog 生成与 Merge Engine 到 Bucket 分桶与 Lookup Join 的工程全解 深入解析 Apache Paimon 如何把 LSM-Tree 写入模型搬到对象存储:主键表 bucket 分片、deduplicate/partial-update/aggregation 三种 Merge Engine、sequence field 乱序治理、四种 changelog-producer 取舍、minor/full compaction 与 write-only 读写分离、动态分桶与跨分区 Upsert、Lookup Join 维表缓存调优,以及 snapshot 过期与生产避坑清单。 工程实践 2026年10月01日 0 点赞 0 评论 40 浏览
Apache Hudi 深度工程实战:从 Timeline MVCC、记录级索引到 MOR/COW 的湖仓 Upsert 引擎全解 拆解 Apache Hudi 的三层工程内核:Timeline 时间线 MVCC 的快照与增量语义、File Group/File Slice 的物理布局、记录级索引(Bloom/Bucket/Record Index)的代价模型;对比 COW 与 MOR 的取舍边界,给出 Compaction/Clustering/Cleaner 表服务节奏、OCC 多写入端冲突治理与七个生产踩坑清单。 工程实践 2026年10月04日 0 点赞 0 评论 60 浏览