Parquet 与 ORC 存储格式与压缩优化（2025）

Parquet 与 ORC 存储格式与压缩优化（2025）Parquet 与 ORC 是主流列式存储格式，广泛用于湖仓与离线分析场景。一、格式与编码列式存储：按列组织数据，提升扫描与压缩效率。编码：字典/Run-Length/位图等编码降低存储与 IO。二、压缩与性能压缩算法：ZSTD/Snappy/Gzip 按场景选型，权衡压缩比与速度。列裁剪与谓词下推：只读相关列与行，降低数据量。三、元数据与分区统计信息：使用列级统计加速查询与跳过无关数据。分区与文件大小：合理分区与目标文件大小，避免小文件风暴。四、兼容与生态引擎支持：Spark/Flink/Trino 对 Parquet/ORC 的适配与优化。Schema 演进：增删改字段的兼容策略与风险控制。注意事项关键词、分类与描述与正文一致；术语与能力为通用与可验证。以查询模式与数据分布为依据优化压缩与编码。