压缩

Parquet 与 ORC 存储格式与压缩优化(2025)

Parquet 与 ORC 存储格式与压缩优化(2025)Parquet 与 ORC 是主流列式存储格式,广泛用于湖仓与离线分析场景。一、格式与编码列式存储:按列组织数据,提升扫描与压缩效率。编码:字典/Run-Length/位图等编码降低存储与 IO。二、压缩与性能压缩算法:ZSTD/Snappy

PostgreSQL 分区表与时间序列压缩(2025)

PostgreSQL 分区表与时间序列压缩(2025)一、分区设计范围分区:按时间窗口创建分区;提升删除与归档效率(分区表)。索引:为时间与过滤字段建立索引;避免跨分区扫描。二、压缩与聚合压缩:对历史分区启用压缩策略,降低存储占用(压缩)。连续聚合:维护常用聚合的物化视图或连续聚合,加速查询(连续聚

TimescaleDB 压缩与连续聚合优化(2025)

TimescaleDB 压缩与连续聚合优化(2025)一、压缩与存储压缩策略:对历史分区启用压缩,降低成本。归档:只读历史分区归档,减少写入冲突。二、连续聚合物化视图:自动刷新聚合窗口,提升查询性能。参数:刷新策略与延迟容忍度以 SLA 校准。三、索引与分区索引:覆盖时间与过滤维度;避免过度索引。分