存储
S3 Transfer Acceleration与Multipart Upload:全球加速与分段上传
通过 S3 的全球加速与分段上传在跨区域与弱网场景提升上传性能与可靠性,优化带宽与重试策略。
S3 Select与Parquet:对象内查询与成本优化
利用 S3 Select 在对象内执行过滤与投影,结合 Parquet 列式存储降低传输与成本,优化数据访问。
S3 Object Lock与合规保留治理
通过 Object Lock 的 WORM 模型与保留策略满足合规要求,防止恶意或误删,建立审计与治理。
Prometheus Remote Write 与长周期存储(Thanos/VM、Retention 与查询)
配置 Prometheus Remote Write 到 Thanos/VictoriaMetrics,实现长周期存储与联邦查询,提供可验证的性能与成本治理方法。
Postgres HOT更新与TOAST存储治理
理解 HOT 更新与 TOAST 存储的行为,优化行大小与更新策略,降低膨胀与提升性能。
Parquet 与 ORC 存储格式与压缩优化(2025)
Parquet 与 ORC 存储格式与压缩优化(2025)Parquet 与 ORC 是主流列式存储格式,广泛用于湖仓与离线分析场景。一、格式与编码列式存储:按列组织数据,提升扫描与压缩效率。编码:字典/Run-Length/位图等编码降低存储与 IO。二、压缩与性能压缩算法:ZSTD/Snappy
