数据

数据归档治理(2025)

ClickHouse MergeTree 分区与 TTL/数据归档治理(2025)一、表设计与索引主键与排序键:根据查询模式选择高选择性列;避免宽主键导致写放大。索引:跳表(data skipping)与稀疏索引减少扫描;控制 granularity。二、分区与并行分区:按时间或租户分区,提升删除与

数据脱敏与隐私计算实践(2025)

数据脱敏与隐私计算实践(2025)隐私保护要求在采集、存储与使用全链路实施技术与治理手段。一、脱敏与匿名化掩码与替换:对敏感字段进行掩码与伪值替换。泛化与聚合:按范围与分组降低识别风险。二、差分隐私与采样差分隐私:在统计输出添加噪声以保护个体隐私。采样与阈值:控制最小样本与门槛避免过拟合与泄露。三、

数据仓库建模:星型与雪花模型权衡(2025)

数据仓库建模:星型与雪花模型权衡(2025)合理的建模提升分析性能与可维护性,避免过度复杂化或冗余。一、模型与特征星型:维度扁平化,查询简单但冗余更高。雪花:维度规范化,冗余低但查询复杂。二、维度与事实维度设计:层级与缓慢变化维(SCD)治理。事实表:粒度与度量与外键设计。三、查询与性能预聚合与物化