「ClickHouse 的 MergeTree 家族在数据库里往往被当成配置项写进文档,真正出问题的时候才发现它是一套状态机。这篇按 3 个要点拆开讲:排序键、分区裁剪、稀疏索引,每个要点都给出可落地的判断标准和最小实现。」
▍一、问题定位
把 ClickHouse 的 MergeTree 家族出问题的工单摊开看,绝大多数不是单点写错,而是排序键与分区裁剪之间的假设对不上:一方认为状态已收敛,另一方仍在按旧快照决策。这类不一致在小流量下几乎不可见,放大到生产规模后才以长尾延迟、重复执行、状态漂移的形式冒出来。
▪1.1 为什么现在更值得讨论
几个变化让这件事比三年前更紧迫:
• 故障成本上升:一次长尾故障带来的业务损失远高于优化投入
• 技术栈收敛:同类系统越来越少,方案选型更看重可维护性
• 审计要求:变更需要可追溯,状态变更必须留痕
▍二、按要点拆解:ClickHouse 的 MergeTree 家族
▪2.1 排序键
排序键的关键不在「怎么实现」,而在「边界定在哪」。先把输入来源、量级上限、失败后的补偿路径三件事写下来,实现反而只有几十行。
• 隔离:排序键的异常不能影响同实例上的其他租户或请求
• 数据兼容:排序键改造期间,新旧状态格式必须双向可读
• 资源:排序键单次操作的内存与连接占用要能算出来,避免压力下雪崩
▪2.2 分区裁剪
分区裁剪的关键不在「怎么实现」,而在「边界定在哪」。先把输入来源、量级上限、失败后的补偿路径三件事写下来,实现反而只有几十行。
• 变更可逆:分区裁剪的配置与代码要能在 30 秒内回到上一版
• 数据兼容:分区裁剪改造期间,新旧状态格式必须双向可读
• 被测过的最坏路径:分区裁剪的超时、抖动、部分失败都要有对应用例
▪2.3 稀疏索引
稀疏索引的正确性需要可观测性兜底:关键状态必须能被打点,关键决策必须带上下文。靠翻日志猜状态的系统,故障恢复时间一定是分钟级。
• 观测:稀疏索引至少有成功率、P99、积压量三个指标能被独立查询
• 幂等:稀疏索引被重复触发时结果一致,且不产生额外副作用
• 隔离:稀疏索引的异常不能影响同实例上的其他租户或请求
它们之间的关系不是并列,而是有先后依赖:
排序键 → 分区裁剪 → 稀疏索引
链路里靠前的环节一旦不可靠,后面分区裁剪的所有优化都会被抵消。这也是为什么先把排序键的边界做扎实,比堆性能数字更划算。
▍三、最小可运行实现
我们接手过一个数据库场景的服务:峰值吞吐约 8 万 QPS,P99 长期在 155ms 上下浮动,一到业务高峰就突破 SLA。排查后发现瓶颈并不在排序键本身,而是它在压力下的重试风暴把分区裁剪拖垮了。
分三步处理:先给排序键加背压并限制重试预算,再把分区裁剪的全局依赖改成局部视图,最后用影子流量验证一致性。三步都上完之后,关键指标才落到可接受区间。
下面是核心逻辑的实现骨架(数据库场景):
-- 数据仓库:星型建模、缓慢变化维(SCD2)与 OLAP 聚合
CREATE TABLE dim_user
(
user_id UInt64,
user_name String,
city LowCardinality(String),
valid_from Date,
valid_to Date DEFAULT toDate('2099-12-31'),
is_current UInt8 ALIAS if(valid_to = toDate('2099-12-31'), 1, 0)
) ENGINE = MergeTree()
ORDER BY (user_id, valid_from);
CREATE TABLE fact_event
(
event_time DateTime,
user_id UInt64,
event_type LowCardinality(String),
duration_ms UInt32
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_time)
ORDER BY (event_type, event_time, user_id)
TTL event_time + INTERVAL 18 MONTH;
-- SCD2 关联:只取当前有效维成员
SELECT e.event_type,
count() AS pv,
uniqExact(e.user_id) AS uv,
round(avg(e.duration_ms), 1) AS avg_ms
FROM fact_event e
JOIN dim_user d ON e.user_id = d.user_id AND d.is_current = 1
WHERE e.event_time >= now() - INTERVAL 7 DAY
GROUP BY e.event_type
ORDER BY pv DESC;
发表评论 取消回复