评估搜索架构的完成度,可以看倒排索引、分片、相关性评分是否都有明确的输入、输出与失败处理。本文围绕这 3 个要点展开,并给出服务端架构场景下的验证方式。

一、问题定位

很多搜索架构的问题在测试环境看不出来:倒排索引的调用间隔一拉长,分片的本地缓存就命中率骤降,长尾被整体抬起来。

1.1 为什么现在更值得讨论

搜索架构的讨论常常停在「要重视」,服务端架构团队更需要的是可执行的检查项:

  • 自动化优先(服务端架构):重复三次的流程就该脚本化
  • 人工只处理例外(服务端架构):常规路径无人干预,异常才叫醒人
  • 失败可自愈(服务端架构):常见故障有自动恢复路径

二、按要点拆解:搜索架构

2.1 倒排索引

倒排索引的设计要先回答一个问题:倒排索引到底是主路径还是兜底路径。定位不同,倒排索引的超时、重试和降级力度完全不同。

  • 限流保护:倒排索引要能拒绝超过处理能力的请求,而不是让队列无限堆积
  • 版本标识:倒排索引的每次变更都要带版本,便于灰度期间对比效果
  • 文档同步:倒排索引的边界条件与默认值要写进仓库,而不是留在人脑里

2.2 分片

分片的设计要先回答一个问题:分片到底是主路径还是兜底路径。定位不同,分片的超时、重试和降级力度完全不同。

  • 观测:分片至少有成功率、P99、积压量三个指标能被独立查询
  • 数据兼容:分片改造期间,新旧状态格式必须双向可读
  • 限流保护:分片要能拒绝超过处理能力的请求,而不是让队列无限堆积

2.3 相关性评分

相关性评分的重试策略要和它的幂等性配套。相关性评分支持重试的前提是重复执行不会放大副作用,否则重试就是把小问题放大。

  • 变更可逆:相关性评分的配置与代码要能在 30 秒内回到上一版
  • 数据兼容:相关性评分改造期间,新旧状态格式必须双向可读
  • 被测过的最坏路径:相关性评分的超时、抖动、部分失败都要有对应用例

3 个要点(倒排索引、分片、相关性评分)按依赖排列后,真正的瓶颈往往只有一环:

倒排索引 → 分片 → 相关性评分

倒排索引与分片的交界处是整条链最容易出问题的地方:倒排索引追求低延迟,分片要求强一致,二者争夺同一份资源。先把倒排索引的边界条件列清楚,分片的设计才有依据。

三、最小可运行实现

服务端架构的一个老服务曾经出现过这样的现象:倒排索引与分片都在正常工作,但两者对同一份数据的解读不一致,导致状态来回翻动,告警却指向别处。

排查之后发现是配置问题:倒排索引的超时比分片的处理时间短,导致大量请求被提前掐断。把倒排索引的超时按 P99 的两倍重设之后,现象消失。

服务端架构场景里,倒排索引、分片、相关性评分的实现骨架可以抽象成下面这样:

# 搜索架构:倒排索引上的 BM25 打分与分片/副本的取舍
import math
from collections import defaultdict
from typing import Dict, List

K1, B = 1.2, 0.75   # K1 控制词频饱和,B 控制文档长度惩罚强度


class InvertedIndex:
    def __init__(self) -> None:
        self.postings: Dict[str, Dict[str, int]] = defaultdict(dict)
        self.lengths: Dict[str, int] = defaultdict(int)
        self.total = 0

    def add(self, doc_id: str, text: str) -> None:
        for term in text.lower().split():
            self.postings[term][doc_id] = self.postings[term].get(doc_id, 0) + 1
            self.lengths[doc_id] += 1
        self.total += 1

    @property
    def avg_len(self) -> float:
        return sum(self.lengths.values()) / max(self.total, 1)

    def idf(self, term: str) -> float:
        df = len(self.postings.get(term, {}))
        return math.log(1 + (self.total - df + 0.5) / (df + 0.5))

    def search(self, query: List[str], top: int = 10) -> List[tuple]:
        scores: Dict[str, float] = defaultdict(float)
        for term in query:
            idf = self.idf(term)
            for doc_id, tf in self.postings.get(term, {}).items():
                norm = 1 - B + B * self.lengths[doc_id] / self.avg_len
                scores[doc_id] += idf * tf * (K1 + 1) / (tf + K1 * norm)
        ranked = sorted(scores.items(), key=lambda kv: kv[1], reverse=True)
        return ranked[:top]


# 分片与副本的三个工程约束:
# 1) 主分片数创建后不可改,改需要 reindex,应按 3~5 年数据量预估;
# 2) 副本提升检索吞吐与容灾,但同步写放大 refresh 压力;
# 3) 相关性打分在单分片内完成,跨分片只做 top-K 归并,
#    分片过多会让全局 top-K 失真,需要 dfs_query_then_fetch 校正 IDF。

四、验证与调优

把搜索架构的调优拆成三轮,每轮只动一个参数,结果如下:

环节单次耗时占关键路径优化手段
倒排索引2.0ms38%缓存热路径结果
分片3.2ms27%压缩状态体积
相关性评分4.4ms20%降低锁竞争

整体指标:P99 从 317ms 降到 126ms(-60%),吞吐从 14 万 QPS 提升到 22 万 QPS(+57%),CPU 占用从 88% 降到 66%。

4.1 灰度策略

  • 阶段一(服务端架构):先在新数据分片上验证,确认路由正确
  • 阶段二(服务端架构):覆盖一半分片,观察跨分片查询
  • 阶段三(服务端架构):全分片铺开,重点看热点分片
  • 阶段四(服务端架构):全量后保留分片级摘除能力

4.2 观测面

搜索架构的观测项上线后要有人负责,无人维护的指标迟早变成误导:

  • 指标(服务端架构):区分「错误率」与「降级率」,后者往往更早暴露问题
  • 日志(服务端架构):同一请求的日志用同一个追踪 ID 串起来
  • 巡检(服务端架构):定期跑一遍最坏路径,确认兜底仍然有效

五、结论

如果把搜索架构的投入排序,我会先做倒排索引、分片、相关性评分的契约与测试,再做性能。搜索架构的契约不稳时做的性能优化,很容易在下次改动中被推翻。

  • 把复杂度放在正确的一层(服务端架构):能下沉到平台就不要留给业务方
  • 失败要可观测(服务端架构):静默失败比报错更危险
  • 保持可回退(服务端架构):任何阶段都要留一条回到上一版的路

本文由 AI 辅助完成,搜索架构的示例架构与参数需按自身容量与团队规模调整。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部