AI 工程方向的团队做推理服务的 PagedAttention,踩的坑高度相似:分页注意力、显存管理、资源占用互相牵连,改一处动全身。本文按 3 个要点组织,先讲清依赖,再谈优化。

一、问题定位

很多推理服务的 PagedAttention 的问题在分页注意力侧看不出来,只有把显存管理的调用链一起拉进来,才能看到真正的瓶颈。

1.1 为什么现在更值得讨论

把推理服务的 PagedAttention 当作 AI 工程的基础设施来建设,是很多团队去年才想明白的事:

  • 观测内建于功能(AI 工程):监控不再是交付后的补丁
  • 日志带上下文(AI 工程):关键决策点的输入输出被完整记录
  • 告警可行动(AI 工程):每条告警都指向明确的处置动作

二、按要点拆解:推理服务的 PagedAttention

2.1 分页注意力

分页注意力的测试策略要覆盖状态迁移,而不只是覆盖输入输出。分页注意力的缺陷大多出在状态迁移边界上,而不是单次调用上。

  • 超时预算:分页注意力的每次调用都要有明确上限,并计入调用方的总预算
  • 依赖降级:分页注意力依赖的下游不可用时,要有可自动切换的备选路径
  • 状态可见:分页注意力的当前状态要能被外部查询,而不是只能靠日志反推

2.2 显存管理

在 AI 工程里,显存管理与相邻环节的契约要写死在接口上,而不是靠约定。AI 工程里显存管理的契约一旦模糊,上游的每次「顺手改」都会变成下游的隐性故障。

  • 被测过的最坏路径:显存管理的超时、抖动、部分失败都要有对应用例
  • 超时预算:显存管理的每次调用都要有明确上限,并计入调用方的总预算
  • 依赖降级:显存管理依赖的下游不可用时,要有可自动切换的备选路径

2.3 资源占用

衡量资源占用做得好不好,可以看它在异常输入下的行为:资源占用是快速失败、降级服务,还是把错误扩散出去。资源占用的异常行为应该和正常行为一样被设计过。

  • 隔离:资源占用的异常不能影响同实例上的其他租户或请求
  • 灰度颗粒度:资源占用的变更按流量比例还是按租户/节点放量,决定了回滚速度
  • 变更可逆:资源占用的配置与代码要能在 30 秒内回到上一版

这条链由分页注意力、显存管理、资源占用组成,前一环的质量直接决定后一环的起点:

分页注意力 → 显存管理 → 资源占用

显存管理的稳定性上限由分页注意力的方差决定。分页注意力一旦抖动,显存管理的所有余量都会被吃掉,因此先压分页注意力的波动最划算。

三、最小可运行实现

某 AI 工程服务的分页注意力在流量回落后出现内存缓慢上涨,最终 OOM。根因是显存管理的一条订阅逻辑没有退订,事件对象一直被持有。

分三步处理:先给分页注意力加背压并限制重试预算,再把显存管理的全局依赖改成局部视图,最后用影子流量验证一致性。这套组合拳打完,推理服务的 PagedAttention 的关键指标才落到可接受区间。

下面用一段代码把分页注意力、显存管理、资源占用的调用顺序固定下来,省去了冗余的参数校验:

# LLM 部署:分页 KV 缓存与连续批处理调度
from dataclasses import dataclass, field
from typing import Dict, List

BLOCK = 16   # 每个 KV 块容纳 16 个 token,块大小权衡碎片率与索引开销


@dataclass
class Sequence:
    rid: str
    max_new: int
    blocks: List[int] = field(default_factory=list)
    generated: int = 0


class BlockPool:
    def __init__(self, num_blocks: int) -> None:
        self.free = list(range(num_blocks))
        self.ref: Dict[int, int] = {}

    def alloc(self, n: int) -> List[int]:
        if n > len(self.free):
            raise MemoryError("KV 块不足:调度器应优先抢占低优先级序列")
        blocks = [self.free.pop() for _ in range(n)]
        for b in blocks:
            self.ref[b] = 1
        return blocks

    def retain(self, blocks: List[int]) -> None:
        """命中前缀缓存时共享块,引用计数 +1,避免重复显存占用"""
        for b in blocks:
            self.ref[b] = self.ref.get(b, 1) + 1

    def release(self, blocks: List[int]) -> None:
        for b in blocks:
            self.ref[b] = self.ref.get(b, 1) - 1
            if self.ref[b] == 0:
                self.free.append(b)


class Scheduler:
    def __init__(self, pool: BlockPool, max_batch: int) -> None:
        self.pool = pool
        self.max_batch = max_batch
        self.running: List[Sequence] = []

    def step(self, waiting: List[dict]) -> Dict[str, object]:
        """连续批处理:每步只解码一个 token,完成的序列立刻出批,
        新请求随时插入空位,避免「整批等最慢的一条」。
        对比静态批处理,吞吐提升主要来自这里,而不是换推理引擎。"""
        for req in list(waiting):
            if len(self.running) == self.max_batch:
                break
            need = (req["prompt_len"] + BLOCK - 1) // BLOCK
            seq = Sequence(req["rid"], req["max_new"])
            seq.blocks = self.pool.alloc(need)
            self.running.append(seq)
            waiting.remove(req)

        finished: List[str] = []
        for seq in self.running:
            seq.generated += 1
            if seq.generated == seq.max_new:
                finished.append(seq.rid)
        for rid in finished:
            seq = next(s for s in self.running if s.rid == rid)
            self.pool.release(seq.blocks)
            self.running.remove(seq)

        return {"active": len(self.running), "finished": finished,
                "free_blocks": len(self.pool.free)}

四、验证与调优

把推理服务的 PagedAttention 改动前后的关键路径耗时列出来,优化落在哪一段一眼可见:

环节单次耗时占关键路径优化手段
分页注意力1.4ms38%把热点路径上的断言移出生产构建
显存管理2.2ms27%预分配缓冲区避免扩容
资源占用3.1ms20%减少一次跨进程拷贝

整体指标:P99 从 119ms 降到 49ms(-59%),吞吐从 12 万 QPS 提升到 23 万 QPS(+92%),CPU 占用从 83% 降到 67%。

4.1 灰度策略

  • 阶段一(AI 工程):先验证降级开关可用,再谈放量
  • 阶段二(AI 工程):小流量下触发一次降级,确认兜底路径
  • 阶段三(AI 工程):放大主路径流量,同时保持降级可用
  • 阶段四(AI 工程):全量后定期演练降级,避免开关失效

4.2 观测面

把推理服务的 PagedAttention 的观测拆成「实时定位」与「事后复盘」两层,保留策略各不相同:

  • 指标(AI 工程):把「跨区调用比例」纳入观测,它影响延迟与成本
  • 日志(AI 工程):跨区调用要带区域标签,便于聚合
  • 告警(AI 工程):跨区延迟异常要能定位到具体区域对

五、结论

推理服务的 PagedAttention 的优化没有终点,分页注意力、显存管理、资源占用的边界一旦变化,就要重新校准一次。

  • 依赖要准入(AI 工程):版本、漏洞与许可证都要审查
  • 构建要可复现(AI 工程):同一份源码产出可校验制品
  • 链路要可验证(AI 工程):从构建到部署全程签名校验

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部