AI 工程方向的团队做推理服务的 PagedAttention,踩的坑高度相似:分页注意力、显存管理、资源占用互相牵连,改一处动全身。本文按 3 个要点组织,先讲清依赖,再谈优化。
一、问题定位
很多推理服务的 PagedAttention 的问题在分页注意力侧看不出来,只有把显存管理的调用链一起拉进来,才能看到真正的瓶颈。
1.1 为什么现在更值得讨论
把推理服务的 PagedAttention 当作 AI 工程的基础设施来建设,是很多团队去年才想明白的事:
- 观测内建于功能(AI 工程):监控不再是交付后的补丁
- 日志带上下文(AI 工程):关键决策点的输入输出被完整记录
- 告警可行动(AI 工程):每条告警都指向明确的处置动作
二、按要点拆解:推理服务的 PagedAttention
2.1 分页注意力
分页注意力的测试策略要覆盖状态迁移,而不只是覆盖输入输出。分页注意力的缺陷大多出在状态迁移边界上,而不是单次调用上。
- 超时预算:分页注意力的每次调用都要有明确上限,并计入调用方的总预算
- 依赖降级:分页注意力依赖的下游不可用时,要有可自动切换的备选路径
- 状态可见:分页注意力的当前状态要能被外部查询,而不是只能靠日志反推
2.2 显存管理
在 AI 工程里,显存管理与相邻环节的契约要写死在接口上,而不是靠约定。AI 工程里显存管理的契约一旦模糊,上游的每次「顺手改」都会变成下游的隐性故障。
- 被测过的最坏路径:显存管理的超时、抖动、部分失败都要有对应用例
- 超时预算:显存管理的每次调用都要有明确上限,并计入调用方的总预算
- 依赖降级:显存管理依赖的下游不可用时,要有可自动切换的备选路径
2.3 资源占用
衡量资源占用做得好不好,可以看它在异常输入下的行为:资源占用是快速失败、降级服务,还是把错误扩散出去。资源占用的异常行为应该和正常行为一样被设计过。
- 隔离:资源占用的异常不能影响同实例上的其他租户或请求
- 灰度颗粒度:资源占用的变更按流量比例还是按租户/节点放量,决定了回滚速度
- 变更可逆:资源占用的配置与代码要能在 30 秒内回到上一版
这条链由分页注意力、显存管理、资源占用组成,前一环的质量直接决定后一环的起点:
分页注意力 → 显存管理 → 资源占用
显存管理的稳定性上限由分页注意力的方差决定。分页注意力一旦抖动,显存管理的所有余量都会被吃掉,因此先压分页注意力的波动最划算。
三、最小可运行实现
某 AI 工程服务的分页注意力在流量回落后出现内存缓慢上涨,最终 OOM。根因是显存管理的一条订阅逻辑没有退订,事件对象一直被持有。
分三步处理:先给分页注意力加背压并限制重试预算,再把显存管理的全局依赖改成局部视图,最后用影子流量验证一致性。这套组合拳打完,推理服务的 PagedAttention 的关键指标才落到可接受区间。
下面用一段代码把分页注意力、显存管理、资源占用的调用顺序固定下来,省去了冗余的参数校验:
# LLM 部署:分页 KV 缓存与连续批处理调度
from dataclasses import dataclass, field
from typing import Dict, List
BLOCK = 16 # 每个 KV 块容纳 16 个 token,块大小权衡碎片率与索引开销
@dataclass
class Sequence:
rid: str
max_new: int
blocks: List[int] = field(default_factory=list)
generated: int = 0
class BlockPool:
def __init__(self, num_blocks: int) -> None:
self.free = list(range(num_blocks))
self.ref: Dict[int, int] = {}
def alloc(self, n: int) -> List[int]:
if n > len(self.free):
raise MemoryError("KV 块不足:调度器应优先抢占低优先级序列")
blocks = [self.free.pop() for _ in range(n)]
for b in blocks:
self.ref[b] = 1
return blocks
def retain(self, blocks: List[int]) -> None:
"""命中前缀缓存时共享块,引用计数 +1,避免重复显存占用"""
for b in blocks:
self.ref[b] = self.ref.get(b, 1) + 1
def release(self, blocks: List[int]) -> None:
for b in blocks:
self.ref[b] = self.ref.get(b, 1) - 1
if self.ref[b] == 0:
self.free.append(b)
class Scheduler:
def __init__(self, pool: BlockPool, max_batch: int) -> None:
self.pool = pool
self.max_batch = max_batch
self.running: List[Sequence] = []
def step(self, waiting: List[dict]) -> Dict[str, object]:
"""连续批处理:每步只解码一个 token,完成的序列立刻出批,
新请求随时插入空位,避免「整批等最慢的一条」。
对比静态批处理,吞吐提升主要来自这里,而不是换推理引擎。"""
for req in list(waiting):
if len(self.running) == self.max_batch:
break
need = (req["prompt_len"] + BLOCK - 1) // BLOCK
seq = Sequence(req["rid"], req["max_new"])
seq.blocks = self.pool.alloc(need)
self.running.append(seq)
waiting.remove(req)
finished: List[str] = []
for seq in self.running:
seq.generated += 1
if seq.generated == seq.max_new:
finished.append(seq.rid)
for rid in finished:
seq = next(s for s in self.running if s.rid == rid)
self.pool.release(seq.blocks)
self.running.remove(seq)
return {"active": len(self.running), "finished": finished,
"free_blocks": len(self.pool.free)}
四、验证与调优
把推理服务的 PagedAttention 改动前后的关键路径耗时列出来,优化落在哪一段一眼可见:
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| 分页注意力 | 1.4ms | 38% | 把热点路径上的断言移出生产构建 |
| 显存管理 | 2.2ms | 27% | 预分配缓冲区避免扩容 |
| 资源占用 | 3.1ms | 20% | 减少一次跨进程拷贝 |
整体指标:P99 从 119ms 降到 49ms(-59%),吞吐从 12 万 QPS 提升到 23 万 QPS(+92%),CPU 占用从 83% 降到 67%。
4.1 灰度策略
- 阶段一(AI 工程):先验证降级开关可用,再谈放量
- 阶段二(AI 工程):小流量下触发一次降级,确认兜底路径
- 阶段三(AI 工程):放大主路径流量,同时保持降级可用
- 阶段四(AI 工程):全量后定期演练降级,避免开关失效
4.2 观测面
把推理服务的 PagedAttention 的观测拆成「实时定位」与「事后复盘」两层,保留策略各不相同:
- 指标(AI 工程):把「跨区调用比例」纳入观测,它影响延迟与成本
- 日志(AI 工程):跨区调用要带区域标签,便于聚合
- 告警(AI 工程):跨区延迟异常要能定位到具体区域对
五、结论
推理服务的 PagedAttention 的优化没有终点,分页注意力、显存管理、资源占用的边界一旦变化,就要重新校准一次。
- 依赖要准入(AI 工程):版本、漏洞与许可证都要审查
- 构建要可复现(AI 工程):同一份源码产出可校验制品
- 链路要可验证(AI 工程):从构建到部署全程签名校验

发表评论 取消回复