评估 Agent 的记忆管理方案时,AI 工程团队最容易忽略的是短期上下文、长期存储检索、读写分离的长期维护成本。本文把这 3 个成本项显式列出,再谈取舍。

一、问题定位

很多团队在 Agent 的记忆管理上做优化,一上来就盯短期上下文的性能数字,却忽略了长期存储检索才是真正的瓶颈来源 —— 它决定了系统在压力下能不能自我收敛。先把长期存储检索的收敛性做对,再谈吞吐。

1.1 为什么现在更值得讨论

AI 工程方向最近一年的变化,把 Agent 的记忆管理推到了必须正面处理的位置:

  • 需求不确定性增加(AI 工程):业务方要的是「能快速调整」,而不是「一次做对」
  • 系统耦合加深(AI 工程):改一处要评估的影响面越来越大
  • 知识分散(AI 工程):没有一个人能记住全部细节,文档与代码必须自己说话

二、按要点拆解:Agent 的记忆管理

2.1 短期上下文

短期上下文的重试要有限度并带退避。AI 工程里无脑重试的短期上下文,会把下游的短暂抖动放大成雪崩。

  • 数据兼容:短期上下文改造期间,新旧状态格式必须双向可读
  • 资源:短期上下文单次操作的内存与连接占用要能算出来,避免压力下雪崩
  • 超时预算:短期上下文的每次调用都要有明确上限,并计入调用方的总预算

2.2 长期存储检索

长期存储检索的配置项要有默认值,也要有上限。长期存储检索的配置一旦没有上限,线上的一个手误就能变成大面积故障。

  • 数据兼容:长期存储检索改造期间,新旧状态格式必须双向可读
  • 观测:长期存储检索至少有成功率、P99、积压量三个指标能被独立查询
  • 版本标识:长期存储检索的每次变更都要带版本,便于灰度期间对比效果

2.3 读写分离

读写分离的指标要和业务指标对齐。AI 工程里读写分离技术指标全绿但业务指标恶化,说明度量选错了。

  • 隔离:读写分离的异常不能影响同实例上的其他租户或请求
  • 灰度颗粒度:读写分离的变更按流量比例还是按租户/节点放量,决定了回滚速度
  • 变更可逆:读写分离的配置与代码要能在 30 秒内回到上一版

把短期上下文、长期存储检索、读写分离串起来看,3 个要点构成一条有方向的链:

短期上下文 → 长期存储检索 → 读写分离

长期存储检索的兜底越重,越说明短期上下文的输出不够稳定。与其在长期存储检索不断加保护,不如先把短期上下文的不确定性收敛掉。

三、最小可运行实现

某 AI 工程服务的短期上下文与长期存储检索共用同一个线程池。一次流量高峰里短期上下文占满了线程,长期存储检索只能排队,告警却先指向长期存储检索。

关键改动只有一行:把短期上下文对长期存储检索的调用从「同步等待」改成「带超时的异步确认」,并给等待期间的结果预设一个安全的默认值。

下面用一个简化实现表达短期上下文、长期存储检索、读写分离的协作方式,AI 工程场景的异常分支省略:

# Agent 记忆管理:分层记忆、重要度衰减与 Top-K 检索
import time


class TieredMemory:
    def __init__(self, short_cap=8, long_cap=256, decay=0.99):
        self.short_cap = short_cap
        self.long_cap = long_cap
        self.decay = decay
        self.short = []
        self.long = {}

    def add(self, item, importance=1.0):
        self.short.append((item, importance, time.time()))
        while len(self.short) > self.short_cap:
            self._demote(self.short.pop(0))

    def _demote(self, entry):
        item, score, ts = entry
        self.long[item] = (score, ts)
        while len(self.long) > self.long_cap:
            oldest = min(self.long, key=lambda x: self.long[x][0])
            del self.long[oldest]

    def retrieve(self, topk=5):
        """按重要度衰减后的得分排序,未命中返回空"""
        now = time.time()
        scored = [(k, v[0] * (self.decay ** (now - v[1]))) for k, v in self.long.items()]
        scored.sort(key=lambda kv: kv[1], reverse=True)
        return [k for k, _ in scored[:topk]]

四、验证与调优

按「基线 / 优化后 / 收益」三行记录 Agent 的记忆管理的变化,便于回溯每次调整的贡献:

环节单次耗时占关键路径优化手段
短期上下文1.0ms38%合并多次小写入为一次批量提交
长期存储检索1.6ms27%把串行调用改成并发扇出
读写分离2.2ms20%预分配缓冲区避免扩容

整体指标:P99 从 218ms 降到 100ms(-54%),吞吐从 4 万 QPS 提升到 6 万 QPS(+50%),CPU 占用从 91% 降到 61%。

4.1 灰度策略

  • 阶段一(AI 工程):先在新数据分片上验证,确认路由正确
  • 阶段二(AI 工程):覆盖一半分片,观察跨分片查询
  • 阶段三(AI 工程):全分片铺开,重点看热点分片
  • 阶段四(AI 工程):全量后保留分片级摘除能力

4.2 观测面

Agent 的记忆管理的观测项上线后要有人负责,无人维护的指标迟早变成误导:

  • 指标(AI 工程):关注分位数而不是均值,长尾才是真正的风险
  • 日志(AI 工程):保留足够的上下文,让新人也能看懂一次失败
  • 复盘(AI 工程):每次故障后更新观测项,让下一次更快定位

五、结论

把短期上下文、长期存储检索、读写分离的边界做成可测试的约束,Agent 的记忆管理的演进才有据可依。

  • 先定容量再谈功能(AI 工程):上限决定设计空间,超限等于没有
  • 把饱和度当前置指标(AI 工程):它比错误率更早报警
  • 限流要与降级配套(AI 工程):拒绝请求也是一种保护

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部