LLM 推理系统韧性工程：PD 分离架构下 KV Cache 热迁移与分级降级实战 随着 LLM 推理服务进入大规模生产部署阶段，系统韧性成为比峰值吞吐更关键的工程指标。本文深入剖析 Prefill-Decode 分离架构下的 KV Cache 热迁移、分级降级策略和故障恢复机制，给出可直接应用于生产环境的工程方案和实测数据。 推理部署 2026年10月04日 0 点赞 0 评论 87 浏览
