LLM推理PD分离架构深度工程实践：从Prefill-Decode异构到分布式KV Cache传输 深入剖析LLM推理PD分离架构的工程实践：从Prefill-Decode异构到分布式KV Cache传输，涵盖DistServe、Mooncake、NVIDIA Dynamo等系统的设计原理与传输协议优化。 推理部署 2026年10月01日 0 点赞 0 评论 59 浏览
LLM 推理系统韧性工程：PD 分离架构下 KV Cache 热迁移与分级降级实战 随着 LLM 推理服务进入大规模生产部署阶段，系统韧性成为比峰值吞吐更关键的工程指标。本文深入剖析 Prefill-Decode 分离架构下的 KV Cache 热迁移、分级降级策略和故障恢复机制，给出可直接应用于生产环境的工程方案和实测数据。 推理部署 2026年10月04日 0 点赞 0 评论 86 浏览
