推理优化

LLM 后训练量化深度实战:从 GPTQ/AWQ 到 FP8 与 KV Cache 量化的显存-带宽极限工程

从 Roofline 模型定量证明 decode 阶段 Tensor Core 利用率仅 0.33% 的内存墙困境出发,系统拆解 LLM 后训练量化的完整工程栈:group-wise 量化粒度、SmoothQuant 的 outlier 迁移、GPTQ 的 Hessian 误差补偿、AWQ 的激活感知缩放、FP8 延迟缩放与 KV Cache 分级量化,并给出逐层重建误差定位法与生产选型决策树。

投机解码深度实战:从草稿-验证采样到 EAGLE 树状草稿,把 LLM 解码延迟砍一半

从内存墙出发推导投机解码的第一性原理,给出可直接运行的接受-拒绝采样完整实现与残差重采样推导,对比独立草稿模型/Medusa/MTP/EAGLE/n-gram 五条路线,讲透树状草稿与 tree attention mask,最后给出 vLLM、SGLang 生产配置、四种不该开启的场景与真实接受率调优方法论。