推理优化
  1. 首页
  2. 推理优化

列表

LLM 后训练量化深度实战：从 GPTQ/AWQ 到 FP8 与 KV Cache 量化的显存-带宽极限工程

LLM 后训练量化深度实战：从 GPTQ/AWQ 到 FP8 与 KV Cache 量化的显存-带宽极限工程

从 Roofline 模型定量证明 decode 阶段 Tensor Core 利用率仅 0.33% 的内存墙困境出发，系统拆解 LLM 后训练量化的完整工程栈：group-wise 量化粒度、SmoothQuant 的 outlier 迁移、GPTQ 的 Hessian 误差补偿、AWQ 的激活感知缩放、FP8 延迟缩放与 KV Cache 分级量化，并给出逐层重建误差定位法与生产选型决策树。
模型微调 2026年09月29日
LLM 推理优化深度实战（最终版）

LLM 推理优化深度实战（最终版）

深入拆解现代LLM推理引擎核心技术——从PagedAttention的显存管理、Continuous Batching的吞吐优化，到Speculative Decoding的解码加速，附带完整代码示例和vLLM部署实践。
推理部署 2026年09月30日
RoPE 旋转位置编码深度工程实战：从复数旋转不变性、NTK/YaRN 长上下文外推到生产级上下文扩展

RoPE 旋转位置编码深度工程实战：从复数旋转不变性、NTK/YaRN 长上下文外推到生产级上下文扩展

拆解 RoPE 旋转位置编码的数学本质（复数旋转与相对位置恒等式）与工程实现（rotate_half、fp32 相位精度、cache 复用），分析长度外推崩塌的真实机理（低频欠训练 + 高频 OOD），对比 PI / NTK-aware / YaRN / LongRoPE 四类修补方案，给出可运行的频率重映射代码、注意力温度补偿写法与 needle-in-haystack 评测骨架，并总结 GQA、Tensor Parallel、chunked prefill、mrope 多模态等六个生产落地陷阱。
工程实践 2026年10月04日