推理优化 - 叶斌兵

全面解析MLOps生产部署全流程：模型序列化格式选型、推理架构设计、性能优化策略、数据漂移检测与自动再训练流水线

机器学习 2026年09月22日 0 点赞 0 评论 40 浏览

深入解析大模型推理中的量化技术：GPTQ基于Hessian矩阵的量化优化、AWQ激活感知权重量化、GGUF混合精度格式与llama.cpp生态、以及KV Cache的PagedAttention优化策略

模型微调 2026年09月21日 0 点赞 0 评论 50 浏览

深入分析大语言模型推理优化三大方向：内存管理（PagedAttention、GQA/MLA）、生成加速（Speculative Decoding、Medusa）、模型量化（GPTQ/AWQ/FP8），以及系统级优化Continuous Batching和Prefill-Decode分离部署。

推理部署 2026年09月21日 0 点赞 0 评论 51 浏览

深入解析大语言模型推理优化的核心技术与vLLM引擎架构原理，涵盖PagedAttention显存管理、AWQ/GPTQ量化、张量并行与流水线并行策略。

K8s核心 2026年09月20日 0 点赞 0 评论 58 浏览

推理优化

首页

推理优化