大语言模型
大语言模型推理优化:KV Cache管理与投机解码的协同架构
深入剖析大语言模型推理优化核心技术:KV Cache的PagedAttention分页管理、投机解码的数学原理与Drafter策略权衡、两者协同架构设计(Mooncake等前沿方案),展望全局缓存池共享与记忆化推理未来方向。
LLM推理优化全栈实战:从PagedAttention到TensorRT-LLM
LLM推理优化全栈实战:PagedAttention显存管理、Continuous Batching调度、GPTQ/AWQ/FP8量化、投机采样、FlashAttention、张量/流水线并行、vLLM与TensorRT-LLM部署、生产架构设计
多模态大模型工程落地:从GPT-4V到实时跨模态推理的实战指南
深入解析多模态大模型的核心架构、工程挑战与行业应用,覆盖医疗影像、自动驾驶和内容创作三大场景
大语言模型微调实战:从 LoRA 到 QLORA 的高效参数微调全链路
深入解析大语言模型微调的全链路技术:从 Full Fine-Tuning 的瓶颈到 LoRA 的低秩适配原理,再到 QLoRA 的量化微调实战,建立对参数高效微调的系统性认知。
Transformer量化压缩技术全景:从GPTQ到AWQ的演进之路
深入解析Transformer模型量化压缩技术全景,涵盖GPTQ、AWQ、SmoothQuant、FP8等主流方法的原理、实现与工程实践,从训练后量化到量化感知训练,全面解读LLM压缩部署的最佳方案。
边缘端模型推理优化:量化与张量分解的协同加速实战
深度解析边缘设备上大型AI模型推理加速的协同优化策略。从模型量化(GPTQ/AWQ/SmoothQuant)到张量分解(SVD/Tucker/CP),再到硬件感知编译优化,全面覆盖端侧推理的技术栈与实践要点。
LLM推理加速深度实战:从KV Cache到推测解码、Paged解码与量化的系统工程
深度拆解大模型推理优化的四大核心方向:PagedAttention显存管理、Speculative Decoding加速自回归解码、AWQ/GPTQ量化压缩、以及Continuous Batching调度策略,附实测数据对比和工程选型指南。
大语言模型推理部署实战:从vLLM到TensorRT-LLM
深入拆解LLM推理部署全链路技术栈,涵盖KV Cache管理、Continuous Batching、量化技术、投机解码等核心优化手法,对比vLLM、TensorRT-LLM、TGI、llama.cpp、SGLang等主流框架,包含生产环境部署架构设计与性能调优实战。
大语言模型高性能推理部署实战:从vLLM到SGLang | LLM Inference Deployment
深入解析LLM推理部署核心挑战,对比vLLM的PagedAttention与SGLang的RadixAttention架构原理,详解Continuous Batching、KV Cache量化、推测解码等实战优化策略。
大模型推理优化的工程实践:从 KV Cache 管理到量化部署的深度解析
深入解析大模型推理优化的五大核心技术:KV Cache 管理策略、连续批处理调度、模型量化压缩(GPTQ/AWQ/FP8)、推测解码算法以及硬件感知部署架构设计
LLM推理部署:从模型压缩到高性能服务架构实战
深度解析大语言模型推理部署全链路技术:量化、投机采样、推测解码、张量并行、vLLM/TensorRT-LLM/SGLang对比、KV Cache优化,全由九大章节组成
推测解码与连续批处理深度实战:突破自回归生成的双重瓶颈
深入解析大模型推理优化的两大核心技术——推测解码(Speculative Decoding)和连续批处理(Continuous Batching),从数学原理、近似采样分布的等价性证明到vLLM/TensorRT-LLM的工程实现,全面拆解高性能推理系统的设计哲学。
