大语言模型

1. 首页
2. 科技
3. 人工智能
4. 大语言模型

分组查询注意力（GQA）与多查询注意力（MQA）深度实战：从 KV 缓存瓶颈、头维度折叠到推理吞吐与显存占用的工程全解

> 自回归大模型推理的真实瓶颈，往往不在算力而在**显存带宽与 KV 缓存占用**。当模型层数、上下文长度、并发数同时放大，多头注意力（MHA）为每个查询头都保留一份独立的 Key/Value，KV 缓存体积随头数线性膨胀，最终把解码速度牢牢钉在 HBM 带宽上限上。分组查询注意力（Grouped Query Attention, GQA）与多查询注意力（Multi-Query Attention…

大语言模型 2026年10月10日 0 点赞 0 评论 39 浏览

大模型微调实战：从LoRA到QLoRA的高效参数微调技术

深入讲解大模型高效参数微调技术，涵盖LoRA、QLoRA、数据准备和训练工具链

模型微调 2026年10月10日 0 点赞 0 评论 41 浏览

大模型推理部署：从vLLM到TensorRT-LLM的高性能服务化

深度解析大模型推理部署的核心技术，涵盖显存优化、推理引擎对比和性能指标体系

推理部署 2026年10月10日 0 点赞 0 评论 38 浏览

Prompt Engineering进阶：从Few-shot到思维链的系统方法论

系统梳理Prompt Engineering从入门到进阶的方法论，涵盖思维链CoT、RAG和工具调用

Prompt工程 2026年10月10日 0 点赞 0 评论 38 浏览

多模态大模型：从视觉语言模型到跨模态生成的前沿探索

全面解析多模态大模型的技术前沿，涵盖视觉编码器、模型架构、图文推理和多模态生成

多模态大模型 2026年10月10日 0 点赞 0 评论 52 浏览

推荐系统深度实战：从协同过滤、召回排序到深度学习与多目标精排的工程全解

> 推荐系统是现代互联网最隐秘也最赚钱的 AI 应用：它不直接"生成"内容，却决定了用户看到的世界。从抖音的沉浸式 feed，到电商的"猜你喜欢"，再到广告的精准投放，背后都是一套精密的多阶段漏斗。本文从第一性原理拆解推荐系统的四阶段范式，给出协同过滤、向量召回、Wide&Deep / DeepFM 排序与重排的可落地实现，并附上一份可直接对照的生产陷阱清单。

大语言模型 2026年10月11日 0 点赞 0 评论 34 浏览

LLM 推理优化实战：从 KV Cache 到推测解码的全栈性能工程

系统解构LLM推理优化全栈技术体系：PagedAttention分页注意力、KV Cache量化与淘汰策略、连续批处理调度、推测解码原理与实践方案对比、量化部署工程指南、生产部署最佳实践与前沿趋势。

推理部署 2026年10月11日 0 点赞 0 评论 26 浏览

Prompt Engineering 系统化工程实战：从链式推理到生产级部署

系统解构 Prompt Engineering 的核心解剖结构、链式推理（CoT/ToT/ReAct）、结构化输出与 Function Calling、元 Prompt 自优化、生产环境 Prompt 管理与 AB 测试、Prompt 注入攻防实战、缓存成本优化，附完整代码示例与最佳实践。

Prompt工程 2026年10月11日 0 点赞 0 评论 34 浏览

LLM推理部署实战：从模型优化到生产级服务

深入讲解大语言模型推理部署完整技术栈：模型量化、推理框架选型(PagedAttention/TensorRT-LLM)、KV Cache优化、动态批处理及生产级部署架构

推理部署 2026年10月11日 0 点赞 0 评论 42 浏览

大语言模型高效微调实战：从LoRA到QLoRA——参数高效微调技术全景解析

深度解析大语言模型高效微调技术：从LoRA的低秩适应理论到QLoRA的量化创新，全面覆盖AdaLoRA、DoRA、PiSSA等变体家族，以及LoRA Hub多适配器服务架构与企业级实战指南。

模型微调 2026年10月11日 0 点赞 0 评论 42 浏览

Prompt Engineering深度实战：从基础技巧到高级范式

本文深入探讨Prompt Engineering的核心技术与实战应用，从基础的零样本、少样本提示，到思维链（CoT）、ReAct、自洽性等高级范式，涵盖提示词注入防御与安全实践，帮助开发者掌握与LLM高效协作的关键技能。

Prompt工程 2026年10月12日 0 点赞 0 评论 35 浏览

大语言模型推理部署实战：从 vLLM 到量化加速与 KV Cache 优化

系统性解析LLM推理部署核心技术栈，涵盖vLLM的PagedAttention与Continuous Batching、TensorRT-LLM部署、GPTQ/AWQ/GGUF量化加速、KV Cache优化策略、投机解码及生产环境最佳实践

推理部署 2026年10月12日 0 点赞 0 评论 57 浏览

LLM推理部署实战：vLLM与TGI深度对比与工程实践

深度对比vLLM与TGI两大LLM推理框架，涵盖PagedAttention内存管理、Continuous Batching、性能基准测试、Docker化部署、高可用架构设计与生产监控最佳实践。

推理部署 2026年10月12日 0 点赞 0 评论 46 浏览

大语言模型推理优化实战：从 KV Cache 推测解码到生产级部署

深入剖析大语言模型推理优化核心技术，涵盖KV Cache机制、PagedAttention内存管理、推测解码算法原理、模型量化策略（GPTQ/AWQ/FP8）及vLLM生产部署实践

推理部署 2026年10月12日 0 点赞 0 评论 52 浏览

大语言模型推理部署实战：从KV Cache优化到分离式架构的深度解析

深入解析LLM推理部署核心技术，涵盖模型量化（GPTQ/AWQ）、vLLM PagedAttention、TensorRT-LLM与SGLang框架对比、生产级高并发架构设计、Prefill-Decode分离式推理等前沿方案，附性能基准数据与实战优化策略。

推理部署 2026年10月13日 0 点赞 0 评论 45 浏览