LLM

1. 首页
2. LLM

KV Cache 复用与 RadixAttention：从 vLLM 分页到 SGLang 前缀树的工程跃迁

深入研究 SGLang RadixAttention 数据结构如何通过 Radix Tree 实现 KV Cache 的全局复用，在多轮对话、Few-shot 和 Batch 推理场景下实现 30-60% TTFT 降低与 40%+ Throughput 提升。对比 vLLM PagedAttention 的局限，分析树形索引的工程实现、LRU 驱逐策略与调度优化。

推理部署 2026年10月06日 0 点赞 0 评论 51 浏览

大模型推理量化技术深度剖析：GPTQ/AWQ/GGUF与KV Cache工程优化

深入解析大模型推理中的量化技术：GPTQ基于Hessian矩阵的量化优化、AWQ激活感知权重量化、GGUF混合精度格式与llama.cpp生态、以及KV Cache的PagedAttention优化策略

模型微调 2026年09月21日 0 点赞 0 评论 50 浏览

eBPF × LLM 推理：零侵入全链路可观测性工程实践

探讨利用 eBPF 技术在不修改推理引擎源码的前提下，构建覆盖请求入口、Token调度、GPU计算、内存分配的全链路可观测平台

eBPF入门 2026年10月06日 0 点赞 0 评论 50 浏览

AI Agent工程实践（第50部分）：Agent记忆系统设计——构建持续学习与个性化的智能基石

深入解析AI Agent记忆系统的完整架构设计：从感知记忆、短期记忆到长期记忆的分类体系，到记忆写入、检索、遗忘的全流程工程实现，涵盖向量数据库、RAG集成、冲突解决、隐私安全、可观测性等生产环境最佳实践。

大语言模型 2026年09月21日 0 点赞 0 评论 49 浏览

RAG架构演进与向量检索系统全链路优化实践

深入剖析检索增强生成系统的架构演进与工程实践，从朴素RAG到模块化全流程优化。

大语言模型 2026年09月21日 0 点赞 0 评论 48 浏览

Agentic AI长程推理与结构化输出——从思维链到可编程推理引擎的范式跃迁

从思维链到可编程推理引擎——2026年Agentic AI的推理深度增强、结构化输出工程与企业级架构实践

推理部署 2026年09月24日 0 点赞 0 评论 48 浏览

LLM 结构化输出与约束解码深度实战：从 JSON Mode 到语法级生成控制

从一次 JSON 解析失败事故切入，系统拆解结构化输出的四个可靠性层次，深入讲解约束解码的 logits 掩码原理、token 边界陷阱与 XGrammar 的下推自动机+持久化栈优化，并给出 Response Schema、llama.cpp GBNF、vLLM+XGrammar 三种落地代码与五个工程陷阱。

编程语言 2026年09月29日 0 点赞 0 评论 48 浏览

AI Agent Function Calling 深度工程实战：从 Schema 校验到自愈式容错引擎

深入拆解AI Agent Function Calling引擎的核心机制：三层防御性Schema校验、Fuzzy参数解析、自愈式容错引擎、有向图并行调度器、双层结果缓存、生产级可观测性。含Python和Rust完整代码实现，从工程度角度看LLM工具调用从Demo到生产的跨越。

大语言模型 2026年10月06日 0 点赞 0 评论 48 浏览

2026年 MCP 协议与 AI Agent 工具生态：构建标准化智能体交互体系

深入解析2026年MCP协议与AI Agent工具生态的标准化进程，涵盖协议架构设计、工具分类、生产环境最佳实践及发展趋势

大语言模型 2026年09月21日 0 点赞 0 评论 47 浏览

2026年大语言模型推理优化技术深度解析：从KV Cache压缩到推测解码

深入解析2026年大语言模型推理优化技术，包括KV Cache压缩、推测解码和混合精度推理

推理部署 2026年09月23日 0 点赞 0 评论 47 浏览