人工智能
AI Agent 软件工程全流程落地:从代码补全到自治研发团队的工程实践
从系统工程视角拆解AI Agent覆盖软件研发全流程的核心技术栈、工程陷阱与落地路径,包含编码、审查、测试、部署、运维全阶段的实战架构与代码示例。
MCP 协议深度实战:AI Agent 通用互操作协议的架构设计与工程落地
深度解析 Anthropic 推出的 Model Context Protocol (MCP) 协议架构设计原理、三大核心原语(Tools/Resources/Prompts)、传输层抽象以及生产环境工程实践,涵盖安全、可观测性、容错和扩展性等关键话题,并对比 MCP 与 A2A 协议的互补关系
AI 模型量化技术深度实战:从 GPTQ 到 BitNet 的推理降本工程
2026年大模型推理成本已成为AI商业化落地的核心瓶颈。本文系统梳理从训练后量化(PTQ)到量化感知训练(QAT),再到1.58-bit BitNet的技术演进路径,结合工程实践剖析GPTQ、AWQ、SmoothQuant、GGUF等主流方案的原理差异与适用场景。
LLM推理PD分离架构深度工程实践:从Prefill-Decode异构到分布式KV Cache传输
深入剖析LLM推理PD分离架构的工程实践:从Prefill-Decode异构到分布式KV Cache传输,涵盖DistServe、Mooncake、NVIDIA Dynamo等系统的设计原理与传输协议优化。
Linux内核DMA-BUF显式同步与跨驱动缓冲区共享:从零构建零拷贝GPU计算管线
在现代AI推理管线中,数据搬运的耗时往往超过计算本身。CPU与GPU、GPU与GPU、存储与加速器之间的零拷贝数据共享,是突破性能瓶颈的关键。Linux内核的DMA-BUF子系统正是解决这一问题的核心基础设施,而显式同步机制(explicit fencing)则是保证多设备并发访问正确性的基石。本文将深入DMA-BUF的内部机制,从零实现一个跨驱动的零拷贝GPU计算管线。
Linux DRM/KMS 显示子系统深度实战:从内核架构到 GPU 驱动开发
深入拆解 Linux DRM/KMS 显示子系统的四层架构模型,通过 MiniDRM 驱动开发实例完整展示 GPU 驱动的实现细节,涵盖 CRTC/Encoder/Connector/Plane 核心对象、GEM 显存管理、DMA-BUF 零拷贝共享、Atomic Mode Setting、Fence 同步与 Render 节点权限隔离机制。
LLM 推理优化深度实战(最终版)
深入拆解现代LLM推理引擎核心技术——从PagedAttention的显存管理、Continuous Batching的吞吐优化,到Speculative Decoding的解码加速,附带完整代码示例和vLLM部署实践。
LLM 推理加速:投机解码 (Speculative Decoding) 工程实践深度指南
LLM推理优化领域最实用的投机解码技术深度指南:从数学原理到工程实现,涵盖Draft模型选择、KV Cache管理、温度采样处理、自适应k值策略,以及Medusa/EAGLE/Lookahead等前沿变体详解,附性能基准与vLLM/SGLang/TGI部署实践。
vLLM 核心工程深度剖析:PagedAttention 与 KV Cache 调度如何重塑 LLM 推理基础设施
从操作系统内存管理思想切入,深度剖析vLLM PagedAttention核心机制:逻辑块/物理块分离、块表间接寻址、CoW并行采样、前缀缓存哈希索引,以及生产部署调优指南(含与SGLang RadixAttention对比)。
Medusa多头投机解码:LLM推理加速的工程演进与深度实战
从经典Speculative Decoding理论出发,深入Medusa多头投机架构的工程实现,涵盖Draft Model选择策略、树形验证结构、投机宽度动态调节、Medusa-2与LayerSkip变体,以及vLLM/TensorRT-LLM生产集成
Linux内核DRM/KMS显示子系统深度工程实践:从KMS原子提交到GPU调度
深度解析Linux内核DRM/KMS显示子系统:从KMS对象体系(CRTC/Encoder/Connector/Plane)到原子提交机制,从drm_sched GPU调度到DMA-BUF PRIME显存共享模型,覆盖HDR显示调试、Wayland合成器优化和AI推理零拷贝显示等实战案例。
LLM 后训练量化深度实战:从 GPTQ/AWQ 到 FP8 与 KV Cache 量化的显存-带宽极限工程
从 Roofline 模型定量证明 decode 阶段 Tensor Core 利用率仅 0.33% 的内存墙困境出发,系统拆解 LLM 后训练量化的完整工程栈:group-wise 量化粒度、SmoothQuant 的 outlier 迁移、GPTQ 的 Hessian 误差补偿、AWQ 的激活感知缩放、FP8 延迟缩放与 KV Cache 分级量化,并给出逐层重建误差定位法与生产选型决策树。
MCP 协议深度实战:从零手写一个 Server,拆解 AI Agent 的「USB-C 接口」
从 JSON-RPC 握手报文到可上生产的只读数据库 MCP Server,深度拆解 MCP 协议的三大能力原语、工具描述设计、传输层选型、间接提示注入风险与上下文成本优化,给出 AI Agent 工具层的工程实践结论。
LLM 推理引擎内部原理:PagedAttention、Continuous Batching 与现代推理架构剖析
深入剖析现代 LLM 推理引擎的核心机制——PagedAttention 内存管理和 Continuous Batching 调度策略,揭示 vLLM 如何将吞吐量提升 2-4 倍
