系统工程

Agent系统工程:从碎片化能力到完整Agent系统的工程整合

探讨Agent系统工程的方法论——如何将26篇系列讨论的碎片化Agent能力整合为协调运行的完整系统,提出全栈参考模型(基础设施/通信编排/认知决策/知识记忆/交互体验/治理安全)、四项设计原则、五个核心流程,总结常见陷阱与Agent系统工程师能力模型。

万亿参数大模型推理系统架构:从显存墙到多节点部署的实战工程

深入剖析万亿参数大模型推理的系统化工程架构,涵盖TP/PP/EP/DP四维并行策略组合、KV Cache三级存储/H2O淘汰策略、MXFP4/FP8量化协同、vLLM多节点部署实战(含docker-compose配置)、PD分离架构与Ray调度层调优、关键监控指标与自适应batch调度,以及HBM4-PIM/光学互连/联邦推理等前沿方向展望。

W-TinyLFU 与 Caffeine 深度实战:从 LRU 的扫描免疫性缺陷到频率草图准入的在线替换工程

把缓存命中率问题还原为在线替换决策问题:拆解 LRU 的扫描免疫性缺陷与 LFU 的历史污染,详解 TinyLFU 如何用 4-bit Count-Min Sketch 与 Doorkeeper 做低成本频率估计,W-TinyLFU 如何用「频率判准入、LRU 判淘汰」的分工与 Hill Climbing 自适应窗口兼顾突发与稳态,以及 Caffeine 如何用 striped ring buffer、分层时间轮与异步淘汰把这些理论做成纳秒级无锁实现。附可运行的 Python 草图代码与生产落地检查清单。