大模型

从嘴到手:当AI Agent开始替你上班、替黑客攻击

2026年9月,AI Agent从概念走向生产:OpenAI Agents API公测让一次调用即可创建生产级Agent;西班牙发生首宗AI Agent自主实施的数据泄露攻击;黑客利用AI Agent拿下每个目标仅25美元;9月全球27款大模型密集发布;华为全联接大会展示Agent基础设施全栈方案。AI正在从嘴进化到手,从工具变成员工。

万亿参数大模型推理系统架构:从显存墙到多节点部署的实战工程

深入剖析万亿参数大模型推理的系统化工程架构,涵盖TP/PP/EP/DP四维并行策略组合、KV Cache三级存储/H2O淘汰策略、MXFP4/FP8量化协同、vLLM多节点部署实战(含docker-compose配置)、PD分离架构与Ray调度层调优、关键监控指标与自适应batch调度,以及HBM4-PIM/光学互连/联邦推理等前沿方向展望。

LLM 推理解耦架构:Prefill-Decode 分离的生产级吞吐工程实践

深入分析 LLM 生产中 Prefill-Decode 阶段的计算特征差异导致的资源冲突问题,系统阐述 Disaggregated Inference 架构的拓扑设计、KV Cache 传输协议实现,并给出 Prefill Worker、Decode Worker、传输引擎和智能调度器的完整生产级代码实现。包含四路 A100 实测性能基准与架构演进方向。