大语言模型
  1. 首页
  2. 科技
  3. 人工智能
  4. 大语言模型

列表

LLM 后训练量化深度实战：从 GPTQ/AWQ 到 FP8 与 KV Cache 量化的显存-带宽极限工程

LLM 后训练量化深度实战：从 GPTQ/AWQ 到 FP8 与 KV Cache 量化的显存-带宽极限工程

从 Roofline 模型定量证明 decode 阶段 Tensor Core 利用率仅 0.33% 的内存墙困境出发，系统拆解 LLM 后训练量化的完整工程栈：group-wise 量化粒度、SmoothQuant 的 outlier 迁移、GPTQ 的 Hessian 误差补偿、AWQ 的激活感知缩放、FP8 延迟缩放与 KV Cache 分级量化，并给出逐层重建误差定位法与生产选型决策树。
模型微调 2026年09月29日
LLM 推理解耦架构：Prefill-Decode 分离的生产级吞吐工程实践

LLM 推理解耦架构：Prefill-Decode 分离的生产级吞吐工程实践

深入分析 LLM 生产中 Prefill-Decode 阶段的计算特征差异导致的资源冲突问题，系统阐述 Disaggregated Inference 架构的拓扑设计、KV Cache 传输协议实现，并给出 Prefill Worker、Decode Worker、传输引擎和智能调度器的完整生产级代码实现。包含四路 A100 实测性能基准与架构演进方向。
推理部署 2026年10月06日
LLM 推理 Disaggregated Architecture：Prefill-Decode 分离架构深度实战

LLM 推理 Disaggregated Architecture：Prefill-Decode 分离架构深度实战

随着大模型推理规模从单机走向多机，Prefill与Decode阶段的计算特征差异成为系统瓶颈的根本原因。本文深入剖解NVIDIA Dynamo、Mooncake等工业界Disaggregated Inference架构的设计哲学，涵盖KV Cache传输优化、分布式调度算法、负载均衡策略，并结合真实生产环境数据给出工程实践指南。
推理部署 2026年10月02日
OpenAI攻克纳维-斯托克斯：AI破解数学世纪难题背后的荣耀、争议与人类科研的十字路口

OpenAI攻克纳维-斯托克斯：AI破解数学世纪难题背后的荣耀、争议与人类科研的十字路口

2026年9月深度分析：OpenAI宣布用约1万个AI智能体在短短88小时内解决了困扰数学界90余年的纳维-斯托克斯存在性与光滑性问题，引发数学界震动与署名权、研究成果归属的激烈争议。陶哲轩警告"好问题正在成为稀缺资源"，克雷数学研究所正式声明该问题"似乎已获解决"。从一场关于AI是否能够真正做科学的哲学辩论，到奥尔特曼亲自登上联合国安理会汇报AI安全治理，这场风波折射出人工智能正在根本上重塑人类知识生产的边界与规则。
大语言模型 2026年09月25日
Agent工程的生态化演进：从编排引擎到自主协作网络

Agent工程的生态化演进：从编排引擎到自主协作网络

Agent工程从编排引擎走向生态化：提出Agent架构成熟度模型AAMM（L0-L5六个层级），分析从单体Agent→编排驱动→生态化协作的三次跃迁，探讨信任网络、能力市场、协商协议、分布式评估等前沿工程实践，为构建自组织Agent生态系统提供架构蓝图。
大语言模型 2026年09月26日