Intel AMX 矩阵扩展深度实战:CPU 大语言模型推理的高性能工程实践 从硬件架构、编程模型到生产部署,全方位剖析 Intel AMX 矩阵扩展在 CPU LLM 推理中的工程实践。深入讲解 Tile 寄存器、TMUL 指令集、AMX Intrinsics 编程、与 ARM SME 的对比、NUMA 感知调度策略,以及 Granite Rapids 的性能前景。 推理部署 2026年10月07日 0 点赞 0 评论 44 浏览
深入 CPU 矩阵乘法微内核:AVX-512 指令级并行与缓存层次优化实战 从缓存层次、指令调度、寄存器分块三个维度深入剖析 AVX-512 GEMM 微内核设计空间,包含完整的代码实现、性能数据和工程落地方案。 Linux内核 2026年10月06日 0 点赞 0 评论 40 浏览
ARM SME2 深度工程实战:从外积指令到 AI 推理内核的零开销调度 ARM SME2 (Scalable Matrix Extension v2) 为 Neoverse 处理器引入了 ZA tile 矩阵存储和外积运算原语。本文基于 Neoverse V2 平台,描述从 intrinsics 到 AI 推理内核的完整实现路径,涵盖 4-bit 量化矩阵乘法、向量长度无关编程、以及与 Apple AMX 的架构对比。 进程调度 2026年10月06日 0 点赞 0 评论 55 浏览
ARM SME (Scalable Matrix Extension) 在终端 AI 推理中的架构演进与工程实践 深入剖析 ARMv9-A 架构的 Scalable Matrix Extension (SME):二维 ZA Tile 存储模型、矩阵外积指令(SMOPA/FMOPA)语义、Linux 内核 ZA 上下文管理,以及如何为 MobileLLM 推理中的 QKV Projection 与 Attention 编写高性能 SME 内核,含完整汇编代码和性能基准对比 芯片架构 2026年10月04日 0 点赞 0 评论 45 浏览
Intel AMX 加速 AI 推理:从 Tile 矩阵运算到生产级算子优化 深入剖析 Intel AMX 架构设计、Tile 寄存器、TMUL 矩阵乘法单元,给出完整的 BF16/INT8 矩阵乘法代码实现和性能实测数据,以及在 LLM 推理场景的工程实践要点。 编译原理 2026年10月03日 0 点赞 0 评论 52 浏览