AI推理

ARM SME2 可扩展矩阵扩展:AI推理的下一代硬件加速引擎

ARM SME2(Scalable Matrix Extension 2)是ARMv9.4-A架构的核心扩展,首次引入二维ZTile矩阵寄存器和FMOPA外积累加指令,使通用CPU具备与入门级GPU竞争的INT8/BF16矩阵运算能力。本文深入解析SME2硬件架构、编程模型、LLM推理工程实践以及性能实测数据。

从零实现扩散模型推理引擎:Rust + wgpu 的 GPU 加速图像生成架构

使用Rust语言从零实现AI扩散模型推理引擎(类Stable Diffusion)的深度实战,涵盖UNet GPU计算内核、Flash Attention等价内存管理、Karras噪声调度WGSL内核、VAE分块解码显存优化、StepArena复用策略、DDIM/DPM-Solver++采样器统一抽象,wgpu多后端(Vulkan/Metal/DX12/WebGPU)性能基准与对比。