融合Kernel
  1. 首页
  2. 融合Kernel

列表

RMSNorm 深度实战：从 LayerNorm 的协方差偏移到 FP8 融合 Kernel 的数值稳定性工程

RMSNorm 深度实战：从 LayerNorm 的协方差偏移到 FP8 融合 Kernel 的数值稳定性工程

当你打开 LLaMA、Qwen、DeepSeek、Gemma 或 Mistral 任意一份模型配置文件时，几乎都会看到同一行：`"norm_type": "rms_norm"`。RMSNorm（Root Mean Square Normalization）已经成为现代大语言模型事实上的默认归一化层，取代了 Transformer 原始论文中使用的 LayerNorm。但绝大多数工程实现只是把它当作…
Linux内核 2026年10月08日
激活函数深度实战：从 ReLU、GELU 的数值稳定性到 SwiGLU / GeGLU 与融合 Kernel 的生产工程

激活函数深度实战：从 ReLU、GELU 的数值稳定性到 SwiGLU / GeGLU 与融合 Kernel 的生产工程

系统拆解激活函数的第一性原理：为什么非线性不可或缺、ReLU 的死亡神经元问题与改进族（LeakyReLU/ELU/SELU），GELU 精确版与 tanh/sigmoid 近似的数值稳定性权衡，再到 SwiGLU/GeGLU 门控线性单元取代 GELU-then-Linear 的设计哲学与维度对齐约束，并深入低精度（FP8）下激活行为差异、GELU exact/approx 混用陷阱与融合 Kernel 工程，给出可复用的 PyTorch 参考实现与 9 项生产陷阱清单，与本站 RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入共同构成 Transformer 内部机制与训练工程深度解系列（补全 FFN 块最后一环）。
大语言模型 2026年10月09日