激活函数深度实战：从 ReLU、GELU 的数值稳定性到 SwiGLU / GeGLU 与融合 Kernel 的生产工程
系统拆解激活函数的第一性原理：为什么非线性不可或缺、ReLU 的死亡神经元问题与改进族（LeakyReLU/ELU/SELU），GELU 精确版与 tanh/sigmoid 近似的数值稳定性权衡，再到 SwiGLU/GeGLU 门控线性单元取代 GELU-then-Linear 的设计哲学与维度对齐约束，并深入低精度（FP8）下激活行为差异、GELU exact/approx 混用陷阱与融合 Kernel 工程，给出可复用的 PyTorch 参考实现与 9 项生产陷阱清单，与本站 RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入共同构成 Transformer 内部机制与训练工程深度解系列（补全 FFN 块最后一环）。
