深度学习的数学本质：从梯度下降到自适应优化器的全景解析

引言：优化是深度学习的核心引擎

深度学习模型的训练本质上是一个高维非凸优化问题。模型参数的规模从百万级到万亿级，优化算法的选择直接决定了模型能否收敛、收敛多快、收敛到哪里。

梯度下降：一切优化的起点

对于损失函数 L(θ)，梯度下降通过迭代更新参数使其沿着损失下降最快的方向移动：θ_{t 1} = θ_t - η · ∇L(θ_t)

动量方法：加速收敛的关键

动量方法像物理中的重球下坡一样，累积之前的梯度信息来加速收敛并减少震荡。Nesterov 加速梯度（NAG）通过预判下一步位置实现了更优的收敛速率。

自适应学习率：Adam 时代

Adam 结合了 Momentum 和 RMSProp 的优点，维护梯度的一阶矩估计和二阶矩估计。AdamW 将权重衰减与梯度更新解耦，成为 Transformer 训练的标配优化器。

下一代优化器

Lion 优化器仅使用 sign(·) 函数，内存占用为 AdamW 的一半。SOAP 和 Shampoo 利用 Kronecker 分解近似二阶信息。学习率调度策略方面，WSD 调度已成为大型 LLM 训练的最新范式。