FISTA

凸优化计算实战:从凸集凸函数、次梯度与投影梯度到近端方法、ADMM 与加速梯度的完整工程链路

凸优化是现代机器学习的"底层发动机":从 SGD、Adam 到近端梯度、分布式 ADMM,几乎所有训练算法都可以统一在凸分析的语言下。本文从第一性原理出发,用可运行的 Python 代码把凸集、凸函数、次梯度、投影梯度、近端方法(ISTA/FISTA)、坐标下降与 ADMM 串成一条完整工程链路,并给出与深度学习优化器的精确映射表。全部数值实验均用纯 NumPy 从零实现,不依赖任何优化求解器。