分数匹配与随机微分方程：扩散模型数学基础的完整推导

引言：从SDE到图像生成的统一视角

扩散模型(Diffusion Models)已成为图像生成领域的事实标准，从DDPM到Stable Diffusion，所有现代生成式AI的核心思想都可以追溯到随机微分方程(SDE)与分数匹配(score matching)深刻的数学对偶性。本文将从随机分析的基本工具出发，完整推导扩散模型的数学框架，揭示为什么看似直觉的加噪-去噪过程，背后却是伊藤引理与Fokker-Planck方程的优美对称。

1. 前向过程：将数据分布溶解为高斯噪声

扩散模型的前向过程是一个固定的马尔可夫链，逐步向数据中添加高斯噪声：

q(x_t | x_{t-1}) = N(x_t; √(1-β_t)·x_{t-1}, β_t·I)

其中β_t是预定义的噪声调度。经过T步后，x_T近似为标准高斯分布。这一过程等价于以下SDE在离散时间步上的采样：

dx = f(x,t)dt + g(t)dw

对于DDPM，漂移系数f(x,t) = -½β_t·x，扩散系数g(t) = √β_t。在连续时间极限下，当T→∞时，前向SDE精确地将数据分布p_data转化为先验分布p_T ≈ N(0,I)。

2. 分数匹配：学习数据流形的梯度场

核心洞察在于，去噪的真正目标是学习对数概率密度的梯度场（即分数函数）：

s_θ(x,t) ≈ ∇_x log p_t(x)

这一动机来自Song & Ermon (2019)的噪声条件分数网络(NCSN)：通过在不同噪声尺度下训练一个共享网络，显式地学习扰动数据分布的分数函数。训练目标为去噪分数匹配：

L(θ) = E_{t~U(1,T)} E_{x_0~p_data} E_{x_t~q(x_t|x_0)} [ λ(t) · ||s_θ(x_t,t) - ∇_{x_t} log q(x_t|x_0)||² ]

其中λ(t)是权重函数，通常设为g²(t)以平衡不同噪声级别的梯度。

3. 逆向SDE与概率流ODE的神奇对偶

Anderson (1982)证明了任意前向SDE都存在一个对应的逆向时间SDE：

dx = [f(x,t) - g²(t)·∇_x log p_t(x)]dt + g(t)dŵ

逆向SDE从先验p_T开始采样，沿数据流形的梯度场逐步去噪，最终得到p_0的样本。关键突破在于Song et al. (2021)发现：上述逆向SDE等价于一个确定性ODE——概率流ODE：

ODE与SDE共享相同的边际概率密度均值轨迹，这意味着可以用确定性ODE高效求解。这一发现直接催生了DDIM、DPM-Solver等高效采样算法。

4. DDPM与DDIM的重新审视

Ho et al. (2020)的原始DDPM可以看作是概率流ODE的一阶离散化。当我们将噪声预测网络ε_θ(x_t,t)转换为分数函数估计时（因为∇log q(x_t|x_0) = -(x_t-√ᾱ_t·x_0)/σ²_t），DDPM的采样公式恰好对应ODE的欧拉离散：

x_{t-1} = (1/√α_t)·(x_t - (1-α_t)/√(1-ᾱ_t)·ε_θ(x_t,t)) + σ_t·z

DDIM则进一步去掉了采样中的随机噪声项（设σ_t=0），退化为纯确定性ODE求解。这意味着DDIM在少量采样步数下仍能生成高质量图像，因为它走的是一条概率流ODE的确定性轨迹。

5. DPM-Solver：ODE的高阶数值解

Lu et al. (2022)提出的DPM-Solver将采样问题转化为一般形式的ODE：

dx/dt = φ(t)·x + ε_θ( x/σ(t), 1/σ(t) ) / σ(t)

通过半线性ODE的精确解公式与高阶指数积分技术，DPM-Solver在5-10步内即可达到DDPM 1000步的质量。这不仅是工程优化，更是扩散模型数学框架强大威力的体现：一旦我们将问题正确形式化为ODE/SDE，就可以复用两百年来常微分方程数值解的全部理论工具。

结论：随机过程与现代AI的深层统一

扩散模型的发展轨迹展示了数学理论与AI实践的奇妙循环：伊藤微积分给出了前向过程的严格描述，随机分析的逆时定理揭示了采样路径，而ODE/SDE对偶性启发了高效的确定性采样算法。这一框架正在从图像领域向外扩展——从分子构象生成到蛋白质结构预测，从音频合成到视频生成，扩散模型正在成为连接概率论、随机分析、偏微分方程与现代AI的统一语言。