完整题目
请解释重参数化技巧(Reparameterization Trick)的基本原理,它在变分自编码器(VAE)或扩散模型中的作用是什么?并说明其如何解决梯度传播问题。
本文目录
VAE 中的路径式重参数化
VAE 的 encoder 输出 q_φ(z|x) 的参数。若直接从该分布采样 z,普通反向传播无法穿过随机采样节点。高斯后验可改写为:
ε ~ N(0,I), z = μ_φ(x) + σ_φ(x) ⊙ ε
随机性被移到与 φ 无关的 ε,z 变成 φ 的可微函数,因此可对重建项和 KL 项使用低方差的 pathwise gradient。没有这种重参数化并非绝对不能训练;还可用 REINFORCE/score-function estimator,但方差通常更高。离散变量则需要其他估计器或连续松弛。
在扩散模型中的准确作用
DDPM 的闭式前向边缘可写为:
x_t = sqrt(alpha_bar_t)x_0 + sqrt(1-alpha_bar_t)ε。
这同样用固定噪声构造随机变量,便于在任意 t 直接生成训练对;但标准 DDPM 通常不学习前向噪声日程的分布参数,也不通过完整反向采样链端到端反传。因此不能把它等同于 VAE 中“若不重参数化就无法把梯度传回后验参数”的问题。
回答时应区分:随机变量的路径式表达、训练目标对哪些参数求梯度,以及推理时的随机采样过程。