步数蒸馏详解(二):DMD2 如何移除回归损失并引入多步生成
沿着 DMD 的分布匹配路线,解释 DMD2 如何通过双时间尺度更新、GAN 监督和推理轨迹模拟,移除回归损失并支持少步生成。
完整推导 · 步数蒸馏THEORY PERFORMANCE LAB
覆盖概率与最优化、VAE、Diffusion、Flow Matching、Transformer、DiT、多模态架构、ODE/SDE 与采样理论,并连接理论结论和工程实现。
NOTES FIELD RECORDS
沿着 DMD 的分布匹配路线,解释 DMD2 如何通过双时间尺度更新、GAN 监督和推理轨迹模拟,移除回归损失并支持少步生成。
完整推导 · 步数蒸馏从 KL 散度与 score 梯度出发,完整解释 DMD 如何匹配真实分布与学生分布,以及 fake score 网络和回归损失各自解决什么问题。
完整推导 · 步数蒸馏从潜变量生成模型出发,推导 VAE 的近似后验、KL 散度、ELBO 与重参数化技巧,并进一步说明层次 VAE 以及 VAE 在现代 latent image/video generation 中的作用。
完整推导 · Math In AIGC介绍 AIGC 图像与视频生成中的基础数学,包括最大似然估计、独立随机变量的分布、Jensen 不等式等内容。
完整推导 · Math In AIGC