- 核心思想:通过可逆非线性变换 f: x→z 将复杂数据分布映射到简单高斯分布;
- 通常是多元独立高斯分布(标准正态),即协方差矩阵是单位阵:z∼N(0,I)。
- 一般多元高斯(带相关性)在理论上可行,但实践中无优势且增加不必要的复杂度,因此极少使用。
- 若领域知识表明数据天然具有简单线性相关性,可考虑对角协方差 N(0,diag(σ2))(仍保持独立性,仅缩放方差),但极少必要
- NF is Bijective / invertible mapping
- non-invertible latent variable generators such as VAE and GAN.
| 特性 |
归一化流 (NF) |
变分自编码器 (VAE) |
扩散模型 (Diffusion) |
| 映射类型 |
确定性、可逆双射 |
随机性、非完全可逆 |
随机性、迭代式 |
| 似然估计 |
精确似然 |
近似似然 (ELBO) |
近似似然 |
| 潜在空间 |
定义明确的高斯分布 |
学习到的近似分布 |
纯高斯噪声 |
| 主要优势 |
数学解释性强,适合异常检测 |
训练相对简单 |
生成多样性和质量极高 |
- VAE映射往往是单射 (Injective) 而非双射。VAE 的映射可能导致未训练的异常样本被投影到潜空间中正常样本区域。
- Diffusion 的过程是随机的,同一潜在噪声点在不同生成序列下可能对应不同的图像。
References
https://github.com/janosh/awesome-normalizing-flows
other
FLOW MATCHING, CLR2023 spotlight