1. 核心思想:通过可逆非线性变换 f: x→z 将复杂数据分布映射到简单高斯分布;
    1. 通常是多元独立高斯分布(标准正态),即协方差矩阵是单位阵:z∼N(0,I)。
    2. 一般多元高斯(带相关性)在理论上可行,但实践中无优势且增加不必要的复杂度,因此极少使用。
    3. 若领域知识表明数据天然具有简单线性相关性,可考虑对角协方差 N(0,diag(σ2))(仍保持独立性,仅缩放方差),但极少必要
  2. NF is Bijective / invertible mapping
    1. non-invertible latent variable generators such as VAE and GAN.
特性 归一化流 (NF) 变分自编码器 (VAE) 扩散模型 (Diffusion)
映射类型 确定性、可逆双射 随机性、非完全可逆 随机性、迭代式
似然估计 精确似然 近似似然 (ELBO) 近似似然
潜在空间 定义明确的高斯分布 学习到的近似分布 纯高斯噪声
主要优势 数学解释性强,适合异常检测 训练相对简单 生成多样性和质量极高
  1. VAE映射往往是单射 (Injective) 而非双射。VAE 的映射可能导致未训练的异常样本被投影到潜空间中正常样本区域。
  2. Diffusion 的过程是随机的,同一潜在噪声点在不同生成序列下可能对应不同的图像。

References

https://github.com/janosh/awesome-normalizing-flows

other

FLOW MATCHING, CLR2023 spotlight