L1 image transform for IID

  1. An L1 Image Transform for Edge-Preserving Smoothing and Scene-Level Intrinsic Decomposition, sig15

image.png

Image Flattening（图像展平 / 核心创新步）

  1. 基于L1范数的Image Transform图像变换
    1. 是一种极端的“边缘保留平滑（Edge-preserving Smoothing）”技术。自然界中的光照和阴影通常表现为颜色的平滑渐变，而不同材质/物体之间的交界往往是锐利的边缘。
    2. 该变换把光照带来的平滑渐变全部“展平（抹平）”了，但严格保留了物体边界的锐利轮廓。处理后的图像看起来像是一张由纯色色块拼成的“卡通画（Piecewise-constant image）

Pipeline

image.png

Probabilistic Clustering（概率像素聚类）

在“展平图像”中，光影的干扰被剔除了，头发变成了一个统一的色块，而不是多个cluster。

CRF Reflectance Labeling（CRF 反射率标签优化）

  1. 为了进一步提高clustering精度，给每个区域打上最终的“反射率（纯颜色）”标签。
    1. assigns a label to every pixel such that the same label is assigned to the subset of pixels sharing the same reflectance。
    2. 认为颜色一致，就是reflectance一致，即材质一致。

本征图像分解

  1. I = R*S, R for albedo (reflectance，反射), S for shading (illumination，光照)
  2. 为了方便用线性代数求解，通常会将两边取对数（Log domain），将乘法变成加法：
  3. log(I)=log(R)+log(S)

本文的本征图像分解方法

与传统本征分解方法（如 Bell et al. 2014）不同；

建立在超像素（Superpixels）级别上的，对于第k个超像素qk，已知其颜色 $\bar{I}_k$和其反射标签 $\phi(k)$，求其对数反射率$\hat{R}_k = \log \bar{R}_k$和光照值shading: $\hat{S}_k = \log \bar{I}_k - \hat{R}_k$，

$$ \begin{aligned}&\sum_{k \sim \ell} (\hat{S}k - \hat{S}\ell)^2 + \xi \sum_{\substack{k \sim \ell, \\ \phi(k) = \phi(\ell)}} (\hat{R}k - \hat{R}\ell)^2, \end{aligned} $$

  1. 1st item: 局部光照平滑项（Shading Smoothness Constraint）
    1. 空间上相邻的超像素（记为k～l), 光照是相似的，即光照的变化应该是平滑过渡的。
    2. 为何创新（使用超像素代替像素）：传统方法是在“像素”级别施加光照平滑约束，而公式 15 是在“超像素”级别施加的。论文解释道，因为聚类或 CRF 算出的材质边界往往和真实的物理边界有微小的错位（Misalignment），超像素面积更大，具有更好的容错性，能够避免边界处的伪影。