Problem

我遇到的是一个camera pose和光照都未知异常检测问题:两种不同颜色的环境光(LA和LB)下的2张规格一样金属板,对应着video/3dgs A和B,A中的金属板是正常的,B中的金属板可能是正常的,也可能金属板上存在一个色块,即含有异常,希望准确的检查B中是否存在异常以及准确的定位异常。要考虑环境光和高光鲁棒。假设已经对video或3dgs A完成以intrinsic decomposition或者reflectance estimation。你有什么建议?

  1. 跨视角 + 跨光照 + specular 下的 material consistency detection
    1. sequence A: 正常 reference(已做 reflectance / intrinsic)
    2. B: 待检测(未知光照 LA/LB + specular + pose)
    3. 目标:检测 B 是否 deviates from A 的“material”

颜色异常

diffuse / albedo描述的是material,如果在白纸上画一个红色块,应该理解为对应位置的material变了,即albedo变了。所以我们应该如何描述我们的任务?

  1. 白纸区域:
    1. material: paper (white)
    2. albedo: ≈ [1, 1, 1]
  2. 红色块(画上去):
    1. material: paper + pigment (ink)
    2. albedo: ≈ [1, 0, 0](理想化)
  3. 物体没变,还是白纸;但是表面反射属性(BRDF / albedo)发生变化

highlight removal

highlight removal / inverse rendering / reflectance estimation from image sequence 有什么代表性的研究,尤其是2025-2026年

  1. 方向1:Neural Rendering / 3D-aware
    1. ref-nerf
  2. 方向2:Intrinsic Decomposition + Video consistency
    1. Intrinsic Image Decomposition with Temporal Consistency
  3. 方向3:Specular-aware NeRF / Gaussian Splatting(2025热点)
    1. Specular-aware 3DGS
    2. Geometry + reflectance joint optimization
  4. 方向4:Matching / SLAM-aware highlight removal
    1. 在 matching / SfM pipeline 里“隐式去高光”,即让 feature 对 specular 不敏感

intrinsic decomposition

  1. intrinsic decomposition的解不唯一。举例来说,2段video拍摄,即目前可以做到同一个video内的view consistency,但是从两段video各自恢复的albedo的颜色不一样。2. 计算高光无关的feature,暂不考虑。 3.

Terms