Problem
我遇到的是一个camera pose和光照都未知异常检测问题:两种不同颜色的环境光(LA和LB)下的2张规格一样金属板,对应着video/3dgs A和B,A中的金属板是正常的,B中的金属板可能是正常的,也可能金属板上存在一个色块,即含有异常,希望准确的检查B中是否存在异常以及准确的定位异常。要考虑环境光和高光鲁棒。假设已经对video或3dgs A完成以intrinsic decomposition或者reflectance estimation。你有什么建议?
- 跨视角 + 跨光照 + specular 下的 material consistency detection
- sequence A: 正常 reference(已做 reflectance / intrinsic)
- B: 待检测(未知光照 LA/LB + specular + pose)
- 目标:检测 B 是否 deviates from A 的“material”
颜色异常
diffuse / albedo描述的是material,如果在白纸上画一个红色块,应该理解为对应位置的material变了,即albedo变了。所以我们应该如何描述我们的任务?
- 白纸区域:
- material: paper (white)
- albedo: ≈ [1, 1, 1]
- 红色块(画上去):
- material: paper + pigment (ink)
- albedo: ≈ [1, 0, 0](理想化)
- 物体没变,还是白纸;但是表面反射属性(BRDF / albedo)发生变化
highlight removal
highlight removal / inverse rendering / reflectance estimation from image sequence 有什么代表性的研究,尤其是2025-2026年
- 方向1:Neural Rendering / 3D-aware
- ref-nerf
- 方向2:Intrinsic Decomposition + Video consistency
- Intrinsic Image Decomposition with Temporal Consistency
- 方向3:Specular-aware NeRF / Gaussian Splatting(2025热点)
- Specular-aware 3DGS
- Geometry + reflectance joint optimization
- 方向4:Matching / SLAM-aware highlight removal
- 在 matching / SfM pipeline 里“隐式去高光”,即让 feature 对 specular 不敏感
intrinsic decomposition
- intrinsic decomposition的解不唯一。举例来说,2段video拍摄,即目前可以做到同一个video内的view consistency,但是从两段video各自恢复的albedo的颜色不一样。2. 计算高光无关的feature,暂不考虑。 3.
Terms