Deep Coarse-to-fine Dense Light Field Reconstruction with Flexible Sampling and Geometry-aware Fusion

K个sampled LF($p_k$)，PSVs设置为T个($d_T$)，则对每个novel view来说会构建$K^*T$个PSVs，然后通过下图中的Disparity Estimation会得到novel view对应的1个Disparity和K个confidence map；K个sampled LF + 1个Disparity得到K个warped LF；K个confidence map与K个warped LF融合得到intermediate LF，经过refine(pseudo 4D convolution + residual)得到novel view。

Jing Jin, Junhui Hou, Jie Chen, Huanqiang Zeng, Sam Kwong, Jingyi Yu
TPAMI 2020 香港城市大学

主要贡献

创新点：可变采样模式输入

既然用到了geometry，那么LF Reconstruction一般流程是：

1. 本文在估计geometry/disparity/depth information时，不是直接使用CNN进行提取，而是基于PSVs；
2. 在步骤3时，提出了新的blending strategy，使用confidence map (该strategy 能够解决occlusion problem)；
3. 本文对blending之后的intermediate SAIs 进一步refine (使用pseudo 4-D convolution)；

Network Architecture

分为Coarse SAI Synthesis Network和Efficient LF Refinement Network。

Coarse SAI Synthesis Network

disparity map & confidence map的预测：

1. 对每个novel view，会构建T*K​个潜在的disparity planes；
2. 然后cost calculator module学习每个disparity planes的匹配花费matching cost；
3. estimator module 预测disparity value；
4. 经过一个CNN得到1+K个结果，1个对应novel view的disparity map，K个sampled views的confidence map

intermediate LF的计算：

1. 用公式初步得到K个warped LF，然后与K个confidence map相乘；

构建warped LF的依据（无occlusion和non-Lambertian）：

$\Large I_u(x) = I_{u+{\triangle}u}(x+d{\triangle}u)$

Refinement Network

因为要做的工作是一个refine（恢复parallax），所以选择预测残差。首先使用Pseudo 4-D Convolution提取角度域与空间域的关系，然后在预测残差。

Optimized Sampling Pattern

影响捕获遮挡区域occluded areas信息量的几个因素：

1. novel SAIs 与sampled SAIs的整体距离；
2. 在水平和垂直方向分布在更多不同位置的 SAI 的采样模式优于变化较小的对应模式，因为前者看到更多的遮挡区域；
3. 和scene content有关，如geometry complexity；

3种不同采样数量下最优的采样模式：

定义minimum distance：在采样网格上，所有novel SAIs到各个sampled SAIs的平均距离。

采样模式与最小距离的关系：

1. Minimum distance变大，重建质量变差（如何解释？）；
2. 在水平和垂直方向上变化更小的采样模式在拟合曲线的下方；
3. 在相同Minimum distance时，4(b)优于4(c)、3(l)优于3(i)、2(q)优于2(n)，这些都说明采样点越分散，重建质量越好；

不同采样模式对性能的影响：

2x2 corner views到7x7的重建：

loss function

$\Large intermediate LF的监督： \\ \Large L_s = ||I-\widetilde{I}||_1 \\ \Large 重建LF的监督： \\ \Large L_r = ||I-\hat{I}||_1 \\ \Large 使disparity更加光滑： \\ \Large L_{smooth} = \sum_{l=1}^{MN-K}||\Delta_{xx}D_{ql}||_1 + ||\Delta_{xy}D_{ql}||_1 + \\ \Large ||\Delta_{yx}D_{ql}||_1 + ||\Delta_{yy}D_{ql}||_1 \\ \Large Total \ loss： \\ \Large L = \lambda_1L_s + \lambda_2L_{smooth} + \lambda_3L_r$

代码学习 & 运行测试

重点代码：