• Light Field Reconstruction Using Deep Convolutional Network on EPI
  • 背景
  • 问题分析
  • 本文insight
  • 疑问
  • blur-restoration-deblur
  • EPI blur中的1D blur kernel
  • CNN architecture
    • loss function
  • result

Light Field Reconstruction Using Deep Convolutional Network on EPI

Gaochang Wu, Mandan Zhao, Liangyong Wang, Qionghai Dai, Tianyou Chai, and Yebin Liu CVPR 2017

论文所做的工作：light field reconstruction(view interpolation)，从3x3的views超分到7x7的views

背景

目前的光场相机在角度分辨率和空间分辨率之间存在trade-off。大多数都在研究如何进行角度超分（即数据集都是空间分辨率远大于角度分辨率，然后对角度进行超分）。

depth-base和depth-independent，前者会受到non-Lambertian和occlusion的影响；后者是在Fourier domain进行分析恢复，但前提条件比价多。本文结合二者的有点，在Fourier分析，并用CNN实现。

问题分析

由于角度分辨率低，空间分辨率高，二者之间的这种不平衡在文中称为信息不对成information asymmetry，其在直接对角度进行上采样upsampling或超分super-resolved时会造成重影效果ghosting effect[24]。

本文insight

1. 为了维持角度和空间信息之间的平衡（information symmetry），本文提取空间域的低频信息（对空间域作低通滤波），即blur operation；
2. 然后再进行角度域上采样（双三次插值bicubic interpolation）到desire angular resolution；
3. 通过一个CNN网络恢复因undersampling的angular detail；
4. 再通过non-blind operation恢复因步骤一导致缺失的spatial information；

提出”blur-restoration-deblur“框架

Note：

为了保证角度域和空间域信息对称information symmetry，一个直接的方法是对空间域下采样。但是，如果像Figure 2中这样角度和空间域差距很大的话，下采样会损失非常多的信息。因此，文中是通过1D blur kernel提取空间域的低频信息。

疑问

1. 为什么角度和空间之间的信息不对称会导致ghosting effect[24]；
2. Figure 2中图(b)angular upsampling具体是怎么做的？
3. non-blind deblur的non-blind是什么意思？参看文献[18]，参考链接。

blur-restoration-deblur

1. EPI blur是为了解决information asymmetry（为了解决angular和spatial差距比较大的情况，不是直接将spatial下采样，而是使用1D blur kernel提取低频信息实现information asymmetry）；
2. Up-sampling，将angular上采样到指定resolution；
3. CNN恢复的是由于undersampling的angular信息；
4. Non-blind deblur是EPI blur的逆操作，恢复spatial information；

EPI blur中的1D blur kernel

第一个sinc函数，第二个是二阶低通巴特沃斯滤波器，第三个是高斯函数。

We evaluate these three kernels based on the following two principles: the final deblurred result must show visual coherency with the ground truth EPI, and the mean square error (MSE) between the blurred low angular resolution EPI and the blurred ground truth EPI is as minimal as possible:

CNN architecture

The proposed detail restoration network is composed of three layers. The first and the second layers are followed by a rectified linear unit (ReLU). The final output of the network is the sum of the predicted residual (detail) and the input.

first layer包含64个1x9x9的滤波器，用于提取空间特征图；second layer包含32个64x5x5的滤波器，用于non-linear mapping；last layer包含1个32x5x5的滤波器，用于(角度域)细节重建。

loss function

因为CNN的输出是预测残差直接加上输入EPI，即output EPI = predicted residual + input EPI，所以损失定义在预测残差上：

result

ablation study：第四行不包含“blur-deblur”步骤，直接用CNN预测残差。可以发现，“blur-deblur”对表现的提升非常大，证明了“blur-deblur”的有效，即有效解决了information asymmetry所引起的ghosting effect。