Learning Light Field Angular Super-Resolution via a Geometry-Aware Network

​ Jing Jin, Junhui Hou, Hui Yuan, Sam Kwong

​ City University of Hong Kong, Shandong University

​ AAAI 2020

主要目标

充分利用LF内在的几何信息，构建一个end-to-end基于学习的方法实现在具有large baseline的稀疏LF上进行重建。2x2的corner views重建7x7的views

By making full use of the intrinsic geometry information of light fields, in this paper we propose an end-to-end learning-based approach aiming at angularly super-resolving a sparsely sampled light field with a large baseline

网络架构

depth estimation模块

为了能够提升感受野，前两层采用了7x7的卷积和，并且使用了dilation=2，后面两层使用5x5的卷积，其余的使用3x3的卷积，总共提供了大小为43的感受野（能够解决视察范围[-21.5, 21.5]）。

Warp模块

通过sparse input views和Depth maps，可以初步得到warped light fields。

但由于depth maps的估计误差（无纹理区域、透明）、亦或是warped本身的误差，都会导致warped light fields不准确。

blending模块

提出了新的blending strategy。

1. view blending：通过一个2D spatial convolution layer将warped light fields进行blending。缺点是没有考虑EPI的线性几何结构linear geometry structure；
2. light field blending（本文）：核心思想是探索warped light fields之间的角度关系，以恢复EPI的几何结构。（实质还是充分利用warped light fields）
   

高分辨率LF：(HxWxMxN)，稀疏LF：（HxWxM’xN’)，则warped LF：(HxWxMNxM’N’)

light field blending：还是一个deep CNN，并且分为三部分

1. 首先从M’N’个warped LF中为每一个nove views提取64个特征图；
2. 然后使用interleaved spatial-angular convolution（就是交错使用spatial和angular conv，为了提供大的感受野，使用了dilation。目的是探索views之间的关系）；
3. 最后的带步长的3D卷积用于构建残差图residual map。
   

损失函数

depth estimation loss：

blending loss：

epi gradient loss：能够很好的保留EPI结构（EPI图像中，斜率暗含深度信息），提升新视图之间的几何一致性。

total loss：

$l=l_d+l_b+\lambda{l_e}$

感想：这篇paper主要主要工作都是在网络结构上的设计