Learning Light Field Angular Super-Resolution via a Geometry-Aware Network

​ Jing Jin, Junhui Hou, Hui Yuan, Sam Kwong

​ City University of Hong Kong, Shandong University

​ AAAI 2020

主要目标

充分利用LF内在的几何信息,构建一个end-to-end基于学习的方法实现在具有large baseline的稀疏LF上进行重建。2x2的corner views重建7x7的views

By making full use of the intrinsic geometry information of light fields, in this paper we propose an end-to-end learning-based approach aiming at angularly super-resolving a sparsely sampled light field with a large baseline

网络架构

depth estimation模块

为了能够提升感受野,前两层采用了7x7的卷积和,并且使用了dilation=2,后面两层使用5x5的卷积,其余的使用3x3的卷积,总共提供了大小为43的感受野(能够解决视察范围[-21.5, 21.5])。

Warp模块

通过sparse input views和Depth maps,可以初步得到warped light fields。

但由于depth maps的估计误差(无纹理区域、透明)、亦或是warped本身的误差,都会导致warped light fields不准确。

blending模块

提出了新的blending strategy。

  1. view blending:通过一个2D spatial convolution layer将warped light fields进行blending。缺点是没有考虑EPI的线性几何结构linear geometry structure;
  2. light field blending(本文):核心思想是探索warped light fields之间的角度关系,以恢复EPI的几何结构。(实质还是充分利用warped light fields)

高分辨率LF:(HxWxMxN),稀疏LF:(HxWxM’xN’),则warped LF:(HxWxMNxM’N’)

light field blending:还是一个deep CNN,并且分为三部分

  1. 首先从M’N’个warped LF中为每一个nove views提取64个特征图;
  2. 然后使用interleaved spatial-angular convolution(就是交错使用spatial和angular conv,为了提供大的感受野,使用了dilation。目的是探索views之间的关系);
  3. 最后的带步长的3D卷积用于构建残差图residual map。

损失函数

depth estimation loss:

blending loss:

epi gradient loss:能够很好的保留EPI结构(EPI图像中,斜率暗含深度信息),提升新视图之间的几何一致性。

total loss:

l=ld+lb+λlel=l_d+l_b+\lambda{l_e}

感想:这篇paper主要主要工作都是在网络结构上的设计

赞赏