Neural Rays for Occlusion-aware Image-based Rendering

本文如果没有可见性vi,jv_{i,j}向量,那么就是最基本的IBR渲染,即将图像的特征输入NeRF进行学习。但本文还额外增加了一个可见性向量,用于表示当前input view上的点对target view的重要性。

重点:IBR/Multi-View, Occlusion-aware(本文是基于Multi-View、具有Occlusion-aware特性的NeRF)

Prerequisite

consistency & inconsistency

如何理解:将3D点投影到各个input view上(xi,yi),i=1,...,n(x_i,y_i), i=1,...,n,记以这些投影点为中心的local pixel/feature为fi,i=1,...,nf_i,i=1,...,n

  1. 如果该3D点对所有input view都是visible,则这些local pixel/featurefif_i是相似的,即consistency (因为看到的点都是一样的);
  2. 如果该3D点对部分input view是invisible,则这些local pixel/feature不全相似,甚至有些fif_i差异很大,即inconsistency (因遮挡occlusion导致);
  3. 如果该3D点不在scene的表面,就算对所有input view是visible,但local pixel/feature还是不一样 (因为最终看到的点不一样),甚至所有fif_i的差异都很大;见图(c)。(因非表面点non-surface point导致);

本文指出一些NeRF-like的泛化方法会引入invisible views的inconsistent local pixel/features,影响重建质量。

IBR/Multi-View

本文属于IBR/Multi-View方法,即对于ray上的一点,会投影到各个input view,获得各个input view关于该点的local feature,对这些local features融合后输入到MLP中预测color及density,表示如下:

fi=M({fi,jj=1,...,N})\Large f_i=M(\{f_{i,j}|j=1,...,N\})

但本文会增加一个参数vi,jv_{i,j},表示如下:

fi=M({fi,j,vi,jj=1,...,N})\Large f_i=M(\{f_{i,j},v_{i,j}|j=1,...,N\})

vi,jv_{i,j}表示j-th view对于i-th sample point来说是否是visible view,这样能够让aggregation network M focus on visible views and reduce the interference from invisible views.

pipeline

若输入MLP的仅是fi,jf_{i,j},则与IBRNet一样,是最基础的Multi-View NeRF。

Visibility feature maps G

Visibility vi,jv_{i,j}的计算

上一步通过Cost volumes or Depth maps得到G后,对于一条input ray,可从G中取出对应的Visibility feature vector g;并且论文使用NlN_l个logistics distribution拟合input ray的Hitting probability density t(z)t(z)(上图只用了2个。通常来说,一条ray只会hit one surface,所以一条ray用一个logistics distribution即可。但是对于半透明或表面边缘用多个会更好),即:

t(z;{μi,δi,ωi})=iNlωiS((zμi)/δi)S():sigmoid funciton\Large t(z;\{{\mu_i},\delta_i, \omega_i\}) = \sum_i^{N_l}{\omega_i}S((z-\mu_i)/\delta_i) \\ S(*):sigmoid \ funciton

其中{μi,δi,ωi},i=1,...,Nl\{{\mu_i},\delta_i, \omega_i\},i=1,...,N_l是将g作为MLP的输入预测得到。而input ray上某点的vi,jv_{i,j}是图中阴影部分面积。(注:每个logistics distribution,也就是图中的每个峰都是有其物理意义的,从Hitting probability density来理解物理意义)

附:logistics distribution,

赞赏