Neural Rays for Occlusion-aware Image-based Rendering

本文如果没有可见性$v_{i,j}$向量，那么就是最基本的IBR渲染，即将图像的特征输入NeRF进行学习。但本文还额外增加了一个可见性向量，用于表示当前input view上的点对target view的重要性。

• • Prerequisite
    • consistency & inconsistency
  • IBR/Multi-View
  • pipeline
    • Visibility feature maps G
    • Visibility $v_{i,j}$的计算

重点：IBR/Multi-View, Occlusion-aware（本文是基于Multi-View、具有Occlusion-aware特性的NeRF）

Prerequisite

consistency & inconsistency

如何理解：将3D点投影到各个input view上$(x_i,y_i), i=1,...,n$，记以这些投影点为中心的local pixel/feature为$f_i,i=1,...,n$。

1. 如果该3D点对所有input view都是visible，则这些local pixel/feature$f_i$是相似的，即consistency (因为看到的点都是一样的)；
2. 如果该3D点对部分input view是invisible，则这些local pixel/feature不全相似，甚至有些$f_i$差异很大，即inconsistency (因遮挡occlusion导致)；
3. 如果该3D点不在scene的表面，就算对所有input view是visible，但local pixel/feature还是不一样 (因为最终看到的点不一样)，甚至所有$f_i$的差异都很大；见图(c)。(因非表面点non-surface point导致)；

本文指出一些NeRF-like的泛化方法会引入invisible views的inconsistent local pixel/features，影响重建质量。

IBR/Multi-View

本文属于IBR/Multi-View方法，即对于ray上的一点，会投影到各个input view，获得各个input view关于该点的local feature，对这些local features融合后输入到MLP中预测color及density，表示如下：

$\Large f_i=M(\{f_{i,j}|j=1,...,N\})$

但本文会增加一个参数$v_{i,j}$，表示如下：

$\Large f_i=M(\{f_{i,j},v_{i,j}|j=1,...,N\})$

$v_{i,j}$表示j-th view对于i-th sample point来说是否是visible view，这样能够让aggregation network M focus on visible views and reduce the interference from invisible views.

pipeline

若输入MLP的仅是$f_{i,j}$，则与IBRNet一样，是最基础的Multi-View NeRF。

Visibility feature maps G

Visibility $v_{i,j}$的计算

上一步通过Cost volumes or Depth maps得到G后，对于一条input ray，可从G中取出对应的Visibility feature vector g；并且论文使用$N_l$个logistics distribution拟合input ray的Hitting probability density $t(z)$（上图只用了2个。通常来说，一条ray只会hit one surface，所以一条ray用一个logistics distribution即可。但是对于半透明或表面边缘用多个会更好），即：

$\Large t(z;\{{\mu_i},\delta_i, \omega_i\}) = \sum_i^{N_l}{\omega_i}S((z-\mu_i)/\delta_i) \\ S(*):sigmoid \ funciton$

其中$\{{\mu_i},\delta_i, \omega_i\},i=1,...,N_l$是将g作为MLP的输入预测得到。而input ray上某点的$v_{i,j}$是图中阴影部分面积。（注：每个logistics distribution，也就是图中的每个峰都是有其物理意义的，从Hitting probability density来理解物理意义）

附：logistics distribution,