Light Field Neural Rendering

CVPR 2022 best paper finalist
本文与IBRNet很相似,基于IBR(但是加入了对极几何约束)。另外,也是使用了类似于像素对其特征进行融合,只不过各个point&view融合的权重是由self-attention计算的。

阅读全文 »

KeypointNeRF:3D head的重建

KeypointNeRF: Generalizing Image-based Volumetric Avatars using Relative Spatial Encoding of Keypoints
通过用3D关键点对query point进行相对空间编码,解决全局编码对细节重建不好的缺点;以及使用pixel-aligned feature实现细节重建。

阅读全文 »

Deep Coarse-to-fine Dense Light Field Reconstruction with Flexible Sampling and Geometry-aware Fusion

K个sampled LF(pkp_k),PSVs设置为T个(dTd_T),则对每个novel view来说会构建KTK^*T个PSVs,然后通过下图中的Disparity Estimation会得到novel view对应的1个Disparity和K个confidence map;K个sampled LF + 1个Disparity得到K个warped LF;K个confidence map与K个warped LF融合得到intermediate LF,经过refine(pseudo 4D convolution + residual)得到novel view。

阅读全文 »

IBRNet:基于IBR的NeRF

渲染某个target view时,会使用与其在空间位置上相邻的N个input views作为参考。另外还使用了Transformer Ray,即将cast ray上的采样点视为序列点。

阅读全文 »