本文的稀疏是指仅2个视角，且这两个视角只有很少的重叠区域。使用CNN(high resolution) + Self-Attention(low resolution)的形式得到2个视角各自的像素对齐特征；提出极线采样策略优化像素对齐特征下的采样效果，并使用多视角特征匹配进一步提升采样质量；使用cross-attention得到代表代理几何的$\alpha_k$, 然后通过一个较小的MLP预测颜色。

HeadNeRF利用NeRF的高保真和多视图一致性解决传统3DMM对人脸细节重建效果差(如头发、耳朵等)，以及解决用GAN结合3DMM能部分程度增加细节但无法保证多视图一致性的缺点。NeRF的一大缺点是速度慢，因此本文提出2D neural rendering $\pi_{\Phi}$，本质就是不直接预测颜色，而是通过体渲染得到较小的特征图$F{\in}R^{256{\times}32{\times}32}$，再利用$\pi_{\Phi}$渲染得到高保真人脸图像。

这篇文章所要解决的问题是稀疏视角输入时，如何提升NeRF的渲染质量。本文和HALO这篇文章所要解决的问题、解决的大致方向非常类似，只不过HALO使用了低频NeRF作为监督，而本文更加优雅，在训练过程中逐渐增加位置编码的高频分量。某种程度上来说，本文和HALO的解决思路是一样的，只不过具体实现不一样。

本文要解决的问题是由于NeRF对geometry的重建效果不好，从而导致视角合成质量差的情况。geometry效果不好有多种情况，如输入视角少sparsr input views、数据/视角本身问题等。本文不是解决稀疏输入，应该属于后者，本文利用多种损失约束geometry，主要是MVS。

本文利用低频NeRF所提供的geometry prior对稀疏视角输入时的高频NeRF进行约束，解决稀疏视角时欠约束而导致高频NeRF的geometry出现噪点/局外点的情况，具体是通过两个loss，其中一个是empty space loss。另外，将LFN(Light Field Network)引入作为中间模型，对Hi-NeRF的refinement过程加速，具体看本文的分析部分（我给出了较为详细的比较）。

原始NeRF不管是训练速度还是推理速度都十分的慢，NVIDIA针对这个问题提出了instant-ngp，实现了训练5min就能得到和NeRF相当的结果。论文全称：Instant Neural Graphics Primitives with a Multiresolution Hash Encoding，主要的思路是：减小MLP的大小；为了保证性能，给MLP的输入是具有特征的向量，而不是单纯的位置加方向（或positional encoding）。

MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo，使用多视立体几何构建代价体P，并用3D CNN将代价体P编码为neural volume，后面用NeRF-like的方法回归color以及$\sigma$。其中的代价体P是一个3D volume，其中蕴含的是场景外观差异（使用了图像特征的方差作为代价体）。

NeRF只能对static scene学习，因此，为了同大多数dynamic NeRF一样，本文也是增加一个deformation field将observation frames先转换到canonical frames，然后再使用NeRF进行学习重建。

本文使用的是4D LF表达方式。可直接从(x,y,u,v)得到color+density，而不用像NeRF那样需要hundreds of sampled point。

本文如果没有可见性$v_{i,j}$向量，那么就是最基本的IBR渲染，即将图像的特征输入NeRF进行学习。但本文还额外增加了一个可见性向量，用于表示当前input view上的点对target view的重要性。