需求:已有一个content website,域名为easy-test。如何在不修改源码的情况下增加认证功能?
方案:没有什么是加一个中间层不能解决的,如果不行,那就再加一层。
原本:浏览器→easy-test。用户在浏览器中直接访问网站,网站没有认证功能。
现在:浏览器→oauth2-proxy→easy-test。首先将网站配置为仅允许特定请求访问,比如只允许来自oauth2的请求访问。现在用户通过oauth2进行间接访问,同时oauth2利用三方API实现认证(如Google账号,WeChat等),认证通过后转发到easy-test。
面试题 - 设计数据结构高效地获取用户积分排名
有一个社交网站有2000万用户,用户的某些行为可以获得积分,比如登录+5分、评论+3分。现需设计一种合适的数据结构或算法,实现高效地更改用户积分,查询用户积分排名。
稀疏NeRF:使用stereo pairs进行新视角渲染
本文的稀疏是指仅2个视角,且这两个视角只有很少的重叠区域。使用CNN(high resolution) + Self-Attention(low resolution)的形式得到2个视角各自的像素对齐特征;提出极线采样策略优化像素对齐特征下的采样效果,并使用多视角特征匹配进一步提升采样质量;使用cross-attention得到代表代理几何的αk, 然后通过一个较小的MLP预测颜色。
HeadNeRF:基于NeRF的参数化人脸重建
HeadNeRF利用NeRF的高保真和多视图一致性解决传统3DMM对人脸细节重建效果差(如头发、耳朵等),以及解决用GAN结合3DMM能部分程度增加细节但无法保证多视图一致性的缺点。NeRF的一大缺点是速度慢,因此本文提出2D neural rendering πΦ,本质就是不直接预测颜色,而是通过体渲染得到较小的特征图F∈R256×32×32,再利用πΦ渲染得到高保真人脸图像。
FreeNeRF:使用频率正则化提升稀疏视角渲染结果
这篇文章所要解决的问题是稀疏视角输入时,如何提升NeRF的渲染质量。本文和HALO这篇文章所要解决的问题、解决的大致方向非常类似,只不过HALO使用了低频NeRF作为监督,而本文更加优雅,在训练过程中逐渐增加位置编码的高频分量。某种程度上来说,本文和HALO的解决思路是一样的,只不过具体实现不一样。
SfMNeRF-用深度感知优化提升神经辐射场
本文要解决的问题是由于NeRF对geometry的重建效果不好,从而导致视角合成质量差的情况。geometry效果不好有多种情况,如输入视角少sparsr input views、数据/视角本身问题等。本文不是解决稀疏输入,应该属于后者,本文利用多种损失约束geometry,主要是MVS。
HALO-利用低频NeRF实现少样本的视角合成
本文利用低频NeRF所提供的geometry prior对稀疏视角输入时的高频NeRF进行约束,解决稀疏视角时欠约束而导致高频NeRF的geometry出现噪点/局外点的情况,具体是通过两个loss,其中一个是empty space loss。另外,将LFN(Light Field Network)引入作为中间模型,对Hi-NeRF的refinement过程加速,具体看本文的分析部分(我给出了较为详细的比较)。
Instant-NGP:多分辨率哈希编码
原始NeRF不管是训练速度还是推理速度都十分的慢,NVIDIA针对这个问题提出了instant-ngp,实现了训练5min就能得到和NeRF相当的结果。论文全称:Instant Neural Graphics Primitives with a Multiresolution Hash Encoding,主要的思路是:减小MLP的大小;为了保证性能,给MLP的输入是具有特征的向量,而不是单纯的位置加方向(或positional encoding)。
MVSNeRF-利用MVS实现快速且泛化的辐射场重建
MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo,使用多视立体几何构建代价体P,并用3D CNN将代价体P编码为neural volume,后面用NeRF-like的方法回归color以及σ。其中的代价体P是一个3D volume,其中蕴含的是场景外观差异(使用了图像特征的方差作为代价体)。