CVPR 2021 | pixelNeRF：一种基于NeRF的多视图三维重建网络

项目、论文地址：在公众号「3D视觉工坊」，后台回复「pixelNeRF」，即可直接下载。

概述

作者提出了pixelNeRF，一个只需要输入单张或多张图像，就能得到连续场景表示的学习框架。由于现存的构建神经辐射场【1】的方法涉及到独立优化每个场景的表示，这需要许多校准的视图和大量的计算时间，因此作者引入了一种新的网络架构。实验结果表明，在所有情况下，pixelNeRF在新视图合成和单图像三维重建方面都优于当前最先进的工作。

简介

该项目主要研究的问题是如何从一个稀疏的输入视图集中合成这个场景的新视图，在可微神经渲染出现之前，这个长期存在的问题一直没有得到进展。同时，最近的神经渲染场NeRF通过编码体积密度和颜色，在特定场景的新视图合成方面表现出很好的效果。虽然NeRF可以渲染非常逼真的新视图，但它通常是不切实际的，因为它需要大量的位姿图像和冗长的场景优化。

在这篇文章中，作者对上述方法进行了改进，与NeRF网络不使用任何图像特征不同的是，pixelNeRF将与每个像素对齐的空间图像特征作为输入。这种图像调节允许框架在一组多视图图像上进行训练，学习场景先验，然后从一个或几个输入图像中合成视图，如下图所示。

Pix