FastNeRF: High-Fidelity Neural Rendering at 200FPS

Abstract

1.NeRF的计算开销太大，因此提出了FastNeRF；这是第一个基于NeRF的系统，能够在GPU上以200Hz的频率渲染高保真照片级真实感图像。

2.它允许（i）在空间中的每个位置紧凑地缓存深度辐射贴图，（ii）使用光线方向有效地查询该贴图，以估计渲染图像中的像素值。大量实验表明，该方法比原NeRF算法快3000倍，比现有的NeRF加速算法至少快一个数量级，同时保持了视觉质量和可扩展性。

Method

1.

 渲染方程为：

        Lo(p,d)是沿方向d离开点p的辐射度；

        fr(p,d,wi)是p位置的反射函数；

        Li(p,wi)描述从ωi方向到达p的光量；

        n对应于p处表面法线的方向。

        评估渲染方程的一种有效方法是使用球谐函数近似fr（p，d，ωi）和Li（p，ωi）。

        FastNeRF将NeRF的神经网络拆分为两个网络：一个网络仅依赖位置p，一个网络仅依赖光线方向d。

        与使用球谐函数评估渲染方程类似，我们的位置相关Fpos和方向相关Fdir函数产生输出，这些输出使用点积进行组合，以获得从方向d观察到的位置p处的颜色值:

 关键的是，这种因式分解将接收中输入的单个函数拆分为接收和中输入的两个函数，这使得缓存网络输出成为可能。

 2.        为了加速NeRF，可以尝试通过将F的输出缓存为覆盖场景空间的一组输入来降低F的测试时间成本。然后，可以用计算F所需时间的一小部分计算缓存。