再见NeRF！稀疏视图合成新王者NexusGS来了，3D GS拉满了！

最新推荐文章于 2025-06-26 16:22:34 发布

3Ｄ视觉工坊

最新推荐文章于 2025-06-26 16:22:34 发布

阅读量15

点赞数

CC 4.0 BY-SA版权

文章标签： 3d

原文链接：https://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247730037&idx=3&sn=f30e394875ca5cfeaad02f025ec53538&chksm=faf9bf62c1b8f12d8fa2905fe3cb5485a92505c90449be8e83da9b8d8212e5aa26316a3b3c74&scene=126&sessionid=0

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0.这篇文章干了啥？

这篇文章提出了NexusGS，一种基于3D高斯 splatting（3DGS）的方法，用于增强稀疏视图图像的新视图合成。现有的Neural Radiance Field（NeRF）和3DGS方法在少样本场景中因监督有限而表现不佳，NexusGS通过将对极深度先验嵌入到点云中，避免了单目深度估计的误差和复杂的手动正则化。该方法核心是点云致密化技术，包括对极深度关联（Epipolar Depth Nexus）、抗流深度融合（Flow-Resilient Depth Blending）和流过滤深度修剪（Flow-Filtered Depth Pruning）三个关键步骤，利用光流和相机参数计算准确的深度值，减少光流预测不准确的影响，实现可靠的初始密集点云覆盖，支持在稀疏视图条件下进行稳定的3DGS训练。实验表明，NexusGS在深度准确性和渲染质量上显著优于现有方法，在多个数据集（LLFF、MipNeRF - 360、DTU、Blender）的实验中均取得领先性能。此外，消融实验验证了抗流深度融合和流过滤深度修剪的有效性，泛化性分析表明该方法生成的深度图和点云可有效提升其他方法的性能。不过，NexusGS依赖已知相机位姿，对相机校准误差的敏感性分析显示其虽有一定鲁棒性，但仍需进一步改进。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：NexusGS: Sparse View Synthesis with Epipolar Depth Priors in 3D Gaussian Splatting
作者：Yulong Zheng, Zicheng Jiang, Shengfeng He, Yandu Sun, Junyu Dong, Huaidong Zhang, Yong Du
作者机构：Ocean University of China, Singapore Management University, South China University of Technology
论文链接：https://usmizuki.github.io/NexusGS/

2. 摘要

神经辐射场（NeRF）和3D高斯散点法（3DGS）利用密集排列相机视角拍摄的图像，在逼真的新视角合成方面取得了显著进展。然而，由于监督信息有限，这些方法在少样本场景中表现不佳。在本文中，我们提出了NexusGS，这是一种基于3DGS的方法，通过直接将深度信息嵌入到点云中，无需依赖复杂的手动正则化，即可增强从稀疏视角图像进行的新视角合成。利用3DGS固有的对极几何特性，我们的方法引入了一种新颖的点云致密化策略，该策略使用密集点云初始化3DGS，减少了点放置的随机性，同时防止了过度平滑和过拟合。具体来说，NexusGS包括三个关键步骤：对极深度关联、抗光流深度融合和光流过滤深度修剪。这些步骤利用光流和相机位姿来计算准确的深度图，同时减轻了光流中常见的不准确性。通过纳入对极深度先验，NexusGS确保了可靠的密集点云覆盖，并支持在稀疏视角条件下进行稳定的3DGS训练。实验表明，NexusGS显著提高了深度准确性和渲染质量，在很大程度上超越了现有最先进的方法。此外，我们通过大幅提升竞争方法的性能，验证了我们生成的点云的优越性。项目页面：https://usmizuki.github.io/NexusGS/

3. 效果展示

NexusGS通过融入极线深度先验显著区别于基于NeRF和3DGS的竞品，不仅大幅提升了深度图的精度，还增强了渲染图像的保真度。这种处理稀疏输入视图的高效性，是通过采用创新的点云稠密化技术配合深度混合与剪枝策略实现的。

4. 主要贡献

我们通过将对极深度先验嵌入到3D高斯 splatting（3DGS）中，避免了单目深度估计的误差，并且无需复杂的正则化，从而提升了稀疏视图合成的效果。
我们提出了一种用于3DGS的点云致密化技术，该技术利用光流和相机位姿从稀疏输入中确保准确的深度计算，减轻了光流预测不准确的影响，并提供了可靠的密集点云覆盖。
大量实验表明，NexusGS在各种场景（包括真实世界和以物体为中心的场景）的深度准确性和渲染质量方面都优于现有最先进的方法。此外，通过显著提升竞争方法的性能，验证了我们生成的点云的优越性。

5. 基本原理是啥？

1. 基于极线深度先验的3D高斯 splatting稀疏视图合成方法

NexusGS通过将极线深度先验嵌入到3D高斯 splatting（3DGS）中，避免了单目深度估计的误差，无需复杂的手动正则化，显著提高了深度图的准确性和渲染图像的保真度。
该方法利用光流和相机位姿，提出了一种点云致密化技术，包括极线深度关联（Epipolar Depth Nexus）、抗流深度融合（Flow - Resilient Depth Blending）和流过滤深度修剪（Flow - Filtered Depth Pruning）三个关键步骤，有效减轻了光流预测不准确的影响，实现了可靠的初始密集点云覆盖。

2. 基于光流和相机参数的精确深度计算

极线深度关联

对于3DGS中用于稀疏视图合成的点云，输入图像无法提供准确深度值，单目深度估计网络也不可靠。NexusGS利用光流和相机参数，在极线和深度之间建立关联来计算准确深度。
首先使用预训练的光流估计器预测视图间的光流，得到源视图中一点在目标视图的预测匹配点。由于估计误差，该预测点常偏离极线，因此将其松弛为极线上的垂足，然后利用极线几何计算该点的深度。推荐课程：实时400FPS！高精NeRF/Gaussian SLAM定位与建图。

抗流深度融合

对于源视图中的一个像素，可在其他视图中得到对应的匹配点并计算深度值。但这些深度值可能存在误差，简单平均深度值的方法对误差敏感。
该方法定义参考距离和投影距离，通过检查深度随投影点位置变化的速率来评估每个视图中计算的深度值的可靠性，选择使深度变化率最小的深度值作为融合后的深度值。

流过滤深度修剪

由于光流估计可能失败，对于光流估计置信度低的点（即预测匹配点到极线距离大的点），设置阈值进行过滤。
过滤后，将输入视图中像素的颜色作为对应高斯的初始颜色，利用计算的深度将像素投影到3D空间，确定每个高斯的初始位置。

3. 训练目标与优势

训练目标：训练时使用L1和D - SSIM损失函数计算生成图像与真实图像的差异。由于点云中嵌入了极线深度先验，训练过程无需额外的深度正则化。
优势：在多个数据集（如LLFF、MipNeRF - 360、DTU、Blender）上的实验表明，NexusGS在深度准确性和渲染质量方面优于现有技术。消融实验证明抗流深度融合和流过滤深度修剪能提高重建质量。此外，将该方法生成的深度图和点云集成到现有方法中，能显著提升其性能，展示了方法的广泛适用性和有效性。

6. 实验结果

1. 实验设置

本文在多个具有代表性的数据集上进行了实验，包括 LLFF、MipNeRF-360、DTU 和 Blender 等，涵盖从真实场景到合成场景的不同复杂度设置。其中，LLFF 和 DTU 适用于静态多视图重建，MipNeRF-360 用于大尺度稀疏视图合成，Blender 为合成高质量图像评估提供理想环境。
实验评估指标包括视图合成质量指标（PSNR、SSIM、LPIPS、AVGE）和深度估计的可视化/准确性。此外，论文还进行了消融实验、泛化实验以及鲁棒性测试，全方位验证方法有效性。

2. 与基线方法的对比

NexusGS 在所有数据集上的合成质量指标均优于现有方法。
- 在 LLFF 数据集 上，NexusGS 的 PSNR 提升 0.62 dB，SSIM 提升 0.026，LPIPS 降低 0.019，AVGE 降低 0.009，明显优于 DNGaussian、CoR-GS、FSGS 等方法。
- 在 MipNeRF-360 场景中，其他方法在处理大尺度、稀疏视图时效果不佳，而 NexusGS 得益于点云致密化策略，在所有指标上取得最优。
- DTU 数据集 中，NexusGS 重建出的点云稠密、结构准确，显著超过其他 3DGS 方法，尤其在纹理和细节保留方面表现突出。
- 在合成数据集 Blender 上，尽管挑战性略低，NexusGS 仍因融合对极深度先验取得最先进的定量结果。
总体而言，NexusGS 在对几何结构的保留、纹理细节的还原，以及应对视角变化方面均表现出显著优势，是目前稀疏视图合成领域的新 SOTA。

3. 消融实验结果

极线深度先验的引入 是 NexusGS 成功的关键因素。
- 消融对比发现，去除 Flow-Resilient Depth Blending（FRDB） 模块后，PSNR 明显下降，重建质量劣化。
- 再引入 Flow-Filtered Depth Pruning（FFDP） 后，性能进一步提高。在 LLFF 和 DTU 数据集上均有实证支持。
- 如果不引入极线几何先验，点云分布变得稀疏且不准确，合成图像也失去细节。
- 在 DTU 上，FRDB + FFDP 的组合是最优配置；在极端深度误差场景中，过度修剪可能影响最终质量，显示出模块之间需权衡优化。
实验证明这三步（Epipolar Nexus + FRDB + FFDP）相辅相成，显著提升了方法的稳健性与合成效果。

4. 运行效率方面

尽管 NexusGS 引入了多个处理模块，但整体计算效率优于大多数基于神经辐射场（NeRF）的方法。
- 通过直接生成稠密点云并跳过深度学习模型的训练开销，合成流程更快速。
- 相较于使用神经网络进行逐像素渲染的方法，NexusGS 的 视图生成时间减少约 20%~30%（视具体设置而定），尤其适合对效率有要求的实际应用。
- 此外，论文表明，在相同硬件条件下，NexusGS 比 DNGaussian 或 CoR-GS 等方法在大场景处理上更稳定、速度更快。

7. 总结 & 未来工作

总结

本文提出了NexusGS方法，通过嵌入对极深度先验来增强3D高斯 splatting 中的稀疏视图合成。该方法利用光流和相机位姿计算准确的深度，得到可靠的初始密集点云，从而提高渲染保真度。其关键组件包括用于精确深度计算的对极深度关联（Epipolar Depth Nexus）、减少光流引起误差的抗光流深度融合（Flow-Resilient Depth Blending）以及消除不一致点的光流过滤深度修剪（Flow-Filtered Depth Pruning）。实验表明，NexusGS在深度准确性和渲染质量方面优于现有最先进的方法，证明了在稀疏视图3DGS中集成对极深度信息的有效性。

未来展望

尽管NexusGS表现出色且具有通用性，但它和大多数稀疏视图合成方法一样，依赖已知的相机位姿来实施对极约束。为评估该方法的鲁棒性，作者进行了相机校准误差的敏感性分析，结果显示该方法具有更好的鲁棒性。目前，一些无位姿方法（如COGS）虽无需相机位姿，但在灵活性和渲染准确性之间的权衡仍有改进空间，这为未来的研究提供了一个有前景的方向。