Mip-Splatting: Alias-free 3D Gaussian Splatting

最新推荐文章于 2025-06-14 10:54:30 发布

IOsetting

最新推荐文章于 2025-06-14 10:54:30 发布

阅读量839

点赞数 19

本文链接：https://blog.csdn.net/michaelchain/article/details/148321039

版权

Mip Splatting

关联项目

graphdeco-inria/gaussian-splatting
- 关于引入的反锯齿 Issue#1224

Deepseek

根据论文内容，《Mip-Splatting: Alias-free 3D Gaussian Splatting》 针对 《3D Gaussian Splatting for Real-Time Radiance Field Rendering》 的核心改进点可总结为以下四个方面，重点解决了原方法在多尺度渲染和抗锯齿方面的缺陷：

1. 核心问题：原方法的局限性

原3D Gaussian Splatting(3DGS)在以下场景会出现明显伪影：

缩放视角(Zoom In/Out)：
- 放大(Zoom In)：高斯椭球投影到屏幕时过度膨胀，导致高频细节丢失(“侵蚀伪影”)。
- 缩小(Zoom Out)：高斯椭球投影过小，2D膨胀滤波(Dilation)不足，产生锯齿(“膨胀伪影”)。
训练-测试尺度不一致：训练时固定分辨率，测试时改变焦距或分辨率会导致失真。

根本原因：

缺乏3D频率约束：高斯椭球的尺寸未受输入视图采样率的限制，允许不合理的频率成分存在。
2D膨胀滤波的局限性：固定的2D Dilation无法自适应多尺度渲染需求。

2. 改进点1：3D平滑滤波(3D Smoothing Filter)

原理

Nyquist-Shannon采样定理：输入视图的采样率决定了场景可表示的最高3D频率(Nyquist极限)。
3D频率约束：在优化过程中，对每个3D高斯施加低通滤波，限制其尺寸不超过由输入视图推导的最大频率对应的最小尺寸。
- 数学上，通过分析多视角的采样率，计算每个高斯允许的最大频率，并调整其协方差矩阵。

效果

消除放大伪影：强制高斯椭球在3D空间中保持合理的尺寸分布，避免投影到屏幕时过度膨胀(如图2中8×放大时的改进)。
成为场景固有属性：滤波后的高斯参数在训练后固定，与视角无关。

3. 改进点2：2D Mip滤波(替代2D Dilation)

原理

问题：原方法的2D Dilation是固定参数的滤波器，无法适应不同尺度的抗锯齿需求。
改进：
- 设计2D Mip滤波器，模拟物理成像中的盒式滤波(Box Filter)，近似为2D高斯低通滤波。
- 根据当前视角的采样率动态调整滤波核大小，实现多尺度抗锯齿。

效果

消除缩小伪影：在缩小视角(Zoom Out)时，自适应平滑高斯投影，避免锯齿(如图2中1/4分辨率下的改进)。
跨尺度泛化能力：仅需单尺度训练，即可支持多尺度测试(如改变焦距或分辨率)。

4. 改进点3：实现简洁性与兼容性

最小化代码修改：
- 3D平滑滤波仅在训练阶段应用，通过约束高斯优化实现。
- 2D Mip滤波替换原渲染管线中的Dilation操作，无需复杂架构调整。
保持实时性：仍基于GPU光栅化，维持原方法的高效渲染。

5. 实验验证

论文通过以下场景验证有效性：

单尺度训练，多尺度测试：在训练分辨率下，所有方法表现相似；但在缩放时，原3DGS和EWA滤波方法出现伪影，而Mip-Splatting保持稳定(图2)。
跨数据集泛化：在LLFF、Blender等数据集上，Mip-Splatting在视角缩放时PSNR/SSIM显著优于基线。

6. 与原方法的对比总结

方向	原3DGS	Mip-Splatting
3D频率约束	无显式约束，高斯尺寸自由优化	基于Nyquist定理限制高斯最大频率
抗锯齿滤波	固定2D Dilation	动态2D Mip滤波(类似Mipmap)
多尺度渲染	需多尺度训练，测试时易失真	单尺度训练支持任意尺度测试
伪影类型	放大(侵蚀)/缩小(锯齿)	显著减少两类伪影
计算开销	低(实时)	保持实时性，滤波操作轻量

7. 技术意义

理论贡献：首次将采样定理引入3D高斯表示，建立频率约束与几何优化的联系。
实用价值：使3DGS更适合实际应用(如VR中动态焦距调整、电影级多分辨率输出)。
启发方向：为后续工作提供了“3D频率分析+自适应滤波”的改进范式。

运行记录

安装环境依赖

pip install open3d
pip install plyfile
pip install lpips
pip install ninja
pip install submodules/diff-gaussian-rasterization
pip install submodules/simple-knn/

训练, 如果内存不够, 可以将-r 4改成-r 8

OMP_NUM_THREADS=4 CUDA_VISIBLE_DEVICES=0 python train.py -s /home/milton/Downloads/360_v2/bonsai/ -m output_model/bonsai --eval -r 4 --port 6009 --kernel_size 0.1

转为可以展示的ply文件

python create_fused_ply.py -m output_model/bonsai --output_ply fused/bonsai.ply

使用在线界面查看: https://niujinshuchong.github.io/mip-splatting-demo

评估? -r 4要和前面训练时的一致

OMP_NUM_THREADS=4 CUDA_VISIBLE_DEVICES=0 python render.py -m output_model/bonsai --data_device cpu --skip_train

第一次运行这步时, 会报warning并从 https://download.pytorch.org/models/vgg16-397923af.pt 下载528MB的文件.

OMP_NUM_THREADS=4 CUDA_VISIBLE_DEVICES=0 python metrics.py -m output_model/bonsai -r 4