论文阅读：pixelNeRF: Neural Radiance Fields from One or Few Images

最新推荐文章于 2025-01-23 14:28:31 发布
最新推荐文章于 2025-01-23 14:28:31 发布
阅读量618 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 神经辐射场 文章标签： 论文阅读 深度学习 计算机视觉 神经辐射场 图像编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blueag1e/article/details/129132048
文章提出了一种新的方法，称为pixelNeRF，它能从一或少量图像中构建神经辐射场。与NeRF不同，pixelNeRF利用与每个像素对齐的空间图像特征作为输入，通过全卷积图像编码器和MLP网络来适应图像空间特征。这种方法允许模型在不同视角之间共享知识，解决了单视角的几何歧义问题。当有多个输入视图时，模型能够更好地理解场景信息，提高重建质量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

中文标题：从一或少量图像中构建神经辐射场

提出问题

  • NeRF效果虽然惊艳，但是其需要大量环绕图像以及长时间的训练。

创新点

  • 与原始的NeRF网络不使用任何图像特征不同，pixelNeRF将与每个像素对齐的空间图像特征作为输入。
  • 也可以集合更多输入相关场景特征。

具体实现

图像约束神经辐射场

  • 为了克服NeRF不能在场景间分享Knowledge的缺陷，文章提出适应图像空间特征的NeRF。
  • 提出的模型包括两部分：一个全卷积图像编码器以及一个NeRF的MLP网络。

单图Pixel-NeRF

  • 首先对输入图像提取特征W=E(I)W=E(I)W=E(I).
    在这里插入图片描述

  • 然后将射线x投影回输入图像平面π(x)\pi(x)π(x), 然后通过插值查找对应特征W(π(x))W(\pi(x))W(π(x))。

  • 最后将对应特征一起送入MLP。
    在这里插入图片描述

  • 如果查询视图方向与输入视图方向相似，则模型可以更直接地依赖于输入；如果它不同，则模型必须利用学习到的先验。

合并多个视图

  • 多个视角为场景提供了额外的信息，能够解决单视角下的几何歧义。文章提出的框架可以扩展到任意数量的输入图像。
  • 我们将一个视图方向为d的查询点x转换为每个输入视图i的坐标系：
    在这里插入图片描述
    在这里插入图片描述
  • ψ\psiψ 是平均池化操作。f=f1∘f2f = f_1 \circ f_2f=f1​∘f2​。
    在这里插入图片描述

参考文献

[1] Yu A, Ye V, Tancik M, et al. pixelnerf: Neural radiance fields from one or few images[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 4578-4587.

CVPR 2021 | pixelNeRF：一种基于NeRF的多视图三维重建网络
3D视觉工坊
05-06 3328
项目、论文地址：在公众号「3D视觉工坊」，后台回复「pixelNeRF」，即可直接下载。概述作者提出了pixelNeRF，一个只需要输入单张或多张图像，就能得到连续场景表示的学习框架。由于...
【CVPR 2021】pixelNeRF: Neural Radiance Fields from One or Few Images
梁瑛平的博客
09-15 841
现有的构建 NeRF 的方法通常独立地优化对每个场景的表示，需要许多校准的视图和显著的计算时间。作者通过引入了全卷积的架构，为解决这些缺点迈出了一步。这允许网络跨多个场景进行训练，以预先学习一个场景，使它能够以前馈的方式从稀疏的视图集（只有一个视图）执行新的视图合成。然后利用 NeRF 的体积渲染方法，pixelNeRF 可以直接从图像中训练，而无需明确的三维监督。作者在 ShapeNet 基准测试上进行了广泛的实验，包括保留的对象以及整个看不见的类别。
【读论文】pixelNeRF: Neural Radiance Fields from One or Few Images (CVPR2021)
weixin_73987072的博客
05-16 1607
①我们提出pixelNeRF：一个学习框架，可以预先预测以一个或多个输入图像为条件的连续神经场景表示。②老的NeRF缺点：需要许多校准的视图和大量的计算时间。③引入了一种架构，以完全卷积的方式在图像输入上对NeRF进行条件。这允许网络在多个场景中进行训练，以便在之前学习一个场景，使其能够从一组稀疏的视图（只有一个）中以前馈方式执行新颖的视图合成。④利用NeRF的体积渲染方法，我们的模型可以直接从图像中训练，无需清晰3D监督。
[CVPR2021]pixelNeRF: Neural Radiance Fields from One or Few Images
wrk226的博客
04-06 3379
本文是针对NeRF的优化，NeRF中往往需要同一个场景中非常多的图片才能很好地生成新的视角，而pixelNeRF就提出了一种方式来让模型在仅有几张甚至一张图的情况下也能生成新视角。 文中提出，NeRF之所以无法在一张图基础上生成新视角的原因是没有先验信息。因此本文预先通过resnet对输入图片提取了基于每个像素的信息，然后在生成新视角时通过查询对应像素上的信息从而获得先验，辅助NeRF生成新视角的图像。 上图就是在网络仅有一张图片作为输入时网络的运行流程，最中间绿色的那个f其实就是NeRF，因此与N
pixelNeRF: Neural Radiance Fields from One or Few Images 翻译笔记
ysh的博客
05-06 2908
目录 Abstract 1. Introduction 2.相关工作对比 3.NeRF限制 4.Image-conditioned NeRF 4.1Single-Image pixelNeRF 4.2Incorporating Multiple Views 合并多个视图 5.Experiments Implementation Details 5.1. ShapeNet Benchmarks 5.1.1 Category-specifific View Synthesis Benc
(shorthand) pixelNeRF: Neural Radiance Fields from One or Few Images
页页读
07-04 547
支持a sparse set of views，甚至支持仅仅一个view，也可以进行novel view synthesis。在NeRF的基础上加上了2D view image features. 加上这个可以学习scene的先验信息。这样做的好处：一，泛化性好；二，收敛快。 除了加上image feature 外，nerf部分也做了改变，在网络一开始的位置就将direction一并输入，因为作者认为multi-view case，view .........
CVPR 2024 NeRF方向总汇（NeRF）
qq_36812406的博客
01-23 786
NeRF GARField: Group Anything with Radiance Fields IReNe: Instant Recoloring of Neural Radiance Fields PIE-NeRF: Physics-based Interactive Elastodynamics with NeRF LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes SIGNeRF: Scene Integra
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6266
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
【ECCV2020】接收论文列表part1
TomRen
07-18 7092
ECCV2020 接收论文完整列表 看论文学CV
【论文笔记 - NeRFs - CVPR/ICCV2021】NeRF泛化相关工作——pixelNeRF，IBRNet，MVSNeRF
qq_43491212的博客
02-18 2689
最初的NeRF只将图片作为监督信号，没有充分利用已有的信息，导致每个场景都要重新训练、需要较为密集的采样、训练时间长等问题。以上三篇论文都采用了2DCNN来提取图像的特征，然后建立场景与特征图之间的联系，一定程度上弥补了NeRF的缺陷。
pixelNeRF学习
qq_44708206的博客
11-29 951
pixelNeRF
NeRF必读：PixelNeRF
i_head_no_back的博客
04-04 2961
利用稀疏输入构建三维场景表达。可以基于category泛化三维场景表达（在张三李四上训练，给张王五的照片就能生成王五了，但给张哈士奇不一定能行得通）。
19、pixelNeRF
小白的博客
08-23 1412
pixelNerf
泛化nerf系列：pixelNeRF 一种基于NeRF的多视角三维重建网络
qq_44916258的博客
05-29 6472
1摘要 文中提出了一种新的学习框架PixelNeRF，针对的是原本NeRF的不足。即现有的构建神经辐射场的方法往往需要大量的已知观察视角的图片作为输入并且需要花费大量的训练时间。PixelNeRF为了克服这些不足，允许网络跨多个场景被训练以学习先前的场景（获取场景先验知识），使其能够以前馈的方式从稀疏（sparse）的视图集(如一个)执行新的视图合成。利用NERF的体绘制方法，文中的模型可以在没有显式3D监督的情况下直接从图像训练。 论文进行了大量实验，实验结果表明，在所有情况下，PixelNeRF在新颖的
NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling论文翻译
ysh的博客
04-14 3192
使用超采样的高质量神经辐射场 Abstract 我们提出了NeRF-SR，一种高分辨率(HR)新视图合成的解决方案，主要采用低分辨率(LR)输入。我们的方法是建立在神经辐射场(NeRF)[33]的基础上的，该[33]通过多层感知器预测每一个点的密度和颜色。在生成任意尺度的图像时，NeRF正在努力处理超出观测图像的分辨率。我们的关键见解是，NeRF有一个局部先验，这意味着一个三维点的预测可以在附近的区域传播，并保持准确。我们首先利用一种超采样策略，在每个图像像素上拍摄多条光线，从而在亚像素水平上施加多视图
【NeRF】背景、改进、应用与发展
Joselynzhao
05-24 1万+
推荐阅读： Neural Fields in Visual Computing and Beyond[1] State of the art on neural rendering[2] NeRF Explosion 2020 awesome-NeRF 主要参考文献：https://zhuanlan.zhihu.com/p/512538748 GIRAFFE[12]再次凭借隐式表示中的物体编辑和组合获得CVPR2021年的best paper 。 1 背景 3D场景表征可分别为： 显式 （explic
[非卷积5D] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
江南蜡笔小新
04-06 6287
不使用3D建模，使用静态图片进行训练，用(非卷积)深度网络表示场景的5D连续体表示，再通过ray marching进行渲染。 paper:《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》 NeRF: Representing Scenes as Neural Radiance Fields ...
论文阅读整理
CSS360的博客
01-28 483
Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion
Neural Radiance Fields Julia
最新发布
03-09
### 实现 Neural Radiance Fields (NeRF) 的 Julia 版本 Neural Radiance Fields 是一种用于从多视角图像合成新视图的技术。该方法通过训练一个连续的场景函数来表示三维环境中的辐射度，从而能够渲染高质量的新...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BlueagleAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值