LCD: 2D-3D匹配算法

最新推荐文章于 2024-09-20 00:17:34 发布

wujianming_110117

最新推荐文章于 2024-09-20 00:17:34 发布

阅读量2.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：计算机视觉图像识别图像理解

吴建明

本文链接：https://blog.csdn.net/wujianing_110117/article/details/106679584

研究提出了一种双自编码器神经网络方法，学习2D图像和3D点云匹配的局部跨域描述符。通过140万个2D-3D对应关系的新数据集进行训练，该方法在2D-3D匹配、跨域检索和深度估计等任务中表现出鲁棒性和竞争优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

LCD: 2D-3D匹配算法

标题：LCD:Learned Cross-Domain Descriptors
for 2D-3D Matching

作者：Quang-Hieu Pham, Mikaela Angelina Uy,
Binh-Son Hua, et al.

论文地址：https://arxiv.org/abs/1911.09326

摘要

在这项工作中，提出了一种新颖的方法来学习用于2D图像和3D点云匹配的局部跨域描述符。提出的方法是一个双自编码器神经网络，将2D和3D输入映射到共享的潜在空间表示中。表明，与分别从2D和3D域中获得的那些描述符相比，共享嵌入中的此类局部跨域描述符具有更大的判别力。为了促进训练过程，通过从公开可用的RGB-D场景中收集了约140万个2D-3D对应关系，建立了一个新的数据集。的描述符在三个主要实验中进行了评估：2D-3D匹配，跨域检索和稀疏到稠密深度估计。实验结果证实了的方法的鲁棒性以及其竞争优势，不仅体现在解决跨域任务方面，而且能够泛化到单独的2D和3D任务方面。

计算机视觉任务，如运动结构、视觉内容检索，都需要来自2D和3D域的健壮描述符。在自己的领域中，这些描述符可以由低级特征（例如颜色、边缘等）构造。在图像匹配中，计算机视觉中的一个著名任务，已经提出了几种手工制作的本地描述符，例如SIFT（low e 2004）、SURF（Bay、Tuytelaars和Van Gool 2006）。随着深度学习的出现，许多健壮的2D描述符都是使用深度神经网络自动学习的（Simo-Serra等人。2015年；Kumar等人。2016年）。这些学习过的描述符显示出了相对于手工制作的对应项的健壮性和优势。同样的现象也可以在三维空间中观察到。例如，手工制作的3D描述符，例如FPFH（Rusu、Blodow和Beetz 2009）、SHOT（Tombari、Salti和Distefano2010）以及基于深度学习的描述符（Zengetal.2017）已用于许多3D任务，例如3D注册（Choi、Zhou和Koltun2015；Zhou、Park和Koltun 2016）和运动结构（Hartley和Zisserman 2003）。