点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：一只佳佳怪
「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
引用：Ren, H., & Qureshi, A. H. (2023). Robot active neural sensing and planning in unknown cluttered environments. IEEE Transactions on Robotics, 39(4), 2738-2750.
PART.00文章信息
期刊信息：IEEE Transactions on Robotics（JCR Q1 中科院1区 TOP IF=9.4）
作者单位：
the Department of Computer Science, Purdue Univer sity, West Lafayette, IN 47907 USA
链接：
https://ieeexplore.ieee.org/document/10101696
DOI： 10.1109/TRO.2023.3262114
PART.01摘要
在未知、混乱的环境中主动感知和规划是机器人在提供家庭服务、搜救、狭窄通道检查和医疗援助方面面临的一个公开挑战。尽管存在许多主动传感方法，但它们通常考虑开放空间，假设已知设置，或者大多不适用于现实世界场景。在这篇文章中，我们提出了一种主动神经传感方法，该方法为带有手持摄像头的机器人操作器生成运动学上可行的视点序列，以收集重建底层环境所需的最少观测值。我们的框架主动收集视觉RGBD观察结果，将其聚合到场景表示中，并执行对象形状推理，以避免机器人与环境进行不必要的交互。将我们的方法应用于具有域随机化的合成数据，并通过模拟到真实的传输证明其在重建狭窄、有盖、充满未知物体的真实世界橱柜环境中的成功执行。由于周围的障碍物和低环境光照条件，自然橱柜场景对机器人运动和场景重建提出了重大挑战。然而，尽管设置不利，但与基线相比，我们的方法在各种环境重建指标方面表现出了很高的性能，包括规划速度、视点数量和整体场景覆盖率。
Index Terms-主动感知、深度学习、规划和控制、场景重建、未知环境。
PART.02背景与方法
主动感应是一个复杂的控制问题，其中带有机载传感器的机器人通过与底层环境的交互最大限度地获得信息[1]。在不熟悉的狭窄通道环境中高效收集密集的视觉感知是机器人主动感知的一个关键子任务，这些机器人旨在协助人们的日常生活[2]，提供搜救服务[3]，或进行自主手术[4]。例如，考虑一个在家里检索特定物品的辅助机器人。在这种情况下，机器人必须搜索各种地方，包括通道狭窄、照明有限的橱柜。同样，在搜救中，特别是在地震或水下等灾难现场，环境将是未知的[5]，服务机器人必须主动感知现场并执行救援行动。远程操作的辅助机器人手术通常还需要内窥镜摄像头为远距离的外科医生创造密集的感知，以便他们高效地工作[6]。
深度学习的最新进展为使用3D卷积神经网络（3DCNN）[7]、PointNet++[8]和Transformers[9]等工具进行无模型、可扩展的机器人规划和控制开辟了道路，这些工具已被用于各种机器人运动[10]、视觉运动控制[1l]和规划任务[12]。另一种最近的方法NeRP[13]引入了一种模型预测控制（MPC）风格的算法，用于解决来自原始点云观测的未知对象的重排任务。受这些发展的启发，本文提出了一种基于高效、快速深度学习的主动传感技术，用于带有手持摄像头的机器人操作器，以重建具有任意未知物体的狭窄、杂乱的环境。
我们的方法以最小的摄影点探索给定的设置，同时最大限度地提高整体信息增益。它引入了新的基于深度神经网络的次优视点生成算法，该算法采用现有的场景表示，并为机器人操作员输出次优视点，以便在没有碰撞的情况下交互和观察底层复杂环境。我们的框架主动从给定的视点收集视觉RGBD观察结果，将其注册到场景表示中，并从其部分观察结果中推断出未知的物体形状，以避免在场景重建过程中机器人与给定环境的不必要交互。我们的主动神经传感方法的主要贡献和突出特征总结如下。
1）基于3DCNN的评分函数，该函数基于过去的观察和视点候选进行场景表示，以预测可能的场景覆盖范围，从而指导视点规划，防止与给定环境的不必要的机器人交互。
2）双层MPC风格的次优视点生成算法，利用我们的评分函数并收敛到视点序列，从而实现最大的场景覆盖。
3）基于变换器的视点序列建模和生成，用于快速场景重建，从而实现最少数量的视点和几乎实时的最大场景覆盖。我们在离线强化学习范式下，使用我们的评分函数指导的双层MPC算法的数据来训练这个模块[14]。
4） 场景配准框架将来自不同视点的信息组合成一个统一的场景表示，并执行神经场景推理，以从其部分3D点云中完成对象形状。场景完成还可以防止不必要的交互步骤，从而减少最大场景覆盖所需的视点数量。
5） 一种为底层规划和控制模块近似碰撞模型的策略，以防止机器人在运动执行过程中与未知的、部分观察到的环境发生自碰撞和碰撞，从而达到主动感知的给定视点。
6） 一个统一的快速主动传感框架，结合了视点生成和机器人控制方法，用于场景构建，其结果在复杂的模拟和现实世界的橱柜式环境中使用带有手持RGBD相机的6自由度机械手进行了演示。
PART.03实验
PART.04总结
在这篇文章中，我们提出了一种基于手势神经传感的新型机器人操作器方法，该方法可在未知、混乱的环境中工作。我们证明，我们的系统可以在模拟和现实世界的狭窄、橱柜式场景中使用最少的视点来探索未知的设置。与传统基线相比，结果在视点数量、场景覆盖成功率和总体规划时间方面表现出了很高的性能。尽管与先前的工作不同，我们的方法适用于复杂杂乱的现实世界场景，但它存在深度相机测量不准确和现有实例分割算法性能不佳的问题。因此，在我们的进一步研究中，我们计划通过引入对真实相机传感器的噪声深度测量具有鲁棒性的新型对象匹配方法来提高场景表示的质量。此外，在未来，我们还将研究我们提出的框架在使用蛇形机器人进行搜救任务中的应用，因为我们相信这些场景可以直接采用我们目前的方法进行灾难现场的主动感知。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉硬件
3D视觉学习圈子
「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
3D视觉全栈学习课程：www.3dcver.com
3D视觉交流群成立啦
添加微信：cv3d001,备注：方向+单位，邀请入群
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
3D视觉科技前沿进展日日相见 ~
扫一扫
5349
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
