本文介绍了两种基于点云的3D对象检测方法：PointRCNN和PointPainting。PointRCNN不依赖投影或体素化，通过两阶段策略直接处理点云，实现高效高质量的3D提案生成。在Stage-1中，它对点云进行前景点和背景点分割，然后在Stage-2中进行提案优化。PointPainting则提出了序列融合策略，通过融合不同信息来提升3D检测性能。这两种方法都在Kitti数据集上进行了实验验证。
PointRCNN
PointPainting
代表1：PointRCNN
不投影，不体素化，直接处理点云。
stage-1将整个场景的点云分割为前景点和背景点，以自下而上的方式直接从点云生成少量高质量的3D提案，比以前的方案生成方法具有更高的召回率；
Stage-2阶段将语义特征和局部空间特征结合起来，在规范坐标中对提案进行了优化。
实验数据：Kitti数据集的3D检测数据。
a. Bottom-up 3D Proposal Generation
- backbone提取每个点云特征：backbone可以是带有msg（multi-scale grouping）的pointnet++，也可以是VoxelNet；
- 前景点分割：点云二分类，用focal loss解决前景点与背景点的分布不均衡问题；
- 基于bin的三维边界框生成：X,Z轴平行于地面，沿着X和Z轴将每个前景点的周围区域分割成一系列离散的box，判断中心点是否在bin内。作者将回归问题转化为分类问题，使用基于交叉熵损失的bin分类，而不是使用平滑L1损失的直接回归，可以获得更精确和稳健的中心定位。
b. Canonical 3D Box Refinement
- 利用上一步得到的proposal，稍微扩大一定的大小，获得更大的context信息；
- 依据3D框将提取框内的点云信息，具体的，将相应的点的原始特征和segmentation task提取的特征进行融合（concat)；
- 正交变换：融合前将将每个方案的集合点转换为规范坐标，即转到每个box的局部坐标系中，将局部坐标与语义特征融合；
- 编码特征，进行分类和bin的回归。这里的bin和上一阶段一样，依然是分类问题。
论文地址：https://arxiv.org/abs/1812.04244
代码地址：https://github.com/sshaoshuai/PointRCNN
代表2：PointPainting
PointPainting: Sequential Fusion for 3D Object Detection
扫一扫
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
