无人驾驶-激光雷达与相机联合校准(Lidar Camera Calibration)

1.激光雷达与摄像头性能对比

在无人驾驶环境感知设备中,激光雷达和摄像头分别有各自的优缺点。


摄像头的优点是成本低廉,用摄像头做算法开发的人员也比较多,技术相对比较成熟。摄像头的劣势,第一,获取准确三维信息非常难(单目摄像头几乎不可能,也有人提出双目或三目摄像头去做);另一个缺点是受环境光限制比较大。


激光雷达的优点在于,其探测距离较远,而且能够准确获取物体的三维信息;另外它的稳定性相当高,鲁棒性好。但目前激光雷达成本较高,而且产品的最终形态也还未确定。


就两种传感器应用特点来讲,摄像头和激光雷达摄像头都可用于进行车道线检测。除此之外,激光雷达还可用于路牙检测。对于车牌识别以及道路两边,比如限速牌和红绿灯的识别,主要还是用摄像头来完成。如果对障碍物的识别,摄像头可以很容易通过深度学习把障碍物进行细致分类。但对激光雷达而言,它对障碍物只能分一些大类,但对物体运动状态的判断主要靠激光雷达完成。

2.激光雷达和摄像头分别完成什么工作

无人驾驶过程中,环境感知信息主要有这几部分:一是行驶路径上的感知,对于结构化道路可能要感知的是行车线,就是我们所说的车道线以及道路的边缘、道路隔离物以及恶劣路况的识别;对非结构道路而言,其实会更加复杂。


周边物体感知,就是可能影响车辆通行性、安全性的静态物体和动态物体的识别,包括车辆,行人以及交通标志的识别,包括红绿灯识别和限速牌识别。

对于环境感知所需要的传感器,我们把它分成三类:


感知周围物体的传感器,包括激光雷达、摄像头和毫米波雷达这三类;


实现无人驾驶汽车定位的传感器,就是 GPS 、IMU 和 Encoder;


其他传感器,指的是感知天气情况及温、湿度的传感器。


今天主要讲的是感知周围物体的传感器,即:激光雷达、毫米波雷达和摄像头。其实他们都有各自的优缺点。

在无人驾驶环境感知中,摄像头完成的工作包括:


*车道线检测;
*障碍物检测,相当于把障碍物识别以及对障碍物进行分类;
*交通标志的识别,比如识别红绿灯和限速牌。

对车道线的检测主要分成三个步骤:

第一步,对获取到的图片预处理,拿到原始图像后,先通过处理变成一张灰度图,然后做图像增强;

第二步,对车道线进行特征提取,首先把经过图像增强后的图片进行二值化( 将图像上的像素点的灰度值设置为 0 或 255,也就是将整个图像呈现出明显的黑白效果),然后做边缘提取;

第三步,直线拟合。

车道线检测难点在于,对于某些车道线模糊或车道线被泥土覆盖的情况、对于黑暗环境或雨雪天气或者在光线不是特别好的情况下,它对摄像头识别和提取都会造成一定的难度。

在无人驾驶中,激光雷达给摄像头填了哪些坑?| 硬创公开课

另一个是障碍物检测。上图是我们在十字路口做的实验,获取到原始图像后,通过深度学习框架对物体进行识别。在这当中,做训练集其实是主要的难点。

在无人驾驶中,激光雷达给摄像头填了哪些坑?| 硬创公开课

还有一个是道路标识的识别,这一部分的研究比较多,这里不再赘述。

### 激光雷达相机联合标定方法及工具 #### 背景介绍 激光雷达相机联合标定对于实现传感器融合至关重要,尤其是在自动驾驶和机器人视觉领域。这一过程旨在确定两个不同类型的传感器之间的几何关系,即求解它们间的旋转矩阵和平移向量[^2]。 #### 方法概述 联合标定时通常采用特定模式的目标物作为参照标准,比如棋盘格图案或特制的标定板。该目标物需被两种设备共同观测到以便建立对应点集间的关系模型。具体来说: - **数据采集阶段**:放置好带有已知尺寸特征的标准物体于场景内;分别利用摄像头拍摄图像以及LiDAR扫描获取三维坐标信息; - **匹配算法应用**:寻找并提取两组数据中的同名点(例如角点),进而计算外参参数——描述二者相对位置姿态变化规律的一系列数值集合,包括但不限于欧拉角表示法下的三轴转动角度θx, θy 和 θz 及沿各自方向上的位移d_x,d_y,d_z等[^1]。 #### 工具推荐 针对上述需求,在实际操作过程中可以选择多种软件平台来辅助完成这项工作: - **MATLAB**: 提供了一套完整的解决方案用于处理此类任务,内置函数支持读取来自各种品牌的LIDAR文件格式,并能方便地导入RGB图片序列进行后续分析。此外还有专门设计好的图形界面指导用户一步步走完整个流程。 - **ROS (Robot Operating System)**: 开源社区贡献了许多现成包帮助开发者快速搭建实验环境测试不同的校准策略效果如何。其中`calibration`仓库下就有不少实用的小工具可供选用尝试。 ```bash # ROS中安装camera_lidar_calibration包的例子 sudo apt-get install ros-noetic-camera-lidar-calibration ``` #### 实施步骤说明 虽然这里不建议使用诸如“首先”这样的引导词,但在阐述具体的实施细节时还是有必要按照逻辑顺序依次展开叙述各个要点。下面仅列举几个关键环节而不涉及先后次序: - 使用合适的硬件设施确保每次测量期间保持固定不变的距离间隔; - 对多视角条件下获得的数据样本做预处理去除噪声干扰因素影响最终精度; - 应用优化技术最小化重投影误差从而得到更加精确的结果估计值。
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值