KITTI数据集点云与图像

### KITTI 数据集中的点云与图像处理 #### 理解KITTI数据结构 KITTI数据集提供了丰富的传感器数据，包括激光雷达（LiDAR）、相机、GPS/IMU等。其中，点云数据来自Velodyne LiDAR，而图像是由多个摄像头捕获的同步彩色图像。为了有效地利用这些多模态的数据源，理解其内部结构至关重要[^1]。 #### 加载并解析原始数据 要开始处理KITTI数据集中的点云和图像信息，首先需要加载相应的文件。对于点云而言，通常是以二进制格式存储；而对于图像，则为常见的PNG或JPEG格式。MATLAB脚本`run_demoVelodyne.m`展示了如何读取这两种类型的文件，并执行初步的操作如显示点云或绘制图像边界框。 ```matlab % Load Velodyne point cloud data from binary file veloFile = fullfile(dataPath, 'velodyne', sprintf('%010d.bin', frameIdx)); pointCloudData = fread(fopen(veloFile,'r'), '*float32'); ``` #### 将点云投影至二维平面 通过校准参数矩阵，可将三维空间内的点映射到对应的像素位置上。此过程涉及到坐标变换以及透视投影计算。官方提供的Matlab工具包内含函数用于完成这一转换操作，使得开发者能够轻松地把点云投射到任意视角下的摄像机视窗中去。 ```matlab % Project points into camera coordinates using calibration parameters P_rect_00 = kittiCalib.P_rect_00; % Projection matrix for rectified image plane (cam 0) R_rect_00 = kittiCalib.R_rect_00; % Rectification rotation matrix (cam 0 -> cam 0') Tr_velo_to_cam = kittiCalib.Tr_velo_to_cam; % Transformation from velodyne to camera coordinate system % Transform lidar points into the reference camera's coordinate space. pointsInCamCoords = R_rect_00 * Tr_velo_to_cam * [xyzPoints'; ones(size(xyzPoints,1),1)]; % Apply projection transformation and normalize homogeneous coordinates. uv_homogeneous = P_rect_00 * pointsInCamCoords; uv_normalized = uv_homogeneous ./ repmat(uv_homogeneous(end,:), size(uv_homogeneous,1), 1); ``` #### 可视化融合后的结果 一旦完成了上述步骤之后，便可以在同一张画布上面同时展示出点云及其对应于各帧视频画面的位置关系。这不仅有助于直观感受两者之间的关联性，同时也为进一步分析奠定了良好基础[^2]。 ```python import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D fig = plt.figure(figsize=(18,9)) ax_img = fig.add_subplot(121); ax_pcl = fig.add_subplot(122,projection='3d') # Display Image with projected Lidar Points overlayed on top of it img = cv2.imread(imageFilePath) for i in range(len(points)): u,v,_=project_lidar_point(lidar_points[i],calibration_matrices) if inside_image_bounds((u,v)): color = colormap[lidar_intensity_values[i]] img[int(v)][int(u)] = color ax_img.imshow(img) # Plot Point Cloud Data alongside corresponding Camera Viewport ax_pcl.scatter(*lidar_points.T,c=lidar_colors,s=.5,alpha=.75) plt.show() ```