yolo ZED相机

### 将YOLO与ZED相机集成用于物体检测 #### 集成概述 将YOLO与ZED立体摄像头相结合可以显著提升目标检测的效果，特别是在三维空间中的位置估计方面。YOLO作为一种高效的实时目标检测算法，在单次前向传播中即可完成目标的检测和定位[^1]。而ZED相机则提供了双目视觉功能，能够捕捉深度信息并生成3D点云图。 #### 实现方法 为了实现两者的无缝对接，通常会利用官方提供的SDK来访问来自ZED设备的数据流，并将其传递给预训练好的YOLO模型进行处理： - **初始化设置** 安装必要的库文件以及依赖项之后，开发者可以通过Python或C++接口连接至ZED SDK，从而获得视频帧及其对应的深度图。 - **数据预处理** 获取到的画面需按照特定尺寸调整大小以便输入网络；同时也要确保色彩模式一致（比如BGR转换为RGB）。对于某些版本如YOLOR或其他改进版可能还需要额外准备一些参数配置文件。 - **推理过程** 使用加载完毕后的权重文件启动神经网络预测流程，针对每一帧执行边界框绘制操作以标注出所发现的目标实例。值得注意的是，由于ZED能提供每一点的距离测量值，因此可以在原有基础上进一步增强输出结果——即除了常规的位置外还附带高度、宽度等物理量描述。 - **后端展示** 经过上述步骤得到的信息最终会被渲染出来供用户查看。这一步骤涉及到图形界面的设计，包括但不限于窗口布局规划、交互逻辑定义等方面的工作。 ```python import pyzed.sl as sl from ultralytics import YOLO def main(): # Initialize camera parameters init_params = sl.InitParameters() # Create a Camera object with these settings. cam = sl.Camera() status = cam.open(init_params) if not status.is_success(): print(f"Camera Open : {status}") exit(1) runtime_parameters = sl.RuntimeParameters() image_left = sl.Mat() depth_map = sl.Mat() model = YOLO('yolov8n.pt') # Load pre-trained weights while True: err = cam.grab(runtime_parameters) if err == sl.ERROR_CODE.SUCCESS: cam.retrieve_image(image_left, sl.VIEW.LEFT) cam.retrieve_measure(depth_map, sl.MEASURE.DEPTH) img_array = image_left.get_data()[:, :, :3] results = model(img_array) # Perform inference on current frame for result in results: boxes = result.boxes.cpu().numpy() for box in boxes: r = box.xyxy[0].astype(int) x_center = (r[0]+r[2]) / 2 y_center = (r[1]+r[3]) / 2 distance_to_object = depth_map.get_value(y_center, x_center)[1] print(f'Object detected at ({x_center}, {y_center}) Distance: {distance_to_object} meters') if __name__ == "__main__": main() ``` 该脚本展示了如何读取由ZED采集到的颜色图像作为YOLOv8模型的输入源，并从中提取感兴趣区域内的平均深度值来进行简单的距离计算[^2]。