yolo11添加SAM

### 集成 SAM 到 YOLOv11 的方法 为了在 YOLOv11 中集成 Segment Anything Model (SAM)，可以考虑以下方式来实现目标检测和实例分割的功能。以下是具体的方法描述： #### 方法概述 YOLOv11 是一种高效的实时目标检测框架，而 SAM 提供了一种灵活的图像分割能力。通过结合两者的优势，可以在保持高推理速度的同时获得高质量的分割结果。 --- #### 步骤一：加载预训练模型 首先需要分别加载 YOLOv11 和 SAM 模型。假设已经下载了 `yolo11x-seg.pt` 和 SAM 的权重文件（如 `sam_vit_h_4b8939.pth`），可以通过如下代码完成初始化[^2]: ```python from ultralytics import YOLO import torch from segment_anything import sam_model_registry, SamPredictor # 加载 YOLOv11 检测模型 model_yolo = YOLO('yolo11x-seg.pt') # 初始化 SAM 模型并设置设备 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") sam_checkpoint = "sam_vit_h_4b8939.pth" model_type = "vit_h" sam = sam_model_registry[model_type](checkpoint=sam_checkpoint).to(device) predictor = SamPredictor(sam) ``` 上述代码实现了两个核心模块的加载，并确保它们能够在同一环境中运行。 --- #### 步骤二：融合两者的预测逻辑 接下来，在实际应用中，先利用 YOLOv11 进行目标检测，获取边界框坐标；随后将这些边界框传递给 SAM 模型以生成精确的分割掩码。完整的流程如下所示： ```python import cv2 import numpy as np def yolov11_sam_pipeline(image_path): image = cv2.imread(image_path) # 使用 YOLOv11 获取检测结果 results = model_yolo.predict(source=image, conf=0.5)[0] boxes = [] for result in results.boxes.xyxy.cpu().numpy(): box = list(map(int, result)) boxes.append(box) # 存储边界框信息 predictor.set_image(image) # 设置输入图片到 SAM Predictor masks_all = [] for i, bbox in enumerate(boxes): input_box = np.array(bbox) mask, _, _ = predictor.predict( point_coords=None, point_labels=None, box=input_box[None, :], multimask_output=False, ) masks_all.append(mask.squeeze()) # 收集所有分割掩码 return masks_all, boxes ``` 此函数定义了一个管道机制，其中： - **YOLOv11** 负责提供初步的目标位置； - **SAM** 基于这些位置进一步细化分割结果。 --- #### 步骤三：保存或可视化结果 最后一步是对生成的结果进行处理，例如将其保存为文件或者绘制出来以便观察效果。下面是一个简单的例子用于展示最终输出： ```python def visualize_results(image_path, masks, bboxes): image = cv2.imread(image_path) for idx, (mask, bbox) in enumerate(zip(masks, bboxes)): color_mask = np.random.randint(0, 256, size=(image.shape), dtype=np.uint8) masked_image = np.where(np.expand_dims(mask, axis=-1), color_mask, image) combined = cv2.addWeighted(image, 0.7, masked_image, 0.3, 0) x_min, y_min, x_max, y_max = bbox cv2.rectangle(combined, (x_min, y_min), (x_max, y_max), (0, 255, 0), thickness=2) text_position = (x_min, y_min - 10) cv2.putText(combined, f'Object {idx}', text_position, cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2) cv2.imshow("Result", combined) cv2.waitKey(0) cv2.destroyAllWindows() ``` 调用该函数即可查看带有标注边界的分割效果图。 --- ### 总结 以上方案展示了如何无缝衔接 YOLOv11 和 SAM 来增强目标检测中的分割性能。这种方法不仅保留了 YOLOv11 的高效性，还借助 SAM 达到了更精细的像素级分类精度[^1]。 ---