yolov5 代码解读mosaic

### YOLOv5 Mosaic 数据增强代码解析 #### 1. Mosaic 增强概述 Mosaic 是一种数据增强技术，在YOLO系列算法中广泛应用。通过该方法，四张图像被拼接成一张大图并调整标注框的位置和大小，从而增加模型训练多样性，提升泛化能力[^1]。 #### 2. 实现细节 在 `datasets.py` 文件内实现了具体的逻辑： ```python def load_mosaic(self, index): labels4 = [] s = self.img_size yc, xc = [int(random.uniform(-x, 2 * s + x)) for x in [s // 2]] # center x, y ``` 这段代码负责初始化一些变量用于后续操作，其中 `yc`, `xc` 表示新合成图像中心坐标位置；而`s=self.img_size`则代表最终输出的目标尺寸。 接着加载四个不同索引对应的图片及其标签信息，并将其放置于适当位置形成新的复合图形: ```python for i in range(4): # Load image img, _, (h, w) = self.load_image(i) # place img in img4 if i == 0: # top left img4 = np.full((s * 2, s * 2, img.shape[2]), 114, dtype=np.uint8) # base image with 4 tiles x1a, y1a, x2a, y2a = max(xc - w, 0), max(yc - h, 0), xc, yc # xmin, ymin, xmax, ymax (large image) x1b, y1b, x2b, y2b = w - (x2a - x1a), h - (y2a - y1a), w, h # xmin, ymin, xmax, ymax (small image) elif i == 1: # top right x1a, y1a, x2a, y2a = xc, max(yc - h, 0), min(xc + w, s * 2), yc x1b, y1b, x2b, y2b = 0, h - (y2a - y1a), min(w, x2a - x1a), h elif i == 2: # bottom left x1a, y1a, x2a, y2a = max(xc - w, 0), yc, xc, min(s * 2, yc + h) x1b, y1b, x2b, y2b = w - (x2a - x1a), 0, w, min(y2a - y1a, h) elif i == 3: # bottom right x1a, y1a, x2a, y2a = xc, yc, min(xc + w, s * 2), min(s * 2, yc + h) x1b, y1b, x2b, y2b = 0, 0, min(w, x2a - x1a), min(y2a - y1a, h) img4[y1a:y2a, x1a:x2a] = img[y1b:y2b, x1b:x2b] # img4[ymin:ymax, xmin:xmax] padw = x1a - x1b padh = y1a - y1b # Labels labels = targets.copy() if nl: labels[:, 1:] = xywhn2xyxy(labels[:, 1:], w, h, padw=padw, padh=padh) # normalized xywh to pixel xyxy format labels4.append(labels) ``` 上述片段展示了如何将每张子图嵌入到由全零数组创建的大画布(`img4`)之中，并相应地更新边界框参数以适应变换后的新布局。 最后一步是对所有收集起来的对象标记执行必要的转换，使其适用于整个马赛克图像空间内的表示形式： ```python if len(labels4): labels4 = np.concatenate(labels4, 0) np.clip(labels4[:, 1:], 0, 2 * s, out=labels4[:, 1:]) # use with random_perspective img4, labels4 = random_perspective(img4, labels4, degrees=self.hyp['degrees'], translate=self.hyp['translate'], scale=self.hyp['scale'], shear=self.hyp['shear'], perspective=self.hyp['perspective'], border=self.mosaic_border) # border to remove return img4, labels4 ``` 此部分不仅完成了对目标边界的裁剪处理，还引入了额外的角度旋转、缩放和平移等仿射变化作为进一步的数据扩充手段。