yolo v5 中 letterbox对不规则矩形框的输入调整

在对数据或特征的处理中，为了避免输入图像或特征，经过resize等等操作，改变了目标特征的尺度信息，一般会引入一些操作，比如：

1. 在特征维度，加入SPP（空间金字塔池化），这样不同大小的输入图像，经过该层的处理，输出大小都保持了一致
2. 在输入图像阶段，也可以先采用pad的操作，补齐输入图像，避免变形

本文，就是借鉴yolo系列对输入图像前处理的一个操作，对不同大小的图像，先经过长边等比例resize后，pad到一样大小的尺寸。

具体的操作代码如下：

import cv2
import numpy as np
import matplotlib.pyplot as plt
import xml.etree.ElementTree as ET

def parse_xml(path):
    tree = ET.parse(path)
    root = tree.findall('object')
    class_list = []
    boxes_list = []

    for sub in root:
        xmin = float(sub.find('bndbox').find('xmin').text)
        xmax = float(sub.find('bndbox').find('xmax').text)
        ymin = float(sub.find('bndbox').find('ymin').text)
        ymax = float(sub.find('bndbox').find('ymax').text)
        boxes_list.append([xmin, ymin, xmax, ymax])
        class_list.append(sub.find('name').text)

    return class_list, np.array(boxes_list).astype(np.int32)

def letterbox(img, new_shape=(640, 640), color=(114, 114, 114), auto=True, scaleFill=False, scaleup=True, stride=32):
    """
    用于将输入的图像进行长边resize和填充，以满足一定的约束条件。函数的输入参数包括：

    im：输入的图像，可以是任意尺寸和通道数的numpy数组。
    new_shape：目标尺寸，可以是一个整数或一个元组。如果是一个整数，则表示将图像resize成一个正方形；如果是一个元组，则表示将图像resize成指定的宽度和高度。
    color：填充颜色，可以是一个整数或一个元组。如果是一个整数，则表示使用灰度值为该整数的像素进行填充；如果是一个元组，则表示使用RGB颜色值进行填充。
    auto：是否启用自动计算填充大小。如果为True，则会根据指定的stride值计算最小的填充大小，以满足长宽比和stride倍数的约束条件；如果为False，则会根据指定的scaleFill和scaleup参数计算填充大小。
    scaleFill：是否启用拉伸填充。如果为True，则会拉伸图像以填满目标尺寸；如果为False，则会根据指定的scaleup参数决定是否缩放图像。
    scaleup：是否允许放大图像。如果为True，则允许将输入图像放大到目标尺寸；如果为False，则只能将输入图像缩小到目标尺寸。
    stride：stride值，用于计算最小填充大小。
    """
    # Resize image to a 32-pixel-multiple rectangle https://github.com/ultralytics/yolov3/issues/232
    shape = img.shape[:2]  # current shape [height, width]
    if isinstance(new_shape, int):
        new_shape = (new_shape, new_shape)

    # Scale ratio (new / old)
    r = min(new_shape[0] / shape[0], new_shape[1] / shape[1])   # 短边ratio
    if not scaleup:  # only scale down, do not scale up (for better test mAP)
        r = min(r, 1.0)

    # Compute padding
    ratio = r, r  # width, height ratios
    new_unpad = int(round(shape[1] * r)), int(round(shape[0] * r))
    dw, dh = new_shape[1] - new_unpad[0], new_shape[0] - new_unpad[1]  # wh padding
    if auto:  # minimum rectangle
        dw, dh = np.mod(dw, 64), np.mod(dh, 64)  # wh padding
    elif scaleFill:  # stretch
        dw, dh = 0.0, 0.0
        new_unpad = (new_shape[1], new_shape[0])
        ratio = new_shape[1] / shape[1], new_shape[0] / shape[0]  # width, height ratios

    dw /= 2  # divide padding into 2 sides
    dh /= 2

    if shape[::-1] != new_unpad:  # resize
        img = cv2.resize(img, new_unpad, interpolation=cv2.INTER_LINEAR)
    top, bottom = int(round(dh - 0.1)), int(round(dh + 0.1))
    left, right = int(round(dw - 0.1)), int(round(dw + 0.1))
    img = cv2.copyMakeBorder(img, top, bottom, left, right, cv2.BORDER_CONSTANT, value=color)  # add border
    return img, ratio, (dw, dh)

def main(imgPath, drawBox_flag = True):
    xmlPath = imgPath[:-3] + 'xml'
    print(xmlPath, imgPath)

    img = cv2.imread(imgPath)
    labels, boxes = parse_xml(xmlPath)
    print(labels, boxes)

    img2, ratio, pad = letterbox(img.copy(), new_shape=(512, 512), auto=False, scaleup=True)

    sample1 = img.copy()    # origin image
    sample2 = img2.copy()   # after letterbox image
    print(sample1.shape, sample2.shape)
    if drawBox_flag:
        new_boxes = np.zeros_like(boxes)
        new_boxes[:, 0] = ratio[0] * boxes[:, 0] + pad[0]  # pad width
        new_boxes[:, 1] = ratio[1] * boxes[:, 1] + pad[1]  # pad height
        new_boxes[:, 2] = ratio[0] * boxes[:, 2] + pad[0]
        new_boxes[:, 3] = ratio[1] * boxes[:, 3] + pad[1]
        print(new_boxes)

        for box in boxes:
            cv2.rectangle(sample1, (box[0], box[1]), (box[2], box[3]), (255, 0, 0), 1)

        for box_n in new_boxes:
            cv2.rectangle(sample2, (box_n[0], box_n[1]), (box_n[2], box_n[3]), (0, 255, 0), 1)


    plt.subplot(121)
    plt.imshow(sample1)
    plt.subplot(122)
    plt.imshow(sample2)
    plt.show()

    # cv2.imwrite(r'F:\labelImg\1.jpg', sample1)
    # cv2.imwrite(r'F:\labelImg\2.jpg', sample2)

if __name__ == '__main__':
    imgPath = r'F:\labelImg\catDog.jpg'
    main(imgPath, drawBox_flag=True)

展示结果如下：

上面图像的尺寸比较的大，超过了512大小。而低于小于512大小的图像，是如何的呢？

scaleup：是否允许放大图像。

• 如果为True，则允许将输入图像放大到目标尺寸；
• 如果为False，则只能将输入图像缩小到目标尺寸。

当scaleup=False时，如下，可以发现，原始图像并没有被放大，而是直接pad操作了。这是因为为scaleup=False时，只能将输入图像缩小到目标尺寸，无法先放大操作：

而当scaleup=True时，如下，就发现他是先放大，然后再进行pad操作：

可以发现，

• scaleup设定为False时候，只会对大于new shape的图像，进行缩放pad；
• 当为True时，就不在only scale down, do not scale up了，适用的范围更广。注释里面说是为了better test mAP。