YOLOV7旋转框

### YOLOv7 旋转边界框实现与应用 #### 特征提取网络 (Backbone 和 FPN) YOLOv7-OBB 基于改进后的 YOLOv7 架构，在骨干网 Backbone 提取多尺度特征图之后，通过特征金字塔网络（Feature Pyramid Network, FPN）进一步增强这些特征表示。最终获得三个不同分辨率的有效特征层[^3]。 ```python import torch.nn as nn class Backbone(nn.Module): def forward(self, x): # 骨干网络前向传播过程 pass class FPN(nn.Module): def __init__(self, backbone_channels): super(FPN, self).__init__() # 定义FPN结构 def forward(self, features): # 处理来自backbone的不同层次特征并返回强化后的特征列表 pass ``` #### 解耦头部设计 (Decoupled Head) 对于每个特征点上的先验框预测，YOLOv7-OBB 使用了一个解耦的1×1卷积来同时完成分类和回归任务。这种设计使得模型能够更精确地定位目标及其方向角。 ```python from torchvision.ops import box_convert def decoupled_head(feature_maps, num_classes=80, anchors_per_location=3): """ 对输入特征映射执行解码操作以获取类别分数和边框参数. 参数: feature_maps: 来自FPN的最后一级输出张量 num_classes: 类别数量 anchors_per_location: 每个位置处锚的数量 返回值: class_logits: 形状为[N,H,W,A,C]的概率分布矩阵, N=batch size; H/W=height/width of the map; A=#anchors per location; C=#classes including background. bbox_deltas: 同样形状但代表偏移量的数据立方体用于调整默认框的位置大小角度等属性. """ batch_size = feature_maps.size(0) height_width = feature_maps.size(-2), feature_maps.size(-1) conv_out = ... # 应用一系列convolutional layers here... class_logits = ... bbox_deltas = ... return class_logits.view(batch_size,-1,num_classes), \ bbox_deltas.reshape((batch_size,*height_width,anchors_per_location,5)) # [dx,dy,dw,dh,theta] ``` #### KLD Loss 的引入 为了更好地适应旋转矩形标注数据集的特点，YOLOv7-OBB 引入了Kullback-Leibler Divergence(KLD)作为新的损失函数组件之一。这有助于提高模型对倾斜对象检测精度的表现[^1]。 ```python import math from scipy.stats import multivariate_normal def kld_loss(pred_boxes, target_boxes): """计算两个box之间的KL散度""" pred_dist = multivariate_normal(mean=pred_boxes[:4], cov=[[pred_boxes[-1]]]*4).logpdf(target_boxes[:4]) true_dist = multivariate_normal(mean=target_boxes[:4], cov=[[target_boxes[-1]]]*4).logpdf(pred_boxes[:4]) kl_divergence = .5 * ((true_dist - pred_dist)).mean() return max(kl_divergence.item(), 0.) ``` #### 训练流程概览 整个训练过程中涉及到多个阶段的工作： - 数据预处理：读取图片文件并将它们转换成适合神经网络使用的Tensor形式； - 创建Dataset/Dataloader实例以便迭代访问样本批次； - 初始化上述提到的各种模块（Backbone、FPN以及Head），设置优化器Optimizer； - 进行正负样本匹配，并根据匹配结果构建Loss Function； - 执行反向传播更新权重直至收敛； 最后值得注意的是，当部署到实际应用场景时还需要考虑诸如非极大抑制(NMS)这样的后处理步骤来筛选出最有可能的目标候选区域。