qq_36130719的博客

在CNN中，特征提取是一层一层进行的，不同数据样本之间在各个层级的特征可能 存在相关性，比如针对不同频段和平台的SAR图像数据，由于其成像机制相同，在 各个特征层级之间会存在较大的相似性，因此可以根据其共享特征来进行迁移训练。算法通过使用多个不同频段不同平台得到的SAR图像源域数据训练网络模型， 为目标域训练提供可迁移的网络权重，对比不同源域与目标域的相似程度，相近的数 据源使用较大的权重，使其对目标域的网络模型训练提供更多的辅助作用，对差异较 大的数据源使用较少的权重弱化其对目标域检测性能的影响。

在预测方面，利用了Faster R-CNN中的锚框方 法，并且算法中加入了设置先验框操作，对大尺寸目标设置一个先验框，其他尺寸设 置四个长宽比不同的先验框，通过利用这样的先验信息，使目标检测精度明显提升。下采样倍数较大时，原始的特征信息会出现丢失问题，小 目标的检测效果变差。基于深度学习的目标检测算法利用CNN完成特征提取，通过这种特征提取的方 式可以自发检测及分类待检测图像包含的特征信息，同时利用CNN能将原始输入的 低维图像信息转化为更高维、更抽象的特征信息，适用于复杂场景的目标检测中[ 55]。

面对机载平台下单一传感器在恶劣环境中的观测性能下降的难题，利用多源传感 器集成观测技术可以形成优势互补，保障机载平台高可靠、高精度、全天候观测。因 此，多源融合观测系统在灾情搜救、自然灾害评估、军事目标侦查等领域都发挥着不 可替代的作用。在机载平台的多源观测系统中，获取的数据具有复杂性、多样性，如 何在不同传感器得到的不同背景环境、不同成像分辨率中融合各个传感器的观测优势， 准确快速地检测出特定目标是目前研究的难题。

YOLOv13是YOLO系列的最新版本，专门针对目标检测任务进行优化。该模型能够实时检测图像中的目标对象并生成精确的边界框。需要注意的是，目前YOLOv13主要支持检测任务。如需进行其他计算机视觉任务（如分割、姿态估计等），建议使用功能更全面的YOLO11版本。YOLOv13提供了多种规模的模型架构以适应不同的应用场景和性能需求。模型规模从小到大依次为Nano (N)、Small (S)、Medium (M)、Large (L)和eXtra Large (X)。

针对检测精度较低的事件， 本文系统需要进一步丰富样本，提高目标的检测精度，在此基础上进一步优化判断逻辑， 避免误检漏检的情况发生。接下来对系统中的检测模块及存储模块功能进行测试，在正确载入视频数据后，点 击开始按钮即开始进行检测及存储任务，单相机图像目标检测测试结果如图5.8所示， 在多路视频接入的情况下也能正确的完成目标检测任务，将检测结果实时存储到数据库 中，并将结果正确的显示在图像上，接入12路监控视频的多相机图像目标检测测试结 果及接入16路监控视频的多相机图像目标检测测试结果如图5.9所示。

研究问题：目标检测作为计算机视觉领域的核心任务之一，需要在最小延迟下实现对图像中物体的定位与分类。然而，现有的YOLO系列模型（如YOLO11及之前的版本）主要依赖卷积架构进行局部信息聚合，而YOLOv12虽然引入了基于区域的自注意力机制，但仍受限于成对像素相关性的建模能力，无法捕捉全局多层次高阶相关性，在复杂场景中表现存在瓶颈。因此，如何突破这些限制以提升检测精度和鲁棒性，成为亟待解决的问题。

数据集准备推荐使用KITTI3或RTTS（雾天场景）标注工具：LabelImg/Roboflow（YOLO格式）YOLOv8微调SSD迁移学习from torchvision.models.detection import SSD # 修改分类头（适配自定义类别数） model = SSD(num_classes=10, backbone='mobilenet_v3')边缘部署优化TensorRT加速（Jetson平台）

近年来，我国国民拥有汽车数目呈现快速上升的趋势，截至2021年底，全国机 动车保有量达3.95亿辆。机动车给人们的出行带来了极大便利，但日益拥挤的交通状况和频繁发生的交通事故也逐渐成为了人们出行的难题。在越来越复杂的交通环境下人们常常需要根据自己的经验选择合适的出行路线 以及面对道路上的各种突发状况，即使是经验丰富的驾驶员依旧会遇到各种不可预知 的危险。随着大数据、人工智能等计算机技术的发展，智慧城市、自动驾驶等技术手 段为缓解交通压力以及交通安全问题提供了新的解决办法[1]。

本章将对目标检测算法部分展开深入研究，重点选择并改进了目前在各种开发 板上速度与精度都表现优异的一阶段目标检测算法SSD。改进分为两个主要部分， 一是对神经网络部分加入了现场画面进行域适应训练，以及对于计算量的优化设 计，从神经网络部分提升目标检测的精度和推理速度。二是将目标检测算法检测出 的目标送入ECO跟踪算法中，在短时间内快速预测其目标在下一帧的位置信息， 以便优化目标检测的实时性。同时，由于跟踪过程中对目标检测具有连续性，因此 该方式在目标检测算法的漏检问题上也有一定的缓解。

由相机成像原理中可知，相机所成图像会在转换过程中丢失掉世界真实目标 的深度信息，即距离信息。所以目前在单个普通相机摄像头的条件下，一般为利用 多视角下图像中的匹配目标来获取相机的转换矩阵参数或者使用不同视角下目标 坐标转换矩阵，将目标的像素点坐标转化为三维坐标或者转换成特殊视角下的坐 标如俯视视角。从而获取距离信息，如图3-1所示。

本章将对测距与目标检测及跟踪相关算法的基本原理与概念加以阐述，首先 介绍测距算法中相机的成像原理，以及运动结构恢复算法SFM（Structrue From Motion）的原理以及卡尔曼滤波原理。其次是，对SSD上目标检测框的生成原理 进行介绍，域适应方法概念的介绍以及ECO跟踪算法的概述。目标检测算法主要有两种方式的检测方法,其一是精度较低但速度较快的一阶 段目标检测计算,其二是准确性较高而速率缓慢的二阶段目标检测计算。

本文提出了一种名为GCRANet的RGB图像显著目标检测算法，并与15种先进算法进行了定性和定量对比。定性分析显示，GCRANet在各种复杂场景下均能有效突出显著目标并抑制背景噪声。定量分析表明，GCRANet在PR曲线、F-Measure值、S-Measure值和MAE值等指标上均优于对比算法，尤其在F-Measure值上表现突出。此外，GCRANet的检测速度达到29FPS，仅次于RANet和POOLNet，但在检测精度上显著优于RANet。总体而言，GCRANet在显著目标检测任务中表现出色，具有较高

本文探讨了空间和通道注意力机制的融合及其在显著目标检测中的应用。空间注意力机制关注图像的空间信息，而通道注意力机制则聚焦于通道信息。通过融合这两种机制，如卷积块注意力模型（CBAM），可以提升网络在通道和空间维度上的特征提取能力。本文设计了一个残差注意力模块，结合了空间和通道注意力，以处理不同分辨率和通道数的特征。此外，文章还讨论了多特征融合策略，通过融合不同层次的特征（如高层语义信息和低层细节信息）来提高显著目标检测的性能。在RGB-D显著目标检测中，文章提出了前期、后期和多尺度融合策略，以有效融合RGB

随着互联网和人工智能的快速发展，图像和视频处理在计算机视觉领域的重要性日益增加。显著目标检测作为模拟人类视觉机制的技术，能够识别并精确分割图像中最引人注目的目标区域，对高级计算机视觉任务如语义分割、图像检索、目标跟踪等具有重要应用价值。文章详细介绍了显著目标检测的两个主要阶段：显著前景目标的检测和精确区域的分割，并探讨了该技术在工业、医学和日常生活等领域的广泛应用。此外，文章还讨论了RGB和RGB-D图像在显著目标检测中的应用，以及深度学习技术在此领域的进展和挑战。最后，提出了两种新

为了评估网络对交通目标检测性能，在本节使用BDD100K数据集[34]作为训练集 和验证集。BDD100K数据集是用于无人驾驶研究的开源数据集，是目前无人驾驶领 域公开的最大规模、标签种类最多、信息最丰富的数据集，它包含了10万个视频数 据，涵盖了无人驾驶方向的10个任务，标签涵盖了目标检测、车道线标记、驾驶区 域、视频跟踪等，并且数据中包含了GPS、IMU等信息，涵盖了雨雪、夜晚、白天等 各种天气和时间的路况情景。

深度学习作为机器学习的一部分，经历了一段时间的发展，现在已经成为研究热 门和趋势，其在计算机视觉领域的应用取得了显著的成绩。本章主要介绍深度学习的 基础理论和常用的卷积神经网络CNN（Convolution Neural Network），为无人驾驶视 觉感知系统的实现奠定理论基础。

为验证本文改进算法的可行性，本文在完成公共视频测试集的仿真实验之后进行机器人目标检测实验。以仿人机器人NAO作为硬件平台，如图2-13所示。NAO机器人拥有额头处和下颌处两个摄像机镜头，分别用于远景和近景的采集，两个摄像头不可以 同时启动。本文采用机器人额头处的单目摄像头作为视觉传感器获取运动目标及场景相关信息，并确保运动目标出现在机器人视野内。通过PC端实时接收机器人NAOqi系统 中的ALVideoDevice视频图像传输模块所采集的视频数据，然后运用检测算法获取机器人视野中的运动目标。

计算机视觉[1-4]作为一门包括图像处理、机器学习、模式识别等辅助领域在内的综合 性学科，其主要目的是由摄像机、摄像头、计算机等视频图像采集设备获取场景中的信 息，然后将这些信息转换为数字信号的形式进行下一步处理，并将其呈现为更加容易被 人理解的形式。计算机视觉作为获取周围环境中相关信息的关键技术，近年来引起了国 内外众多学者的关注。

可以看出，从第699帧开始，渔船1逐渐被客船2 遮挡，直至完全遮挡，在第1036帧，被遮挡的渔船1重新出现，ID变为3，此时客船4 逐渐驶离岸边，从第1036帧到第1592帧，客船2和渔船3相继离开视野，之后，客船4 继续驶向对岸。在视频2中，仅因为渔船被长时间遮挡发生了1次ID切换，其余过程均 跟踪正常，在客船2靠岸的过程以及客船4离岸并驶向对岸的过程中，船舶因转向发生了严重的形变，但均能够被改进中心点算法正确检测，因此，中心点检测算法的引入大幅提 升了跟踪算法的跟踪准确率。

中国海岸线漫长，国土面积巨大，具有得天独厚的内河以及海洋航运条件，为能源运 输、进出口贸易发展提供了便利。随着社会经济快速发展，以长江、珠江、淮河等水系为 主体，我国内河航运建设与发展取得了显著成效，港航基础设施和运输规模位居世界前列， 已成为综合运输体系的重要组成部分[1]。2020年交通运输部在《内河航运发展纲要》中 指出，未来15年里，将继续开发千吨级内河航道，增加内河运输货物周转量，缩短重要 航道和港口应急时间，增加投入使用新能源和清洁能源船，并使用人工智能技术促进内河 航运信息化发展。

知识拓展6.2.3主干网络对比分析汇总上述有效的改进方案，我们最终构建了完整的特征融合加强的主干网络SFEDNet。为了从精度与速度方面分析改进的综合效果，本节将从主干网络整体的角度，进行SFEDNet与其他主流主干网络之间的对比实验。这里依然以一阶段检测算法YOLOv3为框架，通过主干网络的替换得到不同的检测算法，以其在小目标任务上的表现来评价对应主干网络的性能。由表6.3的对比分析可知，我们的SFEDNet主干网络在所有的精度指标上都取得了最高，这表明了TDL。

具有重要的应用价值，受到了人们越来越多的关注，其对于检测算法提出的主要包括如下两。的特征信息进行检测，这种设计缺少对浅层信息的融合，导致其在小目标检测方面性能不佳。的不同作用，验证小目标检测算法进行多级特征融合的必要性，同时针对特征融合效果相对。较好的主干网络进行融合效率与检测性能的分析，并发现其在小目标检测任务中的问题，进。而提出针对性的特征融合策略改进方案，以突破当前小目标检测算法在特定任务场景下的技。种模块级的特征融合结构并应用于改进后的密集连接模块，构造浅层特征高效融合的小目标。

在上一章中，介绍了基于深度学习的目标检测与计数方法，本文对目标检测与计数任 务采取了先检测后计数的步骤，由于通用的目标检测算法在特征学习过程中产生了多次下 采样，在下采样过程中容易造成小目标特征丢失，导致小目标检测精度不高，对于无人机 视角下的目标检测表现并不优秀。为此本章设计了基于改进YOLO v4算法的露天目标检测 模型。

无人机在一系列民用领域如农林植保、生产监控、地理测绘、治安巡查、应急救援等领 域应用广泛。随着硬件性能的不断提高，无人机和计算机视觉技术的联系日益紧密。与街道 固定的摄像头相比，无人机有着更强的灵活性，能够对任意范围的公共场所、工厂、道路交 通进行监控和侦查，而露天目标特别是人群和车辆的检测与计数是无人机在应急救援、生产 监控、治安巡查等领域的重要研究方向之一，具有重要的研究意义。

上节阐述的共生滤波可以平滑纹理方面处理的更加优秀，同时清晰保留了纹理之间的边 界。本小节介绍基于金字塔共生特征架构的红外小目标检测算法，算法的整体框架如图3.2 所示。 首先，定义自适应结构元素。因为不同的结构元素对最终的平滑效果影响很大，而红外 小目标的所占像素相对于背景而言是很少的，所以结构元素的尺寸不易过大。考虑到本文所 使用的数据集中，小目标所在区域的长宽都不超过7个像素点，所以采用7×7的菱形结构元 素，结构元素如图3.3所示。图中标红的为结构元素中心位，通过这个结构元素对原图进行 遍历，获得当

在信息社会以及计算机算力的快速发展下，对于数据处理的实时性和准确性要求也越来 越高。伴随着人工智能这一技术领域的出现，使得在一些特定场景下，计算机视觉可以承担 人类的部分视觉工作任务。计算机视觉的含义是使用计算机对生物视觉的一种模拟，更准确 的说，就是用摄像头代替人眼的部分工作，对待检测目标进行测量、识别和追踪等任务，并 使用计算机处理采集到的图像或视频信息，其最终目标就是使计算机能够像人脑一样具有观 察理解信息流的能力。

3.3.1实验平台搭建在算法训练过程中，网络的学习能力与效率，与相应参数的设置相关，而每 一次参数设置都伴随着百亿次的浮点数运算，因此每一次网络的训练都需要消耗大量的时间。本课题在64位的WINDOWS 10系统，选用tensorflow和darknet框 架训练网络模型，依赖的库有OpenCV3.5、numpy等，CPU为Intel(R)Xeon(R) CPU E5-2667 [email protected]，GPU为NVIDIA Ge Force RTX 3090。

随着科学技术与人工智能的不断发展，无人机的使用给人们的日常生活和工 作提供了巨大的便利。无人机凭借尺寸小、操作灵敏等优点，替代人类完成一些 危险或难度高的任务，例如森林防火、高压输电线路巡检、环境监测等。伴随着 无人机应用技术的发展，对于无人机应用技术人才的需求也逐渐增多。而当无人 机作业于复杂环境时，对于操作员飞行技术则需要严格的要求，因此相应地也会 在专业考核系统中对于操作员的飞行能力进行评估。目标检测主要从图像背景中分离出前景目标，在车辆检测、智能监控、电路 巡检等领域有着重要的应用。伴随着计算机图

如图1.1所示，传统的目标检测方法主要包括以下三个步骤，分别是：寻找候选区域、特征提取以及使用设计的分类器对目标进行分类。首先，通过候选框在输入图像上选择多个大小不一的候选区域，接着使用设计的特征提取器提取每个候选区域中的手工特征，最后将提取到的手工特征送入不同种类的分类器进行回归和分类，从而检测出待检目标。传统的目标检测方法第一步是通过候选框来确定目标的位置，由于目标的大小和出现的位置具有不确定性，所以一般是采用大量多尺度的滑动窗口对图像上的每一个像素点进行遍历。

作为单阶段目标检测算法中的经典框架，YOLO系列算法一经提出便以其极高的检测速率成为实时性目标检测算法的代名词。随着YOLO系列的迭代，其无论是从模型推理速度还是模型的检测精度都有了极大的提升。YOLOv5算法作为YOLO系列的集大成者，整体结构和YOLOv4相似，仍然是分为输入端、特征提取骨干网、特征融合网络以及检测头网络四部分，但是每个部分都有所改进。网络通过depth_multiple和width_multiple两个参数分别控制模型的深度和宽度，从而在不修改。

人工神经网络（ANN）是科学家通过对人脑逻辑的分析，通过数学建模的方式模拟大脑计算信息的过程，建立的一种数据处理模型。通过合理的设计，利用训练数据进行自适应学习，生成一个能拟合海量数据的多维非线性函数。深度学习就源于人工神经网络的研究[34]，深度学习其实就是通过对模型层数加深的神经网络。深度学习和人脑的认知方式异曲同工之处，人随着年龄越大，经验越来越丰富，处理事情就越来越好，深度学习模型也一样，随着模型的加深，输入数据。

通过对采集的无人机探测视频进行每5帧抽取一张图片的操作，共获得9143 张无人机车辆目标检测数据，同时经过数据增强处理又获得5424张数据集。 无人机探测视频车辆目标检测数据集的构建需要获取图像中目标的位置以 及类别信息，通过观察无人机拍摄的数据集，最终确定将car，van，truck和bus 这四个种类的目标进行检测。如图3-7所示是部分样本数据集的示意图，car 类 别主要包括客车、汽车、商务车，van类别主要是面包车、货运箱车等，bus 类 别主要是公交车、大型巴车等，truck 类别主要是货车和

在SSD算法中一共有5层不同大小的特征层用来检测，每一层特征层中采用了4种 或者6种尺度的锚框，并且每一层的锚框大小会线性的增加，分别为30、60、111、162、 213、264，共有5776个小尺度锚框，2916个中尺度锚框，40个大尺度锚框，在多种尺度 的检测层上设置不同大小的锚框，这种设置方法相对于Faster R-CNN显得更加合理。在目标检测任务中，主要分为了目标的分类和定位，其中分类的好坏直接决定了检测 结果，只有对目标完成正确的分类，定位才有意义，因此分类对于目标检测任务是至关重 要的。

TT-100K数据集虽然规模较大、数据质量较高及所含种类也较多，但并非完 美，正因其分类种类多达221种，导致数据集中各种类的出现频率分布相差悬殊， 出现最多的交通标志出现超过2500次，而最少的只出现一次，还有很多类别出 现不到10次，还有部分种类缺乏样本。TT100K出现频率大于100的类别和对 应数量统计如图3.8所示。 在实际研究中常采用出现频率最高的若干个类别或出现频率超过100的45 个类别进行研究，因为出现频率过少的类别不适合用深度学习的方法进行检测训 练。如果使用原始TT-100K数据集的全

圣地亚哥机场数据集（San Diego Airport data set，SD-Airport）：第一个数据 集由美国加利福尼亚州圣地亚哥机场区域的机载可见光/红外成像光谱仪 (Airborne Visible/Infrared Imaging Spectrometer，AVIRIS)获取。该数据集空间分辨 率约为3.5m/pixel，光谱分辨率为10nm。它包含224个光谱波段，波长范围为370-2510nm。

本文篇幅较长，分为上下两篇，上篇详见。

在这一章节中，我们将详细地介绍基于元学习的自动化通道剪枝方法，通过 我们剪枝方法得到的子网络可以满足不同浮点运算量的限制约束。我们将N表示如图4-1所示，我们的通道剪枝方法可以分为两个步骤，首先是训练权重生 成元网络，该网络是一种通过输入随机初始化的网络编码向量后可以自动生成子 网络权重的权重生成模型，每一个网络编码向量都代表了一种特定的子网结构， 元网络会为每一个子网结构生成其相对应的权重。

在第二章介绍了本研究的跨模态特征融合方法，第二章对于多级别特征的融合， 使用的是与基线模型baseline相同的方法：相邻级别的特征中，高级特征进行上采 样到与低级特征相同的尺度，再将高级特征通过降维得到与低级特征相同的通道数 量，最后对二者进行特征叠加，如此自顶向下的进行多级别的特征融合。本章主要 介绍本研究在特征层面的另一发现，并基于此发现引出的本文的第二个创新点：多 级别特征的融合方法。另外，在网络最深层，本文设计了一个新的模块来获取大的 感受野，对于大尺度目标能够增加更多语义信息，提升检测效果。骨

本章的全球小麦穗检测数据集（http://www.global-wheat.com/）是公开数据集。该数据集是由多个国家共同构建的，并且是第一个从田间光学图像中检测麦穗的 大规模数据集。该数据集中包含了4700张高分辨率RGB图像和19万株从世界 各地几个国家收集的不同生长阶段、不同基因型的标记小麦。在户外野外图像中 准确检测小麦头部是一项视觉挑战。浓密的小麦植株经常重叠，风会使麦穗发生 摇晃，使得拍摄的照片变得模糊。这两种情况都使检测农作物小麦麦穗变得困难。

可以证明在对小目标的检测上，本文改进。表4.1展示了不同层的嵌入方式在三种基线下的top-1 error对比情况，对于 ResNet-50、ResNet-101、ResNet-152，底层的嵌入方式均取得了较好的效果，具 体来讲，在底层（Conv1层）嵌入FA-block使得ResNet-50的top-1 error从24.7%减少到22.6%，这个错误率甚至相对于ResNet-101的23.5%更小，而ResNet-101 网络的计算量几乎是加入了FA-block的ResNet-50网络的两倍。