一种融合多尺度特征的轻量级小目标检测方法及装置

本发明属于深度学习在计算机视觉领域的应用，具体为一种融合多尺度特征的轻量级小目标检测方法及装置。

背景技术：

1、目标检测是在给定图像中找出特定目标类别及其准确位置,其中小目标检测是目标检测领域的重要研究内容,在遥感影像目标识别、红外成像目标识别、农业病虫害识别等场景都有着重要的应用价值。在目标检测中,通常将目标像素值占整个图像0.12％以下的或者像素值小于32*32的目标称为小目标。由于小尺寸物体的分辨率低和噪声大,往往在多层卷积后提取到的特征不明显,因此检测图像中的小目标是非常困难的。

2、现阶段小目标检测主要有两类算法：一阶段算法yolo、ssd实时性强、模型推理速度快，但精度不够高；二阶段算法rcnn系列，精度高，但训练速度慢，实时性部署难度高。

3、近年来，绝大多数研究集中在提高小目标检测精度，但这些方法没有考虑到实际应用问题，成本较高的计算显著降低了其实时性能。其中公布号为cn115331126a的现有发明专利文献《一种基于yolov5的小目标检测模型的构建及检测方法》中增加一层小目标检测层，并引入gma注意力机制并扩充特征融合的anchor框的检测尺寸，该方法能提升小目标检测精度，但增加了算法的参数量及复杂程度。公布号为cn115410039a的现有发明专利文献《基于改进yolov5算法的煤炭异物检测系统及方法》使用轻量化网络结构、并用eca注意力机制提升精度，但其只针对单一小目标，对于同一背景下多类小目标检测有相当大的局限性。

4、现有技术存在为追求小目标检测精度而增大模型深度，堆叠参数量，导致模型检测速度慢，参数量大，不利于中低端设备应用，却忽略实际应用。

技术实现思路

1、发明目的：为了解决现有目标检测方法对于小目标检测存在参数量冗余、速度慢、精度低、浅层语义信息与深层语义信息联系弱等问题，本发明提供了一种融合多尺度特征的轻量级小目标检测方法及装置。

2、技术方案：本发明提供一种融合多尺度特征的轻量级小目标检测方法，具体包括以下步骤：

3、(1)对预先构建的针对小目标检测的数据集进行预处理，并将数据集分为训练集和验证集；

4、(2)将原yolov5模型中的backbone替换为轻量级特征提取网络shuffle_block；所述shuffle-block将原分支的普通1×1卷积操作改为分组卷积，通过通道混洗帮助信息在不同组之间流动，加强特征通信；

5、(3)在yolov5模型的neck层中引入gca注意力模块，使具有固定权重的全连接层生成具有全局感受野的注意力图；

6、(4)引入自适应空间特征融合模块asff解决yolov5模型中特征金字塔内部不一致性；

7、(5)将训练集输入到改进后的yolov5模型中得到最佳权重，最后验证集输入网络中，输出检测结果。

8、进一步地，步骤(1)所述预处理过程为：

9、将原始数据集格式转化成yolo格式；将原始数据集大分辨率图片先进行切割，两张小图中间设置overlap重叠区域，待小图检测完成后，再将所有的框放到大图中，对大图整体做一次nms操作，将重叠区域很多重复框删除；原始图像中部分区域包含大量无法标注的密集小目标，将该区域进行遮挡处理，以减少该部分区域对精度的影响。

10、进一步地，步骤(2)所述shuffle-block在stride＝1的情况下，将输入特征图的c个通道分割成两个分支，其中一个分支保持不变，另一个分支首先进行1×1的分组卷积操作以减少参数量；随后进行channnel shuffle进行特征图重组增加通道联系，接着进行一个3×3深度可分离卷积压缩模型参数，紧接着进行1×1卷积，然后进行一个通道混洗；最后与另一个支路通过concat进行通道拼接；最后通过channel shuffle操作进行特征图重组，每次1×1卷积之后都进行bn和relu操作。

11、进一步地，所述步骤(3)实现过程如下：

12、将fc层分解为一个水平方向和一个垂直方向的fc层；gca注意力模块首先对输入特征图通过全局平均池化进行一个下采样操作，随后依次进行1×1卷积，bn，接着是水平方向的全连接层，bn，relu，垂直方向的全连接层，bn，relu，然后通过双线性插值算法得到的特征图为原始尺寸，最后通过si gmoid激活函数输出特征权重信息。

13、进一步地，所述步骤(4)实现过程如下：

14、head层中将原yolov5模型特征融合网络panet改为asff模块，asff模块通过自适应学习各层级特征融合的权重参数，然后使用1×1卷积压缩到原来的通道数，输出特征层asff-1、asff-2与asff-3，最后输入到预测网络。

15、基于相同的发明构思，本发明还提供一种融合多尺度特征的轻量级小目标检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现上述的融合多尺度特征的轻量级小目标检测方法。

16、有益效果：与现有技术相比，本发明的有益效果：本发明针对低端设备计算能力有限的情况，采用轻量化特征提取网络、多特征融合方式，大幅度降低目标检测模型的参数量、计算成本，提升小目标检测的检测速度。

技术特征：

1.一种融合多尺度特征的轻量级小目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种融合多尺度特征的轻量级小目标检测方法，其特征在于，步骤(1)所述预处理过程为：

3.根据权利要求1所述的一种融合多尺度特征的轻量级小目标检测方法，其特征在于，步骤(2)所述shuffle-block在stride＝1的情况下，将输入特征图的c个通道分割成两个分支，其中一个分支保持不变，另一个分支首先进行1×1的分组卷积操作以减少参数量；随后进行channnelshuffle进行特征图重组增加通道联系，接着进行一个3×3深度可分离卷积压缩模型参数，紧接着进行1×1卷积，然后进行一个通道混洗；最后与另一个支路通过concat进行通道拼接；最后通过channelshuffle操作进行特征图重组，每次1×1卷积之后都进行bn和relu操作。

4.根据权利要求1所述的一种融合多尺度特征的轻量级小目标检测方法，其特征在于，所述步骤(3)实现过程如下：

5.根据权利要求1所述的一种融合多尺度特征的轻量级小目标检测方法，其特征在于，所述步骤(4)实现过程如下：

6.一种融合多尺度特征的轻量级小目标检测装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-5任一项所述的融合多尺度特征的轻量级小目标检测方法。

技术总结
本发明公开了一种融合多尺度特征的轻量级小目标检测方法及装置，构建针对小目标检测的数据集，并将数据集分为训练集和验证集；将原YOLOv5模型中的Backbone替换为轻量级特征提取网络Shuffle_Block；其中Shuffle‑Block将原分支的普通1×1卷积操作改为分组卷积，通过通道混洗帮助信息在不同组之间流动，加强特征通信；在YOLOv5模型的Neck层中引入GCA注意力模块，使具有固定权重的全连接层生成具有全局感受野的注意力图；引入自适应空间特征融合模块ASFF解决YOLOv5模型中特征金字塔内部不一致性；将训练集输入到改进后的YOLOv5模型中得到最佳权重，最后验证集输入网络中，输出检测结果。本发明针对低端设备计算能力有限的情况，大幅度降低目标检测模型的参数量、计算成本，提升小目标检测的检测速度。

技术研发人员：甘峰瑞,姜明新,陆易,王梓轩,曹宇
受保护的技术使用者：淮阴工学院
技术研发日：
技术公布日：2024/1/13