一种基于通道剪枝和通道信息融合的实时目标检测方法

本发明涉及图像传输，尤其涉及一种基于通道剪枝和通道信息融合的实时目标检测方法。

背景技术：

1、实时目标检测是一项具有广泛应用且重要的计算机视觉任务，可应用于自动驾驶和多目标跟踪等。目前，基于深度学习的目标检测算法表现出强大的能力，其中yolo系列成为最流行的框架之一。值得注意的是，yolov5/6/7/8、yolox和pp-yoloe等版本在平均精度和延迟之间取得了有效的权衡，使它们在实际场景中被广泛应用。尽管取得了显著的进展，但这些模型的卷积层中不可避免地包含冗余的通道。此外，虽然利用标准卷积可以确保网络的高精度，但也引入了高复杂度。这些冗余不仅限制了网络的检测速度，还可能导致模型过拟合。最近，研究人员提出了几种高效的目标检测网络，例如yolov6、yolov7和yolov8。然而，这些结构都是手工设计的，无法自动确定每个卷积层合适的通道数。此外，这些网络中使用的卷积操作要么过于复杂，要么限制了通道间信息的有效融合。随着神经架构搜索的出现，发现更优越的网络架构变得更加可行。然而，需要注意的是，神经架构搜索需要大量的计算资源和时间成本。此外，虽然深度可分离卷积和分组卷积减轻了卷积的计算负担，但它们限制了通道间的信息融合，导致网络精度较低。以往的研究主要集中在通过提出各种模块来提高目标检测网络的精度，从而导致参数数量庞大，但它们常常忽视了减少网络复杂度的重要性。

2、网络剪枝是提高深度神经网络效率的一种有前景的技术，可以分为两种类型：非结构化剪枝和结构化剪枝。非结构化剪枝涉及从网络中删除单个权重，从而大幅减少参数数量。然而，非结构化剪枝通常需要专用硬件或库才能实现实际加速。相比之下，结构化剪枝删除整个参数组，例如整个通道，可以直接加速，从而更具普适性。剪枝算法的有效性取决于剪枝标准、稀疏化方法和指导策略的选择。最近的研究提出了各种剪枝标准，包括基于范数、基于几何中位数、基于缩放因子和基于秩的标准。稀疏化对于安全地移除冗余参数、避免显著精度下降是至关重要的。metapruning是一种有前景的方法，它训练一个网络来预测剪枝模型的权重值。eagleeye发现了剪枝后导致精度大幅度下降的主要原因，并提出了自适应批量标准化，可以高效地评估子网络的精度，并指导剪枝算法发现最佳子网络。这些方法为设计高效的神经网络提供了新的见解。alexnet展示了强大的特征提取能力，但其网络复杂度非常高。随后的网络，包括vgg、resnet和darknet等，在其骨干网络的架构中采用标准卷积作为基本元素。虽然基于标准卷积的网络表现良好，但其大量的参数使其不适合边缘设备的部署。为此，研究人员开发了各种轻量级网络，包括mobilenet、shufflenet、ghostnet和repvgg等。mobilenet使用深度可分离卷积替代标准卷积，尽管会带来一定程度的精度丢失。shufflenet引入分组卷积，在组内融合通道信息以缓解精度降低。ghostnet通过依次使用标准卷积和深度可分离卷积实现了增强的特征提取能力。repvgg在网络训练的过程中使用多分支的结构以确保模型的精度，但在推理过程中将其转换为单分支的结构，从而加快推理速度。最近，出现了这些轻量级网络的变体，例如ghostnetv2和repghost。ghostnetv2在ghostnet的基础上添加了注意力模块。repghost通过重参数化实现了硬件高效的ghost模块。在压缩轻量级目标检测器方面存在重大挑战，因为实时目标检测网络中的参数和操作的冗余度相对较低，过度压缩可能导致精度下降。

技术实现思路

1、为解决上述技术问题，本发明提供了一种基于通道剪枝和通道信息融合的实时目标检测方法。

2、为了实现上述的技术目的，本发明所采用的技术方案为：

3、一种基于通道剪枝和通道信息融合的实时目标检测方法，包括：

4、s1：训练构建好的目标检测网络；

5、s2：对训练好的网络利用通道剪枝算法进行压缩；

6、s3：对通道剪枝算法压缩后的网络进行卷积的替换：

7、s4：重新训练网络。

8、作为一种可能的实施方式，进一步，s1具体包括如下步骤：

9、s11：处理待训练的目标检测数据集，包含图像和标签文件，对数据集进行数据增强处理；

10、s12：将增强后的数据集作为输入，对目标检测网络中进行训练，经过不断的前向传播和反向传播对网络中的权值进行更新，并对超参数进行调整。

11、作为一种可能的实施方式，进一步，s11中数据集的增强处理包括：mosaic数据增强、copypaste数据增强、random affine仿射变换、mixup数据增强、hsv随机增强图像、随机水平翻转、cutout数据增强，并采用了albumentations数据增强工具包。

12、作为一种可能的实施方式，进一步，所述目标检测网络使用单阶段的目标检测方法，在一个步骤同时实现目标的定位和分类，并使用fpn+pan的neck结构更好地融合backbone得到的特征。

13、作为一种可能的实施方式，进一步，s2具体包括如下步骤：

14、s21：在参数量的约束条件下，搜索每个卷积层合适的通道数量，即：

15、

16、其中，l是损失函数；a是卷积神经网络模型；l是网络的卷积层数，w是网络的权值；f是在确定通道数后对应的子网络的参数量；c是参数量的约束条件；

17、采用进化搜索来寻找最优子网络[c1,c2,...,cl]*；

18、s22：根据训练好的网络中每一个卷积层的通道数随机生成n个编码向量[c1,c2,....,cn]，ci代表第i个卷积层将要保留的通道数，从而一个编码向量就能够代表一个子网络，且各子网络均满足参数量的约束；

19、s23：对每一个卷积层的通道单独地进行排序；

20、s24：根据生成的编码向量将网络中权重值最低的若干通道移除，从而得到n个子网络，并对子网络中bn层的μ和σ2进行重新计算，计算方式如下：

21、

22、其中，nbs为batchsize的大小；xi为第i批次数据得到的卷积层的输出特征值；t是调整μ和σ2时的迭代次数；m是动量系数(设置为0.9)；μt-1与是上一次迭代等到的均值和方差；μ0与为网络中bn层原始的μ和σ2；

23、s25：从n个子网络中选择精度较高的k个子网络；

24、s26：对这k个子网络进行变异，得到km个新的子网络；对k个子网络进行交叉，得到kc个新的子网络；所述新的子网络均满足参数量的约束，同时也对其bn层的μ和σ2进行调整；

25、s27：从目前的k+km+kc个子网络选择精度较高的k个子网络；

26、s28：重复s26和s27两个步骤n次；

27、s29：迭代后，选择精度最高的一个子网络，并对其进行重新训练，得到参数量较少且精度较高的网络。

28、作为一种可能的实施方式，进一步，s23中按照卷积核中权重值的l1范数进行排序；s29中精度最高的子网络按照步骤s1进行重新训练。

29、作为一种可能的实施方式，进一步，s3具体包括如下步骤：

30、s31：构建相邻通道卷积模块；

31、s32：根据相邻通道卷积，构建轻量级卷积模块cimconv；

32、s33：使用cimconv替换网络中通道数量最多的卷积。

33、作为一种可能的实施方式，进一步，s32中所述cimconv由相邻通道卷积、标准卷积以及通道shuffle构建而成；其将标准卷积和相邻通道卷积结合起来生成输出特征图；

34、其中，标准卷积用于生成输出特征图的一半，相邻通道卷积用于生成另一半；通道shuffle将两部分输出特征图交错排列在一起。

35、作为一种较优的实施方式，优选的，所述网络中的激活函数选用relu。

36、作为一种可能的实施方式，进一步，s4具体为：利用步骤s1的训练方式，对步骤s3中通道剪枝后且替换了轻量级卷积的网络进行训练，网络收敛后，得到精度高且复杂度低的目标检测网络。

37、采用上述的技术方案，本发明与现有技术相比，其具有的有益效果为：

38、本发明提出了一种基于通道剪枝和通道信息融合的实时目标检测方法，包括一种新的通道剪枝方法，在保证检测精度的同时，有效地减少了目标检测网络的冗余参数和计算复杂度；以及一种新的轻量级卷积cimconv，利用更简单的卷积操作实现更高的精度，并降低标准卷积的复杂度。

39、本发明将提出的两种优化策略应用于现有的目标检测器，在精度和复杂度之间实现了更好的平衡，超过了最先进的检测器。在具有挑战性的公共数据集上，本发明提出的通道剪枝和cimconv方法大大减少了网络的参数量和计算量，同时提高了检测精度。