通道剪枝方法、目标检测方法及遥感图像车辆检测方法

1.本发明属于数字信号处理领域，具体涉及一种通道剪枝方法、目标检测方法及遥感图像车辆检测方法。


背景技术：

2.随着经济技术的发展和人们生活水平的提高，目标检测技术已经广泛应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。因此，保证目标检测的精确性和快速性，就成为目标检测技术的研究重点。
3.现阶段，采用无人机进行目标检测的方式已经开始大范围使用。与离线处理的目标检测流程不同，无人机等边缘设备上的目标检测需要实时检测所拍摄图像中的目标。但平台受计算能力、内存与功耗限制，一般基于深度学习的目标检测方法无法实现实时部署，因此实现高精度且轻量级的目标检测，对于无人机等边缘设备而言，就显得尤为重要。
4.为了满足深度神经网络在端侧的实时部署，研究人员对模型压缩方法进行了大量研究，意欲通过简化模型以减少模型的计算量与存储量，同时不会对模型的性能产生影响。通道剪枝方法是一种重要的模型压缩方法，不需要重新定义模型的结构，通过直接删除冗余通道来减少模型大小，从而减少深度神经网络的训练时间，加快模型的推理速度。通道剪枝方法为深度学习的目标检测方法部署在边缘设备提供了可能。
5.然而，深度神经网络的性能与卷积的通道数息息相关，卷积通道经过修剪后，会一定程度上影响模型的性能，因此需要在修剪程度和性能之间进行权衡。在传统模型剪枝的训练过程中，每个参数同时参与训练与剪枝，即精度训练与剪枝训练耦合；但是，一方面，剪枝训练中引入的权重惩罚项（如结构稀疏性等）会使模型的优化目标发生变化，深度神经网络在训练过程中的性能会严重下降；另一方面，若为了保持模型的性能降低剪枝约束，剪枝程度不能得到保证，则无法获得高压缩率的剪枝模型。


技术实现要素：

6.本发明的目的之一在于提供一种压缩率高、可靠性好且能够保持模型原有精度的通道剪枝方法。
7.本发明的目的之二在于提供一种包括了所述通道剪枝方法的目标检测方法。
8.本发明的目的之三在于提供一种包括了所述目标检测方法的遥感图像车辆检测方法。
9.本发明提供的这种通道剪枝方法，包括如下步骤：s1. 确定目标网络模型；s2. 获取训练数据集和损失函数，并采用获取的训练数据集和损失函数对步骤s1确定的目标网络模型进行训练，得到基础网络模型；s3. 将步骤s2得到的基础网络模型的卷积层进行等价解耦，得到基础网络解耦模型；
s4. 采用步骤s2获取的训练数据集和损失函数，对步骤s3得到的基础网络解耦模型进行训练，得到解耦模型；s5. 根据步骤s4得到的解耦模型，确定最终能够被压缩的通道和保留的通道；s6. 根据步骤s5确定的能够被压缩的通道和保留的通道，对步骤s4得到的解耦模型进行等价合并，得到通道剪枝后的网络模型，完成最终的目标网络模型的通道剪枝。
10.步骤s2所述的获取训练数据集，具体包括如下步骤：获取训练图片；对获取的训练图片，进行随机多尺度变换；变换后，在按照设定概率进行随机左右翻转；最后，通过补灰度值的方式，将图片大小进行统一；将图片整理为统一格式：统一格式为(n,x,y,w,h)，其中n为目标类别；(x,y)为目标框相对长宽归一化后的中心坐标；(w,h)为归一化后目标框的宽度和高度。
11.步骤s3所述的将步骤s2得到的基础网络模型的卷积层进行等价解耦，得到基础网络解耦模型，具体包括如下步骤：将步骤s2得到的基础网络模型w的第c个卷积层wc，等价解耦为级联的原卷积层wc和结构卷积we；其中，结构卷积we为1*1核的卷积层；结构卷积we的初始权重为do*do的单位矩阵，do为原卷积层wc的输出通道数。
12.为了加快数据处理流程，将结构卷积we平移至原卷积层wc后的批归一化层。
13.步骤s4所述的采用步骤s2获取的训练数据集和损失函数，对步骤s3得到的基础网络解耦模型进行训练，得到解耦模型，具体包括如下步骤：a. 采用步骤s2获取的训练数据集和损失函数，设定学习率，并对步骤s3得到的基础网络解耦模型再次进行训练；训练时，前n轮正常训练；n轮过后，按照结构卷积的参数大小排序，选择需要被压缩的通道，对结构卷积对应的参数施加额外的惩罚梯度；b. 结构卷积的参数更新为，d为结构卷积层的卷积核通道数；然后，通过结构卷积的参数，采用如下算式计算原卷积第d个通道的通道重要性id：式中为结构卷积各通道上第d位置的参数；c. 选择需要被压缩的通道数m：初始时m=0；从第n轮开始，每x个训练批次后，m增加y，直至达到预设的通道压缩比；同时，选择通道时保证每个卷积的通道数量不低于设定值s；其中，x、y和s均为设定的正整数，且；d. 卷积参数的更新过程为，其中为更新后的卷积参数，w为更新前的卷积参数，l为学习率，g为损失函数对卷积的回传梯度；在结构卷积中，对于不需要被压缩的通道，其参数更新方式与原卷积参数更新方式相同；对于需要被压缩的通道，更改其梯度更新方式，对其施加额外的惩罚梯度，其参数更新方式为，其中q为结构卷积更新前的参数，为结构卷积更新后的参数，为施加的惩罚梯度；为惩罚因子，且；，为符号函数且
。
14.步骤s5所述的根据步骤s4得到的解耦模型，确定最终能够被压缩的通道和保留的通道，具体包括如下步骤：利用结构卷积的参数计算原卷积各通道的通道重要性，其中第i条通道的通道重要性为id；若原卷积各通道的重要性id满足，其中k是修剪阈值且k=0.01，则认定原卷积对应的通道为被裁减通道，裁剪后不会降低模型性能。
15.步骤s6所述的根据步骤s5确定的能够被压缩的通道和保留的通道，对步骤s4得到的解耦模型进行等价合并，具体包括如下步骤：a.将卷积层和批归一化层的计算算式合并，得到，式中x为输入特征，y为输入特征经过卷积层与批归一化层后的输出，w为卷积层的权重参数， b为卷积层的偏置参数，为批归一化层的放缩系数，为批归一化层的均值，为批归一化层的标准差，为一个设定的极小值取，为批归一化层的偏移系数，*为卷积运算符；b. 将合并后的计算式整理为卷积的计算格式，得到，所对应的卷积为新卷积；c. 采用如下算式计算步骤b得到的新卷积的权重和偏置：采用如下算式计算步骤b得到的新卷积的权重和偏置：式中为新卷积的权重参数；为新卷积的偏置参数，*为卷积运算符；d. 将步骤b得到的新卷积与结构卷积合并，并计算合并后的卷积层的权重和偏置：置：式中为合并后的卷积层的权重；wq为结构卷积的权重；w为原卷积的权重；为合并后的卷积层的偏置；b为原卷积的偏置，*为卷积运算符；e. 步骤d合并后的卷积层中，若卷积层包括待裁剪通道，则和将同时删除对应通道上的参数，完成对应的通道的裁剪。
16.本发明还提供了一种包括了所述通道剪枝方法的目标检测方法，包括如下步骤：（1）构建目标检测原始模型；（2）采用所述的通道剪枝方法，对步骤（1）构建的目标检测原始模型进行通道剪枝，从而得到目标检测模型；
（3）采用步骤（2）得到的目标检测模型，进行实际的目标检测。
17.本发明还提供了一种包括所述目标检测方法的遥感图像车辆检测方法，包括如下步骤：1）获取遥感图像车辆检测数据集；2）构建目标检测原始模型为yolov5模型；3）采用所述的通道剪枝方法，对步骤2）构建的目标检测原始模型进行通道剪枝，从而得到裁剪后的目标检测模型；4）采用步骤3）得到的目标检测模型，进行实际的遥感图像车辆检测。
18.本发明提供的这种通道剪枝方法、目标检测方法及遥感图像车辆检测方法，根据卷积线性可拆分、可合并的特性，将模型中的卷积层等价解耦为原卷积和结构卷积的级联，然后精度相关训练按照正常训练方式训练，剪枝相关训练则仅操作在结构卷积上，训练完成后等价合并为原网络，最后根据结构卷积中的参数进行通道的裁剪；因此本发明方法不仅能够保持模型原有精度，而且压缩率高、可靠性好。
附图说明
19.图1为本发明的通道剪枝方法的方法流程示意图。
20.图2为本发明的通道剪枝方法的剪枝原理示意图。
21.图3为本发明的目标检测方法的方法流程示意图。
22.图4为本发明的遥感图像车辆检测方法的方法流程示意图。
具体实施方式
23.如图1所示为本发明的通道剪枝方法的方法流程示意图：本发明提供的这种通道剪枝方法，包括如下步骤：s1. 确定目标网络模型，比如yolov5网络；s2. 获取训练数据集和损失函数，并采用获取的训练数据集和损失函数对步骤s1确定的目标网络模型进行训练，得到基础网络模型；具体包括如下步骤：获取训练图片；对获取的训练图片，进行随机多尺度变换，参数s优选为；变换后，在按照设定概率（优选为50%）进行随机左右翻转；最后，通过补灰度值的方式，将图片大小进行统一（优选为统一成640*640大小）；将图片整理为统一格式：统一格式为(n,x,y,w,h)，其中n为目标类别；(x,y)为目标框相对长宽归一化后的中心坐标；(w,h)为归一化后目标框的宽度和高度；然后，采用获取的训练数据集和损失函数对步骤s1确定的目标网络模型进行训练；训练时，学习率优选设定为0.01；训练完成后，得到基础网络模型w；s3. 将步骤s2得到的基础网络模型的卷积层进行等价解耦，得到基础网络解耦模型；具体包括如下步骤：将步骤s2得到的基础网络模型w的第c个卷积层wc，等价解耦为级联的原卷积层wc和结构卷积we；其中，结构卷积we为1*1核的卷积层；结构卷积we的初始权重为do*do的单位矩阵，do为原卷积层wc的输出通道数。
24.为了加快数据处理流程，将结构卷积we平移至原卷积层wc后的批归一化层；本步骤的具体过程为：对于模型w的第c个卷积层wc，设输入特征图为xi，输出特征图为yc，则该过程表示为；然后，在原卷积层wc后加入结构卷积we，其中，原卷积的输入输出通道分别为di与do，we为1*1核的卷积层，其初始权重为do*do的单位矩阵，设输入 特征图为xe=yc，经过结构卷积输出特征图为ye，该过程表示为；由于结构卷积初始权重为单位矩阵，因此xe=ye；将卷积层wc等价解耦为级联的原卷积层wc和结构卷积we，整个过程为；因此该解耦变换在数学上完全等价，模型在加入结构卷积前后的性能完全一致；其中，为了简化步骤5合并模型带来的数据处理，在实际解耦操作时，将结构卷积平移至批归一化层之后，平移前后性能依然完全一致；s4. 采用步骤s2获取的训练数据集和损失函数，对步骤s3得到的基础网络解耦模型进行训练，得到解耦模型；具体包括如下步骤：a. 采用步骤s2获取的训练数据集和损失函数（与步骤s2相同），设定学习率（与步骤s2设定的学习率相同），并对步骤s3得到的基础网络解耦模型再次进行训练；训练时，前n轮正常训练；n轮过后，模型对解耦后的参数适应完毕，然后按照结构卷积的参数大小排序，选择需要被压缩的通道，对结构卷积对应的参数施加额外的惩罚梯度；n优选为5；b. 结构卷积的参数更新为，d为结构卷积层的卷积核通道数；然后，通过结构卷积的参数，采用如下算式计算原卷积第d个通道的通道重要性id：式中为结构卷积各通道上第d位置的参数；c. 选择需要被压缩的通道数m：初始时m=0；从第n轮开始，每x个训练批次后，m增加y，直至达到预设的通道压缩比；同时，选择通道时保证每个卷积的通道数量不低于设定值s；其中，x、y和s均为设定的正整数，且；x优选为256，y优选为16，当压缩要求不高s优选为8，此时能够使得网络的性能更好；d. 卷积参数的更新过程为，其中为更新后的卷积参数，w为更新前的卷积参数，l为学习率，g为损失函数对卷积的回归梯度；在结构卷积中，对于不需要被压缩的通道，其参数更新方式与原卷积参数更新方式相同；对于需要被压缩的通道，更改其梯度更新方式，对其施加额外的惩罚梯度，其参数更新方式为，其中q为结构卷积更新前的参数，为结构卷积更新后的参数，为施加的惩罚梯度；为惩罚因子，且；，为符号函数且；在惩罚梯度的作用下，对于需要被压缩的通道，在结构卷积中对应的参数将会逐
渐趋近于零；当结构卷积中某一行参数趋近于零时，前级卷积层的某一通道的神经元将失活，在后续步骤中该通道可被去掉；s5. 根据步骤s4得到的解耦模型，确定最终能够被压缩的通道和保留的通道；具体包括如下步骤：在剪枝训练后，结构卷积中的一些通道将趋近于零，即原卷积滤波器对应通道的输出在结构卷积作用下可忽略，因此去掉这些通道不会对网络性能造成影响；利用结构卷积的参数计算原卷积各通道的通道重要性，其中第i条通道的通道重要性为id；设定阈值k；若原卷积各通道的重要性id满足，其中k是修剪阈值且k=0.01，则认定原卷积对应的通道为被裁减通道，裁剪后不会降低模型性能；s6. 根据步骤s5确定的能够被压缩的通道和保留的通道，对步骤s4得到的解耦模型进行等价合并，得到通道剪枝后的网络模型，完成最终的目标网络模型的通道剪枝；具体包括如下步骤：a. 卷积层计算为；批归一化层计算为；将卷积层和批归一化层的计算算式合并，得到，式中x为输入特征，y为输入特征经过卷积层与批归一化层后的输出，w为卷积层的权重参数，b为卷积层的偏置参数，为批归一化层的放缩系数，为批归一化层的均值，为批归一化层的标准差，为一个极小值取，为批归一化层的偏移系数，*为卷积运算符；b. 将合并后的计算式整理为卷积的计算格式，得到，所对应的卷积为新卷积；c. 采用如下算式计算步骤b得到的新卷积的权重和偏置：采用如下算式计算步骤b得到的新卷积的权重和偏置：式中为新卷积的权重参数；为新卷积的偏置参数，*为卷积运算符；d. 新卷积的计算式为，结构卷积的计算式为，则合并后的计算式的卷积计算格式为；然后，将步骤b得到的新卷积与结构卷积合并，并计算合并后的卷积层的权重和偏置：积合并，并计算合并后的卷积层的权重和偏置：式中为合并后的卷积层的权重；wq为结构卷积的权重；w为原卷积的权重；
为合并后的卷积层的偏置；b为原卷积的偏置，*为卷积运算符；e. 步骤d合并后的卷积层中，若卷积层包括待裁剪通道，则和将同时删除对应通道上的参数，完成对应的通道的裁剪。
25.如图2所示为本发明的通道剪枝方法的剪枝原理示意图：结构解耦通道剪枝的方法，利用结构卷积的参数大小表示原卷积各通道的重要性，能够表征相应卷积通道信息传播能力的强弱。当逐渐迭代选择出可以被裁剪的通道后，利用惩罚梯度使不重要的通道逐渐被衰减到零，则这些通道在迭代剪枝中逐渐失活，在网络合并时，可以几乎性能不下降的裁剪这些通道，达到无损性能的剪枝。
26.如图3所示为本发明的目标检测方法的方法流程示意图：本发明提供的这种包括了所述通道剪枝方法的目标检测方法，包括如下步骤：（1）构建目标检测原始模型；（2）采用所述的通道剪枝方法，对步骤（1）构建的目标检测原始模型进行通道剪枝，从而得到目标检测模型；（3）采用步骤（2）得到的目标检测模型，进行实际的目标检测。
27.如图4所示为本发明的遥感图像车辆检测方法的方法流程示意图：本发明提供的这种包括所述目标检测方法的遥感图像车辆检测方法，包括如下步骤：1）获取遥感图像车辆检测数据集；2）构建目标检测原始模型为yolov5模型；3）采用所述的通道剪枝方法，对步骤2）构建的目标检测原始模型进行通道剪枝，从而得到裁剪后的目标检测模型；4）采用步骤3）得到的目标检测模型，进行实际的遥感图像车辆检测。