一种基于动态稀疏正则化的神经网络剪枝方法

本发明属于深度学习，涉及到一种基于动态稀疏正则化的神经网络剪枝方法。

背景技术：

1、近年来，随着深度学习技术的快速发展，神经网络模型在各种应用中取得了显著的成功。然而，大规模的神经网络模型通常需要庞大的计算资源和存储空间，限制了它们在嵌入式设备和移动端的部署以及实时推理的应用，因此，神经网络模型的压缩与加速成为了当前研究的热点之一。

2、神经网络剪枝是深度学习和人工智能领域中被广泛应用的一项模型压缩技术，其核心思想是通过去除神经网络中的不必要权重和神经元，从而降低模型规模、减小计算成本，并提高整体效率，现有的神经网络剪枝方法还存在以下几种问题，具体表现在：1、现有神经网络剪枝方法多通过人工设定的固定规则来进行剪枝决策，例如使用固定通道权重阈值作为剪枝分界权重，对神经网络内各通道进行剪枝判断处理，不仅无法根据训练过程中的实际需求进行动态调整，存在刚性和静态性，还容易在复杂和深层的神经网络模型剪枝处理上受到限制，导致剪枝网络的精度不足。

3、2、现有神经网络剪枝方法缺乏对神经网络模型的全局理解能力，依据单一分析维度评估各通道对于神经网络模型的影响权重，例如标签分类精度或者特征识别精度，无法全面了解各通道对整个模型性能的影响，可能会错过一些对模型重要性较低但对整体性能有影响的通道，进而导致模型剪枝效果不佳。

技术实现思路

1、鉴于此，为解决上述背景技术中所提出的问题，现提出一种基于动态稀疏正则化的神经网络剪枝方法。

2、本发明的目的可以通过以下技术方案实现：本发明提供一种基于动态稀疏正则化的神经网络剪枝方法，包括：s1.图像集获取：获取一阶验证图像集、二阶验证图像集和测试图像集。

3、s2.验证图像集输入：分别向计算机内已训练的神经网络模型输入一阶验证图像集和二阶验证图像集，获取神经网络模型针对一阶验证图像集和二阶验证图像集的参照输出信息。

4、s3.通道验证权重评估：按照神经网络模型的通道顺序依次舍弃各通道并重新输入一阶验证图像集，获取神经网络模型舍弃各通道后针对一阶验证图像集的验证输出信息，结合神经网络模型针对一阶验证图像集的参照输出信息，评估神经网络模型内各通道的验证权重。

5、s4.通道剪枝分界权重确定：根据web云端存储的神经网络模型通道的基础设定权重σ0和单次迭代设定权重σ1，结合神经网络模型针对二阶验证图像集的参照输出信息，确定神经网络模型通道的剪枝分界权重，将神经网络模型内验证权重低于剪枝分界权重的各通道进行剪枝，得到剪枝后的神经网络模型。

6、s5.模型剪枝成效判断：将测试图像集输入剪枝后的神经网络模型，获取剪枝后的神经网络模型针对测试图像集的测试输出信息，分析剪枝后的神经网络模型的性能评价系数，判断神经网络模型的剪枝是否有效并进行反馈。

7、优选地，所述参照输出信息包括各图像的参照计算参数量、参照浮点运算次数和参照计算速度、各图像对应各类别标签的参照预测概率、各图像对应其特定识别特征的参照输出向量。

8、所述验证输出信息包括各图像的计算参数量、浮点运算次数和计算速度、各图像对应各类别标签的预测概率、各图像对应其特定识别特征的输出向量。

9、优选地，所述评估神经网络模型内各通道的验证权重，包括：s31.提取神经网络模型针对一阶验证图像集的参照输出信息中各图像的参照计算参数量mi、参照浮点运算次数ci和参照计算速度vi，其中i为一阶验证图像集内各图像的编号，i＝1，2，...，a，计算神经网络模型针对一阶验证图像集内各图像的参照计算复杂度fi参，m0、c0、v0分别为web云端存储的神经网络模型针对试验图像额定的计算参数量、浮点运算次数和计算速度。

10、s32.提取神经网络模型舍弃各通道后针对一阶验证图像集的验证输出信息中各图像的计算参数量、浮点运算次数和计算速度，获取神经网络模型舍弃各通道后针对一阶验证图像集内各图像的验证计算复杂度其中j为各通道的编号，j＝1，2，...，b，分析神经网络模型舍弃各通道后针对一阶验证图像集内各图像的计算改善指数其计算公式为：e为自然常数。

11、s33.提取神经网络模型针对一阶验证图像集的参照输出信息中各图像对应各类别标签的参照预测概率θ′iq，其中q为各类别标签的编号，q＝1，2，...，p，结合web云端存储的神经网络模型针对一阶验证图像集内各图像对应各类别标签的标准预测概率θiq，计算神经网络模型针对一阶验证图像集内各图像的参照标签匹配度ε′iq，

12、s34.提取神经网络模型舍弃各通道后针对一阶验证图像集的验证输出信息中各图像对应各类别标签的预测概率θ″ijq，获取神经网络模型舍弃各通道后针对一阶验证图像集内各图像的验证标签匹配度ε″ijq，进而由公式得到神经网络模型舍弃各通道后针对一阶验证图像集内各图像的标签预测精度变化指数，其中p为类别标签数量。

13、s35.分析神经网络模型舍弃各通道后针对一阶验证图像集内各图像的特征识别精度变化指数结合web云端存储的神经网络模型内各通道对应的存储空间容量占比rj，由公式得到神经网络模型舍弃各通道后针对图像的负面处理影响系数，其中a为一阶验证图像集内图像数量。

14、s36.由公式得到神经网络模型内各通道的验证权重。

15、优选地，上述神经网络模型舍弃各通道后针对一阶验证图像集内各图像的特征识别精度变化指数的分析过程为：s351.提取神经网络模型针对一阶验证图像集的参照输出信息中各图像对应其特定识别特征的参照输出向量y′i,结合web云端存储的神经网络模型针对一阶验证图像集内各图像对应其特定识别特征的标准输出向量yi，计算神经网络模型针对一阶验证图像集内各图像的参照输出向量相似度λ′i，

16、s352.提取神经网络模型舍弃各通道后针对一阶验证图像集的验证输出信息中各图像对应其特定识别特征的验证输出向量y″i，计算神经网络模型舍弃各通道后针对一阶验证图像集内各图像的验证输出向量相似度λ″ij；

17、s353.由公式得到神经网络模型舍弃各通道后针对一阶验证图像集内各图像的特征识别精度变化指数。

18、优选地，所述确定神经网络模型通道的剪枝分界权重，包括：s41.将神经网络模型通道的基础设定权重作为初始剪枝分界权重，将神经网络模型内验证权重低于基础设定权重的各通道进行剪枝，获取初始剪枝后的神经网络模型。

19、s42.将二阶验证图像集输入初始剪枝后的神经网络模型，获取初始剪枝后的神经网络模型针对二阶验证图像集的验证输出信息，结合神经网络模型针对二阶验证图像集的参照输出信息，提取神经网络模型针对二阶验证图像集内各图像对应各类别标签的参照预测概率以及初始剪枝后的神经网络模型针对二阶验证图像集内各图像对应各类别标签的预测概率其中h为二阶验证图像集内各图像的编号，h＝1，2，...，g，由公式得到神经网络模型初始剪枝后的交叉熵损失系数，g为二阶验证图像集内图像数量。

20、s43.提取神经网络模型针对二阶验证图像集内各图像对应其特定识别特征的参照输出向量以及初始剪枝后的神经网络模型针对二阶验证图像集内各图像对应其特定识别特征的输出向量由公式得到神经网络模型初始剪枝后的掩膜损失系数，其中表示

21、s44.计算神经网络模型针对二阶验证图像集内各图像的参照计算复杂度以及初始剪枝后的神经网络模型针对二阶验证图像集内各图像的验证计算复杂度由公式得到神经网络模型初始剪枝后的压缩平衡损失系数，其中||·||1为l1正则化函数。

22、s45.由公式l＝α*lcross+β*lbal+γ*lmask得到神经网络模型初始剪枝后的综合损失系数，α、β、γ分别为预设的交叉熵损失系数、压缩平衡损失系数、掩膜损失系数对应的权重超参数。

23、s46.将神经网络模型初始剪枝后的综合损失系数与web云端存储的神经网络模型剪枝综合损失系数合理阈值l0进行比对，若l＞l0，表示神经网络模型剪枝过度，对初始剪枝后的神经网络模型进行反向一次迭代剪枝，将基础设定权重与单次迭代设定权重的差值作为二次反向剪枝权重，重复s41-s46步骤，直至l≤l0，获取反向迭代次数n′，由公式σ分界＝σ0-n′*σ1得到神经网络模型通道的剪枝分界权重，若l＝l0,将基础设定权重作为神经网络模型通道的剪枝分界权重σ分界，若l＜l0，表示神经网络模型剪枝盈余，对初始剪枝后的神经网络模型进行正向一次迭代剪枝，将基础设定权重与单次迭代设定权重的累加值作为二次正向剪枝权重，重复s41-s46步骤，直至l≥l0，获取正向迭代次数n″，由公式得到神经网络模型通道的剪枝分界权重。

24、优选地，所述测试输出信息包括各图像的测试计算参数量、测试浮点运算次数和测试计算速度、各图像对应各类别标签的测试预测概率、各图像对应其特定识别特征的测试输出向量。

25、优选地，所述分析剪枝后的神经网络模型的性能评价系数，包括：根据剪枝后的神经网络模型针对测试图像集的测试输出信息，结合web云端存储的测试图像集内各图像对应各类别标签的标准预测概率、各图像对应其特定识别特征的标准输出向量，分别得到剪枝后的神经网络模型针对测试图像集内各图像的测试计算复杂度测试标签匹配度和测试输出向量相似度其中z为测试图像集内各图像的编号，z＝1，2，...，u。

26、获取剪枝前、后神经网络模型的通道数量，分别记为x前、x后，由公式得到剪枝后的神经网络模型的性能评价系数,u为测试图像集内图像数量。

27、优选地，所述判断神经网络模型的剪枝是否有效，包括：将剪枝后的神经网络模型的性能评价系数与web云端存储的神经网络模型的合理性能评价系数阈值ψ0进行比对，若ψ≥ψ0，则判断神经网络模型的剪枝有效，反之判断神经网络模型的剪枝无效。

28、相较于现有技术，本发明的有益效果如下：(1)本发明通过引入一阶验证图像集、二阶验证图像集和测试图像集，展开对神经网络模型的剪枝处理和成效分析，丰富的数据集支持不仅有效增强了剪枝决策的可信度，降低了因数据集偏差或特定场景下的偶然性导致的误判，还确保了神经网络模型在实际应用中的性能表现，有助于提高模型的鲁棒性和泛化能力。

29、(2)本发明通过从计算改善指数、标签预测精度变化指数和特征识别精度变化指数三个维度展开神经网络模型舍弃各通道后针对图像的负面处理影响系数的综合分析，据此评估神经网络模型内各通道的验证权重，提高了神经网络模型的全局理解能力，为更全面地评估各通道舍弃对模型性能的影响提供了有力支持，进而为神经网络模型的优化和应用提供了有力工具。

30、(3)本发明通过以神经网络模型通道的基础设定权重为初始剪枝分界权重，展开神经网络模型的初始剪枝试验，依据神经网络模型初始剪枝后的综合损失系数对基础设定权重进行正反向迭代训练，进而确定神经网络模型通道的剪枝分界权重，使得剪枝过程更加动态和灵活，能够适应不同复杂程度的模型特点，帮助找到最佳的剪枝平衡点，既减少计算资源消耗，又保持模型性能的稳定。

31、(4)本发明通过测试图像集展开对剪枝后的神经网络模型性能的客观评价，以此判断神经网络模型的剪枝是否有效，确保剪枝后的模型在实际应用中具有更好的泛化能力，减少了过拟合的风险，从而实现神经网络模型剪枝操作的有效闭环。