神经网络剪枝及应用方法、系统、设备及存储介质与流程

本发明涉及人工智能，尤其涉及一种神经网络剪枝及应用方法、系统、设备及存储介质。

背景技术：

1、卷积神经网络目前被广泛地应用在计算机视觉的各个领域，如图像识别、物体检测、图像分割等等，同时，也被广泛应用于视频编码领域，在以上各领域中均取得了非常好的效果。

2、但是，目前的卷积神经网络在计算复杂度过高，导致计算资源、存储资源消耗较高，并且处理速度也有待提升。

技术实现思路

1、本发明的目的是提供一种神经网络剪枝及应用方法、系统、设备及存储介质，可以提升处理速度，并降低计算资源与存储资源的消耗。

2、本发明的目的是通过以下技术方案实现的：

3、一种神经网络剪枝及应用方法，包括：

4、对用于计算机视觉处理或者视频编码处理的神经网络，在训练过程中，通过神经网络中的卷积层对输入训练图像进行卷积处理，将每一卷积层每一通道输出的图像特征分别乘以一个当前的通道重要性变量，再输入至下一卷积层，并且在训练过程中，结合对输入训练图像的处理结果以及当前的通道重要性变量构建总损失函数，对每一卷积层每一通道对应的通道重要性变量进行以及神经网络的参数优化；

5、训练完毕后，去除通道重要性变量小于设定的重要性阈值的通道，获得剪枝后的神经网络；

6、利用剪枝后的神经网络进行计算机视觉处理或者视频编码处理。

7、一种神经网络剪枝及应用系统，包括：

8、神经网络训练单元，用于对用于计算机视觉处理或者视频编码处理的神经网络，在训练过程中，通过神经网络中的卷积层对输入训练图像进行卷积处理，将每一卷积层每一通道输出的图像特征分别乘以一个当前的通道重要性变量，再输入至下一卷积层，并且在训练过程中，结合对输入训练图像的处理结果以及当前的通道重要性变量构建总损失函数，对每一卷积层每一通道对应的通道重要性变量以及神经网络的参数进行优化；

9、剪枝单元，用于神经网络训练完毕后，去除通道重要性变量小于设定的重要性阈值的通道，获得剪枝后的神经网络；

10、应用单元，用于利用剪枝后的神经网络进行计算机视觉处理或者视频编码处理。

11、一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

12、其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。

13、一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。

14、由上述本发明提供的技术方案可以看出，通过对神经网络进行剪枝，减少神经网络的通道数，加快神经网络的推理速度，并且能够降低计算资源与存储资源的消耗。

技术特征：

1.一种神经网络剪枝及应用方法，其特征在于，包括：

2.根据权利要求1所述的一种神经网络剪枝及应用方法，其特征在于，训练过程中新增重要性指标损失项，并结合原有损失函数项，形成总损失函数；利用所述总损失函数优化通道重要性变量以及神经网络的参数；其中，所述原有损失函数项利用输入训练图像的处理结果计算，所述重要性指标损失项利用当前的通道重要性变量计算。

3.根据权利要求2所述的一种神经网络剪枝及应用方法，其特征在于，所述总损失函数表示为：

4.根据权利要求1所述的一种神经网络剪枝及应用方法，其特征在于，所述训练完毕后，去除通道重要性变量小于设定的重要性阈值的通道，获得剪枝后的神经网络包括：

5.一种神经网络剪枝及应用系统，其特征在于，包括：

6.根据权利要求5所述的一种神经网络剪枝及应用系统，其特征在于，训练过程中新增重要性指标损失项，并结合原有损失函数项，形成总损失函数；利用所述总损失函数优化通道重要性变量以及神经网络的参数；其中，所述原有损失函数项利用输入训练图像的处理结果计算，所述重要性指标损失项利用当前的通道重要性变量计算。

7.根据权利要求6所述的一种神经网络剪枝及应用系统，其特征在于，所述总损失函数表示为：

8.根据权利要求5所述的一种神经网络剪枝及应用系统，其特征在于，所述训练完毕后，去除通道重要性变量小于设定的重要性阈值的通道，获得剪枝后的神经网络包括：

9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1～4任一项所述的方法。

技术总结
本发明公开了一种神经网络剪枝及应用方法、系统、设备及存储介质，相关方法包括：对用于计算机视觉处理或者视频编码处理的神经网络，在训练过程中，将每一卷积层每一通道的输出分别乘以一个通道重要性变量，再输入至下一卷积层，并且在训练过程中，对每一卷积层每一通道对应的通道重要性变量进行优化；训练完毕后，去除通道重要性变量小于设定的重要性阈值的通道，获得剪枝后的神经网络；利用剪枝后的神经网络进行计算机视觉处理或者视频编码处理。本发明通过对神经网络进行剪枝，减少神经网络的通道数，加快神经网络的推理速度，并且能够降低计算资源与存储资源的消耗。

技术研发人员：冯溢,武祥吉,陈也达,袁庆祝,张子文
受保护的技术使用者：上海双深信息技术有限公司
技术研发日：
技术公布日：2024/1/16