神经网络剪枝方法及相关产品与流程

本申请涉及电子设备，具体涉及一种神经网络剪枝方法及相关产品。

背景技术：

1、随着深度学习技术的进步，神经网络模型(例如，深度神经网络(deep neuralnetwork，dnn)、卷积神经网络(convolutional neural network，cnn)等等)在机器视觉、自动驾驶、自然语言等领域中的应用日益广泛。然而其复杂的结构导致即使在推理时需占用大量的功耗和资源(例如，算力、内存、存储空间等)，严重限制了此类技术在功耗和资源受限的移动和嵌入式平台上的部署，因而会对其进行一定的压缩。目前对神经网络模型进行压缩的方法主要有量化(quantization)、剪枝(pruning)、知识蒸馏(knowledgedistillation)、神经网络结构搜索(neural architecture search，nas)等。

2、其中，剪枝是指从原始神经网络模型(neural network，nn)中系统性地剪去部分不重要的权重而尽量少地损失精度，以减少nn的参数量；在这种情况下，即使剪去的主要是不重要的权重，但是仍然会对神经网络的表达能力造成一定程度的影响。

技术实现思路

1、本申请实施例提供了一种神经网络剪枝方法及相关产品，有利于提高训练灵活性，并有利于开发者针对自身的应用场景进行灵活定制，从而避免由于剪去部分不重要的权重而造成神经网络模型表达能力受损的影响

2、第一方面，本申请实施例提供一种神经网络剪枝方法，所述方法包括：

3、确定第一模型，其中，所述第一模型支持细粒度训练；

4、对所述第一模型进行分析，以剪去不达标的权值，得到第二模型；

5、对所述第二模型对应的权值进行初始化，得到第三模型；

6、对所述第三模型进行迭代训练，直至所述第三模型收敛或迭代次数达到最大迭代次数；

7、在每一代所述迭代训练中，判断每一代迭代训练得到的第四模型对应的压缩比是否达标；

8、若所述压缩比达标，则确定剪枝操作结束。

9、第二方面，本申请实施例提供一种神经网络剪枝装置，应用于电子设备，所述装置包括：确定单元、分析单元、初始化单元、迭代训练单元和判断单元，其中，

10、所述确定单元，用于确定第一模型，其中，所述第一模型支持细粒度训练；

11、所述分析单元，用于对所述第一模型进行分析，以剪去不达标的权值，得到第二模型；

12、所述初始化单元，用于对所述第二模型对应的权值进行初始化，得到第三模型；

13、所述迭代训练单元，用于对所述第三模型进行迭代训练，直至所述第三模型收敛或迭代次数达到最大迭代次数；

14、所述判断单元，用于在每一代所述迭代训练中，判断每一代迭代训练得到的第四模型对应的压缩比是否达标；

15、所述确定单元，还用于若所述压缩比达标，则确定剪枝操作结束。

16、第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。

17、第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

18、第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

19、可以看出，本申请实施例中，电子设备可确定第一模型，其中，所述第一模型支持细粒度训练；对所述第一模型进行分析，以剪去不达标的权值，得到第二模型；对所述第二模型对应的权值进行初始化，得到第三模型；对所述第三模型进行迭代训练，直至所述第三模型收敛或迭代次数达到最大迭代次数；在每一代所述迭代训练中，判断每一代迭代训练得到的第四模型对应的压缩比是否达标；若所述压缩比达标，则确定剪枝操作结束。如此，通过引入对剪枝后训练过程中的初始化、重训练等方法，有利于提高训练灵活性，并有利于开发者针对自身的应用场景进行灵活定制，从而避免由于剪去部分不重要的权重而造成神经网络模型表达能力受损的影响，有利于提高对剪枝后恢复表达能力学习曲线的精细掌控，有利于提高剪枝精度。

技术特征：

1.一种神经网络剪枝方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述确定第一模型，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述对所述第一模型进行分析，以剪去不达标的权值，得到第二模型，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述多个权值组，对所述第一模型进行逐层或者全局识别，以筛选出不达标的权值，得到所述第二模型，包括：

5.根据权利要求4所述的方法，其特征在于，所述剪去所述不达标的权值，包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述第一模型包括以下至少一种：浮点模型、定点模型、整数模型、二值化模型。

8.一种神经网络剪枝装置，其特征在于，所述装置包括：确定单元、分析单元、初始化单元、迭代训练单元和判断单元，其中，

9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。

技术总结
本申请实施例公开了一种神经网络剪枝方法及相关产品，方法包括：确定第一模型，其中，所述第一模型支持细粒度训练；对所述第一模型进行分析，以剪去不达标的权值，得到第二模型；对所述第二模型对应的权值进行初始化，得到第三模型；对所述第三模型进行迭代训练，直至所述第三模型收敛或迭代次数达到最大迭代次数；在每一代所述迭代训练中，判断每一代迭代训练得到的第四模型对应的压缩比是否达标；若所述压缩比达标，则确定剪枝操作结束。采用本申请实施例有利于提高训练灵活性，并有利于开发者针对自身的应用场景进行灵活定制，从而避免由于剪去部分不重要的权重而造成神经网络模型表达能力受损的影响。

技术研发人员：李文进
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：
技术公布日：2024/1/15