一种神经网络模型压缩方法和相关装置与流程

本申请涉及数据处理领域，特别是涉及一种神经网络模型压缩方法和相关装置。

背景技术：

1、随着深度学习的不断发展，神经网络广泛应用于不同的领域，取得远超以往的性能，但是神经网络模型的参数也越来越大，严重制约着神经网络模型在业界的应用。神经网络模型量化是目前业界最有效的神经网络模型优化方法之一，其可以通过低比特位表示高比特数据，例如32bit的数据通过8bit表示，可以使神经网络模型实现4倍的参数压缩，实现了神经网络模型的计算加速，从而以相对较小的精度损失代价获得较好的收益。然而对神经网络模型的量化依然会带来神经网络模型精度的下降，不能满足实际对高精度神经网络模型的需求。

技术实现思路

1、为了解决上述技术问题，本申请提供了一种神经网络模型压缩方法和相关装置，通过渐进量化等级序列可以对待压缩神经网络模型进行渐进量化处理，利用参考神经网络模型对待压缩神经网络模型进行知识蒸馏训练，从而使待压缩神经网络模型转换为目标神经网络模型，即通过蒸馏引导待压缩神经网络模型的渐进量化，在实现较高压缩比例的情况下，还可以使压缩后的神经网络模型具有较小的精度损失，保持了神经网络模型的性能。

2、本申请实施例公开了如下技术方案：

3、一方面，本申请提供一种神经网络模型压缩方法，所述方法包括：

4、对初始神经网络模型进行训练得到参考神经网络模型；

5、构建待压缩神经网络模型以及所述待压缩神经网络模型的量化等级序列，所述量化等级序列包括多个量化等级，所述量化等级序列中所述多个量化等级依次下降；所述量化等级序列包括渐进量化等级序列，所述渐进量化等级序列至少包括三个量化等级；

6、对所述待压缩神经网络模型交替进行量化处理和知识蒸馏训练得到目标神经网络模型，所述目标神经网络模型用于对待识别对象进行识别，所述待压缩神经网络模型的初始量化等级和所述目标神经网络模型的实际量化等级在所述渐进量化等级序列中不相邻；在对所述待压缩神经网络模型进行量化处理的过程中，对所述待压缩神经网络模型的数据处理节点的参数，根据所述量化等级序列所指示的量化等级顺序进行顺次量化；在对所述待压缩神经网络模型进行知识蒸馏训练的过程中，根据所述参考神经网络模型的参考输出数据和所述待压缩神经网络模型的实际输出数据的差异，对所述待压缩神经网络模型的参数进行更新。

7、另一方面，本申请提供一种神经网络模型压缩装置，所述装置包括：

8、训练单元，用于对初始神经网络模型进行训练得到参考神经网络模型；

9、构建单元，用于构建待压缩神经网络模型以及所述待压缩神经网络模型的量化等级序列，所述量化等级序列包括多个量化等级，所述量化等级序列中所述多个量化等级依次下降；所述量化等级序列包括渐进量化等级序列，所述渐进量化等级序列至少包括三个量化等级；

10、压缩单元，用于对所述待压缩神经网络模型交替进行量化处理和知识蒸馏训练得到目标神经网络模型，所述目标神经网络模型用于对待识别对象进行识别，所述待压缩神经网络模型的初始量化等级和所述目标神经网络模型的实际量化等级在所述渐进量化等级序列中不相邻；

11、所述压缩单元包括量化处理单元和知识蒸馏训练单元；

12、所述量化处理单元，用于在对所述待压缩神经网络模型进行量化处理的过程中，对所述待压缩神经网络模型的数据处理节点的参数，根据所述量化等级序列所指示的量化等级顺序进行顺次量化；

13、所述知识蒸馏训练单元，用于在对所述待压缩神经网络模型进行知识蒸馏训练的过程中，根据所述参考神经网络模型的参考输出数据和所述待压缩神经网络模型的实际输出数据的差异，对所述待压缩神经网络模型的参数进行更新。

14、另一方面，本申请提供一种计算机设备，所述设备包括处理器以及存储器：

15、所述存储器用于存储计算机程序，并将所述计算机程序传输给所述处理器；

16、所述处理器用于根据所述计算机程序中的指令执行上述方面所述的神经网络模型压缩方法。

17、另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方面所述的神经网络模型压缩方法。

18、另一方面，本申请实施例提供了一种包括计算机程序的计算机程序产品，当其在计算机设备上运行时，使得所述计算机设备执行所述的神经网络模型压缩方法。

19、由上述技术方案可以看出，对初始神经网络模型进行训练得到参考神经网络模型，而后构建待压缩神经网络模型以及待压缩神经网络模型的量化等级序列，量化等级序列包括多个量化等级，量化等级序列中的多个量化等级依次下降，量化等级序列包括渐进量化等级序列，渐进量化等级序列至少包括三个量化等级，这样可以通过量化等级序列对待压缩神经网络模型进行量化处理，其中通过渐进量化等级序列可以对待压缩神经网络模型进行渐进量化处理，利用参考神经网络模型对待压缩神经网络模型进行知识蒸馏训练，从而使待压缩神经网络模型转换为目标神经网络模型，得到的目标神经网络模型可以用于对待识别对象进行识别。

20、具体的，可以对待压缩神经网络模型交替进行量化处理和知识蒸馏训练得到目标神经网络模型，在对待压缩神经网络模型进行量化处理的过程中，可以对待压缩神经网络模型的数据处理节点的参数，根据量化等级序列所指示的量化等级顺序进行顺次量化，即在量化过程中根据量化等级序列实现数据处理节点的参数的量化等级的依次下降；在对待压缩神经网络模型进行知识蒸馏训练的过程中，可以根据参考神经网络模型的参考输出数据和待压缩神经网络模型的实际输出数据的差异，对待压缩神经网络模型的参数进行更新，从而提高待压缩神经网络模型的精度。这样在待压缩神经网络模型的初始量化等级和目标神经网络模型的实际量化等级在渐进量化等级序列中不相邻时，根据渐进量化等级序列进行的量化包括多次，相比于将待压缩神经网络模型的初始量化等级直接量化为目标神经网络模型的实际量化等级而言，这种多次量化使得每次量化所带来的精度损失更小，这样在之后的知识蒸馏训练中更容易使其恢复高精度，即使待压缩神经网络模型到目标神经网络模型实现了较高压缩比，也可以得到较小的精度损失，保持了目标的性能。

技术特征：

1.一种神经网络模型压缩方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述待压缩神经网络模型的数据处理节点包括特征提取层、全连接层和激活函数，所述量化等级序列包括特征提取层对应的特征提取量化等级序列、全连接层对应的全连接量化等级序列和激活函数对应的激活量化等级序列，所述量化等级序列中的至少一个为渐进量化等级序列；

3.根据权利要求2所述的方法，其特征在于，所述第一目标特征提取层为所述特征提取层中的部分特征提取层，所述对所述特征提取层中的第一目标特征提取层的参数，根据所述特征提取量化等级序列所指示的量化等级顺序进行顺次量化之后，所述方法还包括：

4.根据权利要求2所述的方法，其特征在于，所述第一目标全连接层为所述全连接层中的部分全连接层，所述对所述全连接层中的第一目标全连接层的参数，根据所述全连接量化等级序列所指示的量化等级顺序进行顺次量化之后，所述方法还包括：

5.根据权利要求2所述的方法，其特征在于，所述对所述特征提取层中的第一目标特征提取层的参数，根据所述特征提取量化等级序列所指示的量化等级顺序进行顺次量化，包括：

6.根据权利要求2所述的方法，其特征在于，在所述对所述待压缩神经网络模型交替进行量化处理和知识蒸馏训练得到目标神经网络模型之前，所述方法还包括：

7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述参考神经网络模型的参考输出数据和所述待压缩神经网络模型的实际输出数据的差异，对所述待压缩神经网络模型的参数进行更新，包括：

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

9.根据权利要求7所述的方法，其特征在于，所述根据所述全精度参考层输出的参考输出数据和所述量化参考层输出的实际输出数据的差异，确定量化参考层的学习损失函数，包括：

10.根据权利要求1-5任一项所述的方法，其特征在于，所述对初始神经网络模型进行训练得到参考神经网络模型，包括：

11.根据权利要求1-5任一项所述的方法，其特征在于，所述构建待压缩神经网络模型以及所述待压缩神经网络模型的量化等级序列，包括：

12.一种神经网络模型压缩装置，其特征在于，所述装置包括：

13.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-11中任意一项所述的神经网络模型压缩方法。

15.一种包括计算机程序的计算机程序产品，其特征在于，当其在计算机设备上运行时，使得所述计算机设备执行权利要求1-11中任意一项所述的神经网络模型压缩方法。

技术总结
本申请公开了一种神经网络模型压缩方法和相关装置，涉及人工智能、机器学习等领域，在确定参考神经网络模型和待压缩神经网络模型之后，对待压缩神经网络模型交替进行量化处理和知识蒸馏训练可以得到目标神经网络模型。其中，可以根据量化等级序列对待压缩神经网络模型的数据处理节点的参数进行量化，这样通过量化等级序列中的渐进量化等级序列可以对待压缩神经网络模型进行渐进量化处理，利用参考神经网络模型可以在渐进量化过程中对待压缩神经网络模型进行知识蒸馏训练，即通过蒸馏引导待压缩神经网络模型的渐进量化，在实现较高压缩比例的情况下，还可以使使压缩后的神经网络模型具有较小的精度损失，保持了神经网络模型的性能。

技术研发人员：郝立扬
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15