模型量化方法及计算设备与流程

本申请实施例涉及数据处理，尤其涉及一种模型量化方法及计算设备。

背景技术：

1、神经网络模型多是采用浮点型进行计算，模型量化是指将模型数据从高精度量化为低精度的操作过程，以实现模型压缩、减少内存占用、提高计算速度等目的。

2、然而，低精度的浮点数的数据表达范围有限，导致模型量化操作灵活性较差。

技术实现思路

1、本申请实施例提供一种模型量化方法及计算设备，用以解决现有技术中模型量化操作灵活性较差的技术问题。

2、第一方面，本申请实施例中提供了一种模型量化方法，包括：

3、确定模型中待量化的第一模型数据；

4、根据所述第一模型数据的表达数值，确定对应的目标指数表示方式；

5、按照所述目标指数表示方式，将所述第一模型数据从第一精度量化为第二精度，以生成第二模型数据；其中，所述第一精度与所述第二精度均对应浮点型；其中，实际值相同的指数部分对应不同指数表示方式的指数编码值不同。

6、第二方面，本申请实施例中提供了一种计算设备，包括处理组件以及存储组件，所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行，以实现上述第一方面所述的模型量化方法。

7、第三方面，本申请实施例中提供了一种计算机存储介质，其存储有计算机程序，该计算机程序被计算设备执行时实现如上述第一方面所述的模型量化方法。

8、本申请实施例中，对于待量化的第一模型数据，根据所述第一模型数据的表达数值，确定对应的目标指数表示方式；按照目标指数表示方式，将第一模型数据从第一精度量化为第二精度，以生成第二模型数据；其中，所述第一精度与所述第二精度均对应浮点型；其中，实际值相同的指数部分对应不同指数表示方式的指数编码值不同。由于浮点型的指数部分决定了数据表达范围，局限于比特数限制，本申请实施例根据第一模型数据的表达数值，选择对应的目标指数表达方式来进行量化，可以使得第一模型数据实现有效量化为第二精度的目的，提高了模型量化操作的灵活性。

9、本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

技术特征：

1.一种模型量化方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一模型数据的表达数值，确定对应的目标指数表示方式包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一模型数据的表达数值，确定将原始指数偏移值调整为目标指数偏移值的指数表示方式包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一模型数据的表达数值，确定对应的目标指数表示方式包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一模型数据的表达数值，确定所述第二精度对应指数部分的最大实际值用以表示有效数值的目标指数表示方式包括：

6.根据权利要求1所述的方法，其特征在于，所述根据所述模型数据的表达数值，确定对应的目标指数表示方式包括：

7.根据权利要求1所述的方法，其特征在于，所述将所述第一模型数据从第一精度量化为第二精度包括：

8.根据权利要求7所述的方法，其特征在于，还包括：

9.根据权利要求8所述的方法，其特征在于，所述根据所述第一指数部分的指数编码值以及所述指数编码阈值，对所述第一尾数部分进行量化处理，获得第二尾数部分对应的尾数数值包括：

10.根据权利要求9所述的方法，其特征在于，所述基于所述差值及基数，对所述第一尾数部分进行量化处理包括：

11.根据权利要求1所述的方法，其特征在于，所述按照所述目标指数表示方式，将所述第一模型数据从第一精度量化为第二精度，以生成第二模型数据之后，所述方法还包括：

12.根据权利要求11所述的方法，其特征在于，还包括：

13.一种计算设备，其特征在于，包括处理组件以及存储组件；

14.一种计算机存储介质，其特征在于，其存储有计算机程序，该计算机程序被计算设备执行时实现如权利要求1～12任一项所述的模型量化方法。

技术总结
本申请实施例提供一种模型量化方法及计算设备。其中，确定模型中待量化的第一模型数据；根据所述第一模型数据的表达数值，确定对应的目标指数表示方式；按照所述目标指数表示方式，将所述第一模型数据从第一精度量化为第二精度，以生成第二模型数据；其中，所述第一精度与所述第二精度均对应浮点型；其中，实际值相同的指数部分对应不同指数表示方式的指数编码值不同。本申请实施例提供的技术方案提高了模型量化操作的灵活性。

技术研发人员：康瑞鹏,游亮,龙欣
受保护的技术使用者：阿里云计算有限公司
技术研发日：
技术公布日：2024/1/12