用于神经网络量化的动态缩放的人工智能处理器架构的制作方法

背景技术：

1、现代计算系统在片上系统(soc)上运行多个神经网络，从而导致soc的处理器的繁重的神经网络负载。尽管对运行神经网络的处理器架构进行了优化，但在繁重的工作负载下，热量仍然是神经网络处理的限制因素，因为热量管理是通过缩减影响处理性能的处理器操作频率来实现的。缩减关键任务系统中的操作频率可能会造成严重问题，这可能会导致不良的用户体验、产品质量、操作安全性等。

技术实现思路

0、概述

1、所公开的各个方面可包括用于由人工智能(ai)处理器对神经网络进行处理的装置和方法。各个方面可包括：接收ai处理器操作条件信息，响应于该操作条件信息而动态地调整该神经网络的分段的ai量化水平，以及使用经调整的ai量化水平对该神经网络的该分段进行处理。

2、在一些方面，动态地调整神经网络的分段的ai量化水平可包括：响应于该操作条件信息指示增加了对该ai处理器的处理能力的约束的操作条件的水平而提高该ai量化水平，以及响应于操作条件信息指示减少了对该ai处理器的处理能力的约束的该操作条件的水平而降低该ai量化水平。

3、在一些方面，该操作条件信息可以是包括以下各项的群中的至少一者：温度、功耗、操作频率、或处理单元利用率。

4、在一些方面，动态地调整该神经网络的该分段的该ai量化水平可包括：调整用于对要由该神经网络的该分段处理的权重值进行量化的该ai量化水平。

5、在一些方面，动态地调整该神经网络的该分段的该ai量化水平可包括：调整用于对要由该神经网络的该分段处理的激活值进行量化的该ai量化水平。

6、在一些方面，动态地调整该神经网络的该分段的该ai量化水平可包括：调整用于对要由该神经网络的该分段处理的权重值和激活值进行量化的该ai量化水平。

7、在一些方面，该ai量化水平可被配置为指示要由该神经网络处理以量化的值的动态比特，并且使用经调整的ai量化水平对该神经网络的该分段进行处理可包括：旁路掉与该值的动态比特相关联的乘加器(mac)的各部分。

8、一些方面可进一步包括：使用ai服务质量(qos)因子来确定aiqos值，以及确定用于达成该aiqos值的该ai量化水平。在一些方面，aiqos值可以表示针对由该ai处理器生成的结果的准确度和该ai处理器的吞吐量(例如，每秒推断数)的目标。

9、进一步的方面可包括一种ai处理器，该ai处理器包括被配置成执行以上概述的各方法中的任何方法的操作的动态量化控制器和mac阵列。进一步的方面可包括一种具有ai处理器的计算设备，该ai处理器包括被配置成执行以上概述的各方法中的任何方法的操作的动态量化控制器和mac阵列。进一步的方面可包括一种ai处理器，该ai处理器包括用于执行以上概述的各方法中的任何方法的功能的装置。

技术特征：

1.一种用于由人工智能(ai)处理器对神经网络进行处理的方法，所述方法包括：

2.如权利要求1所述的方法，其中动态地调整所述神经网络的所述分段的所述ai量化水平包括：

3.如权利要求1所述的方法，其中所述操作条件信息是包括以下各项的群中的至少一者：温度、功耗、操作频率、或处理单元利用率。

4.如权利要求1所述的方法，其中动态地调整所述神经网络的所述分段的所述ai量化水平包括：调整用于对要由所述神经网络的所述分段处理的权重值进行量化的所述ai量化水平。

5.如权利要求1所述的方法，其中动态地调整所述神经网络的所述分段的所述ai量化水平包括：调整用于对要由所述神经网络的所述分段处理的激活值进行量化的所述ai量化水平。

6.如权利要求1所述的方法，其中动态地调整所述神经网络的所述分段的所述ai量化水平包括：调整用于对要由所述神经网络的所述分段处理的权重值和激活值进行量化的所述ai量化水平。

7.如权利要求1所述的方法，其中：

8.如权利要求1所述的方法，进一步包括：

9.如权利要求8所述的方法，其中所述aiqos值表示针对由所述ai处理器生成的结果的准确度和所述ai处理器的吞吐量的目标。

10.一种人工智能(ai)处理器，包括：

11.如权利要求10所述的ai处理器，其中所述动态量化控制器被配置成使得动态地调整所述神经网络的所述分段的所述ai量化水平包括：

12.如权利要求10所述的ai处理器，其中所述动态量化控制器被配置成使得所述操作条件信息是包括以下各项的群中的至少一者：温度、功耗、操作频率、或处理单元利用率。

13.如权利要求10所述的ai处理器，其中所述动态量化控制器被配置成使得动态地调整所述神经网络的所述分段的所述ai量化水平包括：调整用于对要由所述神经网络的所述分段处理的权重值进行量化的所述ai量化水平。

14.如权利要求10所述的ai处理器，其中所述动态量化控制器被配置成使得动态地调整所述神经网络的所述分段的所述ai量化水平包括：调整用于对要由所述神经网络的所述分段处理的激活值进行量化的所述ai量化水平。

15.如权利要求10所述的ai处理器，其中所述动态量化控制器被配置成使得动态地调整所述神经网络的所述分段的所述ai量化水平包括：调整用于对要由所述神经网络的所述分段处理的权重值和激活值进行量化的所述ai量化水平。

16.如权利要求10所述的ai处理器，其中：

17.如权利要求10所述的ai处理器，进一步包括ai服务质量(qos)设备，所述qos设备被配置成：

18.如权利要求17所述的ai处理器，其中所述aiqos设备被配置成使得所述aiqos值表示针对由所述ai处理器生成的结果的准确度和所述ai处理器的吞吐量的目标。

19.一种计算设备，包括：

20.如权利要求19所述的计算设备，其中所述动态量化控制器被配置成通过以下操作来动态地调整所述神经网络的所述分段的所述ai量化水平：

21.如权利要求19所述的计算设备，其中所述动态量化控制器被配置成使得所述操作条件信息是包括以下各项的群中的至少一者：温度、功耗、操作频率、或处理单元利用率。

22.如权利要求19所述的计算设备，其中所述动态量化控制器被配置成通过以下操作来动态地调整所述神经网络的所述分段的所述ai量化水平：调整用于对要由所述神经网络的所述分段处理的权重值进行量化的所述ai量化水平。

23.如权利要求19所述的计算设备，其中所述动态量化控制器被配置成通过以下操作来动态地调整所述神经网络的所述分段的所述ai量化水平：调整用于对要由所述神经网络的所述分段处理的激活值进行量化的所述ai量化水平。

24.如权利要求19所述的计算设备，其中所述动态量化控制器被配置成通过以下操作来动态地调整所述神经网络的所述分段的所述ai量化水平：调整用于对要由所述神经网络的所述分段处理的权重值和激活值进行量化的所述ai量化水平。

25.如权利要求19所述的计算设备，其中：

26.如权利要求19所述的计算设备，进一步包括ai服务质量(qos)设备，所述qos设备被配置成：

27.如权利要求26所述的计算设备，其中所述aiqos设备被配置成使得所述aiqos值表示针对由所述ai处理器生成的结果的准确度和所述ai处理器的吞吐量的目标。

28.一种人工智能(ai)处理器，包括：

29.如权利要求28所述的ai处理器，其中用于动态地调整所述神经网络的所述分段的所述ai量化水平的装置包括：

30.如权利要求28所述的ai处理器，其中所述操作条件信息是包括以下各项的群中的至少一者：温度、功耗、操作频率、或处理单元利用率。

技术总结
各个实施例包括用于由人工智能(AI)处理器对神经网络进行处理的方法和设备。各实施例可包括：接收AI处理器操作条件信息，响应于该操作条件信息而动态地调整神经网络的分段的AI量化水平，以及使用经调整的AI量化水平来对该神经网络的该分段进行处理。

技术研发人员：H·J·朴,E·W·马胡林,T·P·F·布兰科福德
受保护的技术使用者：高通股份有限公司
技术研发日：
技术公布日：2024/1/16