应用于人工智能芯片的计算处理方法、装置及芯片与流程

本发明涉及计算机，尤其涉及应用于人工智能芯片的计算处理方法、装置及芯片。

背景技术：

1、现有技术中，用于检测任务、计算任务的人工智能芯片方案主要分为两类，一类是通用处理器，如cpu（central processing unit，中央处理器）、fpga（field programmablegate array，现场可编程门阵列）等，通过软件实现人工智能计算；另一类是专门针对人工神经网络的加速处理器，如nvidia的gpu（graphics processing unit，图形处理器）、google的tpu（tensor processing units，张量处理器）等。这些芯片方案在不同场景下有其优劣势，但是对于多任务自分配和调度的问题，需要在软硬件结合的设计上做更多的优化和创新。

2、传统的人工神经网络处理器中，面临着算力不足、功耗过大、时延较长等问题，严重影响人工智能芯片在更多场景中的普及和使用。例如，在现有方案中，芯片内部的计算单元需要遵循先配置后计算的原则，这种方式往往会带来不必要的时延和很多冗余的计算。如何进一步提升人工智能芯片计算能力，成为亟待解决的问题。

技术实现思路

1、为克服相关技术中存在的问题，本发明的实施例提供一种应用于人工智能芯片的计算处理方法、装置及芯片。技术方案如下：

2、根据本发明的实施例的第一方面，提供一种应用于人工智能芯片的计算处理方法，包括：

3、响应于接收到指令流，从所述指令流中解析出第一指示信息，所述第一指示信息用于指示配置流缓存单元中的目标配置流；其中，配置流缓存单元中存储了多个配置流，每个配置流包括一套对计算单元的配置参数的可选参数配置；

4、控制计算单元基于目标配置流的可选参数配置对数据流进行计算处理。

5、在本申请一实施例中，所述第一指示信息还用于指示数据流缓存单元中的目标数据流；

6、所述控制计算单元基于目标配置流的可选参数配置对数据流进行计算处理，包括：控制计算单元基于目标配置流的可选参数配置对目标数据流进行计算处理。

7、在本申请一实施例中，所述方法还包括：

8、响应于接收到指令流，从所述指令流中解析出第二指示信息，所述第二指示信息用于直接指示对计算单元的配置参数的参数配置；

9、控制计算单元基于目标配置流的可选参数配置以及指令流直接指示的参数配置对数据流进行计算处理，其中，所述指令流直接指示的参数配置比目标配置流的可选参数配置具有更高优先级。

10、在本申请一实施例中，所述方法还包括：

11、检测数据流中包括的参数配置信息；

12、确定检测到的参数配置信息对应的数据流参数配置；

13、控制计算单元基于目标配置流的可选参数配置以及所述数据流参数配置对数据流进行计算处理，其中，所述数据流参数配置比目标配置流的可选参数配置具有更高优先级。

14、在本申请一实施例中，所述检测数据流中包括的参数配置信息，包括以下方式中的至少一种：

15、检测数据流中预留指定区域存在的参数配置信息；

16、检测数据流的数据分类属性，将数据分类属性作为参数配置信息。

17、根据本发明的实施例的第二方面，提供一种应用于人工智能芯片的计算处理装置，包括：

18、解析模块，用于响应于接收到指令流，从所述指令流中解析出第一指示信息，所述第一指示信息用于指示配置流缓存单元中的目标配置流；其中，配置流缓存单元中存储了多个配置流，每个配置流包括一套对计算单元的配置参数的可选参数配置；

19、控制模块，用于控制计算单元基于目标配置流的可选参数配置对数据流进行计算处理。

20、在本申请一实施例中，所述第一指示信息还用于指示数据流缓存单元中的目标数据流；

21、所述控制模块还用于：控制计算单元基于目标配置流的可选参数配置对目标数据流进行计算处理。

22、在本申请一实施例中，所述解析模块还用于：响应于接收到指令流，从所述指令流中解析出第二指示信息，所述第二指示信息用于指示对计算单元的配置参数的修改信息；

23、所述控制模块还用于：控制计算单元基于目标配置流的可选参数配置以及所述修改信息对数据流进行计算处理，其中，所述修改信息比目标配置流的可选参数配置具有更高优先级。

24、在本申请一实施例中，所述装置还包括：

25、检测模块，用于检测数据流中包括的参数配置信息；

26、确定模块，用于确定检测到的参数配置信息对应的数据流参数配置；

27、所述控制模块还用于：控制计算单元基于目标配置流的可选参数配置以及所述数据流参数配置对数据流进行计算处理，其中，所述数据流参数配置比目标配置流的可选参数配置具有更高优先级；

28、在本申请一实施例中，所述检测模块检测数据流中包括的参数配置信息，包括：

29、检测数据流中预留指定区域存在的参数配置信息；或者，

30、检测数据流的数据分类属性，将数据分类属性作为参数配置信息。

31、根据本发明的实施例的第三方面，一种人工智能芯片，包括上述第二方面中任一项所述的应用于人工智能芯片的计算处理装置。

32、根据本发明的实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现本发明的实施例的第一方面中任一项方法的步骤。

33、本发明的实施例提供的技术方案，可以为芯片的计算单元预先配置多套可选参数配置，并以多个配置流的形式下发到配置流缓存单元中，在芯片进行计算需要更改计算单元的参数配置时，通过独立于数据流和配置流之外的指令流，在指令流中使用指示信息从已经下发的多套可选参数配置中指定一套参数配置，从而使计算单元可以快速进行参数配置的切换以配合数据流的计算。

34、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

技术特征：

1.一种应用于人工智能芯片的计算处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述第一指示信息还用于指示数据流缓存单元中的目标数据流；

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述检测数据流中包括的参数配置信息，包括以下方式中的至少一种：

6.一种应用于人工智能芯片的计算处理装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，

8.根据权利要求6所述的装置，其特征在于，

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

10.一种人工智能芯片，其特征在于，包括权利要求6-9任一项所述的应用于人工智能芯片的计算处理装置。

11.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-5任一项方法的步骤。

技术总结
本发明是关于应用于人工智能芯片的计算处理方法、装置及芯片。其中，该方法包括：响应于接收到指令流，从所述指令流中解析出第一指示信息，所述第一指示信息用于指示配置流缓存单元中的目标配置流；其中，配置流缓存单元中存储了多个配置流，每个配置流包括一套对计算单元的配置参数的可选参数配置；控制计算单元基于目标配置流的可选参数配置对数据流进行计算处理。本发明通过独立于数据流和配置流之外的指令流，从已经下发的多套可选参数配置中指定参数配置，从而使芯片的计算单元可以快速进行参数配置的切换以配合数据流的计算。

技术研发人员：王洲,唐晓楠,孙烨磊,王春祥,王雅婷,李慧清,杨威,杨雷明,邰阳,徐彦卿
受保护的技术使用者：北京星宇天航科技有限公司
技术研发日：
技术公布日：2024/1/16