人工智能模型的处理电路及运算排程方法与流程

本发明是关于人工智能模型，尤其是关于人工智能模型的处理电路与运算排程方法。

背景技术：

1、在一个芯片上系统(例如，系统单芯片(system-on-chip,soc))中，内存带宽总量通常是固定的，且被多个模块使用。当某个模块所占用的内存带宽过大时，会导致其他模块获取内存发生阻塞，进而导致系统性能降低。人工智能(artificial intelligence,ai)模型作为芯片上系统中的一个模块，经常需要处理大量的数据，对内存的带宽需求大；因此，减小ai模型的带宽需求成为一个重要的课题。

技术实现思路

1、鉴于先前技术之不足，本发明的一目的在于提供一种人工智能模型的处理电路及运算排程方法，以改善先前技术的不足。

2、本发明的一实施例提供一种人工智能模型的处理电路。该处理电路耦接一外部内存并且包含一内存、一内存管理电路以及一运算电路。内存管理电路从该外部内存读取一张量，并将该张量储存至该内存。运算电路被配置以进行以下操作：对该张量的一第一子张量进行一第一种类的运算，以产生一第一中间数据；对该张量的一第二子张量进行该第一种类的运算，以产生一第二中间数据；对该第一中间数据及该第二中间数据进行一第二种类的运算，以产生一第三中间数据；对该张量的一第三子张量进行该第一种类的运算，以产生一第四中间数据；以及，对该第一中间数据、该第二中间数据及该第四中间数据进行该第二种类的运算，以产生一第五中间数据。

3、本发明的另一实施例提供一种人工智能模型的处理电路。该处理电路耦接一外部内存并且包含一内存。该处理电路执行以下操作：从该外部内存读取一张量及复数个核心参数，并将该张量及该些核心参数储存至该内存，其中，该张量包含一第一子张量及一第二子张量，该些核心参数包含一向量核心参数；根据该向量核心参数的一第一部分对该第一子张量进行一第一向量运算，以产生一第一中间数据；以及，根据该向量核心参数的一第二部分对该第二子张量进行一第二向量运算，以产生一第二中间数据。该向量核心参数的该第一部分不等于该向量核心参数的该第二部分。

4、本发明的另一实施例提供一种人工智能模型的运算排程方法。该人工智能模型包含一第一运算子及一第二运算子。该运算排程方法包含：将一张量分为h个子张量，h是大于1之整数；将该第一运算子分为h个第一子运算子；将该第二运算子分为h个第二子运算子；确定该h个第一子运算子及该h个第二子运算子之间的一依赖关系；根据该依赖关系排序该h个第一子运算子及该h个第二子运算子，以得到一操作顺序；以及，根据该操作顺序确定执行该人工智能模型的一处理电路何时从该处理电路所包含的一内存中删除一目标数据，该目标数据是该h个第一子运算子及该h个第二子运算子的其中一者的一输出数据。

5、本发明的实施例所体现的技术手段可以改善先前技术之缺点的至少其中之一，因此本发明相较于先前技术可以减少内存用量及/或降低对内存的带宽需求。

6、有关本申请的特征、实作与功效，兹配合图式作较佳实施例详细说明如下。

技术特征：

1.一种人工智能模型的处理电路，其特征在于，所述处理电路耦接一外部内存，包含：

2.如权利要求1所述的处理电路，其特征在于，所述内存管理电路将所述第一中间数据及所述第二中间数据存入所述内存，并在所述第五中间数据产生之后，从所述内存中删除所述第一中间数据。

3.如权利要求1所述的处理电路，其特征在于，所述第一种类的运算是一加法运算或一减法运算，所述第二种类的运算是一卷积运算。

4.如权利要求1所述的处理电路，其特征在于，所述第一中间数据、所述第二中间数据及所述第四中间数据对应到所述张量的同一维度。

5.如权利要求4所述的处理电路，其特征在于，所述第四中间数据在所述第三中间数据产生后产生。

6.如权利要求1所述的处理电路，其特征在于，所述处理电路更包含：

7.如权利要求1所述的处理电路，其特征在于，所述第一中间数据、所述第二中间数据及所述第四中间数据的大小相同。

8.如权利要求1所述的处理电路，其特征在于，所述内存管理电路包含一第一通道及一第二通道，所述对所述第一子张量进行所述第一种类的运算包含以下的步骤：

9.一种人工智能模型的处理电路，其特征在于，所述处理电路耦接一外部内存并且包含一内存，所述处理电路执行以下操作：

10.如权利要求9所述的处理电路，其特征在于，所述张量更包含一第三子张量，各所述核心参数更包含用于一卷积运算的一卷积核心参数，所述处理电路更执行以下操作：

11.如权利要求10所述的处理电路，其特征在于，所述卷积运算为一第一卷积运算，所述处理电路更执行以下操作：

12.如权利要求11所述的处理电路，其特征在于，所述第一中间数据储存于所述内存，所述处理电路更执行以下操作：

13.如权利要求9所述的处理电路，其特征在于，所述第一子张量及所述第二子张量对应到所述张量的同一维度。

14.如权利要求9所述的处理电路，其特征在于，所述第一向量运算及所述第二向量运算是一加法运算及一减法运算的其中之一。

15.如权利要求9所述的处理电路，其特征在于，所述处理电路更包含一内存管理电路，所述内存管理电路包含一第一通道及一第二通道，所述对所述第一子张量进行所述第一向量运算以产生所述第一中间数据报含以下的步骤：

16.一种人工智能模型的运算排程方法，其特征在于，所述人工智能模型包含一第一运算子及一第二运算子，所述运算排程方法包含：

17.如权利要求16所述的运算排程方法，其特征在于，所述确定所述h个第一子运算子及所述h个第二子运算子的所述依赖关系的步骤包含：

18.如权利要求16所述的运算排程方法，其特征在于，所述根据所述依赖关系排序所述h个第一子运算子及所述h个第二子运算子以得到所述操作顺序的步骤包含：

19.如权利要求18所述的运算排程方法，其特征在于，所述根据所述依赖关系排序所述h个第一子运算子及所述h个第二子运算子以得到所述操作顺序的步骤更包含：

20.如权利要求18所述的运算排程方法，其特征在于，根据所述操作顺序确定何时从所述内存中删除所述目标数据的步骤包含：

技术总结
本申请公开了人工智能模型的处理电路及运算排程方法。该处理电路耦接一外部内存并包含一内存、一内存管理电路以及一运算电路。内存管理电路从该外部内存读取一张量，并将该张量储存至该内存。运算电路被配置以进行以下操作：对该张量的一第一子张量进行一第一种类的运算，以产生一第一中间数据；对该张量的一第二子张量进行该第一种类的运算，以产生一第二中间数据；对该第一中间数据及该第二中间数据进行一第二种类的运算，以产生一第三中间数据；对该张量的一第三子张量进行该第一种类的运算，以产生一第四中间数据；以及，对该第一中间数据、该第二中间数据及该第四中间数据进行该第二种类的运算，以产生一第五中间数据。

技术研发人员：俞清
受保护的技术使用者：星宸科技股份有限公司
技术研发日：
技术公布日：2024/1/12