基于芯片多级存储的数据预取方法、装置、设备及介质与流程

本发明涉及数据传输，尤其涉及基于芯片多级存储的数据预取方法、装置、设备及介质。

背景技术：

1、现有的人工智能芯片通常采用多层级高速缓存的设计方式。其中，越靠近芯片的高速缓存，如一级缓存，其存取速度越快，但成本也越高。同理，越远离芯片的高速缓存，如三级缓存，其成本越低，但存取速度也越慢。因此，为了平衡人工智能芯片的成本与性能，越是内层的高速缓存其容量也会相对较小。

2、现有技术中，当内核计算单元进行运算时，需要将数据从三级缓存复制到二级缓存，再从二级缓存复制到一级缓存，最后寄存器读取一级缓存中的数据进行计算。

3、但是，由于自顶向下的访问方式中访问速度逐渐降低，所以从三级缓存到二级缓存的数据复制操作会消耗大量的时间，并且，由于集成于人工智能芯片中的深度学习网络的计算操作非常多，每个计算操作的数据量也会非常大，造成了对内存的频繁访问以及较多的占用，所以使得人工智能芯片的运算性能降低。因此，如何提高人工智能芯片的数据存取效率，保障人工智能芯片的运算性能，是目前亟待解决的问题。

技术实现思路

1、本发明提供了一种基于芯片多级存储的数据预取方法、装置、设备及介质，可以解决多级缓存的人工智能芯片的数据存取效率较低的问题。

2、根据本发明的一方面，提供了一种基于芯片多级存储的数据预取方法，该方法应用于集成深度学习网络模型的具有多级缓存的人工智能芯片上，该方法包括：

3、获取初始深度学习网络模型中的目标计算操作，以及目标计算操作对应的目标预取数据；

4、依据目标预取数据的数据空间和预取时长，以及目标计算操作在初始深度学习网络模型中的目标位置，确定目标预取数据对应的目标预取插入点，生成基础深度学习网络模型；

5、依据目标预取数据对应的目标计算操作数量和/或目标计算操作的目标位置，确定目标预取数据对应的目标释放插入点，生成目标深度学习网络模型；

6、触发执行目标深度学习网络模型，依据目标深度学习网络模型中的目标预取插入点及目标释放插入点，实现目标预取数据的数据预取与释放。

7、根据本发明的另一方面，提供了一种基于芯片多级存储的数据预取装置，该装置应用于集成深度学习网络模型的具有多级缓存的人工智能芯片上，该装置包括：

8、数据获取模块，用于获取初始深度学习网络模型中的目标计算操作，以及目标计算操作对应的目标预取数据；

9、基础模型构建模块，用于依据目标预取数据的数据空间和预取时长，以及目标计算操作在初始深度学习网络模型中的目标位置，确定目标预取数据对应的目标预取插入点，生成基础深度学习网络模型；

10、目标模型构建模块，用于依据目标预取数据对应的目标计算操作数量和/或目标计算操作的目标位置，确定目标预取数据对应的目标释放插入点，生成目标深度学习网络模型；

11、数据预取模块，用于触发执行目标深度学习网络模型，依据目标深度学习网络模型中的目标预取插入点及目标释放插入点，实现目标预取数据的数据预取与释放。

12、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于芯片多级存储的数据预取方法。

16、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于芯片多级存储的数据预取方法。

17、本发明实施例的技术方案，通过依据初始深度学习网络模型中目标计算操作对应的目标预取数据的数据空间和预取时长，以及目标计算操作在初始深度学习网络模型中的目标位置，确定目标预取数据对应的目标预取插入点，生成基础深度学习网络模型，进而，依据目标预取数据对应的目标计算操作数量和/或目标计算操作的目标位置，确定目标预取数据对应的目标释放插入点，生成目标深度学习网络模型，最后，触发执行目标深度学习网络模型，依据目标深度学习网络模型中的目标预取插入点及目标释放插入点，实现目标预取数据的数据预取与释放，解决了多级缓存的人工智能芯片的数据存取效率较低的问题，提高了人工智能芯片的数据存取效率，保障了人工智能芯片的运算性能。

18、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种基于芯片多级存储的数据预取方法，其特征在于，所述方法应用于集成深度学习网络模型的具有多级缓存的人工智能芯片上，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取初始深度学习网络模型中的目标计算操作，包括：

3.根据权利要求1所述的方法，其特征在于，所述依据目标预取数据的数据空间和预取时长，以及目标计算操作在初始深度学习网络模型中的目标位置，确定目标预取数据对应的目标预取插入点，包括：

4.根据权利要求1所述的方法，其特征在于，所述依据目标预取数据对应的目标计算操作数量和/或目标计算操作的目标位置，确定目标预取数据对应的目标释放插入点，包括：

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述触发执行目标深度学习网络模型，依据目标深度学习网络模型中的目标预取插入点及目标释放插入点，实现目标预取数据的数据预取与释放，包括：

8.一种基于芯片多级存储的数据预取装置，其特征在于，所述装置应用于集成深度学习网络模型的具有多级缓存的人工智能芯片上，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的基于芯片多级存储的数据预取方法。

技术总结
本发明公开了基于芯片多级存储的数据预取方法、装置、设备及介质。该方法包括：获取初始深度学习网络模型中的目标计算操作及对应目标预取数据；依据目标预取数据的数据空间和预取时长，及目标计算操作在初始深度学习网络模型中的目标位置，确定目标预取数据对应的目标预取插入点生成基础深度学习网络模型；依据目标预取数据对应的目标计算操作数量和/或目标计算操作的目标位置，确定目标预取数据对应的目标释放插入点生成目标深度学习网络模型；触发执行目标深度学习网络模型，依据目标深度学习网络模型中目标预取插入点及目标释放插入点，实现目标预取数据的数据预取与释放。通过本发明的技术方案，能够提高人工智能芯片的数据存取效率。

技术研发人员：张殿臣,苏刚,田野
受保护的技术使用者：上海燧原科技有限公司
技术研发日：
技术公布日：2024/1/15