一种在NPU中减少资源占用的方法、系统、设备及存储介质与流程

本发明涉及深度学习，尤其涉及一种在npu中减少资源占用的方法、系统、设备及存储介质。

背景技术：

1、深度学习模型中费时的算子往往是卷积操作，而卷积的本质是矩阵的乘加计算，所以通过npu（嵌入式神经网络处理器）加速矩阵的乘加运算就能达到加速深度学习训练与推理的目标；但对于npu，特别是针对图像卷积来说，其主要是加速的卷积这一操作，而卷积在进行过程中由于对计算资源占用较多，使得计算速度较慢，由此需要一种在npu中减少计算资源占用的方法及系统。

技术实现思路

1、本发明的目的在于提出一种在npu中减少资源占用的方法、系统、设备及存储介质，能够减小计算资源的占用，提高了计算的速度。

2、为达此目的，本发明采用以下技术方案：

3、一种在npu中减少资源占用的方法，包括以下步骤：

4、s1、获取待处理信息，对待处理信息进行预处理，其中所述待处理信息包括图像或视频信息；

5、s2、对预处理后的信息进行初步特征提取，生成与所述初步特征对应的特征矩阵；

6、s3、将所有特征矩阵按预设的计算顺序进行排序，得到含有特定排列顺序的排序矩阵组；

7、s4、对排序矩阵组的所有特征矩阵进行筛选，生成基础矩阵组，将基础矩阵组发送至神经网络处理器的缓存单元内；

8、s5、对排序矩阵组的所有特征矩阵进行定位，生成只含有每个特征矩阵位置信息的定位信息，将定位信息发送至神经网络处理器；

9、s6、神经网络处理器对定位信息进行解析，根据解析后的定位信息从缓存单元调取基础矩阵组中相应的特征矩阵进行关联计算。

10、优选的，在s1中，所述对待处理信息进行预处理，具体包括以下步骤：

11、s11、判断待处理信息为图像或视频信息，如果待处理信息为图像信息，则执行s12，如果待处理信息为视频信息，则执行s13；

12、s12、将图像信息的格式转换为rmvb格式；

13、s13、对视频信息进行关键帧提取，获取关键帧图像，再将关键帧图像的格式转换为rmvb格式。

14、优选的，在s2中，所述对预处理后的信息进行初步特征提取，生成与所述初步特征对应的特征矩阵，具体包括以下步骤：

15、s21、将预处理后得到的图像进行颜色通道分离，分离为红色通道图像、绿色通道图像和蓝色通道图像；

16、s22、将分离后的图像通过hog图像特征提取算法进行初步特征提取，获得带有初步特征的图像；

17、s23、将带有初步特征的图像导入预设的特征转换模型，生成与所述初步特征对应的特征矩阵。

18、优选的，在s22中，所述hog图像特征提取算法具体包括以下步骤：

19、s221、将分离后的图像进行灰度化、gamma矫正、重叠快归一化和分割处理；

20、s222、对分割后的图像计算每个像素点的梯度方向和梯度幅值，再根据每个像素点的梯度方向和梯度幅值计算并形成方向梯度直方图；

21、s223、利用梯度算子的核，对方向梯度直方图进行卷积，提取出hog特征，再将提取出的hog特征首位相连，组成初步特征。

22、优选的，在s4中，所述对排序矩阵组的所有特征矩阵进行筛选，具体包括以下步骤：

23、将相同的特征矩阵保留其中一个，生成一个特征矩阵相互之间均不相同的基础矩阵组，且该所述基础矩阵组包含所述排序矩阵组内所有特征矩阵的种类。

24、优选的，在s5中，所述定位信息包括用于分隔不同特征矩阵的分隔符号。

25、优选的，在s6中，神经网络处理器对定位信息进行解析，根据解析后的定位信息从缓存单元调取基础矩阵组中相应的特征矩阵进行关联计算，具体包括以下步骤：

26、s61、神经网络处理器根据定位信息中的分隔符号，将定位信息分离成图像或视频中不同特征对应的多个特征定位信息；

27、s62、根据所有特征定位信息的顺序，分别从缓存单元调取特征矩阵进行计算。

28、一种在npu中减少计算资源占用的系统，实现如上述所述的一种在npu中减少计算资源占用的方法，所述系统包括：

29、读取模块，用于获取待处理信息，对待处理信息进行预处理，其中所述待处理信息包括图像或视频信息；

30、初始提取模块，用于将预处理后的信息发送至中央处理器进行初步特征提取，生成与所述初步特征对应的特征矩阵；

31、排序模块，用于将所有特征矩阵按预设的计算顺序进行排序，得到含有特定排列顺序的排序矩阵组；

32、矩阵提取模块，用于对排序矩阵组的所有特征矩阵进行筛选，生成基础矩阵组，将基础矩阵组发送至神经网络处理器的缓存单元内；

33、定位信息转换模块，用于对排序矩阵组的所有特征矩阵进行定位，生成只含有每个特征矩阵位置信息的定位信息，将定位信息发送至神经网络处理器的计算模块；

34、计算模块，用于对定位信息进行解析，根据解析后的定位信息从缓存单元调取相应的特征矩阵进行计算。

35、一种设备，包括至少一个处理器、至少一个存储器和数据总线，所述处理器包括中央处理器和神经网络处理器；其中：所述中央处理器、所述神经网络处理器与所述存储器通过所述数据总线完成相互间的通信；所述存储器存储有被所述处理器执行的程序指令，所述至少一个处理器调用所述程序指令以执行如上述所述的一种在npu中减少计算资源占用的方法。

36、一种存储介质，其上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如上述所述的一种在npu中减少计算资源占用的方法。

37、上述技术方案中的一个技术方案具有以下有益效果：针对npu中计算资源占用的问题，本设计采用设置缓存单位对需要进行计算的矩阵进行储存，并采用相同的矩阵保留一个的方式，使得占用的储存较少，并通过对需要计算的矩阵进行排序的方式，在计算的过程中直接从缓存单元实时调用的方式，减小计算资源的占用，提高了计算的速度。

技术特征：

1.一种在npu中减少计算资源占用的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种在npu中减少计算资源占用的方法，其特征在于，在s1中，所述对待处理信息进行预处理，具体包括以下步骤：

3.根据权利要求2所述的一种在npu中减少计算资源占用的方法，其特征在于， 在s2中，所述对预处理后的信息进行初步特征提取，生成与所述初步特征对应的特征矩阵，具体包括以下步骤：

4.根据权利要求3所述的一种在npu中减少计算资源占用的方法，其特征在于，在s22中，所述hog图像特征提取算法具体包括以下步骤：

5.根据权利要求4所述的一种在npu中减少计算资源占用的方法，其特征在于，在s4中，所述对排序矩阵组的所有特征矩阵进行筛选，具体包括以下步骤：

6.根据权利要求5所述的一种在npu中减少计算资源占用的方法，其特征在于，在s5中，所述定位信息包括用于分隔不同特征矩阵的分隔符号。

7.根据权利要求6所述的一种在npu中减少计算资源占用的方法，其特征在于，在s6中，神经网络处理器对定位信息进行解析，根据解析后的定位信息从缓存单元调取基础矩阵组中相应的特征矩阵进行关联计算，具体包括以下步骤：

8.一种在npu中减少计算资源占用的系统，其特征在于，实现如权利要求1-7任一项所述的一种在npu中减少计算资源占用的方法，所述系统包括：

9.一种设备，其特征在于，包括至少一个处理器、至少一个存储器和数据总线，所述处理器包括中央处理器和神经网络处理器；其中：所述中央处理器、所述神经网络处理器与所述存储器通过所述数据总线完成相互间的通信；所述存储器存储有被所述处理器执行的程序指令，所述至少一个处理器调用所述程序指令以执行如权利要求1-7任一项所述的一种在npu中减少计算资源占用方法。

10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如权利要求1-7中任一项所述的一种在npu中减少计算资源占用的方法。

技术总结
本发明涉及深度学习技术领域，尤其涉及一种在NPU中减少资源占用的方法、系统、设备及存储介质，其方法包括获取待处理信息，对待处理信息进行预处理和初步特征提取，生成与所述初步特征对应的特征矩阵；并按预设的计算顺序进行排序，得到含有特定排列顺序的排序矩阵组；对排序矩阵组的所有特征矩阵进行筛选，生成基础矩阵组后发送至神经网络处理器的缓存单元内；对排序矩阵组的所有特征矩阵进行定位，生成只含有每个特征矩阵位置信息的定位信息，将定位信息发送至神经网络处理器进行解析，根据解析后的定位信息从缓存单元调取基础矩阵组中相应的特征矩阵进行关联计算。本发明能够减小计算资源的占用，提高了计算的速度。

技术研发人员：黄茂芹
受保护的技术使用者：广东赛昉科技有限公司
技术研发日：
技术公布日：2024/1/12