基于图像数据处理的卷积运算方法、装置、处理器及介质与流程

本发明涉及人工智能，尤其涉及一种基于图像数据处理的卷积运算方法、装置、处理器及介质。

背景技术：

1、在人工智能、神经网络等领域中，卷积运算是一种有效筛选图片特征的方式，例如通过卷积运算实现特征提取、特征选择或者信息过滤等。卷积的一般场景是采用正方形的卷积核，遍历图像中的各个点，卷积核与覆盖区域的点进行内积运算。

2、现有技术中，通常是按照卷积核大小以及遍历轨迹，将原始图像在内存中进行完全展开，并加载输入图像展开矩阵，与卷积核展开矩阵进行卷积运算。例如，原始图像矩阵大小为m×n×cin，m和n为原始图像大小，cin为输入特征层数；卷积核矩阵阵列大小为kw×kh×cout，kw×kh为卷积核大小，cout为卷积的输出特征层数；如在边界填充（padding）和步长（step）均取1时，原始图像矩阵进行卷积计算时，展开后的输入展开矩阵大小为m×n×cin×kw×kh；卷积核矩阵阵列进行卷积计算时，展开后的卷积核展开矩阵大小为kw×kh×cin×cout。之后，可以加载输入展开矩阵与卷积核展开矩阵对应的数据到处理器进行点积运算，得到卷积结果。

3、在上述过程中，输入展开矩阵是原始数据量的kw×kh倍。随着图像越来越高的清晰度需求，输入展开矩阵的数据量将越来越大。如4k高清图像的展开矩阵数据量可达303兆字节（mb）。即原始图像矩阵的展开会导致数据膨胀，增加存储压力，并在进行数据加载时会消耗数据带宽，从而影响卷积运算的效率。

技术实现思路

1、本发明提供了一种基于图像数据处理的卷积运算方法、装置、处理器及介质，以节省内存存储空间并提高数据加载速率，降低数据加载时的带宽消耗。

2、根据本发明的一方面，提供了一种基于图像数据处理的卷积运算方法，该方法包括：

3、获取待运算的输入图像矩阵，并根据执行并行度，确定对所述输入图像矩阵进行卷积运算时的执行区域；

4、根据所述执行区域，以及卷积运算中的卷积核大小，确定与所述执行区域对应的运算数据的数据坐标；

5、根据所述数据坐标，在缓存区中检测是否存在缓存命中数据；若是，则在缓存区中获取所述运算数据；若否，则在内存中加载所述运算数据；

6、将所述运算数据与卷积核进行卷积运算，得到卷积结果。

7、根据本发明的另一方面，提供了一种基于图像数据处理的卷积运算装置，该装置包括：

8、执行区域确定模块，用于获取待运算的输入图像矩阵，并根据执行并行度，确定对所述输入图像矩阵进行卷积运算时的执行区域；

9、数据坐标确定模块，用于根据所述执行区域，以及卷积运算中的卷积核大小，确定与所述执行区域对应的运算数据的数据坐标；

10、运算数据加载模块，用于根据所述数据坐标，在缓存区中检测是否存在缓存命中数据；若是，则在缓存区中获取所述运算数据；若否，则在内存中加载所述运算数据；

11、卷积运算模块，用于将所述运算数据与卷积核进行卷积运算，得到卷积结果。

12、根据本发明的另一方面，提供了一种图形处理器，所述图形处理器包括：

13、所述图形处理器通过计算机程序执行本发明任一实施例所述的基于图像数据处理的卷积运算方法。

14、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于图像数据处理的卷积运算方法。

15、本发明实施例的技术方案，通过获取待运算的输入图像矩阵，并根据执行并行度，确定对输入图像矩阵进行卷积运算时的执行区域；根据执行区域，以及卷积运算中的卷积核大小，确定与执行区域对应的运算数据的数据坐标；根据数据坐标，在缓存区中检测是否存在缓存命中数据；若是，则在缓存区中获取运算数据；若否，则在内存中加载运算数据；将运算数据与卷积核进行卷积运算，得到卷积结果，解决了卷积运算中的数据加载问题，该方法可以根据处理器的执行并行度确定输入图像矩阵的加载规则并加载对应的运算数据，可以有效缩短卷积数据加载时间，避免直接对输入图像矩阵进行全量展开、加载，节省内存存储空间；并且，可以优先在缓存中命中运算数据，避免重复数据多次由内存进行加载，提高数据的利用率以及加载效率，降低数据加载时的带宽占用率，从而提高卷积运算效率。

16、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种基于图像数据处理的卷积运算方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，根据所述执行区域，以及卷积运算中的卷积核大小，确定与所述执行区域对应的运算数据的数据坐标，包括：

3.根据权利要求2所述的方法，其特征在于，根据各所述坐标信息以及卷积运算中的卷积核大小，确定所述执行区域中各执行点对应的运算数据的数据坐标，包括：

4.根据权利要求3所述的方法，其特征在于，根据所述目标坐标信息、所述目标执行点与所述执行区域中其他执行点之间的位置关系、以及卷积运算中的卷积核大小，确定所述执行区域中各执行点对应的运算数据的数据坐标，包括：

5.根据权利要求2所述的方法，其特征在于，根据所述数据坐标，在缓存区中检测是否存在缓存命中数据；若是，则在缓存区中获取所述运算数据；若否，则在内存中加载所述运算数据，包括：

6.根据权利要求1所述的方法，其特征在于，获取待运算的输入图像矩阵，包括：

7.根据权利要求6所述的方法，其特征在于，获取待运算的输入图像矩阵，包括：

8.一种基于图像数据处理的卷积运算装置，其特征在于，包括：

9.一种图形处理器，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的基于图像数据处理的卷积运算方法。

技术总结
本发明实施例公开了一种基于图像数据处理的卷积运算方法、装置、处理器及介质，包括：获取待运算的输入图像矩阵，并根据执行并行度，确定对输入图像矩阵进行卷积运算时的执行区域；根据执行区域，以及卷积运算中的卷积核大小，确定与执行区域对应的运算数据的数据坐标；根据数据坐标，在缓存区中检测是否存在缓存命中数据；若是，则在缓存区中获取运算数据；若否，则在内存中加载运算数据；将运算数据与卷积核进行卷积运算，得到卷积结果。该方法根据执行并行度确定输入图像矩阵的加载规则并加载运算数据，有效缩短卷积运算数据加载时间，节省存储空间；并且优先在缓存命中运算数据，避免重复数据多次由内存加载，提高数据利用率及加载效率。

技术研发人员：阙恒,王斐,商秋,王锋
受保护的技术使用者：南京砺算科技有限公司
技术研发日：
技术公布日：2024/1/13