图像数据处理方法、装置和存储介质与流程

本技术涉及人工智能，尤其涉及一种图像数据处理方法、装置和存储介质。

背景技术：

1、随着人工智能(artificial intelligence，ai)技术的不断发展，其中在计算机视觉领 域，深度神经网络模型在自动驾驶、城市管理、智慧农业等应用中展现出了巨大的作用，通 过深度神经网络模型可以实现对图像等视觉数据的内容理解。

2、然而，用于视觉领域的深度神经网络模型通常需要较大的计算量和参数量，实际运算速 度较慢，使得模型难以在端侧进行部署。因此，如何在保证模型精度的情况下减少模型的计 算量和参数量，加快模型运算速度，成为了亟需解决的问题。

技术实现思路

1、有鉴于此，提出了一种图像数据处理方法、装置和存储介质。

2、第一方面，本技术的实施例提供了一种图像数据处理方法。该方法包括：

3、通过第一映射处理，将图像数据映射至第一特征图像数据，该第一特征图像数据的尺寸 小于图像数据；

4、对第一特征图像数据的通道特征和/或空间特征进行提取，确定第二特征图像数据；

5、对第二特征图像数据的尺寸进行放大，确定第三特征图像数据，该第三特征图像数据的 尺寸大于第一特征图像数据；

6、对第三特征图像数据进行归一化处理，确定图像数据的预测结果。

7、根据本技术实施例，通过确定第一特征图像数据以减小图像对应的特征图像数据的尺寸， 可以使得在进行特征提取时，可以利用尺寸减小后的特征图像数据进行计算，从而可以在不 引入新算子的情况下，大大减少了模型的计算量和参数量，使得模型能够部署于端侧，且在 特征提取后可以还原特征图像数据的尺寸，从而可以以极小的计算代价，得到更多的数据量， 使得模型可以得到更多的特征信息以确定预测结果，从而能够在图像数据处理中保证模型的 准确率，加快模型的运算速度。

8、可选地，对第二特征图像数据的尺寸进行放大，包括将第二特征图像数据的尺寸放大至 与第一映射处理前的图像数据的尺寸一致。

9、由此，可以在进行特征提取的过程中仅需极小的计算代价，而在特征提取后，通过对第 二特征图像数据的尺寸进行放大，得到更多的数据量。

10、根据第一方面，在图像数据处理方法的第一种可能的实现方式中，对第二特征图像数据 的尺寸进行放大，确定第三特征图像数据，包括：

11、通过第二映射处理，将第二特征图像数据映射至确定第四特征图像数据；

12、对第二特征图像数据和第四特征图像数据进行组合，确定第三特征图像数据。

13、根据本技术实施例，通过利用第二特征图像数据生成第四特征图像数据，可以以极小的 计算代价得到大量的数据，减少了模型的计算量和参数量，通过将第二特征图像数据和第四 特征图像数据进行组合，确定第三特征图像数据，可以在减少计算量和参数量的同时，保证 了模型的准确率。

14、根据第一方面或第一方面的第一种可能的实现方式，在图像数据处理方法的第二种可能 的实现方式中，第三特征图像数据被分为一个或多个预定区域，每个预定区域内包括n个像 素点，n为大于2的正整数，对第二特征图像数据的尺寸进行放大，确定第三特征图像数据， 包括：

15、通过第二映射处理，将第二特征图像数据映射至n-1个第四特征图像数据；

16、根据第二特征图像数据和n-1个第四特征图像数据，分别确定第三特征图像数据中每个 预定区域内的特征图像数据。

17、根据本技术实施例，通过在第三特征图像数据中的每个预定区域内均保留第二特征图像 数据的信息，由于第二特征图像数据中包括了原始的特征信息，可以使得确定的第三特征图 像数据更能体现图像的特征，从而可以在减少计算量和参数量的同时，进一步保证了模型的 准确率。

18、根据第一方面的第一种或第二种可能的实现方式，在图像数据处理方法的第三种可能的 实现方式中，第一映射处理包括线性或非线性映射处理，第二映射处理包括线性或非线性映 射处理。

19、根据本技术实施例，通过利用线性或非线性映射的方法得到相应的特征图像数据，可以 实现以较小的计算代价实现对数据量的压缩和放大恢复，从而可以减少整体的计算量。

20、根据第一方面的第三种可能的实现方式，在图像数据处理方法的第四种可能的实现方式 中，通过第一映射处理，将图像数据映射至第一特征图像数据，包括：

21、利用深度可分离卷积将图像数据映射至第一特征图像数据，该深度可分离卷积的步长大 于1。

22、根据本技术实施例，通过利用深度可分离卷积对数据进行压缩，可以减小数据的尺寸， 可以使得后续提取特征时可以在不引入新算子的情况下，减少了计算量。

23、根据第一方面的第三种可能的实现方式，在图像数据处理方法的第五种可能的实现方式 中，通过第二映射处理，将第二特征图像数据映射至第四特征图像数据，包括：

24、利用深度可分离卷积将第二特征图像数据映射至第四特征图像数据，该深度可分离卷积 的步长为1。

25、根据本技术实施例，通过利用深度可分离卷积生成第四特征图像数据，可以实现以最小 的计算代价，得到更多的数据量，以保证模型的精度。

26、根据第一方面或第一方面的第一种或第二种或第三种或第四种或第五种可能的实现方式， 在图像数据处理方法的第六种可能的实现方式中，对第一特征图像数据的通道特征和/或空间 特征进行提取，确定第二特征图像数据，包括：

27、利用多层感知机mlp对第一特征图像数据的通道特征和/或空间特征进行提取，确定第二 特征图像数据。

28、根据本技术实施例，通过利用多层感知机对第一特征图像数据的通道特征和/或空间特征 进行提取，可以减少mlp的计算量和参数量，更加高效。

29、根据第一方面的第六种可能的实现方式，在图像数据处理方法的第七种可能的实现方式 中，该第二特征图像数据包括第二空间特征图像数据和第二通道特征图像数据，利用多层感 知机mlp对第一特征图像数据的通道特征和/或空间特征进行提取，确定第二特征图像数据， 包括：

30、利用第一多层感知机对第一特征图像数据的空间特征进行提取，确定第二空间特征图像 数据；

31、利用第二多层感知机对第一特征图像数据的通道特征进行提取，确定第二通道特征图像 数据；

32、对第二特征图像数据的尺寸进行放大，确定第三特征图像数据，包括：

33、对第二空间特征图像数据的尺寸进行放大，确定第三空间特征图像数据；

34、对第二通道特征图像数据的尺寸进行放大，确定第三通道特征图像数据；

35、根据第三空间特征图像数据和第三通道特征图像数据，确定第三特征图像数据。

36、根据本技术实施例，通过利用不同的多层感知机分别学习数据的空间特征和通道特征， 可以使得模型更加通用，且可以实现在减少了模型计算量和参数量的同时，保证模型的准确 率。

37、根据第一方面或第一方面的第一种或第二种或第三种或第四种或第五种或第六种或第七 种可能的实现方式，在图像数据处理方法的第八种可能的实现方式中，该方法用于神经网络 模型的一个或多个中间层。

38、根据本技术实施例，可以使得方法更加灵活通用，易于部署。

39、第二方面，本技术的实施例提供了一种图像数据处理装置。该装置包括：

40、第一映射模块，用于通过第一映射处理，将图像数据映射至第一特征图像数据，该第一 特征图像数据的尺寸小于图像数据；

41、第一确定模块，用于对第一特征图像数据的通道特征和/或空间特征进行提取，确定第二 特征图像数据；

42、第二确定模块，用于对第二特征图像数据的尺寸进行放大，确定第三特征图像数据，该 第三特征图像数据的尺寸大于第一特征图像数据；

43、第三确定模块，用于对第三特征图像数据进行归一化处理，确定图像数据的预测结果。

44、可选地，对第二特征图像数据的尺寸进行放大，包括将第二特征图像数据的尺寸放大至 与第一映射处理前的图像数据的尺寸一致。

45、根据第二方面，在图像数据处理装置的第一种可能的实现方式中，该第二确定模块，用 于：

46、通过第二映射处理，将第二特征图像数据映射至第四特征图像数据；

47、对第二特征图像数据和第四特征图像数据进行组合，确定第三特征图像数据。

48、根据第二方面或第二方面的第一种可能的实现方式，在图像数据处理装置的第二种可能 的实现方式中，第三特征图像数据被分为一个或多个预定区域，每个预定区域内包括n个像 素点，n为大于2的正整数，该第二确定模块，用于：

49、通过第二映射处理，将第二特征图像数据映射至n-1个第四特征图像数据；

50、根据第二特征图像数据和n-1个第四特征图像数据，分别确定第三特征图像数据中每个 预定区域内的特征图像数据。

51、根据第二方面的第一种或第二种可能的实现方式，在图像数据处理装置的第三种可能的 实现方式中，第一映射处理包括线性或非线性映射处理，第二映射处理包括线性或非线性映 射处理。

52、根据第二方面的第三种可能的实现方式，在图像数据处理装置的第四种可能的实现方式 中，该第一映射模块，用于：

53、利用深度可分离卷积将图像数据映射至第一特征图像数据，深度可分离卷积的步长大于 1。

54、根据第二方面的第三种可能的实现方式，在图像数据处理装置的第五种可能的实现方式 中，通过第二映射处理，将第二特征图像数据映射至第四特征图像数据，包括：

55、利用深度可分离卷积将第二特征图像数据映射至第四特征图像数据，深度可分离卷积的 步长为1。

56、根据第二方面或第二方面的第一种或第二种或第三种或第四种或第五种可能的实现方式， 在图像数据处理装置的第六种可能的实现方式中，该第一确定模块，用于：

57、利用多层感知机mlp对第一特征图像数据的通道特征和/或空间特征进行提取，确定第二 特征图像数据。

58、根据第二方面的第六种可能的实现方式，在图像数据处理装置的第七种可能的实现方式 中，该第二特征图像数据包括第二空间特征图像数据和第二通道特征图像数据，利用多层感 知机mlp对第一特征图像数据的通道特征和/或空间特征进行提取，确定第二特征图像数据， 包括：

59、利用第一多层感知机对第一特征图像数据的空间特征进行提取，确定第二空间特征图像 数据；

60、利用第二多层感知机对第一特征图像数据的通道特征进行提取，确定第二通道特征图像 数据；

61、对第二特征图像数据的尺寸进行放大，确定第三特征图像数据，包括：

62、根据第二空间特征图像数据，对第二空间特征图像数据的尺寸进行放大，确定第三空间 特征图像数据；

63、根据第二通道特征图像数据，对第二通道特征图像数据的尺寸进行放大，确定第三通道 特征图像数据；

64、根据第三空间特征图像数据和第三通道特征图像数据，确定第三特征图像数据。

65、根据第二方面或第二方面的第一种或第二种或第三种或第四种或第五种或第六种或第七 种可能的实现方式，在图像数据处理装置的第八种可能的实现方式中，该装置用于神经网络 模型的一个或多个中间层。

66、第三方面，本技术的实施例提供了一种图像数据处理装置，该装置包括：处理器；用于 存储处理器可执行指令的存储器；其中，处理器被配置为执行指令时实现上述第一方面或者 第一方面的多种可能的实现方式中的一种或几种的图像数据处理方法。

67、第四方面，本技术的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算 机程序指令，计算机程序指令被处理器执行时实现上述第一方面或者第一方面的多种可能的 实现方式中的一种或几种的图像数据处理方法。

68、第五方面，本技术的实施例提供了一种终端设备，该终端设备可以执行上述第一方面或 者第一方面的多种可能的实现方式中的一种或几种的图像数据处理方法。

69、第六方面，本技术的实施例提供了一种计算机程序产品，包括计算机可读代码，或者承 载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中 运行时，所述电子设备中的处理器执行上述第一方面或者第一方面的多种可能的实现方式中 的一种或几种的图像数据处理方法。

70、本技术的这些和其他方面在以下(多个)实施例的描述中会更加简明易懂。