图像处理方法、装置、电子设备及存储介质与流程

本技术涉及人工智能领域，具体而言，本技术涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术：

1、对于地图目标进行检测制作地图数据时，数据质量与鲜度是十分重要的，鲜度不及时可能导致地图产品导航错误等问题，如：路面施工与改道不能及时发现会给用户带来极差的体验。要解决鲜度问题，多频度的大批采集是必不可少的，但频次高了，成本也会大幅度提升。

2、目前的地图目标的检测模型多为云端大模型，即便是轻量化模型结合车载终端设备也至少需要多cpu(central processing unit，中央处理器)，并且需要较大的内存，例如500mflops，200m内存以上。因此，有必要提供一种计算量较少的检测方法，以降低设备要求。

技术实现思路

1、本技术实施例的目的旨在提供一种图像处理方法、装置及电子设备，本技术实施例提供的技术方案如下：

2、一方面，本技术实施例提供了一种图像处理的方法，该方法包括：

3、获取待检测的目标图像；

4、基于目标图像进行特征提取，得到多个层级的目标特征图；

5、将多个目标特征图中最浅层级的目标特征图作为第一目标特征图，基于第一目标特征图得到第一地图目标的第一检测结果，并基于除第一目标特征图以外的目标特征图得到第二地图目标的第二检测结果；

6、其中，第一地图目标包括特定目标。

7、在一些可能的实施方式中，方法还包括：

8、若第一检测结果和第二检测结果符合预设检测结果，将目标图像、第一检测结果和第二检测结果发送至服务器，以使服务器基于接收到的多个目标图像以及各个目标图像的第一检测结果和第二检测结果更新地图数据。

9、在一些可能的实施方式中，基于目标图像进行特征提取，得到多个层级的目标特征图，包括：

10、基于目标图像进行多次提取操作，得到多个层级的第一特征图；基于多个层级的第一特征图进行特征提取，得到多个层级的目标特征图；

11、其中，每次提取操作包括以下步骤：

12、基于第一图像进行特征提取，得到第一中间特征图；其中，第一图像为当前次特征提取对应的输入图像中预设比例的通道的图像，第一次特征提取对应的输入图像为目标图像；

13、将第一中间特征图和第二中间特征图进行通道重组，得到第三中间特征图；第二中间特征图为输入图像中除第一图像以外的图像；

14、对第三中间特征图进行下采样特征提取，得到初始特征图；

15、其中，初始特征图为下一次下采样特征提取对应的输入图像；多个层级的第一特征图包括多次提取操作中至少两次提取操作得到的初始特征图。

16、在一些可能的实施方式中，相邻两次特征提取所基于的第一图像中的至少部分通道在对应的输入图像中的通道的相对位置不同。

17、在一些可能的实施方式中，基于多个层级的第一特征图进行特征提取，得到多个层级的目标特征图，包括：

18、基于多个层级的第一特征图进行上采样特征提取，得到多个层级的第二特征图；其中，最深层级的第二特征图为最深层的第一特征图；其他层级的第二特征图是通过对相邻的深层级的第二特征图进行上采样特征提取并融合相同层级的第一特征图得到的；

19、基于多个层级的第二特征图进行下采样特征提取，得到多个层级的目标特征图；其中，最浅层级的目标特征图为最浅层级的第二特征图；其他层级的目标特征图是通过对相邻的浅层级的目标特征图进行下采样特征提取并融合相同层级的第二特征图得到的。

20、在一些可能的实施方式中，基于多个层级的第一特征图进行上采样特征提取，得到多个层级的第二特征图，包括：

21、对第一输入特征图进行上采样特征提取，得到上采样特征图；其中，第一次上采样特征提取所基于的第一输入特征图为最后一次下采样特征提取得到的第一特征图；

22、将上采样特征图与相同层级的第一特征图融合，得到第二特征图；

23、将第二特征图作为下一次上采样特征提取对应的第一输入特征图。

24、在一些可能的实施方式中，基于多个第二特征图进行多次下采样特征提取，得到多个层级的目标特征图，包括：

25、对第二输入特征图进行下采样特征提取，得到下采样特征图；其中，最后一次上采样特征提取得到的第二特征图为第一次下采样特征提取的第二输入特征图；

26、通过将下采样特征图与相同层级的第二特征图融合，得到目标特征图；

27、将目标特征图作为下一次下采样特征提取对应的第二输入特征图。

28、在一些可能的实施方式中，通过将下采样特征图与相同层级的第二特征图融合，得到目标特征图，包括：

29、将下采样特征图与相同层级的第二特征图融合，得到第一融合特征图；

30、基于第一融合特征图确定第一融合特征图中各个通道分别对应的通道权重，基于各个通道权重将第二特征图的各个通道进行融合，得到第二融合特征图；

31、确定与第二融合特征对应的空间权重特征图，基于空间权重特征图与第二融合特征，确定目标特征图。

32、在一些可能的实施方式中，图像处理方法是基于图像检测模型实现的，图像检测模型是基于如下方式训练得到的：

33、获取多个第一样本图像；第一样本图像中包括第一样本地图目标且不包括第二样本地图目标；

34、获取多个第二样本图像；第二样本图像中包括第二样本地图目标且不包括第一样本地图目标；

35、基于第一样本图像和第二样本图像对初始检测模型进行至少一次训练操作，直至第一训练损失和第二训练损失符合预设训练结束条件，得到图像检测模型；

36、其中，训练操作包括：

37、将多个第一样本图像和多个第二样本图像输入初始检测模型中，得到对应的各个第一地图目标的第一预测结果和各个第二地图目标的第二预测结果；

38、基于各个第一预测结果和对应的各个第一样本地图目标，确定第一训练损失；

39、基于各个第二预测结果和对应的各个第二样本地图目标，确定第二训练损失；

40、基于第一训练损失和第二训练损失更新初始检测模型的参数，并将更新参数后的初始检测模型作为下一次训练操作前的初始检测模型。

41、在一些可能的实施方式中，特定目标为尺寸小于预设尺寸的地图目标；获取多个第一样本图像，包括：

42、获取多个初始样本图像；其中，初始样本图像中包括第一样本地图目标和第二样本地图目标；

43、按照预设尺寸截取各个初始样本图像的上半部区域，得到多个对应的第一样本图像。

44、在一些可能的实施方式中，将多个第一样本图像输入初始检测模型，获取各个第一预测目标，包括：

45、针对每一第一样本图像，通过初始检测模型对第一样本图像进行多次提取操作，得到多个层级的第一样本特征图；

46、基于多个第一样本特征图进行上采样特征提取，得到多个层级的第二样本特征图；

47、基于层级最浅的第二样本特征图确定第一预测目标。

48、另一方面，本技术实施例提供了一种图像处理装置，该装置包括：

49、获取模块，用于获取待检测的目标图像；

50、提取模块，用于基于目标图像进行特征提取，得到多个层级的目标特征图；

51、检测模块，用于将多个目标特征图中最浅层级的目标特征图作为第一目标特征图，基于第一目标特征图得到第一地图目标的第一检测结果，并基于除第一目标特征图以外的目标特征图得到第二地图目标的第二检测结果；

52、其中，第一地图目标包括特定目标。

53、在一些可能的实施方式中，还包括发送模块，用于：

54、若第一检测结果和第二检测结果符合预设检测结果，将目标图像、第一检测结果和第二检测结果发送至服务器，以使服务器基于接收到的多个目标图像以及各个目标图像的第一检测结果和第二检测结果更新地图数据。

55、在一些可能的实施方式中，提取模块在基于目标图像进行特征提取，得到多个层级的目标特征图时，具体用于：

56、基于目标图像进行多次提取操作，得到多个层级的第一特征图；基于多个层级的第一特征图进行特征提取，得到多个层级的目标特征图；

57、其中，每次提取操作包括以下步骤：

58、基于第一图像进行特征提取，得到第一中间特征图；其中，第一图像为当前次特征提取对应的输入图像中预设比例的通道的图像，第一次特征提取对应的输入图像为目标图像；

59、将第一中间特征图和第二中间特征图进行通道重组，得到第三中间特征图；第二中间特征图为输入图像中除第一图像以外的图像；

60、对第三中间特征图进行下采样特征提取，得到初始特征图；

61、其中，初始特征图为下一次下采样特征提取对应的输入图像；多个层级的第一特征图包括多次提取操作中至少两次提取操作得到的初始特征图。

62、在一些可能的实施方式中，相邻两次特征提取所基于的第一图像中的至少部分通道在对应的输入图像中的通道的相对位置不同。

63、在一些可能的实施方式中，提取模块在基于多个层级的第一特征图进行特征提取，得到多个层级的目标特征图时，具体用于：

64、基于多个层级的第一特征图进行上采样特征提取，得到多个层级的第二特征图；其中，最深层级的第二特征图为最深层的第一特征图；其他层级的第二特征图是通过对相邻的深层级的第二特征图进行上采样特征提取并融合相同层级的第一特征图得到的；

65、基于多个层级的第二特征图进行下采样特征提取，得到多个层级的目标特征图；其中，最浅层级的目标特征图为最浅层级的第二特征图；其他层级的目标特征图是通过对相邻的浅层级的目标特征图进行下采样特征提取并融合相同层级的第二特征图得到的。

66、在一些可能的实施方式中，提取模块在基于多个层级的第一特征图进行上采样特征提取，得到多个层级的第二特征图时，具体用于：

67、对第一输入特征图进行上采样特征提取，得到上采样特征图；其中，第一次上采样特征提取所基于的第一输入特征图为最后一次下采样特征提取得到的第一特征图；

68、将上采样特征图与相同层级的第一特征图融合，得到第二特征图；

69、将第二特征图作为下一次上采样特征提取对应的第一输入特征图。

70、在一些可能的实施方式中，提取模块在基于多个第二特征图进行多次下采样特征提取，得到多个层级的目标特征图时，具体用于：

71、对第二输入特征图进行下采样特征提取，得到下采样特征图；其中，最后一次上采样特征提取得到的第二特征图为第一次下采样特征提取的第二输入特征图；

72、通过将下采样特征图与相同层级的第二特征图融合，得到目标特征图；

73、将目标特征图作为下一次下采样特征提取对应的第二输入特征图。

74、在一些可能的实施方式中，提取模块在通过将下采样特征图与相同层级的第二特征图融合，得到目标特征图时，具体用于：

75、将下采样特征图与相同层级的第二特征图融合，得到第一融合特征图；

76、基于第一融合特征图确定第一融合特征图中各个通道分别对应的通道权重，基于各个通道权重将第二特征图的各个通道进行融合，得到第二融合特征图；

77、确定与第二融合特征对应的空间权重特征图，基于空间权重特征图与第二融合特征，确定目标特征图。

78、在一些可能的实施方式中，图像处理装置包括图像检测模块，图像处理装置还包括训练模块，用于：

79、获取多个第一样本图像；第一样本图像中包括第一样本地图目标且不包括第二样本地图目标；

80、获取多个第二样本图像；第二样本图像中包括第二样本地图目标且不包括第一样本地图目标；

81、基于第一样本图像和第二样本图像对初始检测模型进行至少一次训练操作，直至第一训练损失和第二训练损失符合预设训练结束条件，得到图像检测模型；

82、其中，训练操作包括：

83、将多个第一样本图像和多个第二样本图像输入初始检测模型中，得到对应的各个第一地图目标的第一预测结果和各个第二地图目标的第二预测结果；

84、基于各个第一预测结果和对应的各个第一样本地图目标，确定第一训练损失；

85、基于各个第二预测结果和对应的各个第二样本地图目标，确定第二训练损失；

86、基于第一训练损失和第二训练损失更新初始检测模型的参数，并将更新参数后的初始检测模型作为下一次训练操作前的初始检测模型。

87、在一些可能的实施方式中，特定目标为尺寸小于预设尺寸的地图目标；训练模块在获取多个第一样本图像时，具体用于：

88、获取多个初始样本图像；其中，初始样本图像中包括第一样本地图目标和第二样本地图目标；

89、按照预设尺寸截取各个初始样本图像的上半部区域，得到多个对应的第一样本图像。

90、在一些可能的实施方式中，将多个第一样本图像输入初始检测模型，获取各个第一预测目标，包括：

91、针对每一第一样本图像，通过初始检测模型对第一样本图像进行多次提取操作，得到多个层级的第一样本特征图；

92、基于多个第一样本特征图进行上采样特征提取，得到多个层级的第二样本特征图；

93、基于层级最浅的第二样本特征图确定第一预测目标。

94、另一方面，本技术实施例还提供了一种电子设备，该电子设备包括存储器和处理器，存储器中存储有计算机程序，处理器执行该计算机程序以实现本技术任一可选实施例中提供的方法。

95、另一方面，本技术实施例还提供了一种计算机可读存储介质，该存储介质中存储有计算机程序，该计算机程序被处理器执行时实现本技术任一可选实施例中提供的方法。

96、另一方面，本技术实施例还提供了一种计算机程序产品，该计算机产品包括计算机程序，该计算机程序被处理器执行时实现本技术任一可选实施例中提供的方法。

97、本技术实施例提供的技术方案带来的有益效果如下：

98、基于目标图像进行特征提取，得到多个层级的目标特征图，并基于最浅层级的目标特征图检测特定目标，通过其他层级的目标特征图检测第二地图目标，相对于采用各个层级的目标特征图检测第一地图目标和第二地图目标，本技术采用不同的目标特征图分开检测的方案，可以有效的节省检测过程中的计算量，从而降低终端设备要求。