基于图像的多目标检测方法及装置、电子设备、存储介质与流程

本技术涉及金融科技，尤其涉及一种基于图像的多目标检测方法及装置、电子设备、存储介质。

背景技术：

1、基于图像的多目标检测是一种从图像中自动识别出多个目标的方法。在金融科技的保险理赔场景中，可以通过多目标检测方法来识别待理赔车辆拍摄到的视频里的车辆、行人、道路、障碍物等多种目标的情况，从而确定具体的理赔方案。由于遮挡、背景干扰和光照等问题，图像可能存在过曝或过暗的区域，且图像中的目标可能会被其他目标遮挡，从而出现目标误检或漏检的情况。

2、基于此，相关技术通常采用仅考虑单目标场景下的目标检测，且在进行多目标检测时，并未深入理解图像中其他目标信息与待识别目标的关联信息，从而容易收到遮挡、背景干扰和光照等问题的影响，降低了对图像中多目标的检测准确性。因此，如何提高基于图像的多目标检测的准确性，成为了亟待解决的技术问题。

技术实现思路

1、本技术实施例的主要目的在于提出一种基于图像的多目标检测方法及装置、电子设备、存储介质，能够提高基于图像的多目标检测的准确性。

2、为实现上述目的，本技术实施例的第一方面提出了一种基于图像的多目标检测方法，所述方法包括：

3、获取初始图像，所述初始图像包括多个检测目标；

4、对所述初始图像进行频域变换，得到图像频域特征；

5、基于所述图像频域特征对所述初始图像进行图像增强，得到增强图像；

6、将所述增强样本图像输入预先训练的多目标检测模型，所述多目标检测模型包括多尺度特征融合子模型、关键点检测子模型和关键点分组子模型；

7、基于所述多尺度特征融合子模型对所述增强图像进行多尺度特征融合处理，得到多尺度融合特征图；

8、基于所述关键点检测子模型对所述多尺度融合特征图进行关键点检测，得到关键点检测数据，所述关键点检测数据包括候选关键点的预测关键点类别和关键点位置数据，所述候选关键点用于指示所述检测目标的一个关键点；

9、基于所述关键点位置数据对所述候选关键点进行距离相似度计算，得到关键点距离相似度；

10、基于所述预测关键点类别和所述关键点距离相似度对所述候选关键点进行语义相似度计算，得到关键点语义相似度；

11、基于所述关键点分组子模型对所述关键点语义相似度、所述关键点距离相似度和所述候选关键点进行关键点分组，得到目标关键点组，所述目标关键点组中包含的关键点用于指示同一所述检测目标。

12、在一些实施例中，所述基于所述图像频域特征对所述初始图像进行图像增强，得到增强图像，包括：

13、对所述图像频域特征进行目标关键特征提取，得到频域目标关键特征；

14、基于所述初始图像对所述频域目标关键特征进行频域逆变换，得到所述增强图像。

15、在一些实施例中，所述基于所述关键点检测子模型对所述多尺度融合特征图进行关键点检测，得到关键点检测数据，包括：

16、对所述多尺度融合特征图中的融合特征点进行类别预测，得到预设类别数量的概率预测图，对于一个预设类别，对应的所述概率预测图包括预测概率值，所述预测概率值用于指示所述融合特征点属于所述预设类别的概率；

17、基于峰值提取算法和所述预测概率值从所述融合特征点中确定所述候选关键点，并将所述预设类别作为所述候选关键点的所述预测关键点类别；

18、基于所述多尺度融合特征图对所述候选关键点进行位置数据提取，得到所述关键点位置数据；

19、基于所述预测关键点类别和所述关键点位置数据确定所述关键点检测数据。

20、在一些实施例中，所述多尺度特征融合子模型包括多尺度特征提取层、自注意力层、交叉注意力层和特征融合层；

21、所述基于所述多尺度特征融合子模型对所述增强图像进行多尺度特征融合处理，得到多尺度融合特征图，包括：

22、基于多尺度特征提取层对所述增强图像进行多尺度特征提取，得到多个不同分辨率的增强特征图；

23、基于预设金字塔结构对多个不同分辨率的所述增强特征图进行特征图连接，得到目标金字塔结构，所述目标金字塔结构包括候选特征图和所述候选特征图的相邻特征图；

24、基于所述自注意力层对所述候选特征图进行自注意力处理，得到自注意力权重；

25、基于所述自注意力权重对所述候选特征图进行特征值调整，得到调整后特征图；

26、基于所述交叉注意力层对所述调整后特征图和所述候选特征图的所述相邻特征图进行交叉注意力处理，得到交叉注意力权重；

27、基于所述交叉注意力权重对所述调整后特征图进行特征值调整，得到目标特征图；

28、基于所述特征融合层对所述目标金字塔结构中的所述目标特征图进行特征融合，得到所述多尺度融合特征图。

29、在一些实施例中，所述基于所述预测关键点类别和所述关键点距离相似度对所述候选关键点进行语义相似度计算，得到关键点语义相似度，包括：

30、从所述候选关键点中选择第一关键点和第二关键点；

31、对所述第一关键点的第一预测关键点类别和所述第二关键点的第二预测关键点类别进行类别相似度计算，得到类别相似度；

32、获取所述第一预测关键点类别的第一类别描述文本和所述第二预测关键点类别的第二类别描述文本；

33、对所述第一类别描述文本和所述第二类别描述文本进行文本相似度计算，得到文本相似度；

34、对所述关键点距离相似度和预设距离相似度阈值进行差值计算，得到距离相似度差值；

35、基于所述距离相似度差值确定所述类别相似度的第一权重和所述文本相似度的第二权重；

36、基于所述类别相似度、所述第一权重、所述文本相似度和所述第二权重进行加权和计算，得到所述语义相似度。

37、在一些实施例中，在所述将所述增强样本图像输入预先训练的多目标检测模型之前，所述方法还包括：构建所述多目标检测模型，具体包括：

38、获取训练样本，所述训练样本包括样本图像和样本目标关键点组，所述样本图像包括多个样本检测目标；

39、将所述样本图像输入初始检测模型，所述初始检测模型包括所述多尺度特征融合子模型、所述关键点检测子模型和所述关键点分组子模型；

40、基于所述多尺度特征融合子模型对所述样本图像进行多尺度特征融合处理，得到样本多尺度融合特征图；

41、基于所述关键点检测子模型对所述样本多尺度融合特征图进行关键点检测，得到样本关键点检测数据，所述样本关键点检测数据包括样本候选关键点的样本预测关键点类别和样本关键点位置数据，所述样本候选关键点用于指示所述样本检测目标的一个关键点；

42、基于所述样本预测关键点类别和所述样本关键点位置数据对所述样本候选关键点进行语义相似度计算，得到样本关键点语义相似度；

43、基于所述样本关键点位置数据对所述样本候选关键点进行距离相似度计算，得到样本关键点距离相似度；

44、基于所述关键点分组子模型对所述样本关键点语义相似度、所述样本关键点距离相似度和所述样本候选关键点进行关键点分组，得到预测目标关键点组，所述预测目标关键点组中包含的关键点用于指示同一所述样本检测目标；

45、基于所述样本图像、所述样本检测目标的数量、所述样本目标关键点组和所述预测目标关键点组进行损失值计算，得到模型损失值；

46、基于所述模型损失值对所述初始检测模型进行参数调整，得到所述多目标检测模型。

47、在一些实施例中，所述基于所述样本图像、所述样本检测目标的数量、所述样本目标关键点组和所述预测目标关键点组进行损失值计算，得到模型损失值，包括：

48、从所述样本目标关键点组中提取样本目标关键点和所述样本目标关键点的第一关键点位置数据；

49、从所述预测目标关键点组中提取预测目标关键点和所述预测目标关键点的第二关键点位置数据；

50、基于同一所述样本检测目标的所述第一关键点位置数据和所述第二关键点位置数据进行损失计算，得到预测损失值；

51、基于任意两个不同的所述样本检测目标的所述第一关键点位置数据和所述第二关键点位置数据进行关键点冲突计算，得到关键点冲突值；

52、基于所述预测损失值和所述关键点冲突值进行模型损失计算，得到所述模型损失值。

53、为实现上述目的，本技术实施例的第二方面提出了一种基于图像的多目标检测装置，所述装置包括：

54、获取模块，用于获取初始图像，所述初始图像包括多个检测目标；

55、变换模块，用于对所述初始图像进行频域变换，得到图像频域特征；

56、增强模块，用于基于所述图像频域特征对所述初始图像进行图像增强，得到增强图像；

57、输入模块，用于将所述增强样本图像输入预先训练的多目标检测模型，所述多目标检测模型包括多尺度特征融合子模型、关键点检测子模型和关键点分组子模型；

58、融合模块，用于基于所述多尺度特征融合子模型对所述增强图像进行多尺度特征融合处理，得到多尺度融合特征图；

59、检测模块，用于基于所述关键点检测子模型对所述多尺度融合特征图进行关键点检测，得到关键点检测数据，所述关键点检测数据包括候选关键点的预测关键点类别和关键点位置数据，所述候选关键点用于指示所述检测目标的一个关键点；

60、第一计算模块，用于基于所述关键点位置数据对所述候选关键点进行距离相似度计算，得到关键点距离相似度；

61、第二计算模块，用于基于所述预测关键点类别和所述关键点距离相似度对所述候选关键点进行语义相似度计算，得到关键点语义相似度；

62、分组模块，用于基于所述关键点分组子模型对所述关键点语义相似度、所述关键点距离相似度和所述候选关键点进行关键点分组，得到目标关键点组，所述目标关键点组中包含的关键点用于指示同一所述检测目标。

63、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

64、为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

65、本技术实施例提出的一种基于图像的多目标检测方法及装置、电子设备、存储介质，首先，获取初始图像，该初始图像包括多个检测目标；对初始图像进行频域变换，得到图像频域特征；基于图像频域特征对初始图像进行图像增强，得到增强图像；进一步地，将增强样本图像输入预先训练的多目标检测模型，该多目标检测模型包括多尺度特征融合子模型、关键点检测子模型和关键点分组子模型；基于多尺度特征融合子模型对增强图像进行多尺度特征融合处理，得到多尺度融合特征图；基于关键点检测子模型对多尺度融合特征图进行关键点检测，得到关键点检测数据，该关键点检测数据包括候选关键点的预测关键点类别和关键点位置数据，候选关键点用于指示检测目标的一个关键点；进一步地，基于关键点位置数据对候选关键点进行距离相似度计算，得到关键点距离相似度；基于预测关键点类别和关键点距离相似度对候选关键点进行语义相似度计算，得到关键点语义相似度；进一步地，基于关键点分组子模型对关键点语义相似度、关键点距离相似度和候选关键点进行关键点分组，得到目标关键点组，该目标关键点组中包含的关键点用于指示同一检测目标。相比于相关技术并未深入理解图像中其他目标信息与待识别目标的关联信息，从而容易收到遮挡、背景干扰和光照等问题的影响，本技术通过频域变换后的图像频域特征对初始图像进行图像增强，并结合多尺度特征融合和关键点检测来增强与目标关键点相关的特征信息，能够深入理解图像中其他目标信息与待识别目标的关联信息，提高特征表达和关键点检测准确性，并基于关键点距离相似度和关键点语义相似度来实现更准确的关键点分组。因此，本技术实施例可以有效提高基于图像的多目标检测的准确性。