基于无线感知与图像融合的目标检测方法及装置与流程

本技术涉及检测，尤其涉及一种基于无线感知与图像融合的目标检测方法及装置。

背景技术：

1、在大雨或光照不足等不利环境条件下，基于图像的检测器容易受到图像质量下降的影响。在极端环境下，传统的基于图像的检测模块失灵，而基于感知的探测器仍可以产生相应的检测候选框。然而，无线感知无法得到清晰图像，必须从技术复用互补和数据融合方面寻求解决方案。基于无线感知和图像数据融合，设计基于感知和图像融合的目标检测器，可以提升检测精度。例如，传统摄像头在恶劣环境下会出现误报、漏报等问题，传统无线感知在恶劣环境下可适用但无法看到清晰的图像，也无法识别出车辆的车牌、车型、车标和车身颜色等信息。因此可将无线感知技术与图像检测集成，打造出在信号处理、目标识别、事件检测算法有重要突破的无线感知与图像融合全息道路感知系统。

2、大多数现有的无线感知和图像融合方法可分为三类：数据融合、特征融合和结果融合。1、数据融合方法倾向于遵循利用无线感知数据引导图像空间中目标检测的核心思想。无线感知数据的检测被转换为图像中的感兴趣区域(region of interest，roi)，然后用于进一步的图像处理。其核心思想是由一种无线感知数据生成目标物体的候选框，然后在另外一种数据上进行验证。数据融合的一个主要缺点是检测流水线完全忽略没有无线感知数据的区域，从而导致漏检的可能性。2、特征融合是最近流行的融合概念，它使检测系统能够学习具有不同特征表示的交叉感知模式。随着用于图像分类和回归的高级深度学习网络的出现，大多数特征融合方法利用复杂的基于图像的检测网络并对其进行修改以集成无线感知数据。与数据融合相比，特征层的融合更加底层一些，也更有利于神经网络也学习不同传感器之间的互补性，但是算法设计的复杂程度也相对较高。一般的做法是将无线感知的点云数据映射到图像坐标系下，形成一个类似于相机图像的点云图像。3、结果融合是在两个独立的处理分支的末端进行，以整合各自的模态检测结果。这种方法需要考虑的是如何将不同可信度的结果整合到一起，采用的多是传统的基于滤波的策略。由于并没有充分考虑特征层面的互补性，这种方法对系统性能的提升有限。

3、由于数据融合中，数据来源、数据结构、数据特征均不同，因此融合效果差；特征融合中，特征层的融合更加底层一些，也更有利于神经网络也学习不同传感器之间的互补性，但是算法设计的复杂程度也相对较高，融合方式需进一步研究；结果融合中，没有充分考虑特征层面的互补性，对系统性能的提升有限。

4、因此有必要提供一种新的目标检测方法。

技术实现思路

1、本技术公开了一种基于无线感知与图像融合的目标检测方法及装置，可以提高目标检测的准确率。

2、第一方面，本技术实施例提供一种基于无线感知与图像融合的目标检测方法，包括：

3、获取图像和感知数据，并对所述图像和所述感知数据分别进行处理，得到至少一个检测目标对应的第一边界框和第二边界框，以及所述图像对应的全局特征、所述感知数据对应的全局特征，所述第一边界框与所述图像对应，所述第二边界框与所述感知数据对应；

4、基于所述图像对应的全局特征、所述感知数据对应的全局特征，得到候选框集合中所述至少一个检测目标的局部图像特征和局部感知特征，所述候选框集合是基于所述第一边界框和所述第二边界框进行融合处理得到的；

5、对所述候选框集合中所述至少一个检测目标的局部图像特征和局部感知特征进行处理，得到所述目标。

6、本技术实施例，通过对图像和感知数据分别进行处理，得到至少一个检测目标对应的第一边界框和第二边界框，以及所述图像对应的全局特征、所述感知数据对应的全局特征；进而基于图像对应的全局特征、感知数据对应的全局特征，得到候选框集合中至少一个检测目标的局部图像特征和局部感知特征；进而基于至少一个检测目标的局部图像特征和局部感知特征进行处理，得到目标。采用该手段，基于图像和感知数据得到的候选框集合进行处理，有效提高了基于感知和图像融合的目标检测的准确率。

7、在一种可能的实现方式中，所述对所述候选框集合中所述至少一个检测目标的局部图像特征和局部感知特征进行处理，得到所述目标，包括：

8、对所述候选框集合中所述至少一个检测目标中每个检测目标的局部图像特征和局部感知特征分别进行特征提取处理，得到所述每个检测目标的第一置信度和第二置信度，所述第一置信度与所述局部图像特征对应，所述第二置信度与所述局部感知特征对应；

9、对所述每个检测目标的所述第一置信度和所述第二置信度进行融合处理，得到所述候选框集合中所述至少一个检测目标的融合的置信度，其中，所述目标的融合的置信度大于第一阈值。

10、该示例，基于候选框得到置信分数并融合，可以有效提升检测准确度。

11、在一种可能的实现方式中，所述对所述每个检测目标的所述第一置信度和所述第二置信度进行融合处理，得到所述候选框集合中所述至少一个检测目标的融合的置信度，包括：

12、分别将所述每个检测目标的所述第一置信度和所述第二置信度相加，得到所述每个检测目标的置信度之和；

13、分别对所述至少一个检测目标的置信度之和进行预设处理，得到所述至少一个检测目标的融合的置信度。

14、在一种可能的实现方式中，所述方法还包括：

15、确认所述第一边界框的置信度不小于第二阈值。

16、该示例先对图像对应的边界框进行置信度筛选，以确保其置信度的可靠性，进一步提高了目标检测的准确性。

17、在一种可能的实现方式中，所述图像至少依次包括第一帧图像、第二帧图像和第三帧图像，所述第一帧图像、第二帧图像中所述检测目标的个数均大于所述第三帧图像中所述检测目标的个数，所述方法还包括：

18、基于缺失的检测目标在所述第一帧图像中的位置和第二帧图像中位置以及预设图像采样周期，得到所述缺失的检测目标在第三帧图像中的预测位置；

19、若所述缺失的检测目标在第三帧图像中的预测位置与所述第三帧图像中检测到的检测目标的位置一致，确认所述缺失的检测目标在所述第三帧图像中被遮挡。

20、该示例的多帧检测算法能够有效地解决遮挡问题，提高多目标检测的精确性和鲁棒性，更加准确地检测到人体等目标位置。

21、第二方面，本技术实施例提供一种基于无线感知与图像融合的目标检测装置，包括：

22、第一处理模块，用于获取图像和感知数据，并对所述图像和所述感知数据分别进行处理，得到至少一个检测目标对应的第一边界框和第二边界框，以及所述图像对应的全局特征、所述感知数据对应的全局特征，所述第一边界框与所述图像对应，所述第二边界框与所述感知数据对应；

23、第二处理模块，用于基于所述图像对应的全局特征、所述感知数据对应的全局特征，得到候选框集合中所述至少一个检测目标的局部图像特征和局部感知特征，所述候选框集合是基于所述第一边界框和所述第二边界框进行融合处理得到的；

24、确定模块，用于对所述候选框集合中所述至少一个检测目标的局部图像特征和局部感知特征进行处理，得到所述目标。

25、在一种可能的实现方式中，所述确定模块，用于：

26、对所述候选框集合中所述至少一个检测目标中每个检测目标的局部图像特征和局部感知特征分别进行特征提取处理，得到所述每个检测目标的第一置信度和第二置信度，所述第一置信度与所述局部图像特征对应，所述第二置信度与所述局部感知特征对应；

27、对所述每个检测目标的所述第一置信度和所述第二置信度进行融合处理，得到所述候选框集合中所述至少一个检测目标的融合的置信度，其中，所述目标的融合的置信度大于第一阈值。

28、在一种可能的实现方式中，所述确定模块，还用于：

29、分别将所述每个检测目标的所述第一置信度和所述第二置信度相加，得到所述每个检测目标的置信度之和；

30、分别对所述至少一个检测目标的置信度之和进行预设处理，得到所述至少一个检测目标的融合的置信度。

31、在一种可能的实现方式中，所述确定模块，还用于：

32、确认所述第一边界框的置信度不小于第二阈值。

33、在一种可能的实现方式中，所述图像至少依次包括第一帧图像、第二帧图像和第三帧图像，所述确定模块，还用于：

34、基于缺失的检测目标在所述第一帧图像中的位置和第二帧图像中位置以及预设图像采样周期，得到所述缺失的检测目标在第三帧图像中的预测位置；

35、若所述缺失的检测目标在第三帧图像中的预测位置与所述第三帧图像中检测到的检测目标的位置一致，确认所述缺失的检测目标在所述第三帧图像中被遮挡。

36、第三方面，本技术实施例提供一种基于无线感知与图像融合的目标检测装置，包括处理器和存储器；其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如第一方面任一种可能的实施方式提供的方法。

37、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面任一种可能的实施方式提供的方法。

38、第五方面，本技术实施例提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面任一种可能的实施方式提供的方法。

39、可以理解地，上述提供的第二方面所述的装置、第三方面所述的装置、第四方面所述的计算机存储介质或者第五方面所述的计算机程序产品均用于执行第一方面中任一所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。