雷达数据与视频数据融合匹配方法、系统、设备和介质与流程

所属的技术人员知道，本发明可以实现为系统、方法或计算机程序产品，因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)，只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

背景技术：

1、随着智能交通系统的发展，对交通监控的准确性和实时性要求越来越高。传统的交通监控系统主要依赖视频摄像头进行目标检测和跟踪，但由于天气、光照等环境因素的影响，视频特征数据的稳定性和可靠性受到挑战。同时，雷达传感器虽然能够提供稳定的目标位置和速度信息，但缺乏详细的视觉属性。因此，如何实现视频和雷达特征数据的融合与匹配，成为当前研究的热点。

2、目前，已经有一些技术尝试实现雷达和视频特征数据的融合。这些方案通常包括数据预处理、特征提取、目标匹配等步骤。例如，有些方法通过对视频和雷达特征数据进行时空对准，然后提取目标的特征(如位置、速度等)，进行相似度比较，从而判断不同传感器数据是否对应同一目标。然而，这些方案在准确性、实时性和鲁棒性方面仍有待提高。

技术实现思路

1、为解决上述技术问题，本发明提供了一种雷达数据与视频数据融合匹配方法、系统、设备和介质。

2、第一方面，本发明提供一种雷达数据与视频数据融合匹配方法，该方法的技术方案如下：

3、当目标雷达设备所采集的待融合雷达目标未匹配任一视频目标时，确定所述目标雷达设备所关联的目标摄像头采集的每个视频目标；

4、分别计算所述待融合雷达目标的雷达特征数据与所述目标摄像头对应的每个视频目标的视频特征数据之间的关联程度，并将与所述雷达特征数据关联程度最高的视频特征数据所对应的视频目标确定为待融合视频目标；

5、将所述待融合雷达目标的雷达特征数据与所述待融合视频目标的视频特征数据进行融合，得到所述待融合雷达目标的雷达视频融合数据。

6、本发明的一种雷达数据与视频数据融合匹配方法的有益效果如下：

7、本发明的方法通过将雷达数据与视频数据进行匹配融合，克服了单一传感器数据的局限性，提升了数据融合的灵活性与准确性。

8、在上述方案的基础上，本发明的一种雷达数据与视频数据融合匹配方法还可以做如下改进。

9、在一种可选的方式中，还包括：

10、根据预设雷达视频目标匹配关系表，判断所述待融合雷达目标是否匹配任一视频目标。

11、在一种可选的方式中，确定所述目标雷达设备所关联的目标摄像头采集的每个视频目标的步骤，包括：

12、从视频设备目标记录表中，确定所述目标摄像头采集的每个视频目标，并获取所述目标摄像头采集的每个视频目标的视频特征数据。

13、在一种可选的方式中，所述雷达特征数据包括：所述待融合雷达目标的所在区域、所属类型、位置信息和采集时刻信息；任一视频目标的视频特征数据包括：所述任一视频目标的所在区域、所属类型、位置信息和采集时刻信息；计算所述待融合雷达目标的雷达特征数据与所述目标摄像头对应的任一视频目标的视频特征数据之间的关联程度的步骤，包括：

14、根据所述待融合雷达目标的所在区域与所述任一视频目标的所在区域是否相同、所述待融合雷达目标的所属类型与所述任一视频目标的所属类型是否相同、所述待融合雷达目标的位置信息与所述任一视频目标的位置信息之间的位置关系、所述待融合雷达目标的采集时刻信息与所述任一视频目标的采集时刻信息之间的时间差，确定所述待融合雷达目标的雷达特征数据与所述目标摄像头对应的任一视频目标的视频特征数据之间的关联程度。

15、在一种可选的方式中，还包括：

16、获取所述目标摄像头采集的原始视频数据，并利用目标检测技术，对所述原始视频数据的每一帧图像进行目标检测，得到所述目标摄像头对应的每个视频目标的视频特征数据。

17、在一种可选的方式中，还包括：

18、当所述待融合雷达目标已匹配任一视频目标时，根据所述待融合雷达目标的雷达特征数据与所述待融合视频目标的视频特征数据，对所述待融合雷达目标的雷达视频融合数据进行更新，得到更新后的所述待融合雷达目标的雷达视频融合数据。

19、第二方面，本发明提供一种雷达数据与视频数据融合匹配系统，该系统的技术方案如下：

20、包括：确定模块、处理模块和融合模块；

21、所述确定模块用于：当目标雷达设备所采集的待融合雷达目标未匹配任一视频目标时，确定所述目标雷达设备所关联的目标摄像头采集的每个视频目标；

22、所述处理模块用于：分别计算所述待融合雷达目标的雷达特征数据与所述目标摄像头对应的每个视频目标的视频特征数据之间的关联程度，并将与所述雷达特征数据关联程度最高的视频特征数据所对应的视频目标确定为待融合视频目标；

23、所述融合模块用于：将所述待融合雷达目标的雷达特征数据与所述待融合视频目标的视频特征数据进行融合，得到所述待融合雷达目标的雷达视频融合数据。

24、本发明的一种雷达数据与视频数据融合匹配系统的有益效果如下：

25、本发明的系统通过将雷达数据与视频数据进行匹配融合，克服了单一传感器数据的局限性，提升了数据融合的灵活性与准确性。

26、在上述方案的基础上，本发明的一种雷达数据与视频数据融合匹配系统还可以做如下改进。

27、在一种可选的方式中，还包括：判断模块；

28、所述判断模块用于：根据预设雷达视频目标匹配关系表，判断所述待融合雷达目标是否匹配任一视频目标。

29、第三方面，本发明的一种电子设备的技术方案如下：

30、包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现如本发明的雷达数据与视频数据融合匹配方法的步骤。

31、第四方面，本发明提供的一种计算机可读存储介质的技术方案如下：

32、计算机可读存储介质中存储有指令，当计算机可读存储介质读取所述指令时，使所述计算机可读存储介质执行如本发明的雷达数据与视频数据融合匹配方法的步骤。

33、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。