雷达与相机的数据融合方法、装置、电子设备及存储介质与流程

本发明涉及多元传感器数据融合，尤其涉及一种雷达与相机的数据融合方法、装置、电子设备及存储介质。

背景技术：

1、环境感知是智能识别中的关键技术，比如雷达障碍物识别、视觉摄像头识别等感知识别。

2、相关方案中，大多是基于单一维度的数据实现感知识别，比如通过相机能从视觉角度感知丰富的图像信息，通过雷达能在一定程度上克服因环境因素(比如光线、雾霾等)造成的感知识别不准确问题，但却无法获知丰富的图像信息，导致无法进行很好的感知。此外，由于相机与雷达的采集频率并不一致，造成数据融合时无法匹配，出现融误差。因此，如何充分利用雷达与相机的数据进行较好地融合变得尤为重要。

技术实现思路

1、本发明提供了一种雷达与相机的数据融合方法、装置、电子设备及存储介质，以解决毫米波雷达和相机视频识别数据不在同一时刻，造成同时采集的两类数据时空误差大而导致的标定和融合难的问题。

2、根据本发明的一方面，提供了一种雷达与相机的数据融合方法，该方法包括：

3、确定雷达连续采集的至少两帧目标雷达数据与相机连续采集的至少两帧候选相机数据，所述雷达的采集频率低于所述相机的采集频率；

4、从所述至少两帧候选相机数据中确定与所述目标雷达数据匹配的目标相机数据，所述目标相机数据与所述目标雷达数据之间的目标采集时间差小于参考时间差，所述参考时间差为所述至少两帧候选相机数据中剩余相机数据与所述目标雷达数据之间的采集时间差；

5、将所述目标雷达数据与所述目标相机数据进行融合处理。

6、根据本发明的另一方面，提供了一种雷达与相机的数据融合装置，该装置包括：

7、采集数据确定模块，用于确定雷达连续采集的至少两帧目标雷达数据与相机连续采集的至少两帧候选相机数据，所述雷达的采集频率低于所述相机的采集频率；

8、相机与雷达匹配模块，用于从所述至少两帧候选相机数据中确定与所述目标雷达数据匹配的目标相机数据，所述目标相机数据与所述目标雷达数据之间的目标采集时间差小于参考时间差，所述参考时间差为所述至少两帧候选相机数据中剩余相机数据与所述目标雷达数据之间的采集时间差；

9、融合处理模块，用于将所述目标雷达数据与所述目标相机数据进行融合处理。

10、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

11、至少一个处理器；以及

12、与所述至少一个处理器通信连接的存储器；其中，

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的雷达与相机的数据融合方法。

14、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的雷达与相机的数据融合方法。

15、本发明实施例的技术方案，通过低于相机采集频率的雷达连续采集至少两帧目标雷达数据，并通过高于相机采集频率的相机连续采集至少两帧候选相机数据，根据雷达采集的候选雷达数据与相机采集的候选目标数据的采集时间，通过预设条件，候选目标数据的采集时间与目标雷达数据的采集时间之差小于参考时间差确定与目标雷达数据匹配的目标相机数据，将目标雷达数据与目标相机数据进行融合处理，解决因为相机和雷达的采集频率不一致，造成的数据融合无法匹配，甚至出现融合误差的问题，能够将不同时间维度的目标相机数据和目标雷达数据进行融合，从而提高了融合准确率。

16、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种雷达与相机的数据融合方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，确定雷达连续采集的至少两帧目标雷达数据与相机连续采集的至少两帧候选相机数据，包括:

3.根据权利要求1所述的方法，其特征在于，从所述至少两帧候选相机数据中确定与所述目标雷达数据匹配的目标相机数据，包括：

4.根据权利要求3所述的方法，其特征在于，在从所述至少两帧候选相机数据中确定与所述目标雷达数据匹配的目标相机数据之后，还包括：

5.根据权利要求4所述的方法，其特征在于，所述数据融合器配置有用于对筛选出的目标相机数据进行存储的存储单元。

6.根据权利要求1所述的方法，其特征在于，将所述目标雷达数据与所述目标相机数据进行融合处理，包括：

7.根据权利要求6所述的方法，其特征在于，依据所述雷达检测目标测量位置，确定所述雷达检测目标在目标相机数据采集时间对应的雷达检测目标预估位置，包括：

8.一种雷达与相机的数据融合装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的雷达与相机的数据融合方法。

技术总结
本发明公开了一种雷达与相机的数据融合方法、装置、电子设备及存储介质，该方法包括：确定雷达连续采集的至少两帧目标雷达数据与相机连续采集的至少两帧候选相机数据，所述雷达的采集频率低于所述相机的采集频率；从所述至少两帧候选相机数据中确定与所述目标雷达数据匹配的目标相机数据，所述目标相机数据与所述目标雷达数据之间的目标采集时间差小于参考时间差；将所述目标雷达数据与所述目标相机数据进行融合处理，本方法，能够将不同时间维度的目标相机数据和目标雷达数据进行融合，从而提高了融合准确率，为雷达与视觉融合提供了数据基础。

技术研发人员：席国庆,宋清峰
受保护的技术使用者：南京慧尔视智能科技有限公司
技术研发日：
技术公布日：2024/1/13