融合感知方法、装置、计算机设备及可读存储介质与流程

本申请属于深度学习融合感知算法，更具体地，涉及一种融合感知方法、装置、计算机设备及可读存储介质。

背景技术：

1、随着自动驾驶技术的发展，其成为未来交通出行的重要发展方向之一。自动驾驶技术可以让车辆通过感知周围环境的传感器、地图和其他数据来源来理解其周围环境，并使用这些信息来做出决策，包括加速、刹车、转弯和避免障碍物等。

2、自动驾驶系统主要分为四个模块，即感觉、感知、决策和控制模块，其中，感知模块是系统的核心组成部分，其由传感器构成，例如，激光雷达、相机等，因此，传感器为系统感知周围环境的决定性因素，目前，单一传感器获取目标信息之后，通过面向单一传感器的算法对目标信息进行处理和分析，以获取对车辆周围环境的认识。但申请人认识到，各个单一传感器由于各自有不同的特点，可因为距离或目标大小等原因导致各个单一传感器获取的待感知目标的信息量较少，进而面向单一传感器的算法由于输入信息量的限制导致最终算法得出的感知结果存在较多背景误识别和漏检，感知可靠性较低。

技术实现思路

1、有鉴于此，本发明提供了一种融合感知方法、装置、计算机设备及可读存储介质，主要目的在于解决目前存在面向单一传感器的算法由于输入信息量的限制导致最终算法得出的感知结果存在较多背景误识别和漏检，感知可靠性较低的问题。

2、依据本申请第一方面，提供了一种融合感知方法，包括：

3、根据相机采集的二维图像得到所述二维图像的二维感知信息；

4、根据图像坐标系和雷达坐标系之间的对应关系，将所述二维图像的二维感知信息与对应的三维原始点云进行融合，得到融合点云信息；

5、将所述融合点云信息输入目标融合感知模型中，得到感知结果；

6、其中，所述二维感知信息包括目标级别感知信息和像素级别感知信息。

7、可选地，所述目标级别感知信息包括目标类别和目标类别置信度；

8、和/或，

9、所述像素级别感知信息包括像素类别和像素掩码得分。

10、可选地，所述根据相机采集的二维图像得到所述二维图像的二维感知信息，包括：

11、获取所述相机采集的所述二维图像；

12、采用图像分割算法对所述二维图像进行图像分割，得到所述二维图像的所述目标级别感知信息、所述像素级别感知信息；

13、将所述目标级别感知信息、所述像素级别感知信息进行组合，得到所述二维图像的二维感知信息。

14、可选地，所述根据图像坐标系和雷达坐标系之间的对应关系，将所述二维图像的二维感知信息与对应的三维原始点云进行融合，得到融合点云信息，包括：

15、获取雷达采集的所述二维图像对应的三维原始点云，以及确定所述二维图像对应的所述图像坐标系与所述三维原始点云对应的所述雷达坐标系之间的对应关系；

16、按照所述对应关系将所述三维原始点云投影到所述二维图像，得到投影点云以及所述投影点云的投影坐标信息；

17、确定所述二维图像的原始坐标信息，在检测到所述投影点云的投影坐标信息与所述二维图像的原始坐标信息匹配时，将所述二维图像的二维感知信息与所述投影点云对应的所述三维原始点云进行信息融合，得到所述融合点云信息。

18、可选地，所述将所述融合点云信息输入目标融合感知模型中，得到感知结果之前，所述方法还包括：

19、获取训练数据集，所述训练数据集包括多个融合点云信息，每个融合点云信息包括三维点云以及所述三维点云对应的三维坐标信息、目标级别感知信息和像素级别感知信息，其中，所述目标级别感知信息包括目标类别和目标类别置信度，且所述像素级别感知信息包括像素类别和像素掩码得分；

20、确定多个目标类别，采用所述多个目标类别对每个三维点云中的每个点进行标注，得到多个标注后的三维点云；

21、基于所述多个标注后的三维点云得到多个目标融合点云信息；

22、采用所述多个目标融合点云信息对融合感知算法进行训练，得到用于识别目标类别和目标位置的所述目标融合感知模型。

23、可选地，将所述融合点云信息输入所述目标融合感知模型中，得到对应的类别信息和位置信息。

24、可选地，所述将所述融合点云信息输入目标融合感知模型中，得到感知结果之后，所述方法还包括：

25、基于所述感知结果生成行驶路径和速度规划方案，并将所述行驶路径和速度规划方案发送至自动驾驶车辆的控制端，以使所述控制端在接收到所述行驶路径和速度规划方案时，控制所述自动驾驶车辆按照所述行驶路径和速度规划方案自动行驶。

26、依据本申请第二方面，提供了一种融合感知装置，包括：

27、信息获取模块，用于根据相机采集的二维图像得到所述二维图像的二维感知信息；

28、信息融合模块，用于根据图像坐标系和雷达坐标系之间的对应关系，将所述二维图像的二维感知信息与对应的三维原始点云进行融合，得到融合点云信息；

29、信息输入模块，用于将所述融合点云信息输入目标融合感知模型中，得到感知结果；

30、其中，所述二维感知信息包括目标级别感知信息和像素级别感知信息。

31、依据本申请第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述方法的步骤。

32、依据本申请第四方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法的步骤。

33、借由上述技术方案，本申请提供了一种融合感知方法、装置、计算机设备及可读存储介质，本申请首先根据相机采集的二维图像得到二维图像的二维感知信息，之后根据图像坐标系和雷达坐标系之间的对应关系，将二维图像的二维感知信息与对应的三维原始点云进行融合，得到融合点云信息，最后将融合点云信息输入目标融合感知模型中，得到感知结果；通过信息融合，将二维图像丰富的特征信息融合到三维原始点云，使得三维原始点云在原始信息的基础上又增加了丰富的特征信息，得到融合点云信息，这些新增的特征信息具有更多的可学习性，以此同时，融合点云信息既具有目标级别感知信息，又具有像素级别感知信息，即像素级别高维特征，将具有丰富特征信息的融合点云信息输入训练好的目标融合感知模型中，可以对感知背景进行抑制，且能够提高感知精度，即，给出精度较高的感知结果。

34、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种融合感知方法，其特征在于，包括：

2.根据权利要求1所述的融合感知方法，其特征在于，

3.根据权利要求1所述的融合感知方法，其特征在于，所述根据相机采集的二维图像得到所述二维图像的二维感知信息，包括：

4.根据权利要求1所述的融合感知方法，其特征在于，所述根据图像坐标系和雷达坐标系之间的对应关系，将所述二维图像的二维感知信息与对应的三维原始点云进行融合，得到融合点云信息，包括：

5.根据权利要求1所述的融合感知方法，其特征在于，所述将所述融合点云信息输入目标融合感知模型中，得到感知结果之前，所述方法还包括：

6.根据权利要求5所述的融合感知方法，其特征在于，将所述融合点云信息输入所述目标融合感知模型中，得到对应的类别信息和位置信息。

7.根据权利要求1所述的融合感知方法，其特征在于，所述将所述融合点云信息输入目标融合感知模型中，得到感知结果之后，所述方法还包括：

8.一种融合感知装置，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请公开了一种融合感知方法、装置、计算机设备及可读存储介质，涉及深度学习融合感知算法技术领域，解决目前存在面向单一传感器的算法由于输入信息量的限制导致最终算法得出的感知结果存在较多背景误识别和漏检，感知可靠性较低的问题。该方法包括：根据相机采集的二维图像得到二维图像的二维感知信息，之后根据图像坐标系和雷达坐标系之间的对应关系，将二维图像的二维感知信息与对应的三维原始点云进行融合，得到融合点云信息，最后将融合点云信息输入目标融合感知模型中，得到感知结果。

技术研发人员：赵子文,侯凤麒
受保护的技术使用者：北京亮道智能汽车技术有限公司
技术研发日：
技术公布日：2024/5/29