结合稠密点云的相机目标检测方法、装置、设备与流程

本发明涉及图像感知，具体涉及一种结合稠密点云的相机目标检测方法、装置、设备。

背景技术：

1、随着自动驾驶和智慧交通系统的不断发展，城市道路上悬挂了越来越多的感知设备，如相机、激光雷达、毫米波雷达等。在这些设备中，相机的数量最为庞大，布设密度也最为稠密，但由于相机的天然特点，只能给出交通参与者的二维像素信息，而无法提供三维坐标信息，因此仅借助相机图像检测开发的应用场景受到了一定的限制。

2、在相关技术中，为实现交通参与者的识别，确定相应交通参与者的三维坐标信息，通常使用激光雷达或毫米波雷达与相机相结合。但在该种方式中，需额外配备雷达设备，成本相对较高，并且需要较为复杂的算法进行雷达数据与相机数据的融合，给大规模推广制造了阻力。因此，如何制定利用相机图像，确定交通参与者的三维坐标，且易于推广的方案是亟待解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种结合稠密点云的相机目标检测方法、装置、设备，以解决制定利用相机图像，确定交通参与者的三维坐标，且易于推广的方案的技术问题。

2、第一方面，本发明提供了一种结合稠密点云的相机目标检测方法，方法包括：获取相机的相机图像与相机预置范围内的稠密点云地图；将相机图像输入预先训练好的图像感知模型，确定与交通参与者对应的检测框、交通参与者的类别、与相机图像对应的像素点位置信息；基于类别、检测框、与相机图像对应的像素点位置信息，利用预制的与稠密点云地图对应的深度图，确定与相机对应的交通参与者坐标信息。

3、结合第一方面，在第一方面的一种可能的实现方式中，基于类别、检测框、与相机图像对应的像素点位置信息，利用预制的与稠密点云地图对应的深度图，确定与相机对应的交通参与者坐标信息，包括：基于类别为第一类别，通过与稠密点云地图对应的深度图，确定与深度图中各像素点对应的坐标；基于坐标，确定检测框的下边缘的第一位置坐标、第二位置坐标；基于像素点位置信息，确定检测框的下边缘的第三位置坐标、第四位置坐标；基于第一位置坐标、第二位置坐标、第三位置坐标、第四位置坐标、第一类别的对象的投影信息，计算交通参与者的定位点，以定位点作为与每个相机对应的交通参与者坐标信息。

4、结合第一方面，在第一方面的一种可能的实现方式中，基于第一位置坐标、第二位置坐标、第三位置坐标、第四位置坐标、第一类别的对象的投影信息，计算交通参与者的定位点，包括：基于第三位置坐标、第四位置坐标，通过确定检测框下边缘中心点对应的第一像素点以及与稠密点云地图对应的深度图，计算纵向距离像素比；基于第一位置坐标、第二位置坐标与第一类别的投影信息，计算实际距离；基于实际距离与纵向距离像素比，计算像素距离；基于像素距离与第一像素点，确定交通参与者的定位点的像素位置信息；基于像素位置信息，通过深度图，确定交通参与者的定位点。

5、结合第一方面，在第一方面的一种可能的实现方式中，基于类别、检测框、与相机图像对应的像素点位置信息，利用预制的与稠密点云地图对应的深度图，确定与相机对应的交通参与者坐标信息，包括：基于类别为第二类别，通过像素点位置信息，确定检测框的下边缘的第一像素点；基于第一像素点，利用深度图，确定第一像素点的第一位置信息，以第一位置信息作为与相机对应的交通参与者坐标信息。

6、结合第一方面，在第一方面的一种可能的实现方式中，在获取相机图像与稠密点云地图之后，方法还包括：基于与相机图像对应的相机内外参数，将稠密点云地图的点云进行投射，形成第一深度图，确定第一深度图；基于第一深度图，去除投影位置相同的点云，确定第二深度图，以第二深度图作为预制的与相机图像对应的深度图。

7、结合第一方面，在第一方面的一种可能的实现方式中，基于第一深度图，去除投影位置相同的点云，确定第二深度图，包括：遍历第一深度图，确定第一深度图中具有多个对应点云的第二像素点；基于稠密点云地图，确定与第二像素点对应的第一点云的第二位置信息和对应相机的第三位置信息；基于每个第二位置信息与第三位置信息，分别计算每个第一点云与对应相机的距离；基于距离，筛选第一点云，确定与筛选后的第一点云一一对应的第三像素点，由第三像素点形成第三深度图；以第三深度图作为确定的第二深度图。

8、结合第一方面，在第一方面的一种可能的实现方式中，在基于距离，筛选第一点云，确定与筛选后的第一点云一一对应的第三像素点，由第三像素点形成第三深度图之后，还包括：遍历第三深度图，确定第三深度图中不具有对应点云的第四像素点；基于第四像素点，确定与第四像素点相邻的第三像素点；基于与第四像素点相邻的第三像素点，确定第四像素点的第四位置信息；由确定第四位置信息的第四像素点与第三像素点形成第四深度图，以第四深度图作为更新后的第三深度图。

9、结合第一方面，在第一方面的一种可能的实现方式中，在基于类别、检测框、与相机图像对应的像素点位置信息，利用预制的与稠密点云地图对应的深度图，确定与每个相机对应的交通参与者坐标信息之后，方法还包括：响应于相机为多个，分别确定与每个相机对应的交通参与者坐标信息；基于类别与类别对应的预设融合阈值，将属于同一交通参与者的交通参与者坐标信息进行融合，确定与交通参与者对应的三维坐标信息。

10、第二方面，本发明提供了一种结合稠密点云的相机目标检测装置，装置包括：获取模块，用于获取相机的相机图像与相机预置范围内的稠密点云地图；识别模块，用于将相机图像输入预先训练好的图像感知模型，确定与交通参与者对应的检测框、交通参与者的类别、与相机图像对应的像素点位置信息；确定模块，用于基于类别、检测框、与相机图像对应的像素点位置信息，利用预制的与稠密点云地图对应的深度图，确定与相机对应的交通参与者坐标信息。

11、第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的结合稠密点云的相机目标检测方法。

12、本发明技术方案，具有如下优点：

13、本发明提供的一种结合稠密点云的相机目标检测方法、装置、设备，该方法通过获取相机图像与稠密点云地图，以图像感知模型确定的检测框、类别以及像素点位置信息，利用与稠密点云地图对应的深度图，确定与相机对应的坐标信息。这一过程中，利用预制的与稠密点云地图对应的深度图进行由相机二维坐标至三维坐标的转换，并结合图像感知模型的输出结果，计算与相机对应的交通参与者坐标信息，实现利用相机图像确定交通参与者的三维坐标的方案且该方案节约智慧交通系统的建设成本，使方案易于推广。

技术特征：

1.一种结合稠密点云的相机目标检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述类别、所述检测框、与所述相机图像对应的像素点位置信息，利用预制的与所述稠密点云地图对应的深度图，确定与所述相机对应的交通参与者坐标信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一位置坐标、第二位置坐标、第三位置坐标、第四位置坐标、所述第一类别的对象的投影信息，计算交通参与者的定位点，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述类别、所述检测框、与所述相机图像对应的像素点位置信息，利用预制的与所述稠密点云地图对应的深度图，确定与所述相机对应的交通参与者坐标信息，包括：

5.根据权利要求1所述的方法，其特征在于，在所述获取相机图像与稠密点云地图之后，方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一深度图，去除投影位置相同的点云，确定第二深度图，包括：

7.根据权利要求6所述的方法，其特征在于，在所述基于所述距离，筛选所述第一点云，确定与筛选后的第一点云一一对应的第三像素点，由所述第三像素点形成第三深度图之后，还包括：

8.根据权利要求1所述的方法，其特征在于，在所述基于所述类别、所述检测框、与所述相机图像对应的像素点位置信息，利用预制的与所述稠密点云地图对应的深度图，确定与每个所述相机对应的交通参与者坐标信息之后，方法还包括：

9.一种结合稠密点云的相机目标检测装置，其特征在于，所述装置包括：

10.一种计算机设备，其特征在于，包括：

技术总结
本发明涉及图像感知技术领域，公开了一种结合稠密点云的相机目标检测方法、装置、设备，该方法包括：获取相机的相机图像与相机预置范围内的稠密点云地图；将相机图像输入预先训练好的图像感知模型，确定与交通参与者对应的检测框、交通参与者的类别、与相机图像对应的像素点位置信息；基于类别、检测框、与相机图像对应的像素点位置信息，利用预制的与稠密点云地图对应的深度图，确定与相机对应的交通参与者坐标信息。本发明的方案利用稠密点云实现以相机确定交通参与者的三维坐标。

技术研发人员：郝佰田,王天柱,谢树,邵天庆,郑文勇
受保护的技术使用者：天翼交通科技有限公司
技术研发日：
技术公布日：2024/8/21