一种基于相机的3D目标检测方法、装置、设备及介质与流程

本发明涉及计算机视觉，尤其涉及一种基于相机的3d目标检测方法、装置、设备及介质。

背景技术：

1、随着科技的发展，自动驾驶技术在人们生活中的应用越来越广泛。自动驾驶载体可以对周围一定距离内的目标物体(车辆、行人、骑车人等)进行3d检测，以获得目标物体的三维空间信息。基于目标物体的三维空间信息对目标物体进行测距、测速，以实现更好的驾驶控制。

2、目前，利用多个摄像采集的图像，在鸟瞰空间(bev空间)进行3d检测，并应用在辅助驾驶或者自动驾驶的感知任务中，但一般的图像bev技术，如果在一组摄像头的内参和外参基础上进行开发，则只能在该组参数上进行使用，如果相机型号或者安装位置发生改变，检测结果的精度会大幅降低。

技术实现思路

1、本发明提供了一种基于相机的3d目标检测方法、装置、设备及介质，可以解决相机内参必须与开发阶段采用的摄像头的内参保持一致，否则会导致深度预测精度下降的问题。

2、根据本发明的一方面，提供了一种基于相机的3d目标检测方法，包括：

3、获取车辆相机的相机内参信息及其采集的目标图像；

4、基于所述相机内参信息确定目标深度概率分布；

5、基于所述目标深度概率分布确定所述目标图像的3d点云特征；

6、基于所述3d点云特征进行3d目标检测。

7、可选的，所述相机内参信息包括真实相机内参和虚拟相机内参；

8、相应的，基于所述相机内参信息确定目标深度概率分布，包括：

9、基于所述虚拟相机内参进行深度估计，确定虚拟深度概率分布；

10、根据所述虚拟相机内参、所述真实相机内参以及所述虚拟深度概率分布确定目标深度概率分布。

11、可选的，基于所述虚拟相机内参进行深度估计，确定虚拟深度概率分布，包括：

12、将所述虚拟相机内参输入深度预测模型，得到所述目标图像的虚拟深度的均值和虚拟深度的误差数据；

13、根据所述均值和所述误差数据确定虚拟深度概率分布。

14、可选的，根据所述均值和所述误差数据确定虚拟深度概率分布，包括：

15、将所述均值和所述误差数据输入设定概率分布函数，得到虚拟深度概率分布。

16、可选的，所述真实相机内参包括真实焦距，所述虚拟相机内参包括虚拟焦距；

17、相应的，根据所述虚拟相机内参、所述真实相机内参以及所述虚拟深度概率分布确定目标深度概率分布，包括：

18、根据所述真实焦距确定相机平均焦距；

19、根据所述相机平均焦距、所述虚拟焦距以及所述虚拟深度概率分布确定目标深度概率分布。

20、可选的，在确定目标深度概率分布之后，还包括：

21、获取缩放参数和偏移参数；

22、根据所述缩放参数对所述目标深度概率分布进行缩放调整，和/或根据所述偏移参数对所述目标深度概率分布进行偏移调整。

23、可选的，基于所述目标深度概率分布确定所述目标图像的3d点云特征，包括：

24、通过特征提取网络提取所述目标图像的图像特征；

25、基于所述目标深度概率分布、相机内参信息以及图像特征生成目标图像的3d点云特征。

26、根据本发明的另一方面，提供了一种基于相机的3d目标检测装置，包括：

27、信息获取模块，用于获取车辆相机的相机内参信息及其采集的目标图像；

28、目标深度概率分布确定模块，用于基于所述相机内参信息确定目标深度概率分布；

29、点云特征确定模块，用于基于所述目标深度概率分布确定所述目标图像的3d点云特征；

30、3d目标检测检测模块，用于基于所述3d点云特征进行3d目标检测。

31、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

32、至少一个处理器；以及

33、与所述至少一个处理器通信连接的存储器；其中，

34、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于相机的3d目标检测方法。

35、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的基于相机的3d目标检测方法。

36、本发明实施例的技术方案，通过获取车辆相机的相机内参信息及其采集的目标图像；基于所述相机内参信息确定目标深度概率分布；基于所述目标深度概率分布确定所述目标图像的3d点云特征；基于所述3d点云特征进行3d目标检测。本技术方案，可以解决相机内参必须与开发阶段采用的摄像头的内参保持一致，否则会导致深度预测精度下降的问题。

37、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种基于相机的3d目标检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述相机内参信息包括真实相机内参和虚拟相机内参；

3.根据权利要求2所述的方法，其特征在于，基于所述虚拟相机内参进行深度估计，确定虚拟深度概率分布，包括：

4.根据权利要求3所述的方法，其特征在于，根据所述均值和所述误差数据确定虚拟深度概率分布，包括：

5.根据权利要求2所述的方法，其特征在于，所述真实相机内参包括真实焦距，所述虚拟相机内参包括虚拟焦距；

6.根据权利要求2所述的方法，其特征在于，在确定目标深度概率分布之后，还包括：

7.根据权利要求1所述的方法，其特征在于，基于所述目标深度概率分布确定所述目标图像的3d点云特征，包括：

8.一种基于相机的3d目标检测装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的基于相机的3d目标检测方法。

技术总结
本发明实施例公开了一种基于相机的3D目标检测方法、装置、设备及介质。其中，该方法包括：获取车辆相机的相机内参信息及其采集的目标图像；基于所述相机内参信息确定目标深度概率分布；基于所述目标深度概率分布确定所述目标图像的3D点云特征；基于所述3D点云特征进行3D目标检测。本技术方案，可以解决相机内参必须与开发阶段采用的摄像头的内参保持一致，否则会导致深度预测精度下降的问题。

技术研发人员：韩强,彭登富
受保护的技术使用者：成都市卡蛙科技有限公司
技术研发日：
技术公布日：2024/1/16