障碍物位置信息的获取方法、终端设备及计算机介质与流程

本发明涉及智能驾驶，尤其涉及一种障碍物位置信息的获取方法、终端设备及计算机可读存储介质。

背景技术：

1、随着新能源车产业的发展，无人驾驶技术成为了新能源车产业发展的重要方向，而在无人驾驶领域中，如何检测车辆周围的可行驶区域和障碍物位置，进而划行驶路线并完成避障操作一直是行业内的重点研究方向。

2、当前，技术人员主要采用结合纯视觉方案、深度学习及数据闭环的方式，基于大量的标签数据对检测模型进行训练，从而令检测模型通过语义分割以及目标检测的方式得到目标车辆周围的可通行区域并确定障碍物的位置信息。

3、然而，采用如上述所示纯视觉方案通常需要较为理想的测试条件，例如，目标车辆需要处于一个无限大的平面，或者，路面上的所有其他车辆与目标车辆均处于同一个水平面上等，如此，纯视觉方案才能确保检测结果的准确性，然而这种理想的测试条件在现实生活中是不可能存在的，此外，纯视觉方案很容易受到车辆周围环境的影响，因此检测的结果往往存在较大偏差。因此，如何在复杂环境下获取车辆周围的可通行区域和障碍物位置信息也就成为了行业内亟需解决的技术问题。

技术实现思路

1、本发明实施例通过提供一种障碍物位置信息的获取方法、终端设备及计算机可读存储介质，旨在令终端设备可以在复杂环境下获取车辆周围的可通行区域，从而根据可通行区域确定车辆周围的障碍物位置信息，进而完成路径规划和避障操作。

2、为实现上述目的，本发明提供一种障碍物位置信息的获取方法所述方法应用于配置有图像采集装置和激光雷达装置的终端设备，所述障碍物位置信息的获取方法包括以下步骤：

3、确定所述图像采集装置与所述激光雷达装置之间的公共视角区域，并在所述公共视角区域部署预设的棋盘格标定板；

4、控制所述图像采集装置获取包含所述棋盘格标定板的目标相机图像，并控制所述激光雷达装置获取包含所述棋盘格标定板的目标雷达点云；

5、基于所述图像采集装置对应的相机内参、所述棋盘格标定板及所述目标雷达点云得到目标雷达深度图和目标雷达反射率图；

6、根据目标雷达反射率图和所述目标相机图像确定雷达坐标系与相机坐标系之间的坐标转换关系，并基于所述坐标转换关系和所述目标雷达深度图生成目标相机深度图；

7、遍历所述目标相机深度图以确定所述目标相机深度图内包含的可通行区域，进而根据所述可通行区域确定所述目标相机深度图内包含的障碍物位置信息。

8、进一步地，所述基于所述图像采集装置对应的相机内参、所述棋盘格标定板及所述目标雷达点云得到目标雷达深度图和目标雷达反射率图的步骤，包括：

9、确定所述棋盘格标定板上的第一棋盘角点对应的世界坐标，并确定所述第一棋盘角点对应的第二棋盘角点和第三棋盘角点；其中，所述第一棋盘角点为所述棋盘格标定板内角点在世界坐标系下的真实角点，所述第二棋盘角点为所述棋盘格标定板内角点在雷达坐标系下的真实角点，所述第三棋盘角点为所述棋盘格标定板内角点在相机坐标系下的真实角点；

10、确定所述第二棋盘角点在所述雷达坐标系下的雷达坐标，并按照所述图像采集装置对应的相机内参获取所述雷达坐标对应的第一深度信息和目标反射率；

11、根据所述相机内参和所述第一深度信息生成目标雷达深度图；

12、根据所述相机内参和所述目标反射率生成目标雷达反射率图。

13、进一步地，所述根据目标雷达反射率图和所述目标相机图像确定雷达坐标系与相机坐标系之间的坐标转换关系的步骤，包括：

14、根据所述目标反射率将所述目标雷达反射率图转化为目标雷达灰度图，并根据所述目标雷达灰度图和所述目标相机图像确定所述第三棋盘角点在所述相机坐标系下的相机坐标；

15、根据所述第一棋盘角点的世界坐标、所述第二棋盘角点的雷达坐标及所述第三棋盘角点的相机坐标确定雷达坐标系与相机坐标系之间的坐标转换关系。

16、进一步地，所述根据所述第一棋盘角点的世界坐标、所述第二棋盘角点的雷达坐标及所述第三棋盘角点的相机坐标确定雷达坐标系与相机坐标系之间的坐标转换关系的步骤，包括：

17、获取预设的雷达坐标计算公式，并基于所述雷达坐标计算公式对应的雷达旋转矩阵和雷达平移矩阵确定所述雷达坐标与所述世界坐标之间的第一转移关系；

18、获取预设的相机坐标计算公式，并基于所述相机坐标计算公式对应的相机旋转矩阵和相机平移矩阵确定所述相机坐标与所述世界坐标之间的第二转移关系；

19、根据所述第一转移关系和所述第二转移关系确定雷达坐标系与相机坐标系之间的坐标转换关系。

20、进一步地，所述基于所述坐标转换关系和所述目标雷达深度图生成目标相机深度图的步骤，包括：

21、基于所述坐标转换关系确定第四棋盘角点；其中，所述第四棋盘角点为所述第二棋盘角点在所述相机坐标系下的成像点；

22、按照所述相机内参对所述第四棋盘角点进行投影得到第二深度信息，并基于所述目标相机图像、所述第四棋盘角点及所述第二深度信息生成目标相机深度图。

23、进一步地，所述遍历所述目标相机深度图以确定所述目标相机深度图内包含的可通行区域的步骤，包括：

24、遍历所述目标相机深度图内的各像素点，并确定各所述像素点各自对应的的梯度值；

25、基于所述梯度值在所述目标相机深度图中确定可通行区域。

26、进一步地，所述基于所述梯度值在所述目标相机深度图中确定可通行区域的步骤，包括：

27、确定所述各所述像素点各自与相邻的其他所述像素点之间的各梯度差值；

28、基于预设的梯度差值阈值和各所述梯度差值在所述目标相机深度图中确定可通行区域。

29、进一步地，所述确定所述各所述像素点各自与相邻的其他所述像素点之间的各梯度差值的步骤，包括：

30、确定所述目标相机深度图中预设初始像素点；

31、通过预设的种子点生成算法对所述初始像素点进行聚类计算以获取所述初始像素点与相邻的其他像素点之间的各梯度差值。

32、进一步地，所述根据所述可通行区域确定所述目标相机深度图内包含的障碍物位置信息的步骤，包括：

33、在所述目标相机深度图中去除所述可通行区域以获取所述目标相机深度图中包含的障碍物信息；

34、确定所述障碍物信息对应的目标框，并对所述目标框内的所述像素点行聚类运算以得到所述目标框对应的障碍物位置信息。

35、进一步地，在所述根据所述可通行区域确定所述目标相机深度图内包含的障碍物位置信息的步骤之后，所述方法还包括：

36、将获取的所述目标可通行区域和所述障碍物位置信息输入至目标车辆内的智能驾驶装置，以供所述智能驾驶装置生成与所述目标可通行区域和所述障碍物位置信息对应的行驶路线并按照所述行驶路线执行智能驾驶功能。

37、此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的障碍物位置信息的获取程序，所述障碍物位置信息的获取程序被所述处理器执行时实现如上述的障碍物位置信息的获取方法的步骤。

38、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有障碍物位置信息的获取程序，所述障碍物位置信息的获取程序被处理器执行时实现如上述的障碍物位置信息的获取方法的步骤。

39、本发明实施例提供的障碍物位置信息的获取方法、终端设备及计算机可读存储介质，应用于配置有图像采集装置和激光雷达装置的终端设备，通过确定所述图像采集装置与所述激光雷达装置之间的公共视角区域，并在所述公共视角区域部署预设的棋盘格标定板；控制所述图像采集装置获取包含所述棋盘格标定板的目标相机图像，并控制所述激光雷达装置获取包含所述棋盘格标定板的目标雷达点云；基于所述图像采集装置对应的相机内参、所述棋盘格标定板及所述目标雷达点云得到目标雷达深度图和目标雷达反射率图；根据目标雷达反射率图和所述目标相机图像确定雷达坐标系与相机坐标系之间的坐标转换关系，并基于所述坐标转换关系和所述目标雷达深度图生成目标相机深度图；遍历所述目标相机深度图以确定所述目标相机深度图内包含的可通行区域，进而根据所述可通行区域确定所述目标相机深度图内包含的障碍物位置信息。

40、在本实施例中，终端设备在运行过程中，首先确定配置在终端设备内的图像采集装置和激光雷达装置各自的部署位置和拍摄范围，进而根据部署位置和拍摄范围确定图像采集装置和激光雷达装置之间的公共视角区域，并在公共视角区域中部署预设的棋盘格标定板，之后，终端设备控制图像采集装置对公共视角区域进行拍摄以获取包含棋盘格标定板的目标相机图像，同时，终端设备控制激光雷达装置对公共视角区域进行扫描以获取包含棋盘格标定板的目标雷达点云，再之后，终端设备根据图像采集装置的相机内参、棋盘格标定板对应的各真实角点在各坐标系下的坐标，及获取的目标雷达点云得到目标雷达深度图和目标雷达反射率图，终端设备进而根据获取目标雷达反射率图和目标相机图像内各真实角点在各坐标系下的坐标确定雷达坐标系与相机坐标系之间坐标转换关系，进而根据坐标转换关系和目标雷达深度图生成带有距离信息的目标相机深度图，最后，终端设备遍历目标相机深度图以在目标相机深度图中确定可通行区域，并在将可通行区域在目标相机深度图中去除之后得到目标相机深度图中包含的各障碍物位置信息。

41、如此，本发明通过采用在图像采集装置和激光雷达装置的公共视角区域部署棋盘格标定板，并获取包含棋盘格标定板的目标相机图像和目标雷达点云，进而根据图像采集装置的相机内参、棋盘格标定板在各坐标系下真实角点对应的坐标及目标相机图像和目标雷达点云确定相机坐标系与雷达坐标系之间的坐标转换关系，从而根据坐标转换关系生成带有深度信息的目标相机深度图，并根据目标相机深度图确定可通行区域和障碍物位置信息的方式，即，本发明采用通过图像采集装置和激光雷达装置同时获取包含棋盘格标定板的目标相机图像和目标雷达点云，并确定雷达坐标系与相机坐标系之间的坐标转换关系，解决了仅采用纯视觉方案需要复杂的测量条件且测量结果易受周围环境影响的技术问题，同时采用根据坐标转换关系生成带有深度信息的目标相机深度图，并根据目标相机深度图确定可通行区域和障碍物位置信息的方式实现了令终端设备可以在复杂环境下获取车辆周围的可通行区域，从而根据可通行区域确定车辆周围的障碍物位置信息，进而完成路径规划和避障操作的技术效果。