基于多视图像的3D可行驶空间检测方法、装置、设备与流程

本技术涉及图像处理，具体而言，涉及一种基于多视图像的3d可行驶空间检测方法、装置、设备和计算机可读存储介质。

背景技术：

1、在智能车驾领域中，感知车辆周围的环境信息是实现路径规划、自动泊车等自动驾驶功能的基础。可行驶空间检测是实现环境感知的途径之一，通过判断自车周围的空间是否可以行驶对辅助驾驶或自动驾驶的行车安全起着至关重要的作用。

2、现有技术使用的可行驶空间检测方法通常使用需要获取深度信息，提高了硬件成本，降低了检测速度。

技术实现思路

1、本技术实施例的目的在于提供一种基于多视图像的3d可行驶空间检测方法、装置、设备和介质，能够减少可行驶空间检测过程中的硬件成本，提高检测速度。

2、第一方面，本技术实施例提供了一种基于多视图像的3d可行驶空间检测方法，包括：

3、获取车辆上的多个摄像机的拍摄画面；

4、生成每个摄像机的拍摄画面的特征矩阵；

5、获取所述特征矩阵的特征值在所述摄像机的视锥的不同深度的深度概率；

6、根据所述特征矩阵的特征值和所述特征值对应的深度概率生成视锥特征点云矩阵；

7、根据所述多个摄像机的所述视锥特征点云矩阵生成鸟瞰图特征；

8、根据所述鸟瞰图特征进行可行驶空间检测。

9、在上述实现过程中，本技术实施例不需要通过深度传感器来获取图像深度，而是直接获取多个摄像机的拍摄画面，生成每个摄像机的拍摄画面的特征矩阵，获取所述特征矩阵的特征值在所述摄像机的视锥的不同深度的深度概率，根据所述特征矩阵的特征值和所述特征值对应的深度概率生成视锥特征点云矩阵，节省了硬件成本，提高检测速度。

10、进一步地，所述获取所述特征矩阵的特征值在所述摄像机的视锥的不同深度的深度概率的步骤，包括：

11、将所述特征矩阵输入预先训练好的卷积网络，得到所述特征矩阵的特征值在所述摄像机的视锥的不同深度的深度概率。

12、进一步地，所述根据所述特征矩阵的特征值和所述特征值对应的深度概率生成视锥特征点云矩阵的步骤，包括：

13、在每个特征值对应的多个深度概率中获取最高深度概率；

14、将所述特征矩阵的每个特征值和所述每个特征值对应的最高深度概率相乘，得到所述视锥特征点云矩阵。

15、进一步地，所述根据所述多个摄像机的所述视锥特征点云矩阵生成鸟瞰图特征的步骤，包括：

16、获取每个摄像机的内参矩阵、相机坐标系到车身坐标系的旋转矩阵、相机坐标系到车身坐标系的平移矩阵；

17、根据每个摄像机的内参矩阵、相机坐标系到车身坐标系的旋转矩阵、相机坐标系到车身坐标系的平移矩阵获取每个摄像机的视锥特征点云矩阵的每个特征点的三维坐标；

18、根据所述每个摄像机的视锥特征点云矩阵的每个特征点的三维坐标将所述每个摄像机的视锥特征点云矩阵的每个特征点映射于预先构造的鸟瞰图空间中，得到多个映射后的特征点；

19、根据所述多个映射后的特征点生成所述鸟瞰图特征。

20、进一步地，所述鸟瞰图空间由多个栅格组成；

21、所述根据所述每个摄像机的视锥特征点云矩阵的每个特征点的三维坐标将所述每个摄像机的视锥特征点云矩阵的每个特征点映射于预先构造的鸟瞰图空间中，得到多个映射后的特征点的步骤，包括：

22、获取所述鸟瞰图空间的范围、所述栅格的单位尺寸；

23、根据所述鸟瞰图空间的范围、所述栅格的单位尺寸和所述每个特征点的三维坐标获取每个摄像机的视锥特征点云矩阵的每个特征点在所述鸟瞰图空间的位置坐标；

24、根据所述特征点在所述鸟瞰图空间的位置坐标将所述每个摄像机的视锥特征点云矩阵的每个特征点映射于预先构造的鸟瞰图空间中，得到所述多个映射后的特征点。

25、进一步地，所述获取车辆上的多个摄像机的拍摄画面的步骤，包括：

26、获取所述车辆上的多个摄像机的多组拍摄画面；

27、所述根据所述多个映射后的特征点生成所述鸟瞰图特征的步骤，包括：

28、根据所述多个映射后的特征点在所述鸟瞰图空间的坐标获取所述多个映射后的特征点的位置编码；

29、根据所述多个映射后的特征点的位置编码生成所述鸟瞰图特征。

30、进一步地，所述根据所述多个映射后的特征点在所述鸟瞰图空间的坐标获取所述多个映射后的特征点的位置编码的步骤，包括：

31、获取每个映射后的特征点在鸟瞰图空间的x坐标与鸟瞰图空间y方向的栅格数量、鸟瞰图空间z方向的栅格数量和拍摄画面的组数的乘积，得到第一乘积；

32、获取每个映射后的特征点在鸟瞰图空间的y坐标、z方向的栅格数量和拍摄画面的组数的乘积，得到第二乘积；

33、获取所述每个映射后的特征点在鸟瞰图空间的z坐标与拍摄画面的组数的乘积，得到第三乘积；

34、将所述第一乘积、所述第二乘积、所述第三乘积和所述映射后的特征点对应的拍摄画面的组别序号相加，得到所述映射后的特征点的位置编码。

35、进一步地，所述根据所述多个映射后的特征点的位置编码生成所述鸟瞰图特征的步骤，包括：

36、根据所述位置编码确定位于同一栅格的映射后的特征点；

37、将所述位于同一栅格的映射后的特征点值相加，得到所述同一栅格对应的特征值；

38、根据所述同一栅格的特征值生成所述鸟瞰图特征。

39、进一步地，所述根据所述鸟瞰图特征进行可行驶空间检测的步骤，包括：

40、将所述鸟瞰图特征输入环境特征感知模型，得到第一鸟瞰图特征；

41、将所述第一鸟瞰图特征输入到可行驶空间检测头中，得到可行驶空间推理结果；

42、根据所述可行驶空间推理结果获取所述可行驶空间。

43、进一步地，所述可行驶空间推理结果为所述第一鸟瞰图特征对应的包含前景背景信息的heatmap；

44、所述根据所述可行驶空间推理结果获取所述可行驶空间的步骤，包括：

45、生成线性扫描器；

46、将所述线性扫描器以预设速度环绕所述鸟瞰图特征；

47、获取所述线性扫描器在鸟瞰图特征上扫描的特征点的第一索引值；

48、在所述heatmap上所述第一索引值对应的特征点中确定基于softmax的最大响应点；

49、获取所述最大响应点的第二索引值，根据所述第二索引值在所述第一鸟瞰图特征中获取所述可行驶空间。

50、第二方面，本技术实施例提供一种基于多视图像的3d可行驶空间检测装置，包括：

51、拍摄画面获取模块，用于获取车辆上的多个摄像机的拍摄画面；

52、特征矩阵生成模块，用于生成每个摄像机的拍摄画面的特征矩阵；

53、概率获取模块，用于获取所述特征矩阵的特征值在所述摄像机的视锥的不同深度的深度概率；

54、点云矩阵生成模块，用于根据所述特征矩阵的特征值和所述特征值对应的深度概率生成视锥特征点云矩阵；

55、鸟瞰图特征生成模块，用于根据所述多个摄像机的所述视锥特征点云矩阵生成鸟瞰图特征；

56、可行驶空间检测模块，用于根据所述鸟瞰图特征进行可行驶空间检测。

57、第三方面，本技术实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。

58、第四方面，本技术实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。