一种构建多视角相机俯视特征图的高效方法与系统与流程

本发明涉及智能驾驶视觉感知领域，尤其是涉及一种构建多视角相机俯视特征图的高效方法与系统。

背景技术：

1、目前，智能驾驶车辆周测会安装多个视角相机，成像能覆盖车辆周围360度范围，使用同一时刻各个相机拍下的多张图像，利用构建俯视特征图的方法，可以生成以车辆为中心的俯视特征图（bev feature map），此特征图以车辆为中心，有x、y和c三个维度，其中x、y维度对应于车辆的前后、左右方向，即不同位置的特征图栅格，表示车辆周围相应位置的环境信息编码。c维度表示特征通道。俯视特征图可作为对应某深度学习任务模型的输入，输出对应的任务结果，例如目标检测模型输出车辆周围目标，语义分割模型输出车辆周围的车道线、马路边缘或障碍物的逐像素语义分类编码，等等。

2、目前，一种主流的构建多视角相机俯视特征图的方法是:利用深度学习模型估计像素或降采样后特征点的深度，构建稠密的视锥点云，然后利用相机内、外参数把点云组织到鸟瞰或俯视视角特征图中，其中参与计算的视锥点云比较稠密，导致大体量的计算成为此类方法在车端部署应用的瓶颈。

技术实现思路

1、为了降低构建多视角相机俯视特征图时的计算量、提高构建俯视特征图构建效率，本发明提供一种构建多视角相机俯视特征图的高效方法与系统。

2、第一方面，本发明提供的一种构建多视角相机俯视特征图的高效方法，采用如下的技术方案：

3、一种构建多视角相机俯视特征图的高效方法，应用于车辆，所述车辆上安装有多个视角相机，所述各相机成像覆盖所述车辆周侧范围，包括：

4、构建包括无效深度层以及多个有效深度层的视锥点云空间模型；

5、利用深度学习模型获取并过滤位于所述无效深度层的无效像素数据，获得目标像素数据；

6、利用所述深度学习模型处理所述目标像素数据生成俯视特征图。

7、进一步的，上述一种构建多视角相机俯视特征图的高效方法中，所述构建包括无效深度层以及多个有效深度层的视锥点云空间模型包括：

8、基于预设的深度分布范围确定有效深度感受野，并基于预设的间隔距离将所述有效深度感受野分割为多个有效深度层；

9、于所述有效深度感受野的范围外确定无效深度感受野，所述无效深度感受野即为所述无效深度层。

10、进一步的，上述一种构建多视角相机俯视特征图的高效方法中，所述构建包括无效深度层以及多个有效深度层的视锥点云空间模型还包括：

11、基于预设的高度阈值筛选并更新所述有效深度层。

12、进一步的，上述一种构建多视角相机俯视特征图的高效方法中，所述高度阈值包括固定高度的上限值和/或固定高度的下限值。

13、进一步的，上述一种构建多视角相机俯视特征图的高效方法中，所述高度阈值包括随所述有效深度层深度值变化的上限值和/或随所述有效深度层深度值变化的下限值。

14、进一步的，上述一种构建多视角相机俯视特征图的高效方法中，所述利用深度学习模型获取并过滤位于所述无效深度层的无效像素数据，获得目标像素数据包括：

15、训练深度预测模型；

16、基于所述深度预测模型生成所述相机成像中各像素数据的深度预测值；

17、基于所述深度预测值过滤位于所述无效深度层的无效像素数据从而获得所述目标像素数据。

18、进一步的，上述一种构建多视角相机俯视特征图的高效方法中，所述训练深度预测模型包括：

19、基于所述视锥点云空间模型标注预设的像素数据训练样本；

20、基于已标注像素数据训练样本训练所述深度预测模型。

21、进一步的，上述一种构建多视角相机俯视特征图的高效方法中，所述训练深度预测模型还包括：

22、基于已训练的所述深度预测模型获取所述像素数据训练样本的深度预测结果；

23、基于预设的损失函数计算所述深度预测结果与真值之间的损失值；

24、基于所述损失值反向迭代训练所述深度预测模型。

25、进一步的，上述一种构建多视角相机俯视特征图的高效方法中，所述训练深度预测模型还包括：

26、获取车辆激光点云信息；

27、基于所述激光点云信息获取像素数据训练样本的深度真值信息。

28、进一步的，上述一种构建多视角相机俯视特征图的高效方法中，所述利用所述深度学习模型处理所述目标像素数据生成俯视特征图包括：

29、将所述目标像素数据输入所述深度学习模型获得目标像素数据的内容特征图以及所述内容特征图中各特征点对应的深度分布概率；

30、基于所述内容特征图与所述深度分布概率计算生成视锥点云特征；

31、将所述视锥点云特征映射至以车辆为中心的俯视图中从而获得所述俯视特征图。

32、进一步的，上述一种构建多视角相机俯视特征图的高效方法中，所述利用所述深度学习模型处理所述目标像素数据生成俯视特征图还包括：

33、将映射至同一位置的多个视锥点云特征进行求和计算。

34、第二方面，本发明提供了一种构建多视角相机俯视特征图的系统，采用如下技术方案：

35、一种构建多视角相机俯视特征图的系统，包括

36、数据获取模块，数据连接于车辆上各视角相机，用于获取各相机成像像素数据；

37、空间建模模块，用于构建视锥点云空间模型；

38、网络训练模块，用于训练深度学习模型；

39、像素过滤模块，基于所述视锥点云空间模型利用所述深度学习模型过滤无效像素数据，生成有效像素数据；

40、结果生成模块，用于利用所述深度学习模型生成并输出俯视特征图。

41、第三方便，本发明提高了一种可读存储介质，采用如下技术方案：

42、一种可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-11中任意一项所述的一种构建多视角相机俯视特征图的高效方法的步骤。

43、综上所述，本发明包括以下至少一种有益技术效果：

44、1.本发明定义包含有无效深度层和多个有效深度层的视锥点云空间模型。在视锥点云空间建模时，明确地划分有效和无效的视锥深度分布范围，在视锥深度分布上特别地设置一个表示有效视锥外的无效深度层。对于位于深度在有效视锥外的像素或特征点，把它们的真值分类为属于无效深度层。在深度预测时，如果某个像素或特征点的深度分布预测结果在无效深度层时，把这个像素或特征点对应的所有视锥点云删掉，它们不再参与后续构建俯视特征图的计算步骤，从而简化了后续计算步骤的计算量，提高构建效率；

45、2.基于感兴趣前景高度信息更新视锥点云空间模型中的有效深度层。统计感兴趣前景高度范围，以此为依据，在高度方向上设置视锥点云的有效范围，对于超出高度范围的视锥点云删掉，不参与后续构建俯视特征图的计算，进一步简化了后续计算步骤的计算量，提高了构建效率。

技术特征：

1.一种构建多视角相机俯视特征图的高效方法，应用于车辆，所述车辆上安装有多个视角相机，各所述相机成像覆盖所述车辆周侧范围，其特征在于，包括：

2.根据权利要求1所述的一种构建多视角相机俯视特征图的高效方法，其特征在于，所述构建包括无效深度层以及多个有效深度层的视锥点云空间模型包括：

3.根据权利要求1所述的一种构建多视角相机俯视特征图的高效方法，其特征在于，所述构建包括无效深度层以及多个有效深度层的视锥点云空间模型还包括：

4.根据权利要求3所述的一种构建多视角相机俯视特征图的高效方法，其特征在于，所述高度阈值包括固定高度的上限值和/或固定高度的下限值。

5.根据权利要求3所述的一种构建多视角相机俯视特征图的高效方法，其特征在于，所述高度阈值包括随所述有效深度层深度值变化的上限值和/或随所述有效深度层深度值变化的下限值。

6.根据权利要求1所述的一种构建多视角相机俯视特征图的高效方法，其特征在于，所述利用深度学习模型获取并过滤位于所述无效深度层的无效像素数据，获得目标像素数据包括：

7.根据权利要求6所述的一种构建多视角相机俯视特征图的高效方法，其特征在于，所述训练深度预测模型包括：

8.根据权利要求7所述的一种构建多视角相机俯视特征图的高效方法，其特征在于，所述训练深度预测模型还包括：

9.根据权利要求7所述的一种构建多视角相机俯视特征图的高效方法，其特征在于，所述基于所述视锥点云空间模型标注预设的像素数据训练样本包括：

10.根据权利要求1所述的一种构建多视角相机俯视特征图的高效方法，其特征在于，所述利用所述深度学习模型处理所述目标像素数据生成俯视特征图包括：

11.根据权利要求10所述的一种构建多视角相机俯视特征图的高效方法，其特征在于，所述利用所述深度学习模型处理所述目标像素数据生成俯视特征图还包括：

12.一种构建多视角相机俯视特征图的系统，其特征在于，包括：

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-11中任意一项所述的一种构建多视角相机俯视特征图的高效方法的步骤。

技术总结
本发明涉及一种构建多视角相机俯视特征图的高效方法与系统，涉及智能驾驶视觉感知领域，应用于车辆，所述车辆上安装有多个视角相机，各所述相机成像覆盖所述车辆周侧范围，所述方法包括：构建包括无效深度层以及多个有效深度层的视锥点云空间模型；利用深度学习模型获取并过滤位于所述无效深度层的无效像素数据，获得目标像素数据；利用所述深度学习模型处理所述目标像素数据生成俯视特征图。本发明具有降低构建多视角相机俯视特征图时的计算量、提高构建俯视特征图构建效率的效果。

技术研发人员：王春现,蒋达夫
受保护的技术使用者：智己汽车科技有限公司
技术研发日：
技术公布日：2024/1/15