一种三维地图要素的提取方法、系统、设备及介质

本发明涉及自动驾驶领域，特别是关于一种三维地图要素的提取方法、系统、设备及介质。

背景技术：

1、相机在高精度地图构建中具有重要意义，它可以通过拍摄照片来获取地物的几何形态和材质信息。通过对多张照片进行匹配和三维重建，可以生成高精度的三维地图模型。相机还可以用于实时导航和定位，在机器人、无人机、自动驾驶汽车等领域有广泛应用。目前，采用相机数据进行三维地图要素提取存在一些困难。首先，相机数据中存在大量的噪声和失真，这些噪声和失真会影响到图像的质量和精度。其次，相机数据中的图像受到光线和遮挡的影响，会导致图像中的地物出现阴影和曝光不均匀等问题，影响地图要素提取的精度。此外，相机数据中的图像存在复杂的背景和遮挡，会导致地物的提取难度增加，使得地图要素提取的精度降低。最后，相机数据中的图像存在多种不同的视角和拍摄距离，这些不同的视角和拍摄距离会导致地物的几何形态和材质信息的变化，使得地图要素提取变得更加困难。

2、三维地图要素表达方式有很多种，常用的包括多边形、点云、样条曲面、高程数据等，其中，多边形是最常用的表达方式，它由若干个面组成，每一面均由若干个顶点组成。点云是由若干个点组成的集合，每一点均有其空间坐标和颜色等属性。样条曲面是由若干条样条曲线组成的曲面，它能够很好得描述地形的形态。高程数据是地形高程信息的数值表示，它可以用来生成三维地形模型。三维地图要素提取方法主要包括机器学习、数学建模和计算几何等。点云分割、三维特征提取和三维地形分类是常用的几种代表方案。点云分割是指将激光雷达点云数据分割成若干个部分，每一部分均具有相似的特征。三维特征提取是指从三维地图要素中提取出具有代表性的特征信息，机器学习可以用来自动学习三维地图要素的特征，例如点云分割中的聚类。三维地形分类是指将三维地形分成不同的类别，例如建筑物、道路和森林等。

3、为解决这些困难，需要一个模型能够统一对地图要素进行提取，并直接得到三维矢量形式的实例化结果。

技术实现思路

1、针对上述问题，本发明的目的是提供一种三维地图要素的提取方法、系统、设备及介质，能够统一地图要素的表达方式且能够实现由图像输入到地图要素三维矢量输出。

2、为实现上述目的，本发明采取以下技术方案：第一方面，提供一种三维地图要素的提取方法，包括：

3、确定线形地图要素的表达方式；

4、采用transformer注意力机制模型，根据提取的输入图像的深度特征和预先设定的空间视角转换嵌入量，得到空间视角转换编码；

5、将预先设定的n个实例查询、空间视角转换编码和输入图像的深度特征至输入至transformer注意力机制模型，并基于确定的线形地图要素的表达方式，输出n个点链的预测值作为三维车道线提取结果实例提议；

6、对三维车道线提取结果实例提议进行精细化分支，确定地图要素结构体。

7、进一步地，所述确定线形地图要素的表达方式，包括：

8、确定采样点；

9、基于确定的采样点，确定地图要素结构体：

10、ek＝{c,xk,1,yk,1,zk,1,xk,2,yk,2,zk,2,…,xk,s,yk,s,zk,s}

11、其中，c表示该线形地图要素的类别；xk,s,yk,s,zk,s表示第k个检测到的地图要素实例第s个采样点的三维坐标；

12、根据地图要素结构体，确定三维地图要素的输出。

13、进一步地，采用transformer注意力机制模型，根据提取的深度特征和预先设定的空间视角转换嵌入量，得到空间视角转换编码，包括：

14、预先设定一个空间视角转换嵌入量以表示从图像平面到三维空间的映射关系，通过神经网络训练不断学习与更新空间视角转换嵌入量的参数；

15、采用transformer注意力机制模型，输入提取的深度特征和预先设定的空间视角转换嵌入量，实现由图像平面直接到三维空间点的视角转换，得到空间视角转换编码。

16、进一步地，所述采用transformer注意力机制模型，输入提取的深度特征和预先设定的空间视角转换嵌入量，实现由图像平面直接到三维空间点的视角转换，得到空间视角转换编码，包括：

17、采用transformer注意力机制模型，计算每一深度特征内特征点的权重，以反映特征点在地图中的重要性或关注程度；

18、将计算的权重与对应的特征进行加权求和，得到对地图中不同特征的综合表示；

19、将地图中不同特征的综合表示通过一组高维嵌入量表示由二维到三维的空间转换信息，得到空间视角转换编码。

20、进一步地，所述三维车道线提取结果实例提议为：

21、

22、其中，xk,s,yk,s,zk,s表示第k个检测到的地图要素实例第s个采样点的三维坐标。

23、进一步地，所述对三维车道线提取结果实例提议进行精细化分支，确定地图要素结构体，包括：

24、采用二分图匹配方式，为每一点链的预测值均对应一个真值；

25、对三维车道线提取结果实例提议进行精细化分支，通过多层感知机组成的预测模型输出每一点链的坐标偏移值；

26、根据n个点链的预测值及其对应的坐标偏移值和真值，确定地图要素结构体。

27、进一步地，所述地图要素结构体为：

28、

29、其中，xk,s,yk,s,zk,s表示第k个检测到的地图要素实例第s个采样点的三维坐标；δxk,s,δyk,s,δzk,s表示第k个检测到的地图要素实例第s个采样点的三维坐标偏移值。

30、第二方面，提供一种三维地图要素的提取系统，包括：

31、表达方式确定模块，用于确定线形地图要素的表达方式；

32、空间视角转换编码模块，用于采用transformer注意力机制模型，根据提取的输入图像的深度特征和预先设定的空间视角转换嵌入量，得到空间视角转换编码；

33、实例提议模块，用于将预先设定的n个实例查询、空间视角转换编码和输入图像的深度特征至输入至transformer注意力机制模型，并基于确定的线形地图要素的表达方式，输出n个点链的预测值作为三维车道线提取结果实例提议；

34、输出模块，用于对三维车道线提取结果实例提议进行精细化分支，确定地图要素结构体。

35、第三方面，提供一种处理设备，包括计算机程序指令，其中，所述计算机程序指令被处理设备执行时用于实现上述三维地图要素的提取方法对应的步骤。

36、第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时用于实现上述三维地图要素的提取方法对应的步骤。

37、本发明由于采取以上技术方案，其具有以下优点：

38、1、本发明统一且简便地表达了地图要素，统一了高精地图构建各流程数据传递模式，使得高精度地图构建具有统一的规范格式，有效降低要素提取到后续模块应用之间的处理开销。

39、2、本发明仅使用单目摄像头传感器提供的单帧图像数据实现地图要素三维实例矢量提取，方案简单，成本低。

40、3、本发明设置有transformer注意力机制模型，通过设计隐式视角转换编码实现无参数依赖的二维到三维转换。

41、4、本发明设置有自上而下的二阶段地图要素精细模型框架，进一步提升提取精度。

42、5、本发明的网络结构较为简单，参数量较少。

43、综上所述，本发明可以广泛应用于自动驾驶领域中。