一种基于矢量地图进行自动驾驶定位的方法及装置与流程

1.本发明涉及车辆自动驾驶技术领域，尤其涉及一种基于矢量地图进行自动驾驶定位的方法及装置。


背景技术：

2.高级别自动驾驶的一个关键技术是高精度定位，即车辆在自动行驶过程中需要时刻估计当前在世界或地图中的位姿。
3.当前，主要采用这两种经典方案实现对车辆自动驾驶的高精度定位：一种方案是基于激光雷达及激光点云地图进行定位；另一种方案是基于视觉及视觉特征点地图进行定位。对这两个经典方案简要解释说明如下：
4.对于前者方案，在构图阶段，可以使用激光雷达以及其他设备(例如，应用惯导技术、实时动态(real-time kinematic，rtk)载波相位差分技术的相关设备)构建场景的点云地图；在定位阶段，利用当前激光雷达扫描到的点云与点云地图中的点云进行匹配，以得到当前车辆位姿。但是，在这个方案中激光雷达设备价格昂贵，并且点云地图包含了场景内大量的原始扫描点、体积庞大，进行点云的匹配操作也是需要大量算力成本的。
5.对于后者方案，在构图阶段，可以使用视觉传感器(摄像头)以及其他设备(例如，应用惯导技术、实时动态(real-time kinematic，rtk)载波相位差分技术的相关设备)构建场景的视觉特征点地图；在定位阶段，利用对当前图像帧检测出的特征点与视觉特征点地图进行匹配，以得到当前车辆位姿。但是在这个方案中，在大规模室外场景下，如光照、天气的变化，都会对图像帧中特征点的提取会造成不良影响，这是会影响定位精度的。
6.以上，前者方案虽然实现了车辆的高精度定位，但需要的硬件成本高且算力成本也高，导致实施难度大；而后者方案虽然需求的成本不会那么高，但定位精度就难以保证的。如何兼顾实施成本和高精度定位，尚待需求更优的解决方案。


技术实现要素：

7.有鉴于此，本发明提供了一种基于矢量地图进行自动驾驶定位的方法及装置，主要目的在于利用矢量地图提供了优化自动驾驶定位方法，不但实施成本低且能够满足对定位的高精度要求。
8.为了到达上述目的，本发明主要提供如下技术方案：
9.本发明第一方面提供了一种基于矢量地图进行自动驾驶定位的方法，该方法包括：
10.获取车辆对应的初始位姿；
11.基于所述初始位姿，对拍摄到所述车辆对应的当前图像进行处理，得到所述当前图像中第一特征标识包含的第一特征元素；
12.基于所述初始位姿，从矢量地图中获取所述车辆对应的第二特征标识所具有的第二特征元素；
13.利用预设代价函数对具有匹配关系的所述第一特征元素和所述第二特征元素进行处理，以基于处理结果实施对所述初始位姿进行校正得到目标位姿。
14.在本发明第一方面的一些变更实施方式中，所述基于所述初始位姿，对拍摄到所述车辆对应的当前图像进行处理，得到所述当前图像中第一特征标识包含的第一特征元素，包括：
15.利用预设图像语义分割模型对所述当前图像进行处理，从所述当前图像中提取出至少一个第一特征标识；
16.根据所述第一特征标识的数量，创建所述当前图像对应的第一图层；
17.将每个所述第一特征标识放入唯一对应的所述第一图层中，得到在所述第一图层中所述第一特征标识对应覆盖的像素点；
18.对所述第一特征标识对应覆盖的像素点进行距离变换处理，得到目标像素点；
19.利用所述目标像素点组成所述第一特征标识对应的第一特征元素。
20.在本发明第一方面的一些变更实施方式中，所述基于所述初始位姿，从矢量地图中获取所述车辆对应的第二特征标识所具有的第二特征元素，包括：
21.基于所述初始位姿，从矢量地图中提取距离所述车辆预设范围内的第二特征标识；
22.创建所述当前图像对应的第二图层；
23.将所述第二特征标识投影到唯一对应的第二图层中，得到在所述第二图层中所述第二特征标识对应覆盖的像素点；
24.利用所述第二特征标识对应覆盖的像素点组成所述第二特征标识对应的第二特征元素。
25.在本发明第一方面的一些变更实施方式中，在所述将所述第二特征标识投影到唯一对应的第二图层中，得到在所述第二图层中所述第二特征标识对应覆盖的像素点之前，所述方法还包括：
26.若所述第二特征标识中存在线型标识，则通过对所述线型标识进行等间隔采样处理，得到对应的多个离散点；
27.利用所述多个离散点替代表征所述线型标识。
28.在本发明第一方面的一些变更实施方式中，所述利用预设代价函数对具有匹配关系的所述第一特征元素和所述第二特征元素进行处理，以基于处理结果实施对所述初始位姿进行校正得到目标位姿，包括：
29.基于相同的特征标识，查找与所述第二特征元素匹配的所述第一特征元素，得到所述相同的特征标识对应的特征元素组合，所述特征元素组合内包含具有匹配关系的所述第一特征元素和所述第二特征元素；
30.利用预设代价函数处理每个所述特征元素组合，得到基于每个所述特征元素组合对应的衡量所述第二特征元素和所述第一特征元素之间匹配程度的代价函数值；
31.基于最小代价函数值，实施对所述初始位姿进行校正以得到目标位姿。
32.本发明第二方面提供了一种基于矢量地图进行自动驾驶定位的装置，该装置包括：
33.第一获取单元，用于获取车辆对应的初始位姿；
34.第一处理单元，用于基于所述初始位姿，对拍摄到所述车辆对应的当前图像进行处理，得到所述当前图像中第一特征标识包含的第一特征元素；
35.第二获取单元，用于基于所述初始位姿，从矢量地图中获取所述车辆对应的第二特征标识所具有的第二特征元素；
36.第二处理单元，用于利用预设代价函数对具有匹配关系的所述第一特征元素和所述第二特征元素进行处理，以基于处理结果实施对所述初始位姿进行校正得到目标位姿。
37.在本发明第二方面的一些变更实施方式中，所述第一处理单元包括：
38.第一提取模块，用于利用预设图像语义分割模型对所述当前图像进行处理，从所述当前图像中提取出至少一个第一特征标识；
39.第一创建模块，用于根据所述第一特征标识的数量，创建所述当前图像对应的第一图层；
40.放置模块，用于将每个所述第一特征标识放入唯一对应的所述第一图层中，得到在所述第一图层中所述第一特征标识对应覆盖的像素点；
41.处理模块，用于对所述第一特征标识对应覆盖的像素点进行距离变换处理，得到目标像素点；
42.第一组成模块，用于利用所述目标像素点组成所述第一特征标识对应的第一特征元素。
43.在本发明第二方面的一些变更实施方式中，所述第二获取单元包括：
44.第二提取模块，用于基于所述初始位姿，从矢量地图中提取距离所述车辆预设范围内的第二特征标识；
45.第二创建模块，用于创建所述当前图像对应的第二图层；
46.投影模块，用于将所述第二特征标识投影到唯一对应的第二图层中，得到在所述第二图层中所述第二特征标识对应覆盖的像素点；
47.第二组成模块，用于利用所述第二特征标识对应覆盖的像素点组成所述第二特征标识对应的第二特征元素。
48.在本发明第二方面的一些变更实施方式中，所述第二获取单元还包括：
49.采样处理模块，用于在所述将所述第二特征标识投影到唯一对应的第二图层中，得到在所述第二图层中所述第二特征标识对应覆盖的像素点之前，若所述第二特征标识中存在线型标识，则通过对所述线型标识进行等间隔采样处理，得到对应的多个离散点；
50.替代模块，用于利用所述多个离散点替代表征所述线型标识。
51.在本发明第二方面的一些变更实施方式中，所述第二处理单元包括：
52.查找模块，用于基于相同的特征标识，查找与所述第二特征元素匹配的所述第一特征元素，得到所述相同的特征标识对应的特征元素组合，所述特征元素组合内包含具有匹配关系的所述第一特征元素和所述第二特征元素；
53.处理模块，用于利用预设代价函数处理每个所述特征元素组合，得到基于每个所述特征元素组合对应的衡量所述第二特征元素和所述第一特征元素之间匹配程度的代价函数值；
54.实施模块，用于基于最小代价函数值，实施对所述初始位姿进行校正以得到目标位姿。
55.本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于矢量地图进行自动驾驶定位的方法。
56.本发明第四方面提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于矢量地图进行自动驾驶定位的方法。
57.借由上述技术方案，本发明提供的技术方案至少具有下列优点：
58.本发明提供了一种基于矢量地图进行自动驾驶定位的方法及装置，本发明首先是获取车辆的初始位姿，在该初始位姿的车辆状态前提下，拍摄当前图像并处理得到当前图像所包含第一特征标识的第一特征元素，以及从矢量地图中获取车辆对应的第二特征标识所具有的第二特征元素。由于在同一个初始位姿前提下，拍摄到实际路面上第一特征标识和从矢量地图获取的第二特征标识实际上是会存在相同情况的，据此基于相同的特征标识，使得第一特征元素和第二特征元素之间也是具有匹配关系的。从而利用预设代价函数对具有匹配关系的第一特征元素和第二特征元素进行处理，从而计算具有匹配关系的两者之间匹配程度的代价函数值作为计算处理结果，并基于该处理结果实施对初始位姿进行校正得到目标位姿，从而实现了对自动驾驶车辆的高精度定位。
59.相较于现有技术，本发明提供方法所需算法不复杂，算力成本低，高精度矢量地图也是容易获取到的，使得本方案实施成本低的同时也确保了满足对定位高精度要求，解决了现有技术难以兼顾实施成本和高精度定位的问题。
60.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
61.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
62.图1为本发明实施例提供的一种基于矢量地图进行自动驾驶定位的方法流程图；
63.图2为本发明实施例提供的另一种基于矢量地图进行自动驾驶定位的方法流程图；
64.图3为本发明实施例例举的对ick进行距离变化处理得到距离变换图像dck的示意图；
65.图4为本发明实施例提供的一种基于矢量地图进行自动驾驶定位的装置的组成框图；
66.图5为本发明实施例提供的另一种基于矢量地图进行自动驾驶定位的装置的组成框图。
具体实施方式
67.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明
的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
68.本发明实施例提供了一种基于矢量地图进行自动驾驶定位的方法，如图1所示，对此本发明实施例提供以下具体步骤：
69.101、获取车辆对应的初始位姿。
70.其中，车辆位姿：车辆位姿指车辆在世界或地图中的位置和姿态，位置一般以欧式坐标(x,y,z)表示，姿态一般以欧拉角(绕x/y/z轴的旋转角度)或四元数(x,y,z,w)表示。
71.在车辆自动驾驶应用场景中，主要是基于两个不同实例场景获取车辆的初始位姿，具体为：实例场景1，在车辆刚刚启动时获取当前车辆位姿，作为初始位姿；实例场景2，在车辆行驶过程中选取任意时刻获取车辆位姿，作为初始位姿。对于本发明实施例，车辆初始位姿是基于大量数据计算得到的，它相当于是当前车辆的猜测位姿。
72.基于不同实例场景，分别采用不同获取初始位姿的具体实施方法如下：
73.实例场景1：对于车辆刚启动时，可以通过全局位姿传感器得到车辆当前时刻对应的初始位姿，例如全球导航卫星系统(globalnavigation satellite system，gnss)直接获得。
74.实例场景2：在车辆行驶过程中，对于获取车辆当前时刻的初始位姿，可以由前一时刻根据“步骤104”计算得到的目标位姿，以及其它传感器如惯性测量单元(inertial measurement unit，imu)或轮速计数据进行预测得到。
75.比如，在已经获取到车辆前一时刻的目标位姿的情况下，通过imu获得的当前时刻车辆加速度和角速度，对前一时刻与当前时刻的时间差进行积分，可得到当前时刻相对于前一时刻的位置和姿态增量，将此增量叠加到前一时刻的目标位姿上，即得到当前时刻的初始位姿。同样通过车辆轮速计提供的轮速，对时间进行积分也可得到位姿增量。
76.102、基于初始位姿，对拍摄到车辆对应的当前图像进行处理，得到当前图像中第一特征标识包含的第一特征元素。
77.其中，第一特征元素是指拍摄到车辆的当前图像所包含的特征标识所具有的特征元素。该特征标识可以但不限于是：车道线、停止线、交通灯等交通标识；路沿、绿化隔离带、路灯等路况具有的特征标识。
78.示例性的，第一特征元素可以是相应的特征标识在一个图像中的像素级别的表征，即：在图像中覆盖了哪些像素点，从而利用这些像素点在图像中可视化地展示出了相应的特征标识。例如，如果当前图像拍摄到了一条车道线，则该车道线为第一特征标识，并且该车道线会在当前图像中覆盖了相应的像素点，这些像素点为该车道线对应的第一特征元素。
79.需要说明的是，本发明技术方案会多次提及到“特征标识”和“特征元素”，为了便于清楚的解释本发明技术方案，因此将基于拍摄当前图像得到的“特征标识”称为“第一特征标识”，以及将该“第一特征标识”所具有的“特征元素”称为“第一特征元素”。
80.以及将从矢量地图中获取到车辆周边所关联存在的“特征标识”，标记为“第二特征标识”，它所具有的“特征元素”标记为“第二特征标识”。
81.但需要说明的是，由于位姿是指车辆的定位和姿态，那么基于不同的姿态，第一特
征标识在当前图像中的成像效果会与路面上实际形状略有不同。例如，车辆与车道线的相对位置不是平行而存在夹角，则车辆左端或右端摄像头传感器拍摄到的车道线成像为梯形而不是长条矩形，并且基于摄像头传感器在车辆安装位置不同(如左端前侧或左端后侧)，拍摄到车道线成像效果也是会有所差异的。据此，基于不同位姿，当前图像中同一个第一特征标识所具有的第一特征元素也是不同的。
82.在本发明实施例中，预先在车辆安装至少一个摄像头传感器，这些摄像头传感器安装位置可以但不限于是车辆前端、后端、左/右端。在确定了车辆的初始位姿前提下，可以利用摄像头传感器各自拍摄对应的当前图像。
83.在拍摄当前图像时，本发明实施例希望可以拍摄到更多的第一特征标识，从而利用更多的第一特征标识所具有的第一特征元素，应用到后续步骤运算中，以最终得到精度更高的目标位姿。为了达到这个目的，示例性的，可以但不限于是调整摄像头传感器的安装位置、拍摄视野范围和拍摄清晰度。
84.103、基于初始位姿，从矢量地图中获取车辆对应的第二特征标识所具有的第二特征元素。
85.其中，第二特征元素是指从矢量地图所包含的第二特征标识所具有的特征元素。需要说明的是，该第二特征标识也可以但不限于是：车道线、停止线、交通灯等交通标识；路沿、绿化隔离带、路灯等路况具有的特征标识。经比较可知，第一特征标识和第二特征标识实际指代数据种类和范围是相同，但是来源不同，第一特征标识的来源为：基于车辆初始位姿，而从拍摄到车辆当前图像中获取到的特征标识；而第二特征标识的来源为：基于车辆初始位姿，从矢量地图中获取到车辆附近存在的特征标识。
86.其中，矢量地图可以但不限于是从第三方应用下载的，对于矢量地图的高精度需求，可以基于不同的来源渠道而满足。
87.在本发明实施例中，同样是在确定了车辆的初始位姿前提下，从矢量地图中获取车辆附近范围内存在的第二特征标识，并进一步解析出每个第二特征标识具有的第二特征元素。示例性的，第二特征元素可以是将第二特征标识投射到一个图像中以在像素级别进行表征，即：在图像中覆盖了哪些像素点，从而利用这些像素点在图像中可视化地展示出了相应的特征标识。例如。当从矢量地图中获取到车辆附近的一条车道线，则将该车道线作为第二特征标识投射到一个图像中，将该车道线在图像中覆盖的所有像素点，作为第二特征元素。
88.但需要说明的是，虽然位姿是指车辆的定位和姿态，但是对于从矢量地图中获取到的第二特征标识而言，依赖的是车辆定位，而车辆位姿不会带来影响，因此，对于将从矢量地图获取的第二特征标识投射到一个图像上，它的成像效果与路面实际特征标识形状是基本相同的，该成像效果仅是会受到矢量地图的精度高低影响。
89.因此，在本发明实施例中，车辆定位相同，但基于不同的位姿，对于同一个特征标识而言，它所具有的第一特征元素和第二特征元素是不同的。
90.104、利用预设代价函数对具有匹配关系的第一特征元素和第二特征元素进行处理，以基于处理结果实施对初始位姿进行校正得到目标位姿。
91.在本发明实施例中，对于利用拍摄车辆当前图像以获取到第一特征标识，以及对于从矢量地图中获取车辆对应的第二特征标识，由于是基于相同初始位姿进行的操作，虽
然是经两个不同渠道来源获取得到的，但是实际上，第一特征标识和第二特征标识各自表征的特征标识可以是相同的。
92.示例性的，对于正在行驶的车辆，选取任意时刻获取车辆位姿作为初始位姿，那么基于该初始位姿利用部署在车辆左端的摄像头传感器拍摄到左侧点线车道线标识，作为从拍摄到的当前图像中获取到的第一特征标识。
93.同样基于该初始位姿，还可以利用矢量地图获取车辆附近范围存在的特征标识，如车辆所在行驶车道的左侧点线车道线标识和右侧点线车道线标识、相邻行驶车道的车道线标识等等多个特征标识。据此，基于两个不同渠道，都获取到了左侧点线车道线标识(即这个相同的特征标识)。
94.但是，受到初始位姿所包含车辆姿态的影响，这个相同的特征标识所具有的第一特征元素和第二特征元素可以是相同或者不同的，但可以基于这个相同的特征标识确定两者是具有匹配关系的。
95.据此，在本发明实施例中，是以从矢量地图获取到第二特征标识所具有的第二特征元素为基准，利用预设代价函数计算两者之间匹配程度的代价值，从而衡量两者之间的匹配程度，作为处理结果，以进一步去校正初始位姿(即当前车辆的猜测位姿)以定位更加精准的当前位姿(即目标位姿)。
96.本发明实施例提供了一种基于矢量地图进行自动驾驶定位的方法，本发明实施例首先是获取车辆的初始位姿，在该初始位姿的车辆状态前提下，拍摄当前图像并处理得到当前图像所包含第一特征标识的第一特征元素，以及从矢量地图中获取车辆对应的第二特征标识所具有的第二特征元素。由于在同一个初始位姿前提下，拍摄到实际路面上特征标识和从矢量地图获取的特征标识实际上是会存在相同情况的，据此基于相同的特征标识，使得第一特征元素和第二特征元素之间也是具有匹配关系的。从而利用预设代价函数对具有匹配关系的第一特征元素和第二特征元素进行处理，从而计算具有匹配关系的两者之间匹配程度的代价函数值作为计算处理结果，并基于该处理结果实施对初始位姿进行校正得到目标位姿，从而实现了对自动驾驶车辆的高精度定位。
97.相较于现有技术，本发明实施例提供方法所需算法不复杂，算力成本低，高精度矢量地图也是容易获取到的，使得本方案实施成本低的同时也确保了满足对定位高精度要求，解决了现有技术难以兼顾实施成本和高精度定位的问题。
98.为了对上述实施例做出更加详细的说明，本发明实施例还提供了另一种基于矢量地图进行自动驾驶定位的方法，如图2所示，对此本发明实施例提供以下具体步骤：
99.首先需要说明的是，为了方便清楚地解释说明本发明实施例提供的基于矢量地图进行自动驾驶定位的方法，对于拍摄当前图像所得到的特征标识、特征元素和所创建的图层，将以词语“第一”加以标识；而对于从矢量地图中获取得到的特征标识、特征元素和所创建的图层，将以词语“第二”加以标识，从而方便于区分两个不同渠道获取的相关数据信息。
100.201、获取车辆对应的初始位姿。
101.在本发明实施例中，对于本步骤解释说明，参见步骤101，此处不再赘述。示例性的，本发明实施例将初始位姿，作为当前时刻对车辆的猜测位姿，例如表示为，k时刻的车辆位姿tk。
102.下面，结合步骤202a-205a，基于初始位姿，对拍摄到车辆对应的当前图像进行处
理得到当前图像中第一特征标识包含的第一特征元素，进行详细的解释说明：
103.202a、利用预设图像语义分割模型对当前图像进行处理，从当前图像中提取出至少一个第一特征标识。
104.其中，预设图像语义分割模型是基于深度学习网络而预先训练的模型，本发明实施例主要利用这样模型识别图像中存在的特征标识。需要说明的是，对于通过拍摄图像得到的特征标识和从矢量地图中获取到的特征标识，为了对不同获取渠道的特征标识加以区分，将前者渠道获取的特征标识称为第一特征标识，将后者渠道获取的特征标识称为第二特征标识。
105.203a、根据第一特征标识的数量，创建当前图像对应的第一图层。
106.204a、将每个第一特征标识放入唯一对应的第一图层中，得到在第一图层中第一特征标识对应覆盖的像素点。
107.在本发明实施例中，是基于当前图像创建图层的，从而使得每个图层与当前图像具有的属性信息是相同的，该属性信息包括但不限于是分辨率、尺寸等信息。
108.为了方便指代清楚，本发明实施例将根据第一特征标识所创建的图层称为第一图层。示例性的，若拍摄到当前图像中包含车道线、路沿、红绿灯这三个第一特征标识，则相应创建三个第一图层，并将每个第一特征标识放入唯一对应的第一图层中。
109.对于放入第一图层的第一特征标识，需要说明的是，第一特征标识在第一图层内的像素坐标与它在车辆对应的当前图像中的像素坐标是相同的。
110.示例性的，利用如下公式(1)表征第一特征标识在第一图层中所覆盖哪些像素点。
[0111][0112]
其中，k用于指代拍摄到的当前图像为第几帧；c用于描述第一特征标识的类别，该类别不是通俗意义上的“分类类别”，本发明实施例实际上是将各个不同第一特征标识，对应判定为一个类别，如两条位置不同的车道线、停止线和路沿，判定为四个类别，从而为了方便指代某个像素点是归于哪个特征标识的；ick用于指代一个第一图层，且具体为基于拍摄到的第k帧当前图像所具有第一特征标识c的第一图层，例如，以车道线为例，ick为基于拍摄到的第k帧当前图像所具有车道线的第一图层；pi为第一图层ick包含的各个像素点；本发明实施例是基于“1”或“0”做“是”与“非”的判断操作，具体为判断pi是否为第一特征标识c在第一图层ick上覆盖的像素点。
[0113]
具体的，以车道线为例，在第一图层ick中会覆盖一些指定像素点，从而利用这些指定像素点会成像为一条车道线，那么对于该第一图层ick所包含的各个像素点pi，逐个利用判断操作(“是”与“非”，即以“1”或“0”形式)，如果判断某个pi为“1”，则确定该pi为指定像素点，但如果不是，则确定该pi为“0”，并且相应的在第一图层上的可视化效果为：如果判断某个pi为“1”，则该pi的像素点在第一图层中为黑色；但如果判断pi为“0”，则该pi的像素点在第一图层中为白色；基于确定第一图层内各个pi是“1”或“0”，从而在第一图层内呈现出车道线(即第一特征标识)的成像效果。以上从而将第一图层转换为二值(0/1)图像，也就是利用二值(0/1)图像来表达了第一图层内所包含的第一特征标识。
[0114]
205a、对第一特征标识对应覆盖的像素点进行距离变换处理，得到目标像素点。
[0115]
在本发明实施例中，除了利用公式(1)得到第一特征标识在对应的第一图层上覆
盖的像素点以外，还进一步对这些像素点进行距离变换处理，目的是，在第一图层上将距离第一特征标识中心越近的地方像素值提到最大、越远的地方像素值提到最小，从而使得第一特征标识呈现的效果为：在第一图层中，第一特征标识中心呈现很黑的，越远离第一特征标识的地方越模糊或者越白的，这样得到了一种渐变效果。具体采用如下公式(2)实现距离变换处理：
[0116][0117]
对于公式(2)，具体解释说明如下：
[0118]
(1)pi表示第一图层中任意像素点，其像素坐标一般表示为(u,v)，其中以图像左上角为原点(0,0)，u表示该像素点所处列，v表示该像素点所处行；
[0119]
(2)ick为前述的第一图层，ick(pi)表示ick图像的pi像素位置的像素值；
[0120]
(3)dck为重新构造生成的图像，其每个像素的像素值取值规则为：
[0121]
i、当ick(pi)＝1，即ick的pi位置的像素值为1时，dck的pi位置像素值设为0；
[0122]
ii、当ick(pi)＝0，即ick的pi位置的像素值为0时，找到ick中，距离pi最近的像素值为1的像素点，此像素点与pi的u、v差值的最小值，设为dck的pi位置像素值。
[0123]
具体的，以图3例举的对ick进行距离变化处理得到距离变换图像dck的示意图，在本发明实施例中，是将各个第一图层中的像素点进行距离变化处理，得到基于每个第一图层重新构造对应的dck图像。
[0124]
通过上式的变换，可以将原始二值(0/1)图像，变换为亮度连续的图像，即距离原ick中值为1的点越远的点越亮。此变换的结果dck，可以用于后续步骤中的非线性优化。
[0125]
206a、利用目标像素点组成第一特征标识对应的第一特征元素。
[0126]
在本发明实施例中，对于放入第一图层的第一特征标识，基于拍摄成像效果，该第一特征标识在第一图层中是覆盖了相应的像素点的，通过对这些像素点进行距离变换处理，这相当于是对成像效果进行了增强处理。据此，本发明实施例相当于是将增强处理后成像效果所具有的像素点作为第一特征标识在第一图层上所具有的第一特征元素。
[0127]
需要说明的是，由于位姿是指车辆的定位和姿态，那么基于不同的姿态，通过拍摄车辆当前图像而获取到的特征标识成像效果会与路面上实际形状略有不同，因此基于第一特征元素组成的第一特征标识的成像效果与路面上实际形状也是有所差别的。
[0128]
下面，作为“基于初始位姿从拍摄到车辆对应的当前图像中获取第一特征标识具有的第一特征元素”的并列实施过程，本发明实施例还基于初始位姿从矢量地图中获取车辆对应第二特征标识具有的第二特征元素，具体结合步骤202b-205b进行如下解释说明。
[0129]
202b、基于初始位姿，从矢量地图中提取距离车辆预设范围内的第二特征标识。
[0130]
203b、基于第二特征标识的数量，创建当前图像对应的第二图层。
[0131]
在本发明实施例中，是基于车辆初始位姿所包含的车辆定位，从矢量地图中提取距离车辆预设范围内的第二特征标识。
[0132]
进一步的，基于第二特征标识的数量，本发明实施例创建相应数量的第二图层，并且每个第二图层的属性信息是与之前利用拍摄车辆当前行驶路况得到的当前图像是相同的，该属性信息，该属性信息包括但不限于是分辨率、尺寸等信息。
[0133]
204b、将第二特征标识投影到唯一对应的第二图层中，得到在第二图层中第二特征标识对应覆盖的像素点。
[0134]
在本发明实施例中，相当于是将从矢量地图中获取的第二特征标识投影到摄像头传感器拍摄到的图像中，具体为将每个第二特征标识投影到唯一对应的第二图层中，这相当于是实现矢量地图世界和摄像头传感器世界的坐标转换，以及再进一步进行像素坐标的转换，采用如下公式(3)实现：zpi=ktkpmꢀꢀꢀꢀ
公式(3)；
[0135]
具体的，利用该公式(3)对投影过程进行解释说明如下：
[0136]
(1)、pm为地图中的点，tk为k时刻摄像头传感器在地图中的位姿，由于此处提及的摄像头传感器是与步骤202a拍摄当前图像所使用的摄像头传感器是相同的，该tk也相当于是等同于步骤201提及的车辆初始位姿，pc＝tkpm计算得到的pc为pm在摄像头传感器坐标系下的坐标；
[0137]
(2)、k为摄像头传感器(即相机)内参矩阵，一般形式是：通过p
p
＝ktkpm进一步得到的p
p
为pc点在像素坐标系中的位置；
[0138]
z为p
p
的第三维坐标，将p
p
坐标同时除以z，即得到第三维为1的归一化像素坐标pi，此归一化像素坐标即为最终的pm投影到像素上的像素坐标。
[0139]
需要说明的是，对于一些线型标识(即作为第二特征标识)，本发明实施例可以预先对这样的第二特征标识进行等间隔采样处理，从而预先将这样的第二特征标识转换表征为具有多个离散点，后续再基于这些离散点进行投影处理，从而方便于提高对这些线型标识的投影操作的效率。
[0140]
205b、利用第二特征标识对应覆盖的像素点组成第二特征标识对应的第二特征元素。
[0141]
在本发明实施例中，是将从矢量地图中获取到的第二特征标识投射到唯一对应的第二图层，相应的，在图像中会成像并且覆盖相应的像素点，继而利用这些像素点得到第二特征标识对应的第二特征元素。
[0142]
207、利用预设代价函数对具有匹配关系的第一特征元素和第二特征元素进行处理，以基于处理结果实施对初始位姿进行校正得到目标位姿。
[0143]
在本发明实施例中，对本步骤细化解释说明如下：
[0144]
首先，基于相同的特征标识，查找与第二特征元素匹配的第一特征元素，得到相同的特征标识对应的特征元素组合，每个特征元素组合内包含具有匹配关系的第一特征元素和第二特征元素。
[0145]
示例性的，基于车辆的初始位姿，从拍摄当前图像获取第一特征标识和从矢量地图查找车辆附近而得到第二特征标识(即两种来源渠道)，可以出现某个第一特征标识与某个第二特征标识实际表达对应的是路况中的同一个特征标识，例如为实际为路况中同一个车道线。
[0146]
又因为本发明实施例是以图层方式处理特征标识的，那么基于这样的同一个特征标识，使得某一个第一图层和某一个第二图层是存在匹配关系的。据此，基于这样的同一个特征标识，将从具有匹配关系的第一图层中该特征标识对应的第一特征元素和从相应的第
二图层中该特征标识对应的第二特征元素，组成该特征标识对应的特征元素组合。并且在每个特征元素组合内存储的第一特征元素和第二特征元素也是具有匹配关系的。
[0147]
其次，利用预设代价函数处理每个特征元素组合，得到基于每个特征元素组合对应衡量第二特征元素和第一特征元素之间匹配程度的代价函数值，基于最小代价函数值，实施对初始位姿进行校正以得到目标位姿。
[0148]
在本发明实施例中，利用预设代价函数处理每个特征元素组合，实际上，就是基于相同的特征标识对具有匹配关系的第一图层和第二图层进行处理，从而实现了本发明技术方案是以多个具有匹配关系的图层对不同特征标识进行处理，达到了逐个对每个特征标识进行处理，从而根据对每个特征标识的处理结果，实现对车辆初始位姿校正。
[0149]
示例性的，本发明实施例构建的预设代价函数为：
[0150][0151]
具体的，利用公式(4)实现的方法原理如下：
[0152]
(1)、对地图中的所有点m(即pm)，根据上述公式(3)使用tk得到像素坐标pi；
[0153]
(2)、对于点m所属的类别c(即指代归属于某一个特征标识)，在其按公式(2)生成的dck图像中，根据其像素坐标pi，得到各个点m对应的dck的像素值；
[0154]
例如，对于基于相同特征标识而具有匹配关系的第一图层和第二图层，基于第二图层上投射得到的第二特征标识所具有的第二特征元素(即像素坐标pi)，根据pi，查找第一图层对应的d
ck
图像，如查找图3，得到每个pi对应的dck的像素值，由于每个pi实际上相当于是对应了地图上的一个m点，从而进一步得到点m对应的dck的像素值；
[0155]
(3)、将所有点m得到的像素值(即对应的dck的像素值)取平方并求和，得到j(tk)。该j(tk)实际上相当于表示了：基于相同的特征标识，它从矢量地图中获得并投影到第二图层中的成像效果，它经拍摄当前图像而获得并在第一图层中成像效果，这两个成像效果之间的匹配程度的代价函数值。即代价函数值越小，则说明匹配程度越高。
[0156]
进一步的，在本发明实施例中，利用公式(5)，通过非线性优化算法，找到一个使得j(tk)值最小，据此求解得到的作为目标位姿。
[0157][0158]
其中，tk为当前车辆初始位姿；为对初始位姿进行校正以得到目标位姿。
[0159]
还需要说明的是，若仅是利用车辆设置的一个摄像头传感器得到的当前图像执行本发明实施例提供的方法，可以采用公式(4)和(5)。但是若利用车辆设置的多个摄像头传感器各自得到的当前图像执行本发明实施例提供的方法，则需要基于每个当前图像中包含的第一特征标识，都从矢量地图中获取相应且具有匹配关系的第二特征标识，并参与后续采用代价函数运算处理，以获得更加精确的车辆位姿，具体的，采用如下公式(6)实现：
[0160]
[0161]
其中，v表示所有摄像头传感器，即对于所有摄像头传感器都进行dck图像的生成，并对视野包含点m的所有摄像头传感器，都将点m投影到其像素坐标进行dck取值，并求和。
[0162]
在本发明实施例中，在车辆自动驾驶行进过程中，车辆的位姿也是在不断变化的，在根据步骤201获取的初始位姿得到步骤207的目标位姿之后，在下一个相邻单位时刻可以继续以该目标位姿作为当前车辆的猜测位姿，重复执行上述步骤202a-206a、步骤202b-205b和步骤207，得到该下一个相邻单位时刻定位的更精确的位姿。
[0163]
进一步的，作为对上述图1、图2所示方法的实现，本发明实施例提供了一种基于矢量地图进行自动驾驶定位的装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置应用于得到更加准确的车辆位姿，具体如图4所示，该装置包括：
[0164]
第一获取单元31，用于获取车辆对应的初始位姿；
[0165]
第一处理单元32，用于基于所述初始位姿，对拍摄到所述车辆对应的当前图像进行处理，得到所述当前图像中第一特征标识包含的第一特征元素；
[0166]
第二获取单元33，用于基于所述初始位姿，从矢量地图中获取所述车辆对应的第二特征标识所具有的第二特征元素；
[0167]
第二处理单元34，用于利用预设代价函数对具有匹配关系的所述第一特征元素和所述第二特征元素进行处理，以基于处理结果实施对所述初始位姿进行校正得到目标位姿。
[0168]
进一步的，如图5所示，所述第一处理单元32包括：
[0169]
第一提取模块321，用于利用预设图像语义分割模型对所述当前图像进行处理，从所述当前图像中提取出至少一个第一特征标识；
[0170]
第一创建模块322，用于根据所述第一特征标识的数量，创建所述当前图像对应的第一图层；
[0171]
放置模块323，用于将每个所述第一特征标识放入唯一对应的所述第一图层中，得到在所述第一图层中所述第一特征标识对应覆盖的像素点；
[0172]
处理模块324，用于对所述第一特征标识对应覆盖的像素点进行距离变换处理，得到目标像素点；
[0173]
第一组成模块325，用于利用所述目标像素点组成所述第一特征标识对应的第一特征元素。
[0174]
进一步的，如图5所示，所述第二获取单元33包括：
[0175]
第二提取模块331，用于基于所述初始位姿，从矢量地图中提取距离所述车辆预设范围内的第二特征标识；
[0176]
第二创建模块332，用于创建所述当前图像对应的第二图层；
[0177]
投影模块333，用于将所述第二特征标识投影到唯一对应的第二图层中，得到在所述第二图层中所述第二特征标识对应覆盖的像素点；
[0178]
第二组成模块334，用于利用所述第二特征标识对应覆盖的像素点组成所述第二特征标识对应的第二特征元素。
[0179]
进一步的，如图5所示，所述第二获取单元33还包括：
[0180]
采样处理模块335，用于在所述将所述第二特征标识投影到唯一对应的第二图层中，得到在所述第二图层中所述第二特征标识对应覆盖的像素点之前，若所述第二特征标识中存在线型标识，则通过对所述线型标识进行等间隔采样处理，得到对应的多个离散点；
[0181]
替代模块336，用于利用所述多个离散点替代表征所述线型标识。
[0182]
进一步的，如图5所示，所述第二处理单元34包括：
[0183]
查找模块341，用于基于相同的特征标识，查找与所述第二特征元素匹配的所述第一特征元素，得到所述相同的特征标识对应的特征元素组合，所述特征元素组合内包含具有匹配关系的所述第一特征元素和所述第二特征元素；
[0184]
处理模块342，用于利用预设代价函数处理每个所述特征元素组合，得到基于每个所述特征元素组合对应的衡量所述第二特征元素和所述第一特征元素之间匹配程度的代价函数值；
[0185]
实施模块343，用于基于最小代价函数值，实施对所述初始位姿进行校正以得到目标位姿。
[0186]
综上所述，本发明实施例提供了一种基于矢量地图进行自动驾驶定位的方法及装置，本发明实施例首先是获取车辆的初始位姿，在该初始位姿的车辆状态前提下，拍摄当前图像并处理得到当前图像所包含第一特征标识的第一特征元素，以及从矢量地图中获取车辆对应的第二特征标识所具有的第二特征元素。由于在同一个初始位姿前提下，拍摄到实际路面上第一特征标识和从矢量地图获取的第二特征标识实际上是会存在相同情况的，据此基于相同的特征标识，使得第一特征元素和第二特征元素之间也是具有匹配关系的。从而利用预设代价函数对具有匹配关系的第一特征元素和第二特征元素进行处理，从而计算具有匹配关系的两者之间匹配程度的代价函数值作为计算处理结果，并基于该处理结果实施对初始位姿进行校正得到目标位姿，从而实现了对自动驾驶车辆的高精度定位。本发明实施例提供方法所需算法不复杂，算力成本低，高精度矢量地图也是容易获取到的，使得本方案实施成本低的同时也确保了满足对定位高精度要求。
[0187]
所述基于矢量地图进行自动驾驶定位的装置包括处理器和存储器，上述第一获取单元、第一处理单元、第二获取单元和第二处理单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
[0188]
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来利用矢量地图提供了优化自动驾驶定位方法，不但实施成本低且能够满足对定位的高精度要求。
[0189]
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于矢量地图进行自动驾驶定位的方法。
[0190]
本发明实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于矢量地图进行自动驾驶定位的方法。
[0191]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0192]
在一个典型的配置中，设备包括一个或多个处理器(cpu)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
[0193]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
[0194]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0195]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0196]
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0197]
以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同插入、改进等，均应包含在本发明的权利要求范围之内。