一种众包地图地面标志聚合方法及装置与流程

1.本发明涉及智能交通技术领域，用于辅助自动驾驶，更具体涉及一种众包地图地面标志聚合方法及装置。


背景技术：

2.高精度地图作为辅助自动驾驶不可或缺的模块，如何低成本、高精度地实现道路网的拓扑构建一直以来是研究者们关注的重点。而众包更新是实现实时更新的低成本和可量产化的方案，具有一些非常显著的优势。在众包高精地图领域，车端在经过gnss、slam视觉和imu技术采集道路图像信息并对静态地物进行语义识别后，云端获得众包数据再构建车道级道路拓扑。
3.在这过程中经常需要对道路要素进行聚合，针对那些不规则的道路要素图形如地面标志，现有的聚合方法存在一定的局限性。例如，在cn202111265071.0)中公开了一种箭头角点自动化检测方法，该方案通过输出矢量结果使准确率更高，其次实现简单、二值化后算力降低，但是该方法只局限于直行箭头、左转箭头和右转箭头的检测，对于其他箭头类型或不规则图形并不适配，其次该方法强依赖于标准模型，拟合结果无法贴近于实际采集数据；在cn201510328541.1中公开了一种基于多边形广义霍夫变换的图像匹配方法，该发明通过匹配模板与目标图像的相似度，来确定模板图像与目标图像之间发生平移、旋转和缩放的参数，该方法也依赖于标准模型，若遇到无标准模板道路要素的拟合情况如导流带、紧急停车带等场景无法适配，且它采用了四维的投票参数空间导致时间复杂度很高、内存占用量大。因此，需要设计一种高效、低成本、低内存占用率的方法实现众包数据中不规则地面标志图形的聚合，良好的聚合方法才能保证在高精度地图生产中进行空间分析，为自动驾驶辅助决策。


技术实现要素：

4.本发明旨在解决现有技术在不规则道路要素聚合过程中存在的算力大、依赖标准模型、耗时长的问题，提出了一种实时更新的、低成本、可量产化的众包地图地面标志聚合方法及装置。
5.本发明的技术方案如下：
6.本发明提供了一种众包地图地面标志聚合方法，包括：
7.s1,获取各众包车辆上传的数据包，一个数据包中包含一个众包车辆对其采集的多帧图像分别处理后的多条数据，一条数据包含对一帧图像按道路要素进行静态地物语义识别后得到的至少一个道路要素结果；
8.s2,基于道路要素类型对所有数据包中的全部数据进行分类，得到多个数据簇，一个数据簇包含同一道路要素类型的至少一条数据；
9.s3,判断每个数据簇所对应的道路要素形状是否为不规则多边形；
10.s4,若为，则将这一数据簇确定为目标数据簇；
11.s5,对每一目标数据簇均执行：
12.s51,确定目标数据簇的各多边形对象的全部角点坐标，再确定各多边形对象的每个角点的角度大小和角方向；
13.s52,对角点的角度大小不满足预设要求的部分角点坐标进行剔除；
14.s53,基于角点剔除后的目标数据簇，将全部多边形对象中具有相同特征的角点聚合为一个角点簇，得到多个角点簇；
15.s54,分别基于各角点簇对应的多个角点坐标确定一个目标角点坐标；
16.s55,将最终确定的全部目标角点沿同一方向依次相连形成的多边形确定为目标数据簇中的多边形对象的最终形状。
17.优选地，s51中，确定各多边形对象的每个角点的角度大小和角方向的步骤包括：
18.s511，以每个角点为基点，确定连接每个角点的两条矢量；
19.s512,将两条矢量的角平分线方向作为角点的角方向，再计算出各角点的角方向与坐标系x轴的顺时针旋转度数；
20.s513,将两条矢量之间的角度作为角点的角度大小。
21.优选地，s53中，基于角点剔除后的目标数据簇，将全部多边形对象中具有相同特征的角点聚合为一个角点簇，得到多个角点簇的步骤包括：
22.s531，将目标数据簇的任一多边形对象的任一角点标识为角点e，以目标数据簇中的剩余多边形对象的任一角点标识为f；
23.s532，计算角点e和角点f之间的欧拉距离；
24.s533，以角点e为基点，基于角点e的角度大小、角点f的角度大小、角点e的角平分线与x轴的顺时针旋转角度、角点f的角平分线与x轴的顺时针旋转角度、角点e和角点f之间的欧拉距离，计算角点e和角点f之间的特征差；
25.s534，若角点e和角点f之间的特征差小于预设半径阈值，则将角点e和角点f划分为一个角点簇；
26.s535，以角点f作为基点，对角点f和除角点e和角点f各自所在的多边形对象之外的剩余角点，均重复执行步骤s532-s534，确定基于角点e聚合的角点簇；
27.s536，以角点e所在的多边形对象中除角点e之外的其它角点作为基点，重复执行步骤s531-s535，确定所有角点均被划分到角点簇；
28.s537，对各角点簇执行：将角点数量小于预设角点数量的角点簇剔除，并保留剩余的角点簇。
29.优选地，s55中,分别基于各角点簇对应的多个角点坐标确定一个目标角点坐标的步骤包括：
30.将各角点簇对应的全部角点的坐标均值分别确定为一个目标角点坐标。
31.优选地，s533中,
32.通过公式：
[0033][0034]
计算角点e和角点f之间的特征差result，其中，anglee表示角点e的角度大小，anglef表示角点f的角度大小，bisectore表示角点e的角平分线与坐标系x轴的顺时针旋转
度数，bisectorf表示角点f的角平分线与坐标系x轴的顺时针旋转度数，eps
angle
表示预设角度阈值，eps
bisector
表示预设角平分线与x轴的顺时针旋转度数阈值，|dist(e)-dist(f)|表示角点e和角点f之间的欧拉距离；α为所占的权重值，β为所占的权重值，γ为|dist(e)-dist(f)|所占的权重值，α、β和γ的值根据层次分析法确定。
[0035]
优选地，s512中，
[0036]
通过公式：
[0037][0038]
计算各角点的角方向与坐标系x轴的顺时针旋转度数bisector_a，其中，(xa，ya)为角点a的坐标，(xb，yb)为与角点a一侧相邻的角点b的坐标，(zc，yc)为与角点a另一侧相邻的角点c的坐标。
[0039]
优选地，s513中，
[0040]
通过公式：
[0041][0042]
计算各角点的角度大小θa，其中，(xa，ya)为角点a的坐标，(xb，yb)为与角点a一侧相邻的角点b的坐标，(xc，yc)为与角点a另一侧相邻的角点c的坐标。
[0043]
本发明还提供了一种众包地图地面标志聚合装置，包括：
[0044]
获取模块，用于获取各众包车辆上传的数据包，一个数据包中包含一个众包车辆对其采集的多帧图像分别处理后的多条数据，一条数据包含对一帧图像按道路要素进行静态地物语义识别后得到的至少一个道路要素结果；
[0045]
分类模块，用于基于道路要素类型对所有数据包中的全部数据进行分类，得到多个数据簇，一个数据簇包含同一道路要素类型的至少一条数据；
[0046]
判断模块，用于判断每个数据簇所对应的道路要素形状是否为不规则多边形；
[0047]
目标数据簇确定模块，用于若为，则将这一数据簇确定为目标数据簇；
[0048]
处理模块，用于对每一目标数据簇均执行：
[0049]
确定目标数据簇的各多边形对象的全部角点坐标，再确定各多边形对象的每个角点的角度大小和角方向；
[0050]
对角点的角度大小不满足预设要求的部分角点坐标进行剔除；
[0051]
基于角点剔除后的目标数据簇，将全部多边形对象中具有相同特征的角点聚合为一个角点簇，得到多个角点簇；
[0052]
分别基于各角点簇对应的多个角点坐标确定一个目标角点坐标；
[0053]
将最终确定的全部目标角点沿同一方向依次相连形成的多边形确定为目标数据簇中的多边形对象的最终形状。
[0054]
本发明的有益效果为:
[0055]
根据改进的dbscan算法，结合多边形对象的角点特征对角点聚类，但是为了防止具有相同特征的角点却不属于一簇的情况，本发明还引入了角点欧拉距离作为聚类的度量条件，从而更能精确地找到贴合实际的多边形顶点，然后依次连接各个顶点，最终得到不规则多边形拟合结果。由于是基于矢量结果表示，具有算力低、耗时短、效率高的特点，此外还不依赖于标准模型，众包数据量越大越能提高拟合精度，拟合形状更逼近于实际输入数据。因此设计一种基于角点特征的众包地图地面标志聚合方法具有创新性、可塑性和必要性。具体来说：
[0056]
(1)本方案是基于矢量结果表示，且能事先过滤不符合条件的数据，具有算力低、耗时短、效率高的特点；
[0057]
(2)本发明利用多个同数据簇的对象数据进行图形聚合，数据量越大越逼近真值，更能提高拟合精度，实现基于深度学习的迭代优化；
[0058]
(3)适用于任何不规则地面标志图形的聚合，弥补众包数据基于采集精度低的缺陷，不依赖标准模型，拟合形状更逼近于实际输入数据。
附图说明
[0059]
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
[0060]
图1为本发明所述的基于角点特征的众包地图地面标志聚合方法流程示意图；
[0061]
图2为本发明所述的获取多边形角点特征逻辑框图；
[0062]
图3为本发明所述的确定基于多个对象的多边形顶点聚类效果图。
具体实施方式
[0063]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
[0064]
图1是本发明所述的基于角点特征的众包地图地面标志聚合方法流程示意图。该方法针对现有技术在不规则道路要素聚合过程中存在的算力大、依赖标准模型、耗时长的问题，提出一种适用于低成本、高量产的不规则图形聚合方法。在众包采集数据质量层次不齐的情况下，首先对数据进行预处理，清洗差异较大或导致边缘抖动的角点，再基于角点特征通过改进的dbscan聚类算法对同一簇的多个多边形对象顶点进行聚类，确定每个簇的中心点作为结果多边形的顶点，最终实现众包地图不规则道路要素图形的聚合。
[0065]
其中，上述的方案具体包括以下步骤：
[0066]
s1：在多车多次模式下，各众包车辆基于slam视觉、gnss和imu采集到图像数据并进行静态地物语义识别后，将数据包传到云端。
[0067]
对于每个众包车辆来说，其上传的数据包中包含有该众包车辆采集的多帧图像处理后的多条数据，一条数据包含对一帧图像按道路要素进行静态地物语义识别后得到的至少一个道路要素结果。此处，道路要素包括导流线、直行箭头、合流箭头、绿化带、路灯、路边线等要素，道路要素的分类是根据相关标准进行确定的。道路要素的形状可以是规则或不规则的。
[0068]
s2：云端基于道路要素类型对所有数据包中的全部数据进行分类，得到多个数据
簇，一个数据簇包含同一道路要素类型的至少一条数据。
[0069]
例如，将全部数据中的车道1中的直行指示箭头这一道路要素分类到同一数据簇中，将全部数据中的车道2中的直行指示箭头这一道路要素分类到同一数据簇中，将全部数据中的车道3中的右转指示箭头这一道路要素分类到同一数据簇中。
[0070]
s3,判断每个数据簇所对应的道路要素形状是否为不规则多边形。
[0071]
其中，预先标定每一种道路要素类型与不规则多边形的对应关系，例如，合流箭头对应不规则多边形，车道边线对应规则多边形。因而可以根据先验条件，判断该道路要素是否为不规则多边形；若满足这一条件，则进入s4；若不满足这一条件，则采用其他聚合方法实现车道级道路要素的拟合，本实施中主要是对不规则多边形对应进行角点聚合。
[0072]
本实施例中，规定对于道路要素中导流线、箭头类型、合流箭头、绿化带等类型判断为不规则多边形，这些多边形不是单纯的矩形、菱形或者平行四边形，而是会根据道路的宽度、行驶趋势等场景适配自身的大小(箭头)或面积(导流带、绿化带)。
[0073]
s4,若为，则将这一数据簇确定为目标数据簇。
[0074]
例如，对于上述的合流箭头所在的数据簇确定为一个目标数据簇。
[0075]
步骤s5，对每一目标数据簇均执行：
[0076]
s51,确定目标数据簇的各多边形对象的全部角点坐标，再确定各多边形对象的每个角点的角度大小和角方向。
[0077]
其中，在同一目标数据簇情况下，将采集到的每个多边形对象数据提取出来，遍历每组多边形数据的顶点，确定每个对象中所有的角点坐标。每个多边形对象的角点个数是不确定的，至少3个顶点，这取决于车端通过gnss、slam视觉传感器和imu采集数据的精确度以及地面标志本身形状的曲线度和复杂度。
[0078]
然后，以每个角点为基点，确定连接每个角点的两条矢量，并通过这两条矢量，根据几何关系计算出以这两条矢量构成的角点的角度大小和角方向。
[0079]
具体来说，已知该角点a的角点坐标为(xa,ya)，能通过点序关系获得角点a的下一个角点b的坐标(xb,yb)和上一个角点c的坐标(xc,yc)，从而构建两条矢量结果，以表示连接角点a的两条矢量边(模即为边的长度)：
[0080][0081][0082]
进一步的，求得构成角点a的两条矢量后，将两条矢量的角平分线作为角点a方向bisector_a,其计算过程可表示为：
[0083][0084]
其中，角点a的角平分线的角度范围为0～180
°
。
[0085]
进一步的，可以根据以下公式求出角点a的角度大小：
[0086]
[0087]
s52,对角点的角度大小不满足预设要求的部分角点坐标进行剔除。
[0088]
具体来说，当一个多边形对象的所有角点都用矢量结果表示完并计算出每个角点的角点特征后，剔除角度在160
°
～180
°
之间的角点，并对图形做边缘抖动处理，重新生成一组数据量减少后的目标数据簇。针对那些角度在160
°
～180
°
之间的角点，本实施例中认为这些角点属于直线抖动误差，实际在一条水平线上，可忽略不计，并利用数字滤波技术处理图形边缘抖动问题。
[0089]
s53,基于角点剔除后的目标数据簇，将全部多边形对象中具有相同特征的角点聚合为一个角点簇，得到多个角点簇。
[0090]
该步骤s53中，根据改进的dbscan聚类算法将具有相同特征的角点聚成一簇，改进的dbscan算法改进在：利用角点角度大小、角点方向和角点的欧拉距离这三个度量条件，并衡量各自条件所占的权重值构造算法函数。
[0091]
其中，步骤s53包括：
[0092]
s531，将目标数据簇的任一多边形对象的任一角点标识为角点e，以目标数据簇中的剩余多边形对象的任一角点标识为f；
[0093]
s532，计算角点e和角点f之间的欧拉距离；
[0094]
s533，以角点e为基点，基于角点e的角度大小、角点f的角度大小、角点e的角平分线与x轴的顺时针旋转角度、角点f的角平分线与x轴的顺时针旋转角度、角点e和角点f之间的欧拉距离，计算角点e和角点f之间的特征差；
[0095]
s534，若角点e和角点f之间的特征差小于预设半径阈值，则将角点e和角点f划分为一个角点簇；
[0096]
s535，以角点f作为基点，对角点f和除角点e和角点f各自所在的多边形对象之外的剩余角点，均重复执行步骤s532-s534，确定基于角点e聚合的角点簇；
[0097]
s536，以角点e所在的多边形对象中除角点e之外的其它角点作为基点，重复执行步骤s531-s535，确定得到全部角点簇；
[0098]
s537，对各角点簇执行：将角点数量小于预设角点数量的角点簇剔除，并保留剩余的角点簇。
[0099]
s533中,
[0100]
通过公式：
[0101][0102]
计算角点e和角点f之间的特征差result，其中，anglee表示角点e的角度大小，anglef表示角点f的角度大小，bisectore表示角点e的角平分线与坐标系x轴的顺时针旋转度数，bisectorf表示角点f的角平分线与坐标系x轴的顺时针旋转度数，eps
angle
表示预设角度阈值，eps
bisector
表示预设角平分线与x轴的顺时针旋转度数阈值，|dist(e)-dist(f)|表示角点e和角点f之间的欧拉距离；α为所占的权重值，β为所占的权重值，γ为|dist(e)-dist(f)|所占的权重值，α、β和γ的值根据层次分析法确定。
[0103]
通过上述公式最终获得的result结果根据实际情况定义的预设半径阈值eps和半径内所允许的最小点个数minpts，若一个角点周围满小于预设半径阈值eps内这一条件，且在半径范围内与其result值相近的其他角点个数不少于预设角点数量minpts，则将具有相同角点特征的点划分为一簇，并将其中一个角点作为下一循环开始，持续扩张该簇。直到所有的点都被遍历一遍，即都被分类。在此过程中，同步将不满足minpts条件的点作为噪音点。
[0104]
s54,分别基于各角点簇对应的多个角点坐标确定一个目标角点坐标。
[0105]
先将角点按照cluster_id进行分组，剔除噪音点，通过以下的均值算法求出每个簇的质心点作为多边形的顶点坐标：
[0106][0107]
其中，clusternum表示剔除噪音点后的角点簇的数量，average
xi
和average
yi
表示第i个角点簇的中心顶点坐标，pointnumi表示第i个角点簇中角点的个数。
[0108]
s55,将最终确定的全部目标角点沿同一方向依次相连形成的多边形确定为目标数据簇中的多边形对象的最终形状。
[0109]
具体来说，按照顺时针依次连接各个目标角点，最终形成多边形拟合结果。
[0110]
未来将会继续接收众包数据，考虑到每辆车每次采集的数据都会有差异，本发明将处理后的旧数据融合进新接受的数据中，通过不断学习校正拟合结果，实现基于深度学习的迭代更新。
[0111]
本实施例中，将角点特征作为深度学习的迭代对象，使得在高效、高质量的前提下实现不规则地面标志的图形拟合，从而助力于高精地图的生产。在同一聚类簇中，首先提取每个对象的角点特征，确定每个角点的角度和方向；随后按照一定条件对特征角点进行过滤，比如做抖动边缘处理或者根据先验知识剔除部分角点；然后基于改进的dbscan聚类算法将具有相同特征的角点聚成一簇，并通过均值算法确定多边形顶点；最终按照点序顺序连接各个顶点，实现不规则道路要素的拟合，同时利用深度学习实现该道路要素的实时迭代更新，弥补视觉传感器采集数据不完整、图形漂移等问题，确保可靠信度。
[0112]
图2为本发明所述的获取多边形角点特征逻辑框图。每个对象多边形的角点个数是不确定的，至少3个顶点，这取决于车端通过gnss、slam视觉传感器和imu采集数据的精确度以及地面标志本身形状的曲线度和复杂度。已知该角点a的角点坐标，能通过点序关系获得角点a的下一个角点b的坐标和上一个角点c的坐标，从而构建以角点a为原点的两条矢量结果，并将两条矢量的角平分线作为角点a方向，角度范围为0～360
°
；将两条矢量的夹角作为角点a的角度大小，角度范围为0～180
°
；两角点之间的距离用欧拉距离表示。以此获得多边形的三大角点特征。
[0113]
图3为本发明所述的确定基于多个对象的多边形顶点聚类效果图。以实施例为例，灰色图形表示在云端获取众包数据、提取符合条件的道路要素、数据预处理后得到的多个待拟合的对象图形；黑色圆点表示在基于角点特征的dbscan聚类算法后，通过均值算法确定最终的多边形顶点位置。
[0114]
本发明还提供了一种众包地图地面标志聚合装置，包括：
[0115]
获取模块，用于获取各众包车辆上传的数据包，一个数据包中包含一个众包车辆
对其采集的多帧图像分别处理后的多条数据，一条数据包含对一帧图像按道路要素进行静态地物语义识别后得到的至少一个道路要素结果；
[0116]
分类模块，用于基于道路要素类型对所有数据包中的全部数据进行分类，得到多个数据簇，一个数据簇包含同一道路要素类型的至少一条数据；
[0117]
判断模块，用于判断每个数据簇所对应的道路要素形状是否为不规则多边形；
[0118]
目标数据簇确定模块，用于若为，则将这一数据簇确定为目标数据簇；
[0119]
处理模块，用于对每一目标数据簇均执行：
[0120]
确定目标数据簇的各多边形对象的全部角点坐标，再确定各多边形对象的每个角点的角度大小和角方向；
[0121]
对角点的角度大小不满足预设要求的部分角点坐标进行剔除；
[0122]
基于角点剔除后的目标数据簇，将全部多边形对象中具有相同特征的角点聚合为一个角点簇，得到多个角点簇；
[0123]
分别基于各角点簇对应的多个角点坐标确定一个目标角点坐标；
[0124]
将最终确定的全部目标角点沿同一方向依次相连形成的多边形确定为目标数据簇中的多边形对象的最终形状。
[0125]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。