基于先验推理的在线车道级定位方法及系统与流程
本发明涉及的是一种高级驾驶辅助系统(adas)领域的技术，具体是一种基于先验推理的在线车道级定位方法及系统。
背景技术：
现有高级驾驶辅助系统的主要技术问题为单个车辆自主感知周围的环境，而能识别车道和可行驶区域就是该问题的基础一环。而另一方面，除了实现单车的感知能力，关于车辆之间互联互通的课题需要车辆能即时构建与其他车辆短距离的网络。但是目前的专用短距离无线通信系统(dsrc)能分配的网络频谱带宽资源较少，根据可行驶区域和车道级的感知信息结合进来形成资源的复用将会是一个重要的解决方案。基本的解决方法是识别所有的车道线，以及可行驶区域范围，从而得到当前所在车道序数。传统的方法是通过对于单帧图片的图像处理，提取车道线特征，获得车道线位置。但是这些方法大多只是检测临近车道；对于图像中的噪声影响无法做出稳定的结果；面对遮挡时，也无法进行检测判断。近年来基于大数据的深度学习技术的发展，利用卷积神经网络检测车道线，在各自数据集上取得了不错的进展。但是基于深度学习的技术无法保证迁移性，就是在不同数据场景中无法保持与在训练数据集上能相媲美的性能；也无法基于车道间的距离位置关系进行对比。
技术实现要素：
本发明针对现有技术存在的上述不足，提出一种基于先验推理的在线车道级定位方法及系统，基于单目视觉视频图像，通过对道路上元素位置的常识推理得到车道线的位置，通过多帧之间联合做出推理假定的判断，同时识别可行驶区域的范围，最终确定当前车道所在的车道序数。
本发明是通过以下技术方案实现的：
本发明涉及一种基于先验推理的在线车道级定位方法，通过从单目视觉视频图像中提取车道线的特征并根据车道线消失点进行路面结构检测；然后基于几何先验生成车道线分布假设并基于多帧联合判断确认分布假设得到车道线；再进行车辆的目标检测与可行驶区域分割辅助，最后确认当前车道定位结果。
所述的车道线消失点是指：三维空间中平行的直线，在成像图片中会汇聚于同一点，这样的点就是消失点；在行驶道路场景下，由于大多数主要的线条方向与车道线的线条方向相近，所以车道线及其延长线就会在图像中形成一个主要的消失点。对于一张给定的道路场景的图片，检测其主要的消失点就可以帮助预先判断车道线的方向，同时过滤上述提取的边缘特征，从而极大地为进入下一步的输入过滤噪声。
本发明涉及一种实现上述方法的系统，包括：车道线特征提取单元、车道线推测单元、车道线确认单元、目标检测单元和行驶区域分割单元，其中：车道线特征提取单元与车道推测单元相连，提供图像中的候选特征线段信息；车道线推测单元与车道线确认单元相连，提供候选的单帧车道线分布假设信息；车道线确认单元通过连续多帧联合判断确认车道线分布情况；目标检测单元和行驶区域分割单元与车道线确认单元相连，确认车道线分布的边界。
技术效果
本发明整体解决了通过单目视觉技术确定车辆所在车道线序数，实现车道级定位的技术问题；与现有技术相比，本发明仅需要单目视觉图像即可利用几何先验知识，赋予感知模块推理能力。
附图说明
图1为本发明流程图；
图2为短线段提取结果示意图；
图3为成像原理图；
图4为车道线汇聚消失点示例示意图；
图5为消失点候选点集示意图；
图6为投票得分热力图示意图；
图7为消失点检测结果示意图；
图8为交比定理示意图；
图9为车道截线示意图；
图10为车道线推理算法效果示意图；
图11为多帧车道分布推测串示意图；
图12为车辆区域边框检测示意图；
图13为可行驶区域检测示意图；
图14为车道定位结果示意图；
图15为真实分布假设排名实验图；
图16为车道序数结果实验图。
具体实施方式
如图1所示，为本实施例涉及一种基于先验推理的在线车道级定位方法，通过从单目视觉视频图像中提取车道线的特征并根据车道线消失点进行路面结构检测；然后基于几何先验生成车道线分布假设并基于多帧联合判断确认分布假设得到车道线；再进行车辆的目标检测与可行驶区域分割辅助，最后确认当前车道定位结果。
所述的提取车道线的特征，得到图像中哪些位置的线段候选车道线。本实施例中使用基于边缘检测的方式提取初步特征，通过霍夫变换检测短线段，得到图像中边缘检测的短线段集，即候选特征线段集，其结果如图2所示。
所述的路面结构检测是指：通过检测候选特征线段集中的车道线消失点，由此过滤候选特征线段集中的噪声线段。确认了消失点的位置使得候选车道线的线段有了方向性的约束，这样合并调整保留的特征线段，成为汇聚于消失点特征直线，最终得到候选特征直线集。
所述的车道线消失点，通过基于投票判定、多帧联合的方法检测得到，具体包括：
①当提取得到的特征线段两两相交得到的候选消失点时，该候选消失点获得的投票得分，是由两相交线段的长度、两相交线段的角度共同决定的，投票函数|l1|·|l2|·exp(φ(θ1))·exp(φ(θ2))，其中：
②将连续多帧之间的消失点热力图进行求和平均，然后取平均热力图中得分最高的坐标作为消失点检测的结果，消除在某一帧由于噪声引起的偏离的消失点检测结果。得到的消失点坐标可以经过卡尔曼滤波进一步跟踪平滑，但是在实际实验中，发现仅热力图平均的方法已能得到较好的消失点检测结果，为节省计算资源，可以略去卡尔曼滤波跟踪步骤。
③得到消失点的坐标后，对于之前通过边缘检测提取的候选特征线段集，设定距离阈值，将到消失点的距离大于阈值的候选特征线段过滤，表明保留的候选特征线段是汇聚于消失点的，候选车道线的线段。距离阈值的选取与图片大小有关，可以选取10到15像素左右，若图片较大，可以更为放宽。保留的候选特征线段延长变为直线，经过调整，使其穿过消失点，并且通过直线斜率相近进行聚类合并，从而得到一个汇聚于消失点的候选特征直线集。
所述的基于几何先验进行车道线推测是指：i).通过射影几何中的结论可以对已知的车道线推理远处车道线的位置，得到车道线在图像中位置分布的假设。ii).通过对候选特征直线集中特征直线之间的位置关系分析，推测哪些直线候选车道线，并形成单帧中一系列车道线分布假设。
如图10所示，所述的推理远处车道线的位置是指：当有四条直线交于一点的情况下，使用直线去截这四条线，与这四条线交于四个点。对于这四个点之间所夹的三段线段的交比的值不随截取直线变化而变化，即
如图9所示，所述的推理远处车道线的位置，优选进一步在两条车道线之间所夹的车道宽度近似相等的前提下，设定图像中存在一条于三维世界地面平行的直线，与四条车道线在图像中表示的四条直线相截，截取的三段线段是相等的，即交比的值为4/3；因此已知三条车道线时，通过预设的交比的值，将第四根车道线扩展出来。从而依次类推，就能够得到远处车道线的位置。
所述的推理远处车道线的位置，具体步骤包括：
1)从特征直线集中，任选三根特征直线生成分布假设计算代价太高，可以改为由两根特征直线去生成。但是车道线等距的假设是在三维世界的地面水平面的方向有效，但三维世界的地面水平面的方向在图像中不知道是什么方向，所以不知道将两根特征直线的截线段沿什么方向等距的扩展。为解决该问题，可以预先生成一组候选角度的直线去截这两条特征直线。在每个角度下，斜截线和任意两条候选直线相交得到截线段，并与从截线段临近特征直线、到远处的特征直线依次相交。对于该截线段，即可沿着斜截线的方向做等距扩展，这样扩展的结果就代表一个以这两条特征直线生成的车道线分布假设。在某个斜截线角度下，如果截取的线段真的是车道线，经过等距扩展后的推测直线应该与其他的代表真实车道线特征直线相近，则获得相近的特征直线的投票。
2)如此对于特征直线集中的两两特征直线都可以生成分布假设，并获得其他特征直线的投票。可以选取其中得分最高的车道线分布假设作为当前帧的车道线分布预测结果；但是，由于基于单帧得出的投票结果，受到候选直线集合中噪声直线的干扰，其中得分最高的分布假设不是真实车道线分布的情形。但是经过实验表明，与真实车道线分布相近的车道线分布假设得分都能排名前列。于是考虑选取排名较高的一系列车道线分布分布，将其存储为当前帧的分布假设系列，为之后的帧做多帧联合判断作为输入。
所述的基于多帧联合判断确认推测得到的车道线是指：对于每一帧都有一系列车道线分布假设。对于来自连续两帧中的两个不同的车道线分布假设，由于消失点检测的算法保证了来自连续的消失点位置相近，所以如图11所示，可以基于斜率角度的变化如下定义前一帧中的一个分布假设与下一帧中的一个分布假设之间的不相似性。对于一个分布假设，选择当前车道及临近的左右两根车道线共四根车道线作为其代表。将两个分布假设的四根车道线根据是当前车道还是左右车道做一一对应，计算对应车道线之间的角度的差值，差值绝对值的和作为这分别来自前后两帧的两个车道线分布假设之间不相似程度。在一个多帧窗口中，从每帧中各找出一个车道线分布假设，使得这一串连续帧里的车道线分布假设之间的总不相似程度最小。从而确认在这个多帧窗口中，每一帧的一个车道线分布假设情况。
计算上述的多帧窗口中的车道线分布假设串，使用动态规划方法得到最优解，具体为：在这个多帧窗口中，对于某一帧的某一个车道线分布假设，递归地计算从第一帧起到该帧为止，最终选择该分布假设为该帧的结果，使得累计不相似程度最小的分布假设串。具体做法是从多帧窗口的第二时刻起，对其中每一个分布假设，计算第一帧到其最优的分布假设串，这样依次向后递推，直到最后一个时刻，选择其中累计不相似值最小的分布假设串。
所述的车辆的目标检测，采用但不限于单阶段目标检测算法，使用yolo算法满足该需求。所述的可行驶区域分割辅助是指：基于卷积神经网络的图像分割算法，在公开数据集上进行训练，迁移到目标场景中检测道路上的可行驶区域。
所述的确认当前车道定位结果，即车道线向外延扩展并确定扩展的边界，具体为：在获取了当前图像的可行驶区域，以及车道线的分布假设后，从当前车道开始，向外延扩展。每扩展一根车道，选择车道内部的区域，计算该车道区域内的面积，和该车道区域内可行驶区域的面积，两者的交并比。若两者的交并比超过一定阈值，则判定该车道存在，继续向外扩展；否则认为该车道不存在，停止向外扩展，同时确定车道线分布的边界。对当前车道的左边和右边分别做扩展延伸及边界判断，则可以得到当前图像中整体的车道线分布结果，从而确定当前车道是在第几根车道上，得到车道级定位的结果。
如图12～图14所示，依次为实施例中车辆区域边框检测、可行驶区域检测以及车道定位结果示意图，本实施例效果监测具体如下：
一、消失点检测：首先根据车道线的真实标注生成消失点的标注。实验测试了消失点检测方法在单帧检测和多帧平滑检测情况下，与真实标注的误差(单位：像素)。数据图片大小是1280×720，统计的平均结果如表1所示。注意使用了多帧平滑降低了消失点的误差，使得误差在允许范围内。
表1
消失点误差，图像大小1280×720
二、推理远处车道线算法：对于标注的四根车道线，选择其中三根车道线，按所述算法推理第四根车道线的位置，并于第四根车道线的真实标注关于：1.直线角度的误差比较；2.在车道线上进行点的采样，比较推理线和真实线之间采样点的平均距离误差(单位：像素)。实验误差结果如表2所示。
表2
车道线推理算法与真实标注偏差值
三、车道线假设投票排序算法：对于每一帧的得到的车道线分布假设的排名，需要证实贴近真实车道线分布的获得较高的排名。根据实验统计了每帧贴近真实车道线分布的分布假设最高排名情况，并如图15所示绘制了累计积分图(cdf图)。可以观察得到贴近真实车道线分布的分布假设排名基本在前五之内。
四、车道线定位结果：通过多帧联合判断和可行驶区域分割辅助，获得了所在车道序数。通过实验，统计预测车道序数与标注的车道序数之间的序数误差，如图16所示绘制了累计积分图(cdf图)。可以观察到与真实的误差基本在两根车道以内。总结而言，预测结果会受到不准确的可行驶区域分割影响。但实验效果显示本发明能够提供目前驾驶辅助系统推理车道能力，并为将来基于车道线序数分配网络资源的车联网系统的感知模块打下基础。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。
- 还没有人留言评论。精彩留言会获得点赞！