基于立体视觉目标的辅助驾驶系统及方法与流程

本发明涉及智能交通技术领域，特别是涉及一种基于立体视觉目标的辅助驾驶系统及方法。

背景技术：

随着公路智慧化运输时代的来临，智能车辆的概念日益普及，驾驶人针对车辆主动安全的功能诉求日益重要。然而目前行驶于公路上的车辆，仍须仰赖驾驶人全程操作行进。尽管交通部不断倡导公路交通安全的观念，道路交通事故的肇事率仍然居高不下，表明道路交通安全的改善成效已达到瓶颈。

根据交通部的统计信息指出，道路交通事故的肇事主因，以疲劳驾驶、酒醉驾驶、驾驶人分心、未注意四周路况等案例为大宗。此外，交通部道路交通安全督导委员会更进一步针对常态驾驶行为分析平时可能成为肇事因子的状况。驾驶人随时由于内在情绪与外在环境影响路况识别能力，难以每一分每一秒都专注于留意四周路况，致使每一位驾驶人所留意的先后顺序不一，容易遗漏关键路况信息，充分显示道路的交通需要进行大幅度的提升。

智能交通系统领域的研究也是未来阶段研究的核心。特别是在计算机技术、通信技术不断发展的背景下，对于促进智能交通系统的发展具有重要作用，能够在未来发挥出全方位、大范围的效果，促使交通管理系统朝着准确、实时以及高效的方向发展。

近年来，在智能交通系统中逐渐加大了计算机视觉应用，而在智能交通系统中的具体应用可划分为两个方面。其一是路边视频监视系统；其二是车载自动驾驶系统。其中前者是指在道路上方或者路边安装摄像机，主要的作用是将车辆位置、速度以及类型等信息传输到智能交通系统中；后者的特点是摄像机是随着车辆而进行运动的，主要能够对车身周围的情况以及司机的疲劳状态等情况进行监督并传输到系统当中。

针对立体视觉识别的问题与研究现况深入探讨，如何通过双镜头图像识别共同像素特征并获得特征景深信息，将是立体视觉识别算法过程的主要瓶颈。探索当前的发展现况，立体视觉可应用的范围已广泛延伸至生活周遭各领域，但若要将图像内所有的特征进行立体视觉识别，一来将带来繁杂却不必要的额外算法数据，二来过长的算法时间将难以达到实时化视觉识别与服务控制的系统要求。

因此，针对上述技术问题，有必要提供一种基于立体视觉目标的辅助驾驶系统及方法。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于立体视觉目标的辅助驾驶系统及方法。

为了实现上述目的，本发明实施例提供的技术方案如下：

一种基于立体视觉目标的辅助驾驶系统，所述辅助驾驶系统包括：

图像采集单元，包括设于汽车上部位置的2个镜头，分别采集行车前方的路况场景图像；

特征转换单元，将采集后路况场景图像的有效特征转换为空间坐标信息；

特征识别单元，用于识别路面上的标记标线和前方的指示牌。

作为本发明的进一步改进，所述图像采集单元中2个镜头中心高度h为1.5米，2个镜头间距b为0.5米。

本发明实施例提供的技术方案如下：

一种基于立体视觉目标的辅助驾驶方法，所述方法包括：

S1、通过汽车上部位置的2个镜头分别采集行车前方的路况场景图像；

S2、将采集后路况场景图像的有效特征转换为空间坐标信息；

S3、识别路面上的标记标线和前方的指示牌，辅助驾驶人强化前方路况的视觉识别。

作为本发明的进一步改进，所述步骤S1还包括：

对路况场景图像进行局部边缘裁剪，以使水平方位与垂直方位都相同。

作为本发明的进一步改进，所述步骤S2包括：

将特征由三维空间坐标系统转换至二维像素坐标系统；和/或

将已知的图像共同特征由二维像素坐标系统求得景深，进一步转换至三维空间坐标系统。

作为本发明的进一步改进，所述步骤S2中的有效特征包括双黄实线、右侧红线、左侧红线的像素特征。

作为本发明的进一步改进，所述步骤S3具体为：

S31、以MedianFilter矩阵处理10次，再与原图相减求得图像；

S32、Sobel滤波器先以矩阵S_x处理滤除路面可能出现的阴影，再以矩阵S_xy求得二阶边缘特征分布图像；

S33、将同性质区域的高频成分滤除；

S34、根据图像处理经验选取二值化阈值；

S35、二值化图像先后由原图与负片转换，分别以卷标化处理，根据噪声卷标尺寸设定高通过滤阈值，滤除小尺寸的噪声与孔隙；

S36、噪声滤除后的区块再次以标签化处理，根据路面区域卷标的尺寸，选定滤通上限与下限阈值，将路面特征滤出；

S37、依据行车正前方位在图像平面的位置，路面区域坐落于图像下方。

作为本发明的进一步改进，所述步骤S34中的二值化阈值为80％至95％灰阶分位。

作为本发明的进一步改进，所述步骤S37还包括：

滤除上方区域，并采集下方图像区域作为ROI兴趣区域。

本发明的有益效果是：

本发明对驾驶人识别车前方路况的过程以及视觉信息读取行为进行重现，借助于立体视觉图像来对行车前方道路场景识别的算法处理方法，模拟并重现驾驶人的视觉识别处理模式，能够在不同的气候环境下，识别路面上的标记标线和前方的各类指示牌，辅助驾驶人强化前方路况的视觉识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于立体视觉目标的辅助驾驶系统的模块示意图；

图2为本发明行车正前方位的概念示意图；

图3为本发明基于立体视觉目标的辅助驾驶方法的流程图；

图4a～4d分别为本发明一具体实施方式中左侧标线特征滤出、右侧标线特征滤出、左侧绿色标记坐落的v坐标、右侧绿色标记坐落的v坐标的示意图；

图5为本发明一具体实施方式中特征识别的具体步骤图；

图6a、6b分别为左侧特征识别处理、右侧特征识别处理的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图1所示，本发明公开了一种基于立体视觉目标的辅助驾驶系统，包括：

图像采集单元10，包括设于汽车上部位置的2个镜头，分别采集行车前方的路况场景图像；

特征转换单元20，将采集后路况场景图像的有效特征转换为空间坐标信息；

特征识别单元30，用于识别路面上的标记标线和前方的指示牌。

本发明立体视觉是以平行镜头为基础，参图2所示，安装在汽车上部位置的2个镜头11代替真实人的视觉，本发明选定一处道路场景，并在镜头前方路面处以固定间距黏贴绿色胶带，以标记空间坐标的位置，再以平行双镜头架构采集行车前方图像。通过本发明介绍的有效特征识别策略与深度信息处理，将图像有效特征反转换为深度信息，并与现场估测的空间坐标位置进行误差比对，协助评估模拟成效。

优选地，本发明中镜头中心高度h＝1.5米，双镜头间距b＝0.5米，焦距f，坐标方向遵照向量外积的右手定则，以针孔成像原理建构坐标系统。行车正前方位，意指相对于车辆直行轨迹的方向与路面的起伏方向呈平行的方位，如图2所示。求得行车正前方位对应于两侧镜头的像素坐标位置，将有利于保留图像下方保留ROI区域，并提供坐标系统转换的基准。

参图3所示，本发明还公开了一种基于立体视觉目标的辅助驾驶方法，该方法包括：

S1、通过汽车上部位置的2个镜头分别采集行车前方的路况场景图像；

S2、将采集后路况场景图像的有效特征转换为空间坐标信息；

S3、识别路面上的标记标线和前方的指示牌，辅助驾驶人强化前方路况的视觉识别。

本发明在理想的投影成像条件下，不考虑透镜扭曲产生的误差，可直接以相似三角形的关系，将特征由三维空间坐标系统转换至二维像素坐标系统，亦可将已知的图像共同特征由二维像素坐标系统求得景深，进一步转换至三维空间坐标系统。然而在两者坐标系统间的线性转换过程当中，仍需要通过已知的空间坐标方位校正对应于像素坐标的位置，作为坐标系统转换的基准。

除了坐标系统转换的基准，行车正前方位在像素的位置亦可提供视觉识别路面与车道标线的图像处理过程中，选取空间坐标中，水平面以下的兴趣区域ROI处理。在本发明探讨的道路场景中，已确定路面与车道标线都位于空间坐标的水平线以下，因此若仅考虑处理水平线以下的图像区域，便有利于确保路面与车道标线特征的识别效果，避免有效特征区域混淆等不必要的处理问题出现。例如天空与路面同属二阶高频成分较低的区域，利用行车正前方位选取ROI处理，可避免天空被视为路面特征的一部分。

本发明根据模拟架构采集道路场景，为使双镜头采集图像的水平方位与垂直方位都相同，本发明将图像进行局部边缘裁剪，以达到水平方位与垂直方位都相同的条件，因此本仿真识别所采用的图像长宽尺寸为(736*592)。系统通过平行双镜头所采集的图像，首先根据前述的特征识别策略，属于白天场景模式，通过前面的识别车道标线识别策略，将像素格式由RGB转为HSV色系，并以所选取的HSV色系阈值，将中央双黄实线与两侧红色标线特征滤出，如图4a、4b所示。

为了比对特征景深所计算的坐标分布结果相较于实际估测位置的差异，本发明在路面的车道标线旁黏贴绿色胶带作为标记，由镜头拍摄位置为起始原点，以行车正前方位为延伸方向，固定每5米作为标记间距。通过平行双镜头采集图像后，利用图像读取绿色标记坐落的v坐标，如图4c、4d，再将路面上所黏贴的标记位置，由景深z坐标对应于像素的v坐标逐一记录。行车正前方位坐落于两侧镜头图像的像素坐标位置，亦为坐标系统的原点。

在本发明的模拟架构中，已预先将FOE设为已知坐标，并在后续仿真处理锁定于静态图像属性，因此在仿真架构中所探讨的处理过程将采静态图像为主，选用CANON IXUS960IS Digital Camera作为静态图像采集来源。其中路面特征识别策略与算法流程如图5所示，具体流程步骤如下：

S31、根据强光阴影，以适应性亮度均匀化机制处理景物照度不均的问题。先以MedianFilter矩阵[5×5]处理10次，再与原图相减求得图像；

S32、Sobel滤波器先以矩阵S_x处理滤除路面可能出现的阴影，再以矩阵S_xy求得二阶边缘特征分布图像；

S33、为保留远处路面有效特征，先以Median Filter矩阵尺寸[3×3]处理5次，再以矩阵[5×5]处理5次，将同性质区域的高频成分滤除，以利于后续二值化阈值选择；

S34、根据图像处理经验，选取80％至95％灰阶分位作为二值化阈值；

S35、二值化图像先后由原图与负片转换，分别以卷标化处理，根据噪声卷标尺寸设定Size Filter高通过滤阈值，滤除小尺寸的噪声与孔隙；

S36、噪声滤除后的区块再次以标签化处理，根据路面区域卷标的尺寸，选定Size Filter滤通上限与下限阈值值，即可将路面特征滤出；

S37、视处理结果而定，依据行车正前方位在图像平面的位置，路面区域坐落于图像下方，为避免上方低频图像区域被一并滤出，可在处理过程中，滤除上方区域，并采集下方图像区域作为ROI兴趣区域。

特征识别之后求得校正后的内部参数，即可根据针孔成像原理，以相似三角形的几何推导概念，将特征投影在两侧图像已知的像素坐标与通过矩阵等式转换。特征通过矩阵转换至空间坐标分布的仿真结果，将以表格与图文件呈现转换坐标与仿真图示。依序独立显示双黄实线、右侧红线、左侧红线的像素特征识别对应坐标，并各自针对现场估测的特征坐标位置进行误差比对分析。

根据仿真结果，分析图像特征识别位置在空间坐标中，相较于现场估测特征理想位置之间的偏移误差。以d作为图像特征识别位置与现场估测理想位置之间的距离误差，如下表示：

根据双黄实线特征的立体视觉识别结果进行分析。由于景深坐标80与85米的水平线并未经过双黄实线，因此未能得到明确的特征坐标信息。景深坐标75米处的特征，由于位处于双黄实线的末端，形状略偏不规则所影响，加上远处像素分辨率不佳的缘故，导致双镜头图像所采集的共同特征，水平偏移量(Disparity)采集的精度不足，通过算法转换的空间坐标位置亦因而明显失真。而近距离坐标15米处的特征，由于右侧镜头捕捉的图像范围有限，仅采集到局部的双黄实线，因此无法求得真实的双黄实线中心位置。

本实施例中镜头离地面高度为0.7米，有效特征识别处理后的左右两侧图像分别如图6a、6b。最后将4条水平线搜寻的有效特征，分别计算双黄实线与右侧红线的空间坐标信息，采集水平线所搜寻两点特征的深度信息z坐标，并求得平均值。本实施例的最上方的水平线，由于右侧并未两侧图像都能搜寻到有效特征而无法求得其深度信息，因此以双黄实线的深度信息呈现。

白天且理想的气候场景模式，识别路面与车道标线的稳健性，可达到所要求的标准。

由上述技术方案可以看出，本发明具有以下有益效果：

本发明对驾驶人识别车前方路况的过程以及视觉信息读取行为进行重现，借助于立体视觉图像来对行车前方道路场景识别的算法处理方法，模拟并重现驾驶人的视觉识别处理模式，能够在不同的气候环境下，识别路面上的标记标线和前方的各类指示牌，辅助驾驶人强化前方路况的视觉识别。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。