基于三摄像机协同的大范围车道线视觉检测方法
【专利摘要】本发明涉及一种基于三摄像机协同的大范围车道线视觉检测方法，属于机器视觉和自动驾驶【技术领域】。对三个摄像机采集的图像使用霍夫直线检测的方法检测所有直线，霍夫直线检测方法从整个搜索区域的角度搜索所有可能是直线的点集，因此遗漏车道线的情况较少，对于地面杂物干扰和车道线部分被遮挡的情况处理效果较好。因为霍夫变换算法运算量较大，为了提高效率，先对图像进行初步处理，对得到的感兴趣区域的边沿图像进行霍夫直线检测，大大减小了霍夫检测的计算量，同时也减少了干扰。
【专利说明】基于三摄像机协同的大范围车道线视觉检测方法
【技术领域】
[0001]本发明属于机器视觉和自动驾驶【技术领域】，具体涉及一种基于三摄像机协同的大范围车道线视觉检测方法。
【背景技术】
[0002]本随着汽车数量的日渐增多，交通问题日益严重，对于汽车的智能自主性、行驶安全性以及辅助驾驶技术的研究成为当前的热点，而对于车道线的稳定检测和跟踪是实现汽车自动驾驶或者安全辅助驾驶的基础和关键。视觉检测较其他传感器检测方法具有使用灵活、分辨率高等特点，是车道线检测的理想方式。
[0003]当前的视觉车道线检测方法多采用基于边缘检测的识别法、车道线模型匹配法、最小二乘拟合法，这些方法对于连续且干扰较少的情况较为适合，而对于具有斑马线、地面转向标志以及阴影等其他多种干扰的实际交通道路而言往往不易于实际应用。而基于霍夫直线检测方法具有较强的抗干扰能力和很高的识别准确率，适于进行车道线检测。而使用霍夫直线检测方法识别车道线的系统往往只使用一个摄像机检测车道线，检测范围有限，当出现不正常转向、颠簸等情况很容易因视野丢失车道线而产生误识别，并不能充分发挥霍夫直线检测方法的优势。
【发明内容】
[0004](一 )要解决的技术问题
[0005]本发明要解决的技术问题是:如何设计一种基于三摄像机协同的大范围车道线视觉检测方法，提高视觉检测车道线的准确率和可靠性。
[0006]( 二 )技术方案
[0007]为了解决上述技术问题，本发明提供了一种基于三摄像机协同的大范围车道线视觉检测方法，包括以下步骤:
[0008]S1、将第一、第二和第三摄像机的分辨率分别降为640X480、320X240,320X240,
其中，第一摄像机设置在车辆挡风玻璃上部，第二摄像机位于所述第一摄像机的右侧，第三摄像机位于所述第一摄像机的左侧，且第二摄像机和第三摄像机的安装位置低于第一摄像机的安装位置；
[0009]S2、利用第一、第二和第三摄像机分别采集车道线图像；
[0010]S3、设定第一摄像机采集的图像的下三分之二作为感兴趣区域，用于进行车道线检测；
[0011]S4、将所述感兴趣区域，以及第二和第三摄像机采集的车道线图像进行预处理；
[0012]S5、对步骤S4处理后的图像进行霍夫变换，将检测到的直线以极坐标形式保存；
[0013]S6、遍历对第一摄像机采集的图像进行处理所得到的所有直线，并转化为直角坐标形式，根据第一摄像机的映射矩阵将直角坐标从图像坐标系转换到世界坐标系，根据第一摄像机采集的图像中车道线的特征确定车辆到左车道线的偏离距离和车辆到右车道线的偏离距离；同时，遍历对第二、第三摄像机采集的图像进行处理所得到的所有直线，并分别转化为直角坐标形式，分别根据对应的映射矩阵将直角坐标从图像坐标系转换到世界坐标系，再分别根据第二和三摄像机采集的图像中车道线的特征确定:第二摄像机采集的图像中左车道线到车辆的偏离距离，以及第三摄像机采集的图像中右车道线到车辆的偏离距离；将所得到的所有车辆到右车道线的偏离距离值分别折合为车辆到左车道线的偏离距离，再取所得到的所有车辆到左车道线的偏离距离的平均值作为最终的结果。
[0014]优选地,步骤S4具体包括:
[0015]S41、将采集的RGB图像转化为灰度图像；
[0016]S42、将所述灰度图像转化为二值化图像，并进行膨胀腐蚀处理以去噪；
[0017]S43、对去噪后的二值化图像进行canny边沿检测，得到边沿图像。
[0018]优选地，步骤S6中，所述映射矩阵通过以下的摄像机标定过程得到:
[0019]Al、对待标定摄像机采集棋盘格图像，所述棋盘格图像为7X5的棋盘格图像；
[0020]A2、将RGB格式的所述棋盘格图像转化为灰度图像；
[0021]A3、将所述灰度图像转化为二值化图像，并进行膨胀腐蚀处理以去噪；
[0022]A4、检测棋盘格图像中的内角点；
[0023]A5、利用所述内角点得出所述映射矩阵，得出映射矩阵的过程在世界坐标系的X-Y平面进行。
[0024]优选地，利用一个工控机的三个线程分别执行步骤SI?S6中对第一、第二和第三摄像机的图像的相关处理。
[0025](三)有益效果
[0026]本发明对三个摄像机采集的图像使用霍夫直线检测的方法检测所有直线，霍夫直线检测方法从整个搜索区域的角度搜索所有可能是直线的点集，因此遗漏车道线的情况较少，对于地面杂物干扰和车道线部分被遮挡的情况处理效果较好。因为霍夫变换算法运算量较大，为了提高效率，先对图像进行初步处理，对得到的感兴趣区域的边沿图像进行霍夫直线检测，大大减小了霍夫检测的计算量，同时也减少了干扰。
【专利附图】
【附图说明】
[0027]图1为本发明的检测方法流程图；
[0028]图2为摄像机检测范围不意图；
[0029]图3为标定过程流程图；
[0030]图4为标定初始参数示意图；
[0031]图5为第一摄像机标定效果图，(a)为映射前的图像，(b)为映射后的图像；
[0032]图6为第二摄像机标定效果图，(a)为映射前的图像，(b)为映射后的图像；
[0033]图7为坐标转换图。
【具体实施方式】
[0034]为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的【具体实施方式】作进一步详细描述。
[0035]如图1所示，本发明提供了一种基于三摄像机协同的大范围车道线视觉检测方法，可大大提高视觉检测车道线的准确率和可靠性，该方法具有较好的抗干扰性和实时性，在车辆非正常行驶时仍能较好的识别跟踪车道线，可以广泛应用于车辆的自动驾驶系统和辅助驾驶系统中。该方法包括以下步骤:
[0036]S1、因为只对简单的车道线进行识别，将第一、第二和第三摄像机的分辨率分别降为640 X 480、320 X 240、320 X 240，其中，为了增大检测范围，提高车道线检测的可靠性，本发明在车辆前部安装三个摄像机检测车道线，如图2所示。左侧的第三摄像机检测右侧车道线，右侧的第二摄像机检测左侧车道线，左右车道线的检测摄像机交叉安装，当车辆在车道中偏左、偏右行驶或过度转向时仍可以保证车道线在两侧摄像机视野范围内，从而人也能够稳定识别出左、右车道线；两侧摄像机安装在较低的位置，以减少视野内的杂物干扰，并提高车道线的清晰度；中间的第一摄像机安装在前挡风玻璃上部，对前方双车道线进行检测，该摄像机具有较大的视野范围，可以保证汽车对于车道线的变化具有较好的前瞻性；
[0037]S2、利用第一、第二和第三摄像机分别采集车道线图像；
[0038]S3、第一号摄像机视野范围较大，图像的上三分之一几乎没有有效车道线，故设定第一摄像机采集的图像的下三分之二作为感兴趣区域，用于进行车道线检测；
[0039]S4、将所述感兴趣区域，以及第二和第三摄像机采集的车道线图像进行预处理；步骤S4具体包括:
[0040]S41、将采集的RGB图像转化为灰度图像；
[0041]S42、将所述灰度图像转化为二值化图像，并进行膨胀腐蚀处理以去噪，减少干扰；
[0042]S43、对去噪后的二值化图像进行canny边沿检测，进一步减少前景点数量，减少干扰线，得到边沿图像。
[0043]S5、对步骤S4处理后的图像进行霍夫变换，将检测到的直线以极坐标形式保存；步骤S1、S3、S4进行的处理可以减小步骤S5中霍夫变换的计算量，提高实时性和可靠性，通过步骤S5霍夫变换得到图像中所有直线的极坐标方程后，即可对车道线进行检测判别。
[0044]S6、遍历对第一摄像机采集的图像进行处理所得到的所有直线，并转化为直角坐标形式，根据第一摄像机的映射矩阵将直角坐标从图像坐标系转换到世界坐标系，根据第一摄像机采集的图像中车道线的特征确定车辆到左车道线的偏离距离al和车辆到右车道线的偏离距离bl(S6.1);同时，遍历对第二、第三摄像机采集的图像进行处理所得到的所有直线，并分别转化为直角坐标形式，分别根据对应的映射矩阵将直角坐标从图像坐标系转换到世界坐标系，再分别根据第二和三摄像机采集的图像中车道线的特征确定:第二摄像机采集的图像中左车道线到车辆的偏离距离a2，以及第三摄像机采集的图像中右车道线到车辆的偏离距离b2(S6.2);将所得到的车辆到右车道线的偏离距离折合为车辆到左车道线的偏离距离(两侧车道线间距减去bl或b2)，再取所有车辆到左车道线的偏离距离的平均值。
[0045]如图3所示，步骤S6中，所述映射矩阵通过以下的摄像机标定过程得到:
[0046]Al、对待标定摄像机采集棋盘格图像，所述棋盘格图像为7X5的棋盘格图像；
[0047]A2、将RGB格式的所述棋盘格图像转化为灰度图像；
[0048]A3、将所述灰度图像转化为二值化图像，并进行膨胀腐蚀处理以去噪；[0049]A4、检测棋盘格图像中的内角点；
[0050]A5、利用所述内角点得出所述映射矩阵，得出映射矩阵的过程在世界坐标系的X-Y平面进行。
[0051]因为实际仅仅是对地面车道线的检测，因此对常规的摄像机标定方法进行了简化，推导出了简化的标定矩阵的计算公式。本发明提出的标定程序对摄像机的水平畸变和垂直畸变进行了很好的纠正，并且易于操作。因为车道线是比较简单的二维图像，镜头畸变对车道线检测影响很小，可以忽略，故本发明只进行了水平X方向和垂直y方向的变换，标定过程较为简便。以下是步骤A5的得出所述映射矩阵的过程:
[0052]设[X Y Z]是一个点的世界坐标，单位毫米；[X y]是点投影在图像平面的坐标，以像素为单位。若有以下定义:
[0053]Q = [X Y Z if
[0054]q^[x y if
[0055]则两个坐标系关系可表示为:
[0056]q^sH Q
[0057]其中，s为变换的比例因子。如果因为某些因素对来自于摄像机的一幅图像升采样或者降采样，所有这些参数都将被缩放(乘或者除)同样的尺度。H为3X3矩阵，是要求解的映射矩阵。H分为两部分，摄像机内参矩阵:
【权利要求】
1.一种基于三摄像机协同的大范围车道线视觉检测方法，其特征在于，包括以下步骤: 51、将第一、第二和第三摄像机的分辨率分别降为640X 480、320 X 240、320 X 240，其中，第一摄像机设置在车辆挡风玻璃上部，第二摄像机位于所述第一摄像机的右侧，第三摄像机位于所述第一摄像机的左侧，且第二摄像机和第三摄像机的安装位置低于第一摄像机的安装位置； 52、利用第一、第二和第三摄像机分别采集车道线图像； 53、设定第一摄像机采集的图像的下三分之二作为感兴趣区域，用于进行车道线检测； 54、将所述感兴趣区域，以及第二和第三摄像机采集的车道线图像进行预处理； 55、对步骤S4处理后的图像进行霍夫变换，将检测到的直线以极坐标形式保存； 56、遍历对第一摄像机采集的图像进行处理所得到的所有直线，并转化为直角坐标形式，根据第一摄像机的映射矩阵将直角坐标从图像坐标系转换到世界坐标系，根据第一摄像机采集的图像中车道线的特征确定车辆到左车道线的偏离距离和车辆到右车道线的偏离距离；同时，遍历对第二、第三摄像机采集的图像进行处理所得到的所有直线，并分别转化为直角坐标形式，分别根据对应的映射矩阵将直角坐标从图像坐标系转换到世界坐标系，再分别根据第二和三摄像机采集的图像中车道线的特征确定:第二摄像机采集的图像中左车道线到车辆的偏离距离，以及第三摄像机采集的图像中右车道线到车辆的偏离距离；将所得到的所有车辆到右车道线的偏离距离值分别折合为车辆到左车道线的偏离距离，再取所得到的所有车辆到左车道线的偏离距离的平均值作为最终的结果。
2.如权利要求1所述的方法，其特征在于，步骤S4具体包括: 541、将采集的RGB图像转化为灰度图像； 542、将所述灰度图像转化为二值化图像，并进行膨胀腐蚀处理以去噪； 543、对去噪后的二值化图像进行canny边沿检测，得到边沿图像。
3.如权利要求1所述的方法，其特征在于，步骤S6中，所述映射矩阵通过以下的摄像机标定过程得到: Al、对待标定摄像机采集棋盘格图像，所述棋盘格图像为7X5的棋盘格图像； A2、将RGB格式的所述棋盘格图像转化为灰度图像； A3、将所述灰度图像转化为二值化图像，并进行膨胀腐蚀处理以去噪； A4、检测棋盘格图像中的内角点； A5、利用所述内角点得出所述映射矩阵，得出映射矩阵的过程在世界坐标系的X-Y平面进行。
4.如权利要求1或2或3所述的方法，其特征在于，利用一个工控机的三个线程分别执行步骤SI?S6中对第一、第二和第三摄像机的图像的相关处理。
【文档编号】G06K9/60GK103593671SQ201310596477
【公开日】2014年2月19日 申请日期:2013年11月25日 优先权日:2013年11月25日
【发明者】汤晓磊 申请人:中国航天科工集团第三研究院第八三五七研究所