专利名称：一种车辆车道变换辅助装置及其辅助判断方法
技术领域：
本发明涉及机动车辆驾驶安全领域，特别涉及一种车辆车道变换辅助装置及其辅 助判断方法。
背景技术：
汽车驾驶员的车道变换行为与道路交通安全密切相关，统计数据表明，由于不正 确的车道变换行为导致了大量的交通事故，给人民的生命财产安全带来了巨大损失。驾驶 员在进行车道变换时，通常使用左、右后视镜以及车内后视镜观察其侧后车辆，判断侧后车 辆与自身车辆之间的横向相对距离、纵向相对距离、纵向相对速度等参数。与前方车辆相 比，驾驶员通过后视镜判断侧后车辆的纵向相对距离、纵向相对速度时要困难得多，主要原 因在于后视镜的镜面在成像时将大范围内物体成像在很小的镜面上，侧后车辆及道路周围 场景都会发生一定的形变，导致驾驶员从后视镜中不容易判断出与侧后车辆的纵向相对距 离、纵向相对速度等信息，从而在换道过程中对于换道的安全性把握不够，容易出现在不安 全的情况下进行换道操作，引发交通事故。目前，针对车辆的车道变换技术通常采用扩大后视镜观察范围的方法，如在后视 镜外侧安装圆形凸面镜，或者是在发动机盖上安装小后视镜。采用上述方法能够增加驾驶 员在车道变换过程中对侧后车辆的观察范围，但是没有解决通过后视镜观察侧后车辆时不 容易判断纵向相对距离、纵向相对速度的问题。目前，在高档轿车上有采用在车辆后保险杠安装雷达来监测侧后车辆的方法，这 种方法能够对驾驶员的车道变换过程提供辅助帮助，但是雷达传感器的价格昂贵，通常在5 万人民币以上，不适合进行大规模推广使用。
发明内容
本发明的目的在于提供一种车辆车道变换辅助装置及其辅助判断方法，该车辆车 道变换辅助装置投资费用少、适合规模化推广，其辅助判断方法，智能化、自动化，无需操 作，且可靠性高。本发明的基本原理是通过使用两个摄像头来采集驾驶员开启转向灯情况下自身 车辆左后方或者自身车辆右后方的道路图像，然后将自身车辆左后方或者自身车辆右后方 的道路图像传输至图像处理器。图像处理器中利用图像处理程序，通过图像识别得到侧后 车辆在道路图像中的准确位置，由于摄像头相对于自身车辆的位置不变，因此，图像识别得 到的不同时刻的侧后车辆的图像位置，经过几何计算就能够得到侧后车辆相对自身车辆的 纵向相对距离、纵向相对速度以及横向相对距离，同时结合自身车辆的行驶速度对车道变 换的安全性进行评估，评估结果为安全和不安全两种，通过使用不同颜色的信号灯将评估 结果向驾驶员进行提示，为驾驶员的车道变换过程提供辅助帮助。为了达到上述技术目的，本发明采用以下技术方案予以实现。1、一种车辆车道变换辅助装置，其特征在于，包括两个摄像头，分别固定在车辆的左后视镜和右后视镜上，采集自身车辆左侧后方和右 侧后方的道路图像；
一个指示安全的绿色信号灯和一个指示不安全的红色信号灯，分别固定在车辆仪表盘
上；
一个图像处理器，分别通过USB接口电连接两个摄像头的视频线，分别通过I/O接口电 连接绿色信号灯、红色信号灯以及自身车辆的速度信号线、左转向灯开启信号线、右转向灯 开启信号线。上述技术方案的进一步改进和特点在于 所述摄像头采用中星YjS-Ol USB2.0摄像头。所述图像处理器为ARM9处理器，具体型号为S3C2410。所述绿色信号灯为绿色LED灯，红色信号灯为红色LED灯。2、一种车辆车道变换辅助判断方法，基于上述车辆车道变换辅助装置，其特征在 于，包括以下步骤
(1)左侧摄像头标定在自身车辆的左侧后方竖立标杆，通过左侧摄像头采集标杆图 像，识别出标杆图像中的标杆位置，对标杆图像中的标杆位置与标杆实际位置进行标定，换 算自身车辆和标杆的纵向相对距离和横向相对距离；
(2)右侧摄像头标定，其方法同左侧摄像头标定；
(3)图像采集自身车辆在运动过程中，图像处理器实时监控自身车辆的行驶速度，当 自身车辆的行驶速度高于10km/h时，图像处理器对左转向灯开启信号、右转向灯开启信号 进行监控；当驾驶员开启某一侧转向灯时，图像处理器接通该侧摄像头，采集该侧摄像头的 道路图像；
(4)图像预处理去除道路图像中的无用点及干扰点；
(5)侧后车辆轮廓提取对经过图像预处理的道路图像进行二值化处理，提取道路图像 中侧后车辆的形状，得到侧后车辆的轮廓图像；
(6)提取侧后车辆位置的特征点，选取侧后车辆的特征点，提取该特征点在道路图像中 的位置；
(7)纵向相对距离、纵向相对速度以及横向距离计算得到侧后车辆特征点在道路图像 中的位置之后，换算自身车辆和侧后车辆的纵向相对距离和横向相对距离；通过对连续两 次换算得到的纵向相对距离，实时计算得到自身车辆和侧后车辆的纵向相对速度；
(8)换道安全性评估根据实时计算得到的自身车辆和侧后车辆的纵向相对距离、纵向 相对速度以及横向距离，分析进行换道导致与侧后车辆发生碰撞的可能性，通过红色信号 灯发出不适合进行换道警示或通过绿色信号灯发出可以进行换道的提示。上述技术方案的特点在于所述选取侧后车辆的特征点为其外形轮廓下边缘线的 中占。
I ； WN O本发明的车辆车道变换辅助装置，主要部件采用摄像头和ARM9处理器，投资费用 少、设计简单、可靠性高，而且不需要对车辆进行过多改装。本发明的车辆车道变换辅助判 断方法，基于上述车辆车道变换辅助装置，其道路图像的处理以及车道变换安全性的分析 计算由ARM9处理器直接完成，智能化高，对驾驶员车道变换辅助提示的结果直观、可靠。
图1为摄像头的安装及对车辆左后方和右后方的拍摄示意图； 图2为ARM9图像处理器的信号输入输出示意图中1、ARM9处理器；2、左侧摄像头；3、右侧摄像头；4、LED灯；5、左侧后车辆；6、右 侧后车辆；7、USB接口一 ；8、USB接口二 ；9、左转向灯信号I/O接口 ； 10、右转向灯信号I/O 接口 ；11、车速信号I/O接口 ；12、绿色信号灯I/O接口 ；13、红色信号灯I/O接口。
具体实施例方式参照图1、图2，在车辆车道变换的辅助装置中，ARM9处理器1安装在车内仪表盘 下方。图像采集装置中，本实施例采用左侧摄像头2和右侧摄像头3。左侧摄像头2采用 螺栓固定在自身车辆的左侧后视镜上，镜头 朝向左侧后车辆5所在区域安装。右侧摄像头 3采用螺栓固定在自身车辆的右侧后视镜上，镜头朝向右侧后车辆6所在区域安装。红、绿 两个LED灯4安装在仪表盘左侧驾驶员容易注意到的区域。左侧后车辆5和右侧后车辆6 在摄像头所采集图像中的形状为近似矩形。ARM9处理器1通过车速信号接口 11采集自身车辆固有的车速传感器的速度信号， 用于识别自身车辆的行驶速度，在车速高于10km/h时ARM9处理器1将启动车辆车道变换 辅助系统。ARM9处理器1通过左、右转向灯信号I/O接口 9、10采集车辆左转向灯的开启信 号和右转向灯的开启信号，用于判断驾驶员是否意图进行车道变换以及意图进行车道变换 的方向。本实施例摄像头采用中星YJS-Ol USB2. 0摄像头，有效像素600万，将左侧摄像头 2通过USB数据线连接到ARM9处理器的USB接口一 7，将右侧摄像头3通过USB数据线连 接到ARM9处理器的USB接口二 8。ARM9处理器1接收自身车辆左后方的道路图像或者右 后方的道路图像，通过图像识别得到不同时刻道路图像中的侧后车辆位置，通过几何计算 得到自身车辆与侧后车辆之间的纵向距离、纵向相对速度以及横向距离，结合车辆行驶速 度对车道变换的安全性进行分析，通过绿色信号灯I/O接口 12控制绿色信号灯向驾驶员提 示安全，或者通过红色信号灯I/O接口 13控制红色信号灯向驾驶员提示不安全。在对驾驶员进行车道变换辅助判断时，由于车道变换本身持续的时间比较短，因 此，摄像头的采样频率和ARM9处理器1的处理速率必须满足车道变换辅助装置的快速性要 求。本实施例中采用的摄像头采集频率为25Hz，即摄像头每秒对车辆左后方或者右后方采 集25帧图片。ARM9处理器1对图像的处理速率设定为10Hz，即车道变换辅助系统每秒钟 能进行10次车道变换安全性评估，符合车道变换辅助速率需求。由于摄像头的采样频率高 于ARM9的处理频率，因此系统能够正常工作，不会出现图像滞后的现象。为了实现本发明的车辆车道变换辅助判断方法，结合上述车辆车道变换辅助装置 为基础，具体步骤如下
(1)摄像头、ARM9处理器以及信号灯安装
首先安装摄像头，共使用两个相同的摄像头，分别安装在左侧后视镜上和右侧后视镜 上。摄像头采用细螺栓安装在后视镜上边缘，水平安装，镜头朝向车辆后方。由于摄像头的 安装没有遮挡左后视镜或者右后视镜，因此摄像头正常工作时不会对驾驶员通过后视镜观 察车辆后方信息带来干扰。使用USB连接线分别将左侧摄像头和右侧摄像头与ARM9处理器的USB接口一、二连接 摄像头安装完成之后安装ARM9处理器。ARM9处理器封装在金属盒中，通过导线与 外界进行信号传输，其安装位置位于车辆仪表盘内部空间中。使用导线将车辆的左转向灯 信号线、右转向灯信号线、以及自身车辆速度信号线分别与ARM9处理器的I/O接口连接。将红色信号灯和绿色信号灯固定在一个底座上，利用双面胶将底座粘贴在驾驶员 前方的仪表盘上，其中底座的位置需要在驾驶员容易注意到的地方，但不能偏离驾驶员正 常视线太多，否则驾驶员会感觉需要特别注意才能观察信号灯的状态，影响到正常的驾驶 行为。(2)摄像头标定
以左侧摄像头标定为例在自身车辆的左侧后方竖立标杆，通过左侧摄像头采集标杆 图像，识别出标杆图像中的标杆位置，对标杆图像中的标杆位置与标杆实际位置进行标定， 换算自身车辆和标杆的纵向相对距离和横向相对距离。具体为将车辆停在空阔地带，以车辆后保险杠位置为起点向后方进行距离标记， 作出地面标识，在地面标识位置竖立标杆。然后控制左侧摄像头采集左后方的标杆图像。 对采集到的标杆图像进行分析处理，识别出标杆图像中的标杆位置。由于标杆实际距离已 知，通过摄像头标定即可得到自身车辆和标杆的纵向相对距离和横向相对距离的数学计算 公式。右侧摄像头标定，其方法同左侧摄像头标定。(3)图像采集与传输
系统启动后，ARM9处理器启动对车辆行驶速度和车辆转向灯状态的监控。首先监控 的条件是车速，由于道路环境信息比较复杂，在低速情况下车辆与周围侧后车辆之间的距 离通常较小，且在低速情况下驾驶员对周围环境的观察能力相对较强，通常不会出现由于 驾驶员观察能力不够而引发的交通事故。因此，ARM9处理器中的车速条件设置为10km/h， 即只有在自身车速大于10km/h的情况下，ARM9处理器才进行后续操作，否则将停止工作。 当自身车速大于10km/h时，ARM9处理器开始监控自身车辆的转向灯状态，具体包括左转向 灯和右转向灯。当ARM9处理器监控到驾驶员开启转向灯时，首先判断驾驶员开启的是那一 侧转向灯，然后通过USB接口采集该侧摄像头的道路图像。例如，驾驶员开启左转向灯后， ARM9处理器判断出驾驶员准备向左变换车道，此时ARM9处理器将通过USB接口采集左侧摄 像头的道路图像，对于右侧摄像头的道路图像则不采集。ARM9处理器根据车速信号和转向灯开启信号控制左侧摄像头和右侧摄像头的道 路图像采集，图像采集过程从驾驶员开启转向灯到转向灯关闭为止，但最短的图像采集时 间设置为10秒钟，这是由于现代汽车通常安装了转向灯自动关闭系统，有时会出现驾驶员 还没有完成车道变换的时候转向灯已经关闭的情况，为了保证在后续过程中继续对驾驶员 进行车道变换提供辅助，ARM9处理器将持续工作，持续时间为10秒钟。(4)图像预处理去除道路图像中的无用点及干扰点。图像预处理的目的是去除左侧摄像头或者右侧摄像头所采集道路图像中的干扰 信息。由于车辆行驶的环境存在差异性，摄像头所采集到的道路图像中经常会出现与目标 车辆无关的信息，这些信息对于后续距离计算会产生干扰，因此在图像处理过程中首先对 道路图像进行滤波，具体采用中值滤波算法进行。对于图像中的某一个像素点，计算该点周围3X3范围内像素点灰度值的平均值，用该平均值作为该点的灰度值。通过使用3X3的 中值滤波算法能基本消除摄像头所采集图像中所存在的干扰信息。(5)侧后车辆轮廓提取对经过图像预处理的道路图像进行二值化处理，提取道路 图像中侧后车辆的形状，得到侧后车辆的轮廓图像。对经过图像预处理的道路图像进行二值化处理，提取道路图像中侧后车辆的前视 形状。对于左侧摄像头和右侧摄像头，都是从侧后车辆前方对侧后车辆进行图像采集，因此 在所采集到的道路图像中侧后车辆的形状为前视形状。图像处理程序中采用二值化方法对 图像进行轮廓提取，具体过程为设定一个灰度阈值，对于图像中的某一个点，如果该点的灰 度值大于等于阈值，则认为该点属于侧后车辆所在范围，将该点的灰度值改为0，反之如果 该点的灰度值小于阈值则认为该点不属于侧后车辆区域，将该点的灰度值改为1。对一帧图 像按照此方法运算完成之后，道路图像中的灰度值0部分所组成的形状即为侧后车辆的形 状。(6)提取侧后车辆的特征点
选取侧后车辆前视轮廓中下边缘的中点作为特征点。提取侧后车辆的轮廓后得到侧后 车辆在道路图像中的前视轮廓。由于车辆的前视轮廓具有完整性，即提取得到的侧后车辆 轮廓应该为一封闭的近似矩形形状，其中矩形的下边缘实际代表了侧后车辆的前端，进行 车道变换安全性计算时所采用的距离为自身车辆后保险杠到侧后车辆前保险杠的距离。图 像处理程序中采用车辆前视轮廓中下边缘的中点作为特征点，具体的提取过程是图像处 理程序对提取侧后车辆轮廓的结果进行分析，按照类似封闭矩形的识别规则识别出道路图 像中的侧后车辆，然后从类似矩形的封闭图像中选取下边缘的中点，得到下边缘中点的纵 向图像位置和横向图像位置。(7)纵向相对距离、纵向相对速度以及横向距离计算得到侧后车辆特征点在道路 图像中的位置之后，换算自身车辆和侧后车辆的纵向相对距离和横向相对距离；通过对连 续两次换算得到的纵向相对距离，实时计算得到自身车辆和侧后车辆的纵向相对速度。得到侧后车辆特征点的图像位置之后，利用摄像头标定所得到的纵向图像位置与 实际纵向距离、横向图像位置与实际横向距离之间的数学关系计算出侧后车辆与自身车辆 之间的实际距离，具体包括实际纵向距离和实际横向距离。其具体的过程为对于得到的横 向图像位置Xl和纵向图像位置值yl，利用摄像头标定所得到的横向图像位置与实际横向 距离之间的数学关系f (χ)和纵向图像位置与实际纵向距离之间的数学关系g(y)，将Xl和 yl分别代入到函数f(x)和g(y)中，计算得到实际横向距离值和实际纵向距离值。通过对连续两次换算得到的纵向相对距离，用后一次计算处理得到的实际纵向距 离值减去前一次计算得到的实际纵向距离值，得到两次计算之间的纵向距离差，用纵向距 离差除以两次计算之间的时间差得到纵向相对速度。当纵向相对速度< 0时表示自身车 辆速度要比侧后车辆速度低，而纵向相对速度> 0时表示自身车辆速度要比侧后车辆速度 高。纵向相对速度用于反应侧后车辆的接近速度，从而可以进行车道变换安全性评估。例 如在侧后车辆高速接近时进行车道变换是不安全的，需要对驾驶员进行提示 (8)换道安全性评估根据实时计算得到的自身车辆和侧后车辆的纵向相对距离、 纵向相对速度以及横向距离，分析进行换道导致与侧后车辆发生碰撞的可能性，通过红色 信号灯发出不适合进行换道警示或通过绿色信号灯发出可以进行换道的提示。
得到自身车辆与侧后车辆的纵向距离、横向距离以及纵向相对速度值之后，图像 处理程序进行换道安全性评估，评估结果分为两种情况安全和不安全。如果评估结果为安 全，则ARM9处理器将控制绿色信号灯发光，提示驾驶员可以进行换道操作，如果评估结果 为不安全，则ARM9处理器将控制红色信号灯发光，提示驾驶员此时不适合进行车道变换操 作。具体的评估流程如下
1.判断横向距离的大小，车道变换的过程是横向方向发生位移变化，且通常理解的车 道变换过程是从一个车道变换到相邻车道中，因此如果在车道变化过程中侧后车辆不是位 于相邻车道中，而是位于更远的车道中，这种情况下的车道变换是安全的，因此首先判断横 向距离。我国高速公路车道标准宽度为3. 75m，通常其他道路的车道宽度不会大于3. 75m, 考虑一定的弹性系数，判断横向距离的安全性时采用4. 5m作为判断值。当计算得到的横向 距离大于4. 5m时，表明进行车道变换不会给后方侧后车辆的正常行驶带来干扰，安全评估 结果为安全，因此ARM9处理器将控制绿色信号灯发光，提示驾驶员可以进行车道变换。如 果计算得到的横向距离值小于等于4. 5m时，此时需要进行下一步的安全性判断。
2.设定参数k，k=纵向距离/自身车辆速度，其中自身车辆速度单位为km/h，纵向 距离单位为m，参数k反应的是侧后车辆的跟车时间。当侧后车辆跟车距离很近时进行换道 将导致自身车辆出现在侧后车辆的正前方，而且两车之间的距离很近，这会引起后车驾驶 员的紧张从而采取刹车操作，会干扰到周围车辆的正常运行，加大追尾事故发生的风险性。 计算参数k的大小，采用k=0. 5作为阈值，当参数k < 0. 5时安全评估结果为不安全，此时 ARM9处理器将控制红色信号灯发光，提醒驾驶员此时不能进行换道操作。当参数k > 0. 5 时将进行下一步车道变换安全性评估。3.判断纵向相对速度的正负。当纵向相对速度> 0时，自身车辆的速度要高于或 者等于侧后车辆速度，因此此时进行换道是安全的，ARM9处理器将控制绿色信号灯发光。当 纵向相对速度< 0时，将进行下一步车道变换安全性评估。4.设定参数η，η=纵向距离/纵向相对速度绝对值，其中纵向距离绝对值的单位 为m，纵向相对速度的单位为m/s，参数η反应的是车道变换过程中与后方相邻车道紧随车 辆发生碰撞事故的可能性。参数η值很小时表明侧后车辆正以高速接近自身车辆，此时如 果进行车道变换则可能导致车道变换过程中与高速接近的车辆发生碰撞事故。计算参数η 的大小，采用η=3作为阈值，当参数η < 3时安全评估结果为不安全，此时ARM9处理器将控 制红色信号灯发光，提醒驾驶员此时不能进行换道操作。当参数η>3时，安全评估结果为安 全，因此ARM9处理器将控制绿色信号灯发光，提示驾驶员可以进行车道变换。通过上述4步车道变换安全性评估，得到车道变换的安全性，当评估结果为安全 时，ARM9处理器控制绿色信号灯发光，向驾驶员提示此时可以进行车道变换，当评估结果为 不安全时，ARM9处理器控制红色信号灯发光，向驾驶员提示此时不适合进行车道变换，实现 对驾驶员车道变换的辅助提示功能，从而保证车辆的安全运行。
权利要求
一种车辆车道变换辅助装置，其特征在于，包括两个摄像头，分别固定在车辆的左后视镜和右后视镜上，采集自身车辆左侧后方和右侧后方的道路图像；一个指示安全的绿色信号灯和一个指示不安全的红色信号灯，分别固定在车辆仪表盘上；一个图像处理器，分别通过USB接口电连接两个摄像头的视频线，分别通过I/O接口电连接绿色信号灯、红色信号灯以及自身车辆的速度信号线、左转向灯开启信号线、右转向灯开启信号线。
2.根据权利要求1所述的车辆车道变换辅助装置，其特征在于，所述摄像头采用中星 YJS-Ol USB2. 0 摄像头。
3.根据权利要求1所述的车辆车道变换辅助装置，其特征在于，所述图像处理器为 ARM9处理器，具体型号为S3C2410。
4.根据权利要求1所述的车辆车道变换辅助装置，其特征在于，所述绿色信号灯为绿 色LED灯，红色信号灯为红色LED灯。
5.一种车辆车道变换辅助判断方法，基于权利要求1所述的车辆车道变换辅助装置， 其特征在于，包括以下步骤(1)左侧摄像头标定在自身车辆的左侧后方竖立标杆，通过左侧摄像头采集标杆图 像，识别出标杆图像中的标杆位置，对标杆图像中的标杆位置与标杆实际位置进行标定，换 算自身车辆和标杆的纵向相对距离和横向相对距离；(2)右侧摄像头标定，其方法同左侧摄像头标定；(3)图像采集自身车辆在运动过程中，图像处理器实时监控自身车辆的行驶速度，当 自身车辆的行驶速度高于10km/h时，图像处理器对左转向灯开启信号、右转向灯开启信号 进行监控；当驾驶员开启某一侧转向灯时，图像处理器接通该侧摄像头，采集该侧摄像头的 道路图像；(4)图像预处理去除道路图像中的无用点及干扰点；(5)侧后车辆轮廓提取对经过图像预处理的道路图像进行二值化处理，提取道路图像 中侧后车辆的形状，得到侧后车辆的轮廓图像；(6)提取侧后车辆位置的特征点，选取侧后车辆的特征点，提取该特征点在道路图像中 的位置；(7)纵向相对距离、纵向相对速度以及横向距离计算得到侧后车辆特征点在道路图像 中的位置之后，换算自身车辆和侧后车辆的纵向相对距离和横向相对距离；通过对连续两 次换算得到的纵向相对距离，实时计算得到自身车辆和侧后车辆的纵向相对速度；(8)换道安全性评估根据实时计算得到的自身车辆和侧后车辆的纵向相对距离、纵向 相对速度以及横向距离，分析进行换道导致与侧后车辆发生碰撞的可能性，通过红色信号 灯发出不适合进行换道警示或通过绿色信号灯发出可以进行换道的提示。
6.根据权利要求5所述的车辆车道变换辅助判断方法，其特点在于，所述选取侧后车 辆的特征点为其外形轮廓下边缘线的中点。
全文摘要
本发明涉及机动车辆驾驶安全领域，公开了一种车辆车道变换辅助装置及其辅助判断方法。该车辆车道变换辅助装置，包括两个摄像头，一个指示安全的绿色信号灯和一个指示不安全的红色信号灯，一个图像处理器；图像处理器分别通过USB接口电连接两个摄像头的视频线，分别通过I/O接口电连接绿色信号灯、红色信号灯以及自身车辆的速度信号线、左转向灯开启信号线、右转向灯开启信号线；其辅助判断方法，通过摄像头采集道路图像，计算自身车辆和侧后车辆的纵向相对距离、纵向相对速度以及横向距离，综合判断车辆的换道安全性。
文档编号G06T7/00GK101941399SQ201010284238
公开日2011年1月12日 申请日期2010年9月17日 优先权日2010年9月17日
发明者付锐, 张琼, 彭金栓, 李山虎, 王畅, 袁伟, 詹盛, 郭应时 申请人:长安大学