车距检测方法及装置、电子设备、计算机可读存储介质与流程

文档序号:12945946阅读:411来源:国知局
车距检测方法及装置、电子设备、计算机可读存储介质与流程

本公开涉及安全驾驶技术领域,特别涉及一种车距检测方法及装置、电子设备、计算机可读存储介质。



背景技术:

随着汽车的不断普及,人们越来越重视行车安全问题,具有主动安全系统与否已经成为很多人选车的主要关注点。据统计,我国公路交通事故中有不少是汽车追尾碰撞导致的,所造成的伤害及经济损失很大。在追尾危险的判断中,跟车驾驶员判断和决定的依据是估计到达前车的时间,而这一时间与距离、速度、相对速度和反应时间有很重要的关系,因此设计开发辅助驾驶系统的目的,就是要辅助驾驶员提高判断能力,以增加对突发情况的预警和处理能力。在事故发生前提醒驾驶员并采取一定的安全措施,以避免或减少交通事故的发生。

在汽车行驶中,安全距离是一个非常重要的参数,如何有效地全天候监测行使中车辆之间的距离,并在必要时为驾驶员提出警示,成为亟待解决的问题。

目前传统的车辆测距的方式主要有:超声波测距,一般不作为高速路上的测距仪,一是超声波的速度受外界影响大;二是距离越远,超声波损失越严重,会降低测量精度。雷达测距,存在电磁波干扰问题,必须防止因雷达装置相互间以及其他通信设施的电磁波干扰。激光测距,普遍存在成像速度过慢、价格高的问题,由于使用在高速环境下,需要提高其稳定度,安全车距预警系统并没有普及安装。现有技术中的测距方法还有的采用微波或者红外线,但是这些方式都有很多缺点,例如易被干扰,距离有限或者范围有限,成本过高等等问题。

现有技术存在的问题:1、红外或者微波探测:范围和距离有限,在宽阔的高速公路上应用有限;2、单摄像头探测:单摄像头信息有限,只能通过图像中物体大小判断距离,易于出错;3、激光投影:投影覆盖范围有限,很难保证投影刚好落在目标车体上。综上,现有的车辆测距方式准确性不高,



技术实现要素:

为了解决相关技术中存在的车辆测距准确性不高的问题,本公开提供了一种车距检测方法。

一方面,本公开提供了一种车距检测方法,该方法包括:

获取当前车辆前方或后方视差图像,从所述视差图像中导出u-视差图和v-视差图;

在所述u-视差图中提取横向直线,在所述v-视差图中提取纵向直线,根据所述横向直线和纵向直线确定所述视差图像中的候选物体区域;

获取所述候选物体区域的特征信息,将预存储车辆特征信息与候选物体区域的特征信息进行特征比对,确定候选物体区域是否为车辆区域;

根据所述车辆区域在所述视差图像中的视差值,计算得到所述车辆区域内的目标车辆与当前车辆的相对距离,在所述相对距离大于等于距离阈值时,对所述相对距离进行修正。

在一种实施例中,所述在u-视差图中提取横向直线,在所述v-视差图中提取纵向直线,根据所述横向直线和纵向直线确定所述视差图像中的候选物体区域,包括:

分别对所述u-视差图和v-视差图中的灰度值非0像素点进行直线拟合;

从所述u-视差图中提取具有同一视差值的横向直线,在所述v-视差图中提取具有同一视差值的纵向直线;

根据所述横向直线的每个像素点的坐标和所述纵向直线的每个像素点的坐标确定所述视差图像中候选物体区域的每个像素点的位置坐标。

在一种实施例中,所述获取候选物体区域的特征信息,将预存储车辆特征信息与候选物体区域的特征信息进行特征比对,确定候选物体区域是否为车辆区域,包括:

获取当前车辆前方或后方的二维图像,根据所述二维图像与所述视差图像的像素对应关系,确定所述候选物体区域在所述二维图像中的对应位置;

根据所述候选物体区域在所述二维图像中的对应位置,得到所述候选物体区域的灰度值或色彩值特征;

根据所述候选物体区域在所述二维图像中的对应位置以及在所述视差图像中的视差值,计算所述候选物体区域的每个像素点的三维空间信息,得到候选物体的尺寸特征信息;

根据所述灰度值或色彩值特征,以及尺寸特征信息,通过与预存储车辆特征信息进行比对,确定所述候选物体区域是否为车辆区域。

在一种实施例中,所述根据车辆区域在所述视差图像中的视差值,计算得到所述车辆区域内的目标车辆与当前车辆的相对距离,在所述相对距离大于等于距离阈值时,对所述相对距离进行修正,包括:

获取预存储的样本车辆尺寸信息和对应距离信息;

选取与所述相对距离数值最接近的距离信息以及与所述距离信息对应的样本车辆尺寸信息;

根据候选物体的尺寸特征信息得到目标车辆尺寸信息,根据所述目标车辆尺寸信息、样本车辆尺寸信息以及样本车辆尺寸信息所对应的距离信息,利用等比例缩放关系,计算得到目标车辆与当前车辆的相对距离修正结果。

在一种实施例中,在所述根据车辆区域在所述视差图像中的视差值,计算得到所述车辆区域内的目标车辆与当前车辆的相对距离之后,所述方法还包括:

若所述相对距离小于距离阈值,计算得到的所述相对距离为所述目标车辆与所述当前车辆的距离。

另一方面,本公开还提供了一种车距检测装置,该装置包括:

图像获取模块,用于获取当前车辆前方或后方视差图像,从所述视差图像中导出u-视差图和v-视差图;

物体确定模块,用于在所述u-视差图中提取横向直线,在所述v-视差图中提取纵向直线,根据所述横向直线和纵向直线确定所述视差图像中的候选物体区域;

车辆判定模块,用于获取所述候选物体区域的特征信息,将预存储车辆特征信息与候选物体区域的特征信息进行特征比对,确定候选物体区域是否为车辆区域;

距离计算模块,用于根据所述车辆区域在所述视差图像中的视差值,计算得到所述车辆区域内的目标车辆与当前车辆的相对距离,在所述相对距离大于等于距离阈值时,对所述相对距离进行修正。

在一种实施例中,所述物体确定模块包括:

直线拟合单元,用于分别对所述u-视差图和v-视差图中的灰度值非0像素点进行直线拟合;

直线提取单元,用于从所述u-视差图中提取具有同一视差值的横向直线,在所述v-视差图中提取具有同一视差值的纵向直线;

区域确定单元,用于根据所述横向直线的每个像素点的坐标和所述纵向直线的每个像素点的坐标确定所述视差图像中候选物体区域的每个像素点的位置坐标。

在一种实施例中,所述车辆判定模块包括:

位置确定单元,用于获取当前车辆前方或后方的二维图像,根据所述二维图像与所述视差图像的像素对应关系,确定所述候选物体区域在所述二维图像中的对应位置;

特征获取单元,用于根据所述候选物体区域在所述二维图像中的对应位置,得到所述候选物体区域的灰度值或色彩值特征;

尺寸获取单元,用于根据所述候选物体区域在所述二维图像中的对应位置以及在所述视差图像中的视差值,计算所述候选物体区域的每个像素点的三维空间信息,得到候选物体的尺寸特征信息;

车辆判定单元,用于根据所述灰度值或色彩值特征,以及尺寸特征信息,通过与预存储车辆特征信息进行比对,确定所述候选物体区域是否为车辆区域。

再一方面,本公开还提供了一种电子设备,所述电子设备包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为执行上述任意一种所述的车距检测方法。

此外,本公开还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序可由处理器执行完成上述任意一种所述的车距检测方法。

本公开的实施例提供的技术方案可以包括以下有益效果:

本公开上述示例性实施例,通过导出视差图像中的u-视差图和v-视差图,结合u-视差图中的横向直线和v-视差图中的纵向直线可以提高候选物体区域的提取准确性,并在此基础上,通过结合候选物体区域的特征信息,提高车辆判定的准确性,并且在根据视差值计算出相对距离后,进一步对较远的相对距离进行修正,从而提高测距的准确性,为高速行驶过程中的汽车提供准确的碰撞预警机制,避免安全隐患。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。

图1是根据本公开所涉及的实施环境的示意图;

图2是根据一示例性实施例示出的一种装置的框图;

图3是根据一示例性实施例示出的一种车距检测方法的流程图;

图4、图5分别是左右摄像头拍摄的二维图像示意图;

图6是将图4和图5的二维图像合成视差图像的效果示意图;

图7、图8、图9是根据一示例性实施例示出的进行立体匹配处理的原理图;

图10、图11分别是v-视差图和u-视差图;

图12是图3对应实施例步骤320的细节的流程示意图;

图13、图14分别是v-视差图中拟合的直线和u-视差图中拟合的直线示意图;

图15、图16分别是v-视差图中的纵向直线和u-视差图中的横向直线示意图;

图17是根据图图15纵向直线和图16中的横向直线确定的候选物体区域示意图;

图18是图3对应实施例步骤330的细节的流程示意图;

图19是图3对应实施例步骤340的细节的流程示意图;

图20是进行相对距离修正的处理流程示意图;

图21是进行碰撞预警的处理流程示意图;

图22是根据一示例性实施例示出的一种车距检测装置的框图;

图23是图22对应实施例的物体确定模块的细节框图;

图24是图22对应实施例的车辆判定模块的细节框图。

具体实施方式

这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据本公开所涉及的实施环境的示意图。该实施环境包括:双目摄像头110和车载终端120。

双目摄像头110与车载终端120之间的关联方式,包括硬件的网络关联方式和/或协议,以及二者之间往来的数据关联方式。具体的,双目摄像头110可以安装在车辆的车头,面向车辆行驶方向,实时采集车辆行驶方向的二维图像。也可以安装在车辆的车尾,实时采集后方场景的二维图像。双目摄像头110包括一左、一右两个摄像头,左右两个摄像头平行等高,同时采集车辆前方或后方的二维图像,并将采集的二维图像发送至该车载终端120。车载终端120根据双目摄像头110采集的二维图像,并采用本公开提供的车距检测方法实现当前车辆与前方车辆的车距检测或者实现当前车辆与后方车辆的车距检测。根据需要也可以在车前、车后均安装双目摄像头,同时实现前后车辆的车距检测。

图2是根据一示例性实施例示出的一种装置200的框图。例如,装置200可以是图1所示实施环境中的车载终端120。

参照图2,装置200可以包括以下一个或多个组件:处理组件202,存储器204,电源组件206,多媒体组件208,音频组件210,传感器组件214以及通信组件216。

处理组件202通常控制装置200的整体操作,诸如与显示,电话呼叫,数据通信,相机操作以及记录操作相关联的操作等。处理组件202可以包括一个或多个处理器218来执行指令,以完成下述的方法的全部或部分步骤。此外,处理组件202可以包括一个或多个模块,便于处理组件202和其他组件之间的交互。例如,处理组件202可以包括多媒体模块,以方便多媒体组件208和处理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(staticrandomaccessmemory,简称sram),电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory,简称eeprom),可擦除可编程只读存储器(erasableprogrammablereadonlymemory,简称eprom),可编程只读存储器(programmablered-onlymemory,简称prom),只读存储器(read-onlymemory,简称rom),磁存储器,快闪存储器,磁盘或光盘。存储器204中还存储有一个或多个模块,该一个或多个模块被配置成由该一个或多个处理器218执行,以完成下述图3、图12、图18、图19、图20、图21任一所示方法中的全部或者部分步骤。

电源组件206为装置200的各种组件提供电力。电源组件206可以包括电源管理系统,一个或多个电源,及其他与为装置200生成、管理和分配电力相关联的组件。

多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(liquidcrystaldisplay,简称lcd)和触摸面板。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(organiclightemittingdisplay,简称oled)。

音频组件210被配置为输出和/或输入音频信号。例如,音频组件210包括一个麦克风(microphone,简称mic),当装置200处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中,音频组件210还包括一个扬声器,用于输出音频信号。

传感器组件214包括一个或多个传感器,用于为装置200提供各个方面的状态评估。例如,传感器组件214可以检测到装置200的打开/关闭状态,组件的相对定位,传感器组件214还可以检测装置200或装置200一个组件的位置改变以及装置200的温度变化。在一些实施例中,该传感器组件214还可以包括磁传感器,压力传感器或温度传感器。

通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络,如wifi(wireless-fidelity,无线保真)。在一个示例性实施例中,通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件216还包括近场通信(nearfieldcommunication,简称nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(radiofrequencyidentification,简称rfid)技术,红外数据协会(infrareddataassociation,简称irda)技术,超宽带(ultrawideband,简称uwb)技术,蓝牙技术和其他技术来实现。

在示例性实施例中,装置200可以被一个或多个应用专用集成电路(applicationspecificintegratedcircuit,简称asic)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现,用于执行下述方法。

图3是根据一示例性实施例示出的一种车距检测方法的流程图。该车距检测方法的适用范围和执行主体,例如,该方法用于图1所示实施环境的车载终端120。如图3所示,该检测方法,可以由车载终端120执行,可以包括以下步骤。

在步骤310中,获取当前车辆前方或后方视差图像,从所述视差图像中导出u-视差图和v视差图;

具体的,可以由双目摄像头110进行同一场景的二维图像的采集,双目摄像头110可以安装在当前车辆的车头或车尾,实现当前车辆与前后车辆的车距检测。本公开以将双目摄像头安装在车辆的车头,获取当前车辆前方视差图像为例进行说明,将双目摄像头安装在车尾获取后方视差图像的处理过程参照安装在车头的处理过程实现,在此不再赘述。双目摄像头110包括一左一右平行等高的两个摄像头,左右摄像头可以同时采集当前车辆前方的二维图像。如图4和图5所示,为双目摄像头110的左、右两个摄像头分别采集的同一场景的二维图像。车载终端120中可以设置图像处理引擎,由图像处理引擎将双目摄像头110采集的双目图像生成视差图像,即三维立体图像。视差,是指从相隔一定距离的两个点上观察同一个目标所产生的方向差异。当利用例如双目摄像头110拍摄同一个目标的左右两幅图像时,该目标的视差可以理解为该目标在左图像中的横坐标与在右图像中的横坐标之间的差。

图像处理引擎可有cpu,dsp,gpu,fpga或专用asic来实现。该图像处理引擎的输入为双目摄像头分别采集的二维图像,输出为大小与二维图像相同的三维立体图像,如图6所示。三维立体图像的灰度值对应为立体匹配合成后的二维图像像素点的视差值。

其中,图像处理引擎生成视差图像的具体过程如下:可以将左摄像头采集的二维图像作为基准图像,将右摄像头采集的二维图像作为比较图像,当然也可以,将右摄像头采集的二维图像作为基准图像,将左摄像头采集的二维图像作为比较图像。之后针对比较图像和基准图像进行立体匹配处理。

具体的,首先针对比较图像,遍历需要进行立体匹配的中心像素点,并在该中心像素点周围建立固定大小(wxh)的窗口,如图7所示,作为该中心像素点与基准图像进行立体匹配时的最小计算单位。针对选定的比较图像的像素中心点,将相应的窗口映射在同y坐标的基准图像上,如图8所示。从左到右的顺序遍历同y轴的基准图像的窗口中心像素点,运用sad(sumofabsolutedifference对应像素差的绝对值)算法或ssd(sumofsquareddifference对应像素差的平方和)算法进行差异cost(值)计算,并保存相应计算结果,如图9所示。在sad或ssd计算时,与比较图像差异cost最小的窗口中心像素点将被作为该选定像素中心点的匹配点,比较图像的选定像素中心点与基准图像的匹配点之间的位移差(x坐标之差)即为如图9所示的最小视差d’,其相应的深度信息则为在三维图像中,该基准图像像素中心点的对应距离。

具体的,通过遍历比较图像中的所有像素中心点,将计算出尺寸与基准图像相同的三维立体图像,即视差图像。基准图像的各像素点所对应的视差值,则将保存为三维立体图像的各像素点的灰度值。基准图像中的点的坐标可以表示为(x,y),其中x为横坐标,y为纵坐标。在通过转换该基准图像而获得的二维视差图像中,与点(x,y)对应的点的坐标可以表示为(u,v),其中u为横坐标,v为纵坐标,并且u=x,v=y。视差图像中每个点处的灰度值为该点处的视差,用d表示。可替换地,可以将视差图中的点表示为(u,v,d)以便同时反映点的坐标和视差,所以视差图像也可以成为三维立体图像。

需要说明的是,v-视差图(v-disparity-map,纵向视差直方图)和u-视差图(u-disparity-map,横向视差直方图)可以从前面得到的视差图像中导出。v-视差图可以视为视差图像的侧视图,其横坐标轴为d轴,纵坐标轴为v轴,其上的点可表示为(d,v),并且点(d,v)的灰度值(亮度值)是对应视差图像的纵坐标为v的行中视差等于d的点的数量,因此,可以通过统计该数量或者使用本领域公知的其他方法来从视差图像导出v-视差图。如图10所示为根据图6的视差图像导出的v-视差图。u-视差图可以视为视差图像的俯视图,其横坐标轴为u轴,纵坐标轴为d轴,其上的点可表示为(u,d),并且点(u,d)的灰度值(亮度值)是对应视差图像的横坐标为u的列中视差等于d的点的数量,因此,可以通过统计该数量或者使用本领域公知的其他方法来从视差图像导出u-视差图。如图11所示为根据图6的视差图像导出的u-视差图。

在步骤320中,在所述u-视差图中提取横向直线,在所述v视差图中提取纵向直线,根据所述横向直线和纵向直线确定所述视差图像中的候选物体区域;

其中,横向直线是指u-视差图中具有同一视差值的直线,纵向直线是指v视差图中具有同一视差值的直线,根据横向直线的每个像素点在视差图像中的对应像素点以及纵向直线的每个像素点在视差图像中的对应像素点,综合校验确定候选物体区域。

需要说明的是,在提取直线之前,可以对所述u-视差图和v-视差图进行降噪平滑处理;然后将经过所述降噪平滑处理后的u-视差图和v-视差图进行二值化处理,将灰度值大于预设值的像素点灰度值设为255,灰度值不大于预设值的像素点灰度值设为0。

其中,可以对u-视差图和v-视差图进行基于高斯滤波的降噪平滑处理,减少和消除u-视差图和v-视差图中的噪声,以改善图像质量。对u-视差图和v-视差图进行降噪平滑处理后,再对降噪平滑处理后的u-视差图和v-视差图进行二值化处理。二值化是指将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的只有黑和白的视觉效果。本公开实施例中可以将u-视差图和v-视差图中灰度值(视差值为d的点的个数)大于预设值的像素点灰度值设置为255,也就是白色。将u-视差图和v-视差图中灰度值(视差值为d的点的个数)不大于预设值的像素点灰度值设置为0,也就是黑色。从而u-视差图和v-视差图呈现只有黑白的视觉效果,如图10和图11所示。

可选的,如图12所示,步骤320具体包括:

在步骤321中,分别对所述u-视差图和v-视差图中的灰度值非0像素点进行直线拟合;

需要解释的是,u-视差图和v-视差图中每个点的灰度值表示视差值为d的点的个数。如果某点的灰度值为0表示视差值为d的点的个数是0,该点为暗点(亮度为0)。在进行直线拟合时,将u-视差图和v-视差图中的亮点(灰度值非0也就是视差值为d的点的个数非0)进行直线拟合。具体的,在u-视差图和v-视差图上,可以利用最小二乘法或霍夫变换算法对亮点进行直线拟合,拟合出若干条直线。

如图13和图14所示,对二值化处理后的u-视差图和v-视差图,利用直线拟合算法对灰度值为255的各点进行直线拟合,提取出若干条直线。需要说明的是,在二值化处理后的u-视差图和v-视差图中,仅剩下灰度值为255的白点和灰度值为0的黑点,之后,利用最小二乘法或霍夫变换算法对灰度值为255的白点进行直线拟合,得到若干条直线。

在步骤322中,从所述u-视差图中提取具有同一视差值的横向直线,在所述v视差图中提取具有同一视差值的纵向直线;

具体的,在u-视差图中探测具有同一y坐标的横向直线,由于u-视差图的横坐标为u,纵坐标为d,所以同一y坐标的横向直线为同一视差值的横向直线。在v-视差图中探测具有同一x坐标的纵向直线,由于v-视差图的横坐标为d,纵坐标为v,所以同一x坐标的纵向直线也就是同一视差值的纵向直线。如图15所示为v-视差图中的纵向直线,如图16所示为u-视差图中的横向直线。

在步骤323中,根据所述横向直线的每个像素点的坐标和所述纵向直线的每个像素点的坐标确定所述视差图像中候选物体区域的每个像素点的位置坐标。

需要解释的是,由于u-视差图的横坐标为u,纵坐标为d,所以可以很容易从u-视差图中得到横向直线每个像素点的坐标(u,d)。由于v-视差图的纵坐标为v,横坐标为d,所以可以很容易从v-视差图中得到纵向直线的每个像素点的坐标(d,v)。

需要说明的是,由于u-视差图的横坐标为u和v-视差图的纵坐标为v就是视差图像中的横坐标为u和纵坐标v,假设候选物体区域的一个像素点的坐标为(u,v,d),那么必然在横向直线中存在像素点(u,d),在纵向直线中存在像素点(d,v)。因此根据横向直线每个像素点的坐标(u,d)以及纵向直线的每个像素点的坐标(d,v)可以视差图像中候选物体区域的像素点的位置坐标为(u,v,d)。例如,如图17所示,v-视差图中纵向直线与u-视差图中的横向直线,都可以对应二维灰度图像的车辆区域,也就是其中一个候选物体区域。

在步骤330中,获取所述候选物体区域的特征信息,将预存储车辆特征信息与候选物体区域的特征信息进行特征比对,确定候选物体区域是否为车辆区域;

其中,特征信息可以是候选物体区域在双目摄像头110采集的二维图像中的灰度值特征信息或色彩值特征信息,通过将候选物体区域的灰度值特征信息或色彩值特征信息与事先训练得到的车辆样本库中的样本车辆特征信息进行比对,确定候选物体区域是否是车辆区域。换句话说,车辆样本库中存储了样本车辆的色彩特征值或灰度特征值,当候选物体区域的灰度值或色彩值与样本库中的样本车辆的色彩特征值或灰度特征值匹配时,判定候选物体区域为车辆区域,当不匹配时,则认为候选物体区域不是车辆区域。

可选的,如图18所示,步骤330具体包括:

在步骤331中,获取当前车辆前方或后方的二维图像,根据所述二维图像与所述视差图像的像素对应关系,确定所述候选物体区域在所述二维图像中的对应位置;

需要说明的是,车辆前方的二维图像与前方的视差图像具有尺寸相同,像素点相对应的特点,车辆后方的二维图像与后方的视差图像具有尺寸相同,像素点相对应的特点,因此根据像素对应关系,对于视差图像中的候选物体区域,可以在二维图像中找到与视差图像中的候选物体区域对应的候选物体区域。

在步骤332中,根据所述候选物体区域在所述二维图像中的对应位置,得到所述候选物体区域的灰度值或色彩值特征;

根据候选物体区域在二维图像中的对应位置,可以得到该位置的灰度值特征或色彩值特征,该灰度值特征或色彩值特征可以根据sift等算法进行提取,也可以采用其他现有的方法进行提取,对此不作限定。

在步骤333中,根据所述候选物体区域在所述二维图像中的对应位置以及在所述视差图像中的视差值,计算所述候选物体区域的每个像素点的三维空间信息,得到候选物体的尺寸特征信息;

需要说明的是,为了提高车辆判定的准确性,除了根据车辆的灰度值或色彩值特征进行判定外,还可以根据车辆的尺寸(长宽高)进行判定。其中,视差图像中候选物体区域每个像素点的三维空间坐标可以采用如下公式进行计算:

z=b*f/d

x=(w/2-u)*b/d-b/2

y=h’-(v-h/2)*b/d

其中,(x,y,z)为所求的世界坐标系下的三维空间坐标值,b为双目摄像头的两个摄像头之间的距离,f为摄像头镜头焦距,d为是视差值,h’为双摄像头距离地面的高度,视差图像尺寸大小为(w,h),例如:1280*960,像素点在二维图像坐标系中的坐标为(u,v),例如像素(100,100)。

由于b、f、d、h’以及(w,h)和(u,v)均为已知量,由此通过上述公式就可以计算出候选物体区域每个像素点的三维空间坐标值。计算出每个像素点的x,y,z数值,即可映射到实际的三维空间中,从而直接通过计算边界像素点坐标值的差值,得到候选物体的长、宽、高尺寸信息。

在步骤334中,根据所述灰度值或色彩值特征,以及尺寸特征信息,通过与预存储车辆特征信息进行比对,确定所述候选物体区域是否为车辆区域。

其中,车载终端120的车辆样本库中可以包括各种车型样本车辆的色彩值或灰度值特征,车载终端120的车辆大小信息库中已经存储了各种车型样本车辆的尺寸特征信息,将与样本车辆的尺寸(长宽高)相同或相近的候选物体判定为候选车辆,同时结合二维图像中候选车辆区域的灰度值或色彩值特征,将灰度值或色彩值特征与样本车辆的灰度值或色彩值特征匹配的候选车辆区域判定为车辆区域,进一步提高车辆判定的准确性,大幅抬高车辆检测的成功率。

在步骤340中,根据所述车辆区域在所述视差图像中的视差值,计算得到所述车辆区域内的目标车辆与当前车辆的相对距离,在所述相对距离大于等于距离阈值时,对所述相对距离进行修正。

具体的,获取视差图像中车辆区域的视差值,并进行降噪及均值化操作,根据上述公式z=b*f/d,即可计算出当前车辆与前方车辆(目标车辆)之间的相对距离。当该相对距离大于等于设定的距离阈值(如50米)时,表示当前车辆与前方车辆的距离较远,计算得到的相对距离不够准确,由此,需要对相对距离进行修正。如果计算得到的相对距离小于事先设定的距离阈值,则认为该相对距离是准确的,可以直接进行输出。

进一步的,可以将计算得到的相对距离与前方车辆的尺寸信息一并进行存储,形成车辆尺寸信息与车辆距离信息列表,以便后续计算与前方车辆发生碰撞的时间以及碰撞预警功能的实现。

可选的,如图19所示,步骤340在所述相对距离大于等于距离阈值时,对所述相对距离进行修正,具体包括:

在步骤341中,获取预存储的样本车辆尺寸信息和对应距离信息;

需要说明的是,如图20所示,在判定出车辆后,根据视差图像中车辆区域的视差值计算与前方车辆的相对距离,当相对距离大于等于距离阈值时,表示相对距离不够准确,因此可以从已经存储的车辆尺寸信息与车辆距离信息列表中读取数据并结合二维图像中前方车辆的尺寸进行相对距离修正。如果此列表中不存在可以参考的原始数据,则将计算得到的相对距离与前方车辆的尺寸信息一并存储在该列表中。如果相对距离小于距离阈值,则将计算得到的相对距离与前方车辆的尺寸信息一并存储在该列表中。

在步骤342中,选取与所述相对距离数值最接近的距离信息以及与所述距离信息对应的样本车辆尺寸信息;

具体的,可以由车载终端120中的嵌入式微处理器进行数据处理,从已经存储的车辆尺寸信息与车辆距离信息列表中选取与计算出的相对距离数值最接近的距离信息,并从列表中得到该距离信息对应的车辆尺寸信息。

在步骤343中,根据候选物体的尺寸特征信息得到目标车辆尺寸信息,根据所述目标车辆尺寸信息、样本车辆尺寸信息以及样本车辆尺寸信息所对应的距离信息,利用等比例缩放关系,计算得到目标车辆与当前车辆的相对距离修正结果。

需要解释的是,在上述步骤333得到候选物体的尺寸特征信息后,可以得到目标车辆(前方车辆)的尺寸信息,根据近者大远者小的等比例缩放关系,前方车辆的尺寸和相对距离,与样本车辆尺寸和距离信息应该相对应,也就是说应满足如下公式:

其中,前方车辆尺寸,样本车辆尺寸,样本车辆距离信息均为已知量,从而可以计算出前方车辆与当前车辆的相对距离修正结果。之后,可以将相对距离修正结果与前方车辆尺寸信息一并存储在上述车辆尺寸信息与车辆距离信息列表中。

进一步的,如图21所示,在上述示例性实施例根据基准图像和比较图像通过三维立体匹配建立视差图像,并完成前方车辆检测以及计算出相对距离之后,本公开示例性实施例还可以进行碰撞时间的计算。具体的,根据指定时间间隔内相对距离的变化,可以得到当前车辆与当前车辆的相对速度。由此,根据当前车辆与前方车辆的相对距离以及相对速度变化,可以估计出当前车辆与前方车辆发生碰撞的时间。当该时间小于风险阈值时,认为当前车辆可能马上就要与前方车辆发生碰撞,风险较大,需要进行预警,从而车载终端的预警终端发出警报信号,以实现预警的功能。

根据需要,在完成车辆判定后,还可以进一步对车辆进行识别,具体的,可以根据双目摄像头采集的二维图像中车辆区域的灰度值和色彩值特征信息,进一步对车辆进行识别。例如进一步识别车辆的型号、种类等,提升双目摄像头的车辆检测及识别算法精度,进一步提升车辆安全驾驶的稳定性与可靠性。

随着现代社会的智能化发展,政府,社会团体/联盟以及消费者对汽车安全性的要求越来越高,汽车的自动/辅助驾驶也已成为近年来汽车厂商及互联网等高科技公司竞相追逐的技术热点。在此背景下,基于gps,地图,超声波,雷达,单摄像头,双摄像头等多种传感器的汽车自动/辅助驾驶方案应运而生。但是,现有方案中,多采用多传感器集成的方式进行汽车的碰撞预警或安全控制,系统构成相对复杂且成本昂贵,很难被实际采用。现有被采用的实际解决方案中,仍多以基于摄像头的图像方案为主。尤其在汽车自动/辅助驾驶领域碰撞预警功能的实现上,对于车辆的检测及距离的评估多基于单摄像头的二维图像进行处理。基于单摄像头的图像处理方案,先针对二维图像进行物体的检测识别,后根据其在图像中所占的像素大小,按照事先标定的物体大小和距离关系,根据近大远小的方式预估距离信息,因此误差较大,存在着车辆的检测及识别率低下,未经训练的障碍物无法准确检测,检测距离的精度低下等技术缺陷。基于双目摄像头的车辆检测方案中,鉴于三维立体匹配的视差/距离精度限制,大于100米的远距离车辆,很难通过三维立体图像准确检测,且其距离精度低下,无法为高速行驶过程中的汽车提供准确的碰撞预警机制,从而产生不可避免的安全隐患。

本公开上述示例性实施例,通过导出视差图像中的u-视差图和v-视差图,结合u-视差图中的横向直线和v-视差图中的纵向直线可以提高候选物体区域的提取准确性,并在此基础上,通过结合候选物体区域的特征信息,提高车辆判定的准确性,并且在根据视差值计算出相对距离后,进一步对较远的相对距离进行修正,从而提高测距的准确性,为高速行驶过程中的汽车提供准确的碰撞预警机制,避免安全隐患。

下述为本公开装置实施例,可以用于执行本公开上述车载终端120执行的车距检测方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开车距检测方法实施例。

图22是根据一示例性实施例示出的一种车距检测装置的框图,该车距检测装置可以用于图1所示实施环境的车载终端120中,执行图3、图12、图18、图19、图20、图21任一所示的车距检测方法的全部或者部分步骤。如图22所示,该车距检测装置包括但不限于:图像获取模块1410、物体确定模块1420、车辆判定模块1430以及距离计算模块1440;

其中,图像获取模块1410,用于获取当前车辆前方或后方视差图像,从所述视差图像中导出u-视差图和v-视差图;

物体确定模块1420,用于在所述u-视差图中提取横向直线,在所述v-视差图中提取纵向直线,根据所述横向直线和纵向直线确定所述视差图像中的候选物体区域;

车辆判定模块1430,用于获取所述候选物体区域的特征信息,将预存储车辆特征信息与候选物体区域的特征信息进行特征比对,确定候选物体区域是否为车辆区域;

距离计算模块1440,用于根据所述车辆区域在所述视差图像中的视差值,计算得到所述车辆区域内的目标车辆与当前车辆的相对距离,在所述相对距离大于等于距离阈值时,对所述相对距离进行修正。

上述装置中各个模块的功能和作用的实现过程具体详见上述车距检测方法中对应步骤的实现过程,在此不再赘述。

图像获取模块1410比如可以是图2中的某一个物理结构通信组件216。

物体确定模块1420、车辆判定模块1430以及距离计算模块1440也可以是功能模块,用于执行上述车距检测方法中的对应步骤。可以理解,这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时,这些模块可以实施为一个或多个硬件模块,例如一个或多个专用集成电路。当以软件方式实现时,这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序,例如图2的处理器218所执行的存储在存储器204中的程序。

可选的,如图23所示,所述物体确定模块1420包括但不限于:

直线拟合单元1421,用于分别对所述u-视差图和v-视差图中的灰度值非0像素点进行直线拟合;

直线提取单元1422,用于从所述u-视差图中提取具有同一视差值的横向直线,在所述v-视差图中提取具有同一视差值的纵向直线;

区域确定单元1423,用于根据所述横向直线的每个像素点的坐标和所述纵向直线的每个像素点的坐标确定所述视差图像中候选物体区域的每个像素点的位置坐标。

可选的,如图24所示,所述车辆判定模块1430包括但不限于:

位置确定单元1431,用于获取当前车辆前方或后方的二维图像,根据所述二维图像与所述视差图像的像素对应关系,确定所述候选物体区域在所述二维图像中的对应位置;

特征获取单元1432,用于根据所述候选物体区域在所述二维图像中的对应位置,得到所述候选物体区域的灰度值或色彩值特征;

尺寸获取单元1433,用于根据所述候选物体区域在所述二维图像中的对应位置以及在所述视差图像中的视差值,计算所述候选物体区域的每个像素点的三维空间信息,得到候选物体的尺寸特征信息;

车辆判定单元1434,用于根据所述灰度值或色彩值特征,以及尺寸特征信息,通过与预存储车辆特征信息进行比对,确定所述候选物体区域是否为车辆区域。

可选的,所述距离计算模块1440包括但不限于:

信息获取单元,用于获取预存储的样本车辆尺寸信息和对应距离信息;

信息选取单元,用于选取与所述相对距离数值最接近的距离信息以及与所述距离信息对应的样本车辆尺寸信息;

距离修正单元,用于根据候选物体的尺寸特征信息得到目标车辆尺寸信息,根据所述目标车辆尺寸信息、样本车辆尺寸信息以及样本车辆尺寸信息所对应的距离信息,利用等比例缩放关系,计算得到目标车辆与当前车辆的相对距离修正结果。

可选的,本公开还提供一种电子设备,该电子设备可以用于图1所示实施环境的车载终端120中,执行图3、图12、图18、图19、图20、图21任一所示的车距检测方法的全部或者部分步骤。所述电子设备包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为执行上述示例性实施例所述的车距检测方法。

该实施例中的电子设备的处理器执行操作的具体方式已经在有关该车距检测方法的实施例中执行了详细描述,此处将不做详细阐述说明。

在示例性实施例中,还提供了一种存储介质,该存储介质为计算机可读存储介质,例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质存储有计算机程序,所述计算机程序可由装置200的处理器218执行以完成上述车距检测方法。

应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1