专利名称：基于车辆的成像系统的功能诊断和验证的制作方法
技术领域：
实施例主要涉及基于车辆视觉的系统。
背景技术：
基于视觉的成像系统例如后方倒车摄像头被用于在车辆静止或倒车时为驾驶员生成车辆周围环境的实时画面。这就允许驾驶员监视在车辆向后行驶的行进路径上是否存在任何障碍物例如人。系统依赖于在车辆向后行进时捕捉车辆后方区域图像的视觉成像设备例如视频摄像头。捕获的图像被发送至客厢内的视频显示屏，在此对驾驶员显示捕获的环境。在视频表现出易被驾驶员忽视的不起作用状态时可能会出现问题。如果视频信号在发送期间停滞或者被污垢或另外的物体遮挡就可能就会出现不起作用的状态。随意扫视视频显示屏的驾驶员可能不会意识到在车辆行进的短距离内捕获图像并未改变。因此，自动检测基于视频的成像系统工作是否正常应该是有利的。
发明内容
实施例的优点是检测基于视觉的成像系统中的错误并将这样的错误通知车辆驾驶员。系统利用来自基于车辆视觉的成像系统的捕获图像以在不同的时间点识别图像中的地标。比较地标以用于分辨在捕获图像之间是否已发生移动。这通过生成边缘图并比较边缘图中的像素位置以确定图像是否已停滞或被遮挡而实现。另外，应用验证技术以验证基于视觉的成像系统的可操作性。验证技术可以仅利用基于视觉的成像设备的捕获图像或者也可以利用另一种已有的车载测量设备来验证基于视觉的成像设备的操作。优点是系统仅利用现有的车载部件来诊断和分析基于视觉的成像系统的功能性。实施例设想了一种确定车用基于视觉的成像系统的功能性的方法。图像由基于视觉的成像系统捕捉。图像包括在多幅图像中识别出的地标以用于分辨图像之间的地标移位。处理模块生成用于每一幅图像的边缘图。比较至少两幅边缘图中的相似区域以用于分辨至少两幅边缘图之间的地标移位。每一幅边缘图都由具有不同亮度值的像素构成。将第一边缘图中的每一个像素位置与第二边缘图中的相同像素位置进行比较。将至少两幅边缘图中每一个相同的像素位置彼此比较以用于确定每一个比较的像素位置是否具有不同的亮度值。确定至少两幅边缘图之间具有不同亮度值的像素位置的总数。对总数是否大于用于指示至少两幅边缘图之间地标移位的阈值进行判定。响应于总数小于阈值而生成出错信肩、O本发明具体由以下方案实现:
方案1、一种确定车用基于视觉的成像系统的功能性的方法，所述方法包括以下步骤:通过基于视觉的成像系统捕捉图像， 所述图像包括在多幅图像中识别出的地标以用于分辨图像之间的地标移位；
处理模块生成用于每一幅图像的边缘图； 比较至少两幅边缘图中的相似区域以用于分辨至少两幅边缘图之间的地标移位，每一幅边缘图都由具有不同亮度值的像素构成，其中将第一边缘图中的每一个像素位置与第二边缘图中的相同像素位置进行比较，其中将至少两幅边缘图中每一个相同的像素位置彼此比较以用于判定每一个比较的像素位置是否具有不同的亮度值；并且确定至少两幅边缘图之间具有不同亮度值的像素位置的总数；
对总数是否大于用于指示至少两幅边缘图之间地标移位的阈值进行判定；并且 响应于总数小于阈值而生成出错信息。方案2、如方案I所述的方法，其中响应于总数小于阈值而生成出错信息包括:
响应于总数小于阈值而判定车辆是否在移动；并且
仅响应于车辆正在移动的判定才由输出设备生成出错信息。方案3、如方案2所述的方法，其中出错信息表示在基于视觉的成像系统内传送的成像信号已暂停。方案4、如方案2所述的方法，其中出错信息表示由基于视觉的成像系统捕捉的图像被物体遮挡。方案5、如方案I所述的方法，进一步包括以下步骤:
响应于总数大于阈值而验证基于视觉的成像系统的功能性；并且 响应于确定基于视觉的成像系统的功能性无效而由输出设备生成出错信息。方案6、如方案5所述的方法，其中验证基于视觉的成像系统的功能性包括验证由基于视觉的成像系统捕获的道路中车道标记的标识符。方案7、如方案6所述的方法，其中验证基于视觉的成像系统包括:
判定车辆是否在移动；
响应于车辆正在移动的判定而由基于视觉的成像系统识别车道标记；
比较至少两幅图像中识别出的车道标记；
确定第一图像中车道标记的特征以用于与第二图像中车道标记的特征相比较；并且响应于第一图像中车道标记的特征与第二图像中车道标记的特征不匹配而宣告基于视觉的成像系统的功能性无效。方案8、如方案7所述的方法，其中车道标记的特征包括车道标记在图像内的位置。方案9、如方案7所述的方法，其中车道标记的特征包括车道标记在图像内的取向。方案10、如方案6所述的方法，其中验证基于视觉的成像系统进一步包括:
由基于视觉的成像系统识别车道标记；
由车辆中的第二测量系统识别车道标记；
将由基于视觉的成像系统捕获的车道标记与由第二测量系统捕获的车道标记进行比较；并且
响应于由基于视觉的成像系统捕获的车道标记与由第二测量系统捕获的车道标记不匹配而宣告基于视觉的成像系统无效。方案11、如方案10所述的方法，其中基于视觉的成像系统包括基于后视的成像设备，并且其中由第二测量系统识别车道标记包括使用基于前视的成像设备识别车道标记。
方案12、如方案10所述的方法，其中基于视觉的成像系统包括基于后视的成像设备，并且其中由第二测量系统识别车道标记包括使用基于侧视的成像设备识别车道标记。方案13、如方案10所述的方法，其中由第二测量系统识别车道标记包括使用基于全球定位的系统识别车道标记。方案14、如方案10所述的方法，其中由第二测量系统识别车道标记包括使用基于激光雷达的测量系统识别车道标记。方案15、如方案5所述的方法,其中所述出错信息表不基于视觉的成像系统未被校准。方案16、如方案5所述的方法，其中所述出错信息表示视频连接被错误地连接。方案17、如方案5所述的方法，其中所述出错信息表示基于视觉的成像系统不稳定。方案18、如方案I所述的方法,其中由输出设备生成出错信息包括生成表明基于视觉的成像系统出错的音频信息。方案19、如方案I所述的方法,其中由输出设备生成出错信息包括生成表明基于视觉的成像系统出错的视觉信息。方案20、如方案I所述的方法，其中表明基于视觉的成像系统出错的视觉信息被显示在基于车辆视觉的成像输出显示屏上。方案21、如方案I所述的方法，其中由输出设备生成出错信息包括生成用于表明基于视觉的成像系统出错的触觉感应。
图1是捕捉道路图像的车辆的俯视图。图2是由基于视觉的成像设备捕获的图像。图3是边缘图的数据图。图4是用于确定图像捕捉出错的方法流程图。
具体实施例方式如图1所示，车辆10沿道路12行进。基于视觉的成像系统14捕捉车辆10的道路图像以用于检测行进的可行区域(以下称为无障碍路径)内的图像。基于视觉的成像系统14在车辆静止、向后移动或向如移动时捕捉车辆后方的图像。在本文所述的实施例中，基于视觉的成像系统将被描述为捕捉车辆后方的图像；但是应该理解基于视觉的成像系统14也可以扩展为捕捉车辆前方和车辆两侧的图像。基于视觉的成像系统14如图1所示在车辆沿向后的方向、向前的方向行驶或静止时显示车辆后方的物体。在优选实施例中，基于视觉的成像系统14被用于识别道路内的无障碍路径或车道标记以供各种系统例如但不限于倒车物体检测系统、车道偏离报警系统或车道对中系统使用。基于视觉的成像系统14包括基于视觉的成像设备，其优选被安装在车辆的外部位置(例如与牌照并列)以用于捕捉车辆外部和后方的环境。尽管基于视觉的成像系统14可用于各种功能(例如在倒车时用于显示车辆后方环境的视频图像)，但是本文中介绍的实施例利用捕获图像来识别地标，包括但不限于道路标记、车道标记、道路标志、建筑物、树木、人或其他路面物体以使得能够检测视频中图像帧之间的地标移动。这种系统的示例包括但不限于倒车检测系统和后视成像，其中必不可少的是系统要能够识别车辆向后行进路径内的物体。图2示出了由车载基于视觉的成像系统捕捉的图像。捕获图像内的任何地标都可被用于检测图像之间的暂时差异。对于每一幅捕捉的图像，由处理模块生成边缘图以使得可以对图像进行纹理分析。图3中示出了用于捕获图像的边缘图。边缘图生成物体的边缘。边缘由其值表示边缘图内地标的不同明暗状态的像素构成。一旦边缘图构建完成，就将用于第一图像的边缘图内的区域与用于第二图像的边缘图内的相同区域进行比较以确定两幅对比边缘图的像素之间的暂时差异。根据相应边缘图中相同区域的比较结果，即可对捕捉图像系统工作是否正常进行判定。图4示出了用于判定基于视觉的成像系统工作是否正常的方法流程图。在步骤20通过基于视觉的成像设备捕捉图像。基于视觉的成像设备可以包括视频摄像头或类似设备。在步骤21，选择图像用于纹理分析并且为每一幅捕获图像生成边缘图以用于分析每一幅图像中地标的纹理。应该理解边缘图仅是一种用于区分图像内地标的技术并且可以使用其他的技术。原始图像包含由于表面和光照转变而产生的边缘。边缘图可以包括竖直边缘图或水平边缘图。竖直边缘图数据通过检测输入图像数据中的竖直边缘而生成。仅将输入图像中物体的竖直边缘用于生成竖直边缘图数据。图3中示出了竖直边缘图数据的示意图。为了检测竖直边缘，输入图像被视为像素矩阵。将相关滤波器应用于输入图像。放大水平方向变化并且衰减竖直方向变化的几种滤波器中的任何一种均可使用。可选地，可以生成并分析水平边缘图。在步骤22，在两幅选择用于比较的图像的边缘图上执行地标移位技术。在执行地标移位技术时，选择每一幅图像中基本相似的区域。比较至少两个基本相似的边缘图区域中的相同区域以用于判定相应区域内相同的像素位置是否具有不同的亮度值。用于连续图像的相同像素位置之间的亮度值变化就表示在两幅捕获图像之间车辆相对于地标有移动或者地标的重新定位。这通过识别第一边缘图中的像素位置与第二边缘图中相同的像素位置相比是否具有不同的亮度值来完成。在比较完相应区域的第一和第二边缘图内的每一个相关像素位置之后，生成第一和第二边缘地图中具有不同亮度值的像素位置组合的总数。在步骤23，将总数与阈值比较。对总数是否大于阈值进行判定。总数小于阈值可以表示两幅相应边缘图中识别出的地标并未移动并且相同的图像是连续捕获。如果做出的判定是总数不大于阈值，那么程序前进至步骤24，否则程序前进至步骤26。在步骤24，对车辆是否在移动进行判定。如果车辆未在移动，那么车辆的不动性即可提供捕获图像的连续帧之间地标位置为何没有改变的理由。如果判定车辆在捕捉图像时并未移动，那么就返回到步骤20。如果判定车辆在捕捉图像时正在移动，那么程序就前进至步骤25。在步骤25，发出信息表示基于视觉的成像系统已经出现错误。错误可以是视频暂停的结果，或者是视野区域被障碍物(例如污垢或拖车)遮挡的结果，或者是摄像头信号在传送期间停滞的结果。出错信息可以是由输出设备生成的视觉、音频或触觉信息。例如，如果出错信息是视觉信息，那么信息可以视觉显示在向车辆驾驶员显示捕获视频图像的基于视频的图像输出显示屏上。这就确保了驾驶员在观看输出显示屏时驾驶员能够意识到基于视觉的成像系统的不可操作性。再次参照步骤23，如果做出的判定是总数大于阈值，那么就在步骤26启动车道标记识别验证技术。成功的验证表明视频成像系统工作正常。本文中介绍的验证技术使用了由基于视觉的成像设备检测到的地标例如车道标记。步骤27和28介绍了用于判定验证是否失败的车道标记验证技术。在步骤27，使用两种测量设备以判定基于视觉的成像设备是否有效。将由基于视觉的成像设备捕获的当前图像中的检测到的车道标记与由另一种测量设备得到的车道标记检测结果进行比较。另一种测量设备可以包括另外的基于视觉的图像设备(例如前视频摄像头、雷达/激光雷达传感器、GPS和地图)。由于图像是从两种独立的测量设备获得并且可以在基本相同的时间点获得，因此不必考虑车辆的移动。结果就是在验证基于视觉的成像设备时不需要图像中的暂时差异。如果在两种设备的车道标记之间有明显不同，那么就表示其中一种测量设备可能工作不正常。由于测量设备之间的不一致而不应该依赖基于视觉的成像设备。因此在步骤29发出出错信息。如果由基于视觉的成像设备和另一种测量设备捕获的图像匹配，那么就做出基于视觉的成像设备工作正常的判定并且不需要采取行动。程序返回步骤20以继续监测基于视觉的成像系统寻找错误。在步骤28应用另一种验证技术。步骤28中介绍的验证技术使用仅由基于视觉的成像设备捕获的图像中的暂时差异。将从前一帧检测到的车道标记与当前帧中检测到的车道标记进行匹配。为了仅依赖于单个测量设备执行验证，车辆必须移动以便比较暂存图像。如果车辆并不移动，那么验证就无法执行，原因在于这种相应的技术要求由基于视觉的成像设备捕捉车道标记的移位，这只有在车辆移动时才能获得。如果车辆在移动，那么就将前一帧中车道标记的至少一种特征与当前帧中车道标记的对应特征相比较。特征包括但不限于位置、取向、结构、形状、设计、模式或设置方式。如果在检测特征之间不存在匹配，那么验证失败并在步骤29发出出错信息。错误可以是在基于视觉的成像系统内视频输入被错误连接的结果，基于视觉的成像系统未被正确校准的结果，或者是车道测量系统不稳定或不可靠的结果。如果在检测的特征之间存在匹配，那么就不采取任何行动，并且程序返回步骤20以继续监测基于视觉的成像设备或系统寻找错误。尽管已经详细介绍了本发明的某些实施例，但是熟悉本发明相关领域的技术人员应该意识到所附权利要求定义了用于实践本发明的各种可选设计方案和实施例。
权利要求
1.一种确定车用基于视觉的成像系统的功能性的方法，所述方法包括以下步骤: 通过基于视觉的成像系统捕捉图像，所述图像包括在多幅图像中识别出的地标以用于分辨图像之间的地标移位； 处理模块生成用于每一幅图像的边缘图； 比较至少两幅边缘图中的相似区域以用于分辨至少两幅边缘图之间的地标移位，每一幅边缘图都由具有不同亮度值的像素构成，其中将第一边缘图中的每一个像素位置与第二边缘图中的相同像素位置进行比较，其中将至少两幅边缘图中每一个相同的像素位置彼此比较以用于判定每一个比较的像素位置是否具有不同的亮度值；并且确定至少两幅边缘图之间具有不同亮度值的像素位置的总数； 对总数是否大于用于指示至少两幅边缘图之间地标移位的阈值进行判定；并且 响应于总数小于阈值而生成出错信息。
2.如权利要求1所述的方法，其中响应于总数小于阈值而生成出错信息包括: 响应于总数小于阈值而判定车辆是否在移动；并且 仅响应于车辆正在移动的判定才由输出设备生成出错信息。
3.如权利要求2所述的方法，其中出错信息表示在基于视觉的成像系统内传送的成像信号已暂停。
4.如权利要求2所述的方法，其中出错信息表示由基于视觉的成像系统捕捉的图像被物体遮挡。
5.如权利要求1所述的方法，进一步包括以下步骤: 响应于总数大于阈值而验证基于视觉的成像系统的功能性；并且 响应于确定基于视觉的成像系统的功能性无效而由输出设备生成出错信息。
6.如权利要求5所述的方法，其中验证基于视觉的成像系统的功能性包括验证由基于视觉的成像系统捕获的道路中车道标记的标识符。
7.如权利要求6所述的方法，其中验证基于视觉的成像系统包括: 判定车辆是否在移动； 响应于车辆正在移动的判定而由基于视觉的成像系统识别车道标记； 比较至少两幅图像中识别出的车道标记； 确定第一图像中车道标记的特征以用于与第二图像中车道标记的特征相比较；并且响应于第一图像中车道标记的特征与第二图像中车道标记的特征不匹配而宣告基于视觉的成像系统的功能性无效。
8.如权利要求7所述的方法，其中车道标记的特征包括车道标记在图像内的位置。
9.如权利要求7所述的方法，其中车道标记的特征包括车道标记在图像内的取向。
10.如权利要求6所述的方法，其中验证基于视觉的成像系统进一步包括: 由基于视觉的成像系统识别车道标记； 由车辆中的第二测量系统识别车道标记； 将由基于视觉的成像系统捕获的车道标记与由第二测量系统捕获的车道标记进行比较；并且 响应于由基于视觉的成像系统捕获的车道标记与由第二测量系统捕获的车道标记不匹配而宣告基于视觉的成像系统无效。
全文摘要
一种基于车辆的成像系统的功能诊断和验证，包括通过基于视觉的成像系统捕捉图像。图像包括在多幅图像中识别出的地标以用于分辨图像之间的地标移位。生成用于每一幅图像的边缘图。比较至少两幅边缘图中的相似区域以用于分辨至少两幅边缘图之间的地标移位。将第一边缘图中的每一个像素位置与第二边缘图中的相同像素位置进行比较以用于判定每一个比较的像素位置是否具有不同的亮度值。确定至少两幅边缘图之间具有不同亮度值的像素位置的总数并与阈值相比较。响应于总数小于阈值而生成出错信息。
文档编号H04N17/00GK103139595SQ20121050213
公开日2013年6月5日 申请日期2012年11月30日 优先权日2011年11月30日
发明者W.张, B.B.利特库希 申请人:通用汽车环球科技运作有限责任公司