专利名称：使用附加分类器来调节畅通路径检测的制作方法
技术领域：
本发明总体上涉及用于车辆的畅通驾驶路径的基于照相机的检测，且更具体地涉及检测车辆的畅通驾驶路径的方法和系统，所述方法和系统使用由训练样本训练的第一分类器，增加由可靠试验样本训练的第二分类器，且使用两个分类器来获得关于前方道路畅通驾驶路径的联合决策。
背景技术：
许多现代车辆包括设计成增强乘员安全性、舒适性和便利性的复杂电子系统。在这些系统中，驾驶辅助系统变得日益普遍。驾驶辅助系统需要关于位于车辆前方的事物的信息，以便确定是否应当发出任何类型的驾驶员报警或应当采取规避动作。各种技术可以由驾驶辅助系统用于道路检测，以确定车辆前方的路径是畅通的还是有障碍的。基于照相机的系统广泛地用于畅通路径检测，因为其已经被证实为可靠的且成本低的。在基于照相机的系统中，车载照相机提供车辆前方的路径的图像，且所述图像通过各种算法处理以确定前方路径是否畅通。常见处理方法使用训练分类器来作出畅通路径确定。训练分类器是一类机器学习技术，其中，一组训练样本(在该情况下，畅通路径道路的图像区域)用于训练模型以分类还需要遇到的道路的图像区域。训练分类器的基本限制在于，仅仅可以采用有限数量的训练样本，且在实际驾驶情况下遇到的各种环境中，必然存在试验样本非常不同于任何畅通路径训练样本，而实际上处于畅通路径道路的图像区域中。需要能够连续地更新且基于被正确分类的最近畅通路径图像区域来调节分类器的畅通路径检测技术。这种技术可以用于改进驾驶辅助系统的速度和准确性。
发明内容
根据本发明的教导，公开了使用包括附加分类器的适应性机器学习技术的车辆畅通路径检测的方法和系统。数字照相机图像分割成小块，从所述小块提取表示诸如颜色和纹理的属性的特性特征。小块特征通过支持向量机(SVM)或其它机器学习分类器分析，其先前已经训练以识别畅通路径图像区域。对于获得低置信度值的图像区域，可以使用附加分类器，其中，附加分类器使用先前正确地分类为畅通路径道路的实际试验样本适应性地训练。初始离线训练分类器和附加适应性更新分类器然后作出关于随后图像中的畅通路径区域的联合决策。方案I. 一种用于检测车辆的畅通驾驶路径的方法，所述方法包括
处理来自于照相机的图像以产生来自于每个图像的一个或多个小块的特征数据；
使用第一训练分类器分析所述一个或多个小块的特征数据，以确定概率值；
使用概率值超过第一概率阈值的小块作为训练样本以训练第二训练分类器；
使用第二训练分类器来分析所述一个或多个小块的特征数据以确定一致性值；评估概率值和一致性值以确定所述一个或多个小块中的每个的置信度值；以及 基于置信度值针对所述一个或多个小块中的每个进行畅通驾驶路径或非畅通路径确定。方案2.根据方案I所述的方法，其中，处理来自于照相机的图像以产生一个或多个小块的特征数据包括分割图像以限定所述一个或多个小块；以及提取所述一个或多个小块的特征数据。方案3.根据方案2所述的方法，其中，分割图像以限定所述一个或多个小块包括仅仅选择尺寸超过预定尺寸阈值的小块。方案4.根据方案2所述的方法，其中，提取所述一个或多个小块的特征数据包括提取以下项中的一个或多个几何形状特征、颜色特征、纹理特征和方向梯度直方图特征。方案5.根据方案I所述的方法，其中，使用第一训练分类器分析所述一个或多个小块的特征数据包括使用支持向量机分类器。方案6.根据方案I所述的方法，其中，使用概率值超过第一概率阈值的小块作为训练样本以训练第二训练分类器包括将概率值超过第一概率阈值的小块的数据作为当前数据帧、先前数据帧和聚类数据池中的存储成分存储。方案7.根据方案6所述的方法，其中，将概率值超过第一概率阈值的小块的数据作为当前数据帧、先前数据帧和聚类数据池中的存储成分存储包括
基于从每个存储成分到每个聚类的距离将来自于先前数据帧的存储成分包含到聚类数据池的聚类中；
将来自于当前数据帧的存储成分移动到先前数据帧中；以及 从照相机的最近图像产生当前数据帧的存储成分。方案8.根据方案7所述的方法，其中，将来自于先前数据帧的存储成分包含到聚类数据池的聚类中包括仅仅使用来自于先前数据帧的概率值超过第二概率阈值的存储成分。方案9.根据方案6所述的方法，其中，使用第二训练分类器来分析所述一个或多个小块的特征数据以确定一致性值包括计算从所述一个或多个小块到当前数据帧、先前数据帧和聚类数据池中的存储成分中的每个的最小距离；以及使用最小距离来计算一致性值。方案10.根据方案I所述的方法，还包括在车辆的驾驶辅助系统中使用畅通驾驶路径或非畅通路径确定。方案11. 一种用于检测车辆的畅通驾驶路径的方法，所述方法包括
处理来自于照相机的图像以产生来自于每个图像的一个或多个小块的特征数据；
使用第一训练分类器分析所述一个或多个小块的特征数据，以确定概率值，其中，第一训练分类器是支持向量机分类器；
使用概率值超过概率阈值的小块作为训练样本以训练第二训练分类器；
使用第二训练分类器来分析所述一个或多个小块的特征数据以确定一致性值；
评估概率值和一致性值以确定所述一个或多个小块中的每个的置信度值；
基于置信度值针对所述一个或多个小块中的每个进行畅通驾驶路径或非畅通路径确定；以及
在车辆的驾驶辅助系统中使用畅通驾驶路径或非畅通路径确定。方案12.根据方案11所述的方法，其中，处理来自于照相机的图像以产生一个或多个小块的特征数据包括分割图像以限定所述一个或多个小块；以及提取所述一个或多个小块的特征数据。方案13.根据方案12所述的方法，其中，提取所述一个或多个小块的特征数据包括提取以下项中的一个或多个几何形状特征、颜色特征、纹理特征和方向梯度直方图特征。 方案14.根据方案11所述的方法，其中，使用概率值超过概率阈值的小块作为训练样本以训练第二训练分类器包括将概率值超过概率阈值的小块的数据作为当前数据帧、先前数据帧和聚类数据池中的存储成分存储。方案15.根据方案14所述的方法，其中，使用第二训练分类器来分析所述一个或多个小块的特征数据以确定一致性值包括计算从所述一个或多个小块到当前数据帧、先前数据帧和聚类数据池中的存储成分中的每个的最小距离；以及使用最小距离来计算一致性值。方案16. —种用于车辆的畅通路径检测系统,包括
照相机，用于产生车辆前面或车辆后面的场景的图像；
分割模块，用于从每个图像限定一个或多个小块；
特征提取模块，用于从每个图像提取所述一个或多个小块的特征数据；
第一分类器模块，用于分析特征数据以确定所述一个或多个小块中的每个的概率值；调节更新模块，使用概率值超过概率阈值的小块的特征数据以训练第二分类器模块；第二分类器模块，用于分析特征数据以确定所述一个或多个小块中的每个的一致性值；以及
联合决策模块，用于评估概率值和一致性值以针对所述一个或多个小块中的每个进行畅通驾驶路径或非畅通路径确定。方案17.根据方案16所述的畅通路径检测系统，其中，特征提取模块提取包括以下项中的一个或多个的特征数据几何形状特征、颜色特征、纹理特征和方向梯度直方图特征。方案18.根据方案16所述的畅通路径检测系统，其中，第一分类器模块使用支持向量机分类器。方案19.根据方案16所述的畅通路径检测系统，其中，所述调节更新模块将概率值超过概率阈值的小块的数据作为当前数据帧、先前数据帧和聚类数据池中的存储成分存储。方案20.根据方案19所述的畅通路径检测系统，其中，第二训练分类器计算从所述一个或多个小块到当前数据帧、先前数据帧和聚类数据池中的存储成分中的每个的最小距离，且使用最小距离来计算一致性值。本发明的附加特征将从以下说明和所附权利要求书结合附图显而易见。
图I是可以用于检测车辆的畅通驾驶路径的系统的框图，所述系统借助于附加分类器使用适应性机器学习技术；
图2是由图I的系统使用的分类器调节方法的流程 图3是图示了在图2的方法中使用的一组数据成分的更新的示意 图4是可以用于畅通路径检测的系统的框图，所述系统使用经由可靠局部模型更新实施的适应性分类器更新策略； 图5是两个功能等价的支持向量机(SVM)训练样本组的图示，示出了仅仅局部训练样本如何影响SVM分类器边界；
图6是分类器可以如何调节以利于局部训练和试验样本的图示；
图7是由图4的系统使用的分类器调节方法的流程图；和 图8是可以由图4的系统使用的分类器调节方法的可选实施例的流程图。
具体实施例方式涉及使用附加分类器的适应性畅通路径检测的本发明实施例的以下阐述本质上仅仅是示例性的且绝不旨在限制本发明或其应用或使用。车辆中的驾驶辅助系统可以给驾驶员提供有价值的报警信息，但是仅仅在其包括借助于畅通路径检测方案的鲁棒道路检测系统时如此。诸如训练分类器的机器学习技术可以用于在道路的照相机图像中的畅通路径检测，但是常规训练分类器的有效性可以在一定程度上受到实际上仅仅可以使用有限的一组训练样本的事实的限制。本文公开了使用来自于已经用高置信度分类的实际道路图像的数据来连续地更新和调节分类器的方法，因而改进分类器以及总体驾驶辅助系统的速度和有效性。图I是可以用于车辆的畅通路径检测的系统10的框图，系统10使用经由附加分类器实施的适应性分类器更新策略。系统10包括照相机12，照相机12通常安装在车辆挡风玻璃内，面向正前方。照相机12还可以是安装在车辆后挡、车尾行李箱或后背箱盖的区域中的后视照相机。本文公开的畅通路径检测方法可应用于向前和向后驾驶两者，只要照相机图像可用即可。照相机12可以是相对低分辨率的模型，因为高分辨率图像更难处理，且高分辨率对于畅通路径确定来说通常是不必要的。而且，非常高分辨率的成像装置可能不能耐受车辆的苛刻物理环境，或者可能过大而不适合所探讨的目的。照相机12将图像提供给预处理模块14。实际上，照相机12提供连续图像流，且系统10必须实时地连续地进行畅通路径确定，这是有挑战的任务。预处理模块14使用各种过程预处理每个图像，例如修剪、缩放、镜头墨点校正等。镜头墨点或晕光是与图像中心相比，周边处的图像亮度或饱和度减少，这是摄影或光学领域技术人员熟知的。存在晕光的多种可能根源，包括机械的、光学的和自然的。机械和光学晕光可以通过照相机12的适当设计极大地避免。自然晕光可以通过将校正掩模应用于数字图像来补偿，从而抵消图像角部处照明度的下降。虽然不是强制的，但是该补偿可以在预处理模块14中完成。在许多情况下，预处理功能已经显示为使得随后处理更有效。然后，预处理模块14将预处理图像提供给分割模块16。分割模块16然后将每个图像分割成小块，以用于进一步处理。在计算机视图中，分割指的是将数字图像划分为多个区段(像素组)的过程。分割的目的是将图像的表征简化和/或改变为更有意义且更容易分析的事物。图像分割通常用于定位图像中的目标和边界。更准确地，图像分割是将标签分配给图像中的每个像素使得具有相同标签的像素共有某些视觉特性的过程。图像分割的结果是一起覆盖整个图像的一组区段。区段或区域中的所有像素在一些特性或计算属性(例如，颜色、强度或纹理)方面类似。相邻区段或区域在相同特性方面不同。在分割之后，所述区段(也称为小块)中的大多数或全部针对畅通路径可能性进行分析。然而，取决于可用计算能力，不是所有小块都可用于分类器训练。小块尺寸是可以用于限制哪些小块选择用于分类器训练的一个标准，其中，大的小块比小的小块更重要。这是因为系统10的目的是检测车辆的畅通驾驶路径，且图像的周边周围的小的小块(可表示远处的树或云)不太可能表示畅通驾驶路径。换句话说，表示车辆紧接前方道路的小块通常是 每个图像中最大的和最重要的小块。因而，限制用于分类器训练的小块数量改进了总体处理速度。在一个示例中，使用图像尺寸的百分比的小块尺寸阈值，且仅仅超过阈值的小块用于分类器训练。然而，如果处理速度不是问题，那么可以使用所有小块一不仅针对畅通路径可能性进行分析，而且用于分类器训练。在线18上，一个或多个小块作为来自于分割模块16的输出提供。特征提取模块20处理所述小块且提取数值特征。用于特征提取模块20的特征类型可包括几何形状特征、颜色特征、纹理特征、和方向梯度直方图特征。几何形状特征包括小块尺寸、小块质心位置、以及小块中的所有像素的坐标的标准偏差。颜色特征包括小块中的每个像素的颜色值的均值和标准偏差,其中,颜色值在颜色空间(例如,YCbCr)中表示。转换颜色也可以用作特征。纹理特征表示小块是非常有斑点的(如树上的叶子)还是非常一致的(如混凝土道路表面)。方向梯度直方图特征通过在图像区段中的强度梯度的分配描述。在所有特征类型中，特征可以缩减选择为最相关和冗余最小的。特征提取和选择技术是模式识别和机器学习领域技术人员熟知的。选择小块的特征然后提供给第一分类器模块22。在一个示例中，分类器模块22使用支持向量机(SVM)分类方法，但是可以使用其它类型的机器学习分类器。SVM是通过手动选择和手动标记的训练样本组训练的监督式机器学习方法。即，人工选择的图像小块(包含各种畅通路径)通过分割模块16和特征提取模块20处理，且SVM算法被训练以识别这些图像中的畅通路径小块的特征模式。最终，在分类器模块22中使用的SVM算法将概率值分配给被处理的每个小块，其中，接近I的概率值表示畅通路径的高置信度，接近O的概率值表示非畅通路径的高置信度。虽然分类器模块22中的SVM算法非常有效地学习以适当地分类与先前教导的训练样本类似的图像小块，但是由于可以使用的训练样本的数量的实际限制，将不可避免地存在不能适当处置的图像小块。有问题情况的一个示例是在分类器模块22用铺路面道路的图像小块训练且车辆然后遇到粗糙泥土或砂石道路时。在这种情况下，图像中的大的小块的颜色和纹理特征可能显著不同于SVM算法已知的任何道路模式，且未铺路面道路可能错误地分类为非畅通路径。这种情况称为错误否定。错误肯定也是可能的，其中，在小块中实际上存在一些结构或目标时，SVM算法将小块错误地分类为畅通路径。通过增加用来自于当前驾驶行程(包括车辆当前经历的光线状况和道路类型)的图像小块训练的适应性分类器，可以改进畅通路径检测准确性。
为了克服常规SVM分类器的限制，可以增加第二适应性分类器。尽管分类器模块22中的SVM算法用一组固定训练样本训练，但是适应性分类器从实际试验样本连续地学习。适应性分类器在调节分类器模块30中实施，其从调节模型更新模块26接收模型数据。总之，来自于分类器模块22的具有是畅通路径或非畅通路径的高置信度的小块在线24上提供给调节模型更新模块26，其中，它们用作训练样本。来自于调节模型更新模块26的数据然后提供给调节分类器模块30，其在线28上从分类器模块22接收低置信度小块。调节分类器模块30然后可以计算一致性值，其表示被评估的小块与道路上先前遇到的已知畅通路径小块有多类似。来自于调节分类器模块30的一致性值在线32上连同线34上的来自于分类器模 块22的概率值一起提供给联合决策模块36。联合决策模块36的功能是基于线32和34上的输入获得关于小块是否表示畅通路径的联合决策。畅通路径检测结果在线38上作为输出提供，其中，它们可以由驾驶辅助系统使用。下文将讨论模块26、30和36的操作的细节。图2是由调节模型更新模块26和调节分类器模块30使用的分类器调节方法的流程图40。方法用数据成分42开始，数据成分42是来自于照相机12的图像小块，或者更具体地是从来自于照相机12的图像帧选择的任何小块的特征数据。在框44，来自于数据成分42的特征数据由第一分类器模块22的SVM算法处理，如前文所述。框44的输出是每个小块的概率值，其中，接近I的概率值表示畅通路径小块，接近0的概率值表示非畅通路径。在决策菱形块46，小块被分类成高置信度组和低置信度组。高置信度小块(例如，包括概率值大于或等于0. 9的小块和概率值小于或等于0. I的小块)提供给决策菱形块48。在决策菱形块48，小块分类为具有非常高概率的小块和具有非常低概率的小块。具有是畅通路径小块的非常低概率的小块(例如，概率值小于或等于0. I的小块)不用于分类器训练，且发送到终点50，其中，它们在驾驶辅助系统中用作高置信度非畅通路径小块。具有是畅通路径小块的非常高概率的小块(例如，概率值大于或等于0. 9的小块)提供给当前数据帧52，其中，它们在驾驶辅助系统中用作高置信度畅通路径小块，且还用于下文所述的分类器训练。值
0.I和0. 9在此用作示例；可以使用其它阈值。当前数据帧52存储来自于照相机12的当前帧的具有非常高畅通路径概率的任何小块的特征数据。当处理新的帧时，来自于当前数据帧52的数据移动到先前数据帧54，且在当前数据帧52中接收新的高概率小块数据。该过程针对来自于照相机12的图像连续流实时地重复。在决策菱形块56，第二较高阈值应用于来自于先前数据帧54的小块数据。例如，第二阈值可以是大于0. 95的概率值。在决策菱形块56不满足或超过阈值的小块在终点58处废弃。在决策菱形块56满足或超过第二阈值的小块传送到数据池60。数据池60包含来自于先前接收小块的数据聚类。图3是示出了小块数据如何在当前数据帧52、先前数据帧54和数据池60中处理的示意图80。当前数据帧52包含小块82，如前文所述，小块82必须足够大以是重要的且具有是畅通路径小块的足够高的概率，使得其通过决策菱形块48处的阈值试验以更新调节模型。同时，先前数据帧54包含两个小块小块84和小块86。如前文所述，先前数据帧54中的小块仅在其通过决策菱形块56处的第二阈值试验时才包括在数据池60中。为了讨论目的，将假定小块86未通过决策菱形块56处的第二阈值试验，而小块84通过。因而，在下一个图像循环到当前帧52中时，小块84需要包含到数据池60中。先前数据帧54的小块如何包含到数据池60中的讨论如下。尽管当前数据帧52和先前数据帧54中的特征数据存储用于各个小块，但是数据池60中的数据混在一起成为聚类。聚类表示具有类似特征特性的小块组的特征向量。考虑何时发生数据更新循环以及小块84需要包含到数据池60中，存在三个聚类；即，聚类88、聚类90和聚类92。为了确定哪个聚类(如果有的话)应当包括小块84，计算小块84的中心到每个聚类88、90和92的中心的距离。确定这三个距离中的最小值。如果三个距离中的最小值小于预定距离阈值，那么小块84的特征数据包括在具有最小距离的聚类中。在第一说明性示例中，考虑小块84具有距聚类88的最小距离，且该距离小于阈值距离。在该情况下，聚类88中的数据被更新以包括来自于小块84的数据，重新计算聚类 88的中心，且聚类88的计数数量增加I以表示附加小块已经包括在聚类88中。在第二说明性示例中，考虑小块84具有距聚类88的最小距离，但是该距离大于阈值距离。在该情况下,产生新的聚类94，仅仅包含来自于小块84的数据。对于每个数据更新循环，来自于先前数据帧54的任何合格小块都首先包含在数据池60中，然后来自于当前数据帧52的小块移动到先前数据帧54中，然后来自于下一个照相机图像的合格小块移动到当前数据帧52中。如上所述，数据池60的合格指的是在决策菱形块56处满足或超过阈值，当前数据帧52的合格指的是超过决策菱形块48的小块尺寸阈值和概率阈值。每当车辆起动时，可以重置数据池60。如果数据池60在发生数据更新循环时是空的，那么通过决策菱形块56处的阈值试验的来自于先前数据帧54的任何小块都产生其自身的第一聚类。来自于数据池60的各个聚类还可以定期剔除，例如，如果聚类在一定时间段内未累增，那么该聚类可以从池60删除。在前述段落中图80及其描述在小块的几何形状特征方面最容易设想。然而，由于特征数学地表示为向量，因而相同方法和计算适用于由特征提取模块20产生的其它特征类型，即颜色特征、纹理特征和方向梯度直方图特征。将注意力返回图2，当前数据帧52、先前数据帧54和数据池60均包含在系统10的调节模型更新模块26中。来自于当前数据帧52、先前数据帧54和数据池60的存储数据提供给调节分类器模块30中的第二训练分类器，由框62和64表示。低置信度小块，即，概率值在O. I和O. 9之间的小块，从决策菱形块46提供给框62。在框62，计算从决策菱形块46接收的每个低置信度小块的三个距离。第一个是从进来的小块到当前数据帧52中包含的任何小块的最小距离，称为d_curr。在图80所示的示例中，当前数据帧52仅仅包含小块82。因而，d_curr是从进来的小块到小块82的距离。在框62处计算的第二距离称为d_prev，其为从进来的小块到先前数据帧54中包含的任何小块的最小距离。在图80所示的示例中，先前数据帧55包含小块84和86。因而，d_curr是从进来的小块到小块84的距离和从进来的小块到小块86的距离中的较小者。在框62处计算的第三距离称为d_pool，其为从进来的小块到数据池60中包含的任何聚类的最小距尚。在框64，计算一致性值，其表示进来的小块与调节模型更新模块26中的训练数据有多一致。一致性值可以在框64用加权函数计算，例如代数和、几何和或指数和。在一个示例中，框64处的一致性值是三个距离d_curr、d_prev和d_pool的加权代数函数，其中，当前帧和先前帧项的权重可以分配值1，池项的权重可以计算为目标聚类的计数数量除以数据池60中的所有聚类的所有计数数量的总和。总之，一致性值将从进来的小块到调节模型更新模块26中包含的存储数据的每个成分的加权距离转换为进来的小块是畅通路径的概率。在框66,对低置信度小块获得联合决策,其中，联合决策基于来自于第一分类器模块22的概率值和来自于调节分类器模块30中的框64的一致性值两者。在框66中计算的联合决策值可以是概率值和一致性值的简单平均，或者可以是加权函数。例如，更多权重可以给予来自于框64的一致性值，因为该值基于用来自于当前驾驶行程的图像训练的分类器。在任何情况下，在决策菱形块68得到最终决策，且每个小块确定为终点70处的非畅通路径 或者终点72处的畅通路径。这些结果用于驾驶辅助系统。如前文所述，来自于终点50处的高置信度非畅通路径小块的结果发送到终点70，其中，它们用于驾驶辅助系统。类似地，来自于数据存储52处的高置信度畅通路径小块的结果发送到终点72，其中，它们用于驾驶辅助系统。简而言之，流程图40上显示的方法的目的和效果可以阐述如下。在由第一分类器模块22评估之后，具有作为畅通路径道路的非常高概率的小块引导到调节模型更新模块26中，其中，它们用作训练样本。调节模型更新模块26中包含的训练样本数据实时地连续更新，且用于调节分类器模块30中的第二训练分类器。不具有作为畅通路径道路的非常高概率的小块引导通过调节分类器模块30中的第二训练分类器。具有来自于当前驾驶行程的训练样本的益处，调节分类器模块30可能能够作出小块是否表示畅通路径道路的更好确定。来自于原型系统的试验数据表明，与仅仅具有单个非适应性训练分类器的类似系统相比，该方法实际上确实改进了系统10的畅通路径检测准确性。除了上述附加分类器方法之外，其它类型的适应性更新分类器还可以用于畅通路径检测。一个方法是仅仅使用单个分类器用于畅通路径评估，且用来自于当前驾驶行程的已知表示畅通驾驶路径的训练样本适应性地更新该分类器。即，不是增加分类器的数量，该方法给单个分类器添加选择局部样本。图4是可以用于畅通路径检测的系统100的框图，所述系统使用经由可靠局部模型更新实施的适应性分类器更新策略。在系统100中，单个分类器被训练以利于可靠局部试验样本，其中，试验样本在空间和时间两方面都是局部的。系统100包括照相机102，其具有与系统10的照相机12相同的装置类型且执行相同功能。照相机102将图像提供给预处理模块102，预处理模块102预处理图像。预处理模块将图像提供给分割模块106，分割模块106分割图像且在线108上将一个或多个小块提供给特征提取模块110。预处理模块104、分割模块106和特征提取模块110的操作与前文针对系统10的预处理模块14、分割模块16和特征提取模块20所述相同。即，特征提取模块110的输出是由分割模块106产生的小块的一组特性特征数据。特征向量数据在线112上提供给局部训练和试验样本获取模块114，其收集可靠局部样本(训练和试验样本两者)，以用于分类器训练。特征向量数据还在线116上提供给适应性分类器模块118。适应性分类器模块118由来自于局部训练和试验样本获取模块114的数据训练，如下文详细讨论的那样。系统100之后的动机在于通过强调局部训练和试验样本来改进SVM分类的速度和准确性。这基于图5所示的支持向量机分类器的基本原理。图5是两个功能等价的SVM训练样本组的图示。训练样本组130包含相对大数量的训练样本，包括肯定训练样本132和否定训练样本134。基于肯定训练样本132和否定训练样本134，可以限定SVM分类器边界136。训练样本组140包含减少数量的训练样本，包括肯定训练样本142和否定训练样本144。肯定训练样本142是肯定训练样本132的最接近SVM分类器边界136的子组，否定训练样本144是否定训练样本134的最接近SVM分类器边界136的子组。基于肯定训练样本142和否定训练样本144，可以限定SVM分类器边界146，SVM分类器边界146与SVM分类器边界136相同。即，SVM分类器边界仅仅受到最接近边界的训练样本的影响，而不受远场训练样本影响。由于SVM分类器的速度与所包括的支持向量的数量成比例，因而可以得出，与训练样本组130相比，训练样本组140将得到更大速度和同样准确性的分类器。 图5所示的原理可以应用于适应性畅通路径检测分类器，以改进其速度和准确性。图6是分类器可以如何调节以利于局部训练和试验样本的图示。训练样本组150包含肯定训练样本152和否定训练样本154。这些通常是人工分类的畅通路径(肯定)和非畅通路径(否定)图像的特征向量。还示出了肯定先前试验样本156和否定先前试验样本158。肯定先前试验样本156和否定先前试验样本158分别是最近的肯定和否定试验样本,且用于限定椭圆160，椭圆160表示用于选择训练和试验样本的感兴趣局部区域。试验样本组170包括肯定试验样本172和否定试验样本174，其是来自于分类器最近操作的可靠分类样本。试验样本组170中还示出了肯定先前试验样本156和否定先前试验样本158，连同限定感兴趣局部区域的椭圆160—起。然后，可以使用部分或完全落入椭圆160内的肯定训练样本152、否定训练样本154、肯定试验样本172和否定试验样本174的成分产生新的训练样本组180。即，新的训练样本组180包含肯定和否定训练样本，但是仅仅用于先前试验样本156和158局部的支持向量。新的SVM分类器边界182可以基于新的训练样本组180中包含的数据限定。局部的定义参照特征向量空间，如图3所示的距离计算那样。最后，新的分类器模型190可以用于使用新的SVM分类器边界182来分类接下来进来的试验样本。使用新的分类器模型190，接下来进来的试验样本分类为例如肯定当前试验样本192和否定当前试验样本194。图6所示的分类器调节方法然后可以在系统100中实施。图7是使用局部训练样本和可靠局部试验样本调节SVM分类器的方法的流程图200。方法用数据成分202开始，数据成分202是来自于照相机102的图像小块，或者更具体地是从来自于照相机102的图像帧选择的任何小块的特征数据。来自于数据成分202的特征数据提供给框204，以由分类器(例如，SVM分类器)处理。框204的输出是每个小块的概率值，其用于确定畅通路径或非畅通路径，如下文所述，且还用作分类器调节的输入。如前文针对流程图40所述，接近I的概率值表示畅通路径小块的高置信度，接近O的概率值表示非畅通路径的高置信度。在决策菱形块206，小块被分类成高置信度组和低置信度组。低置信度小块(例如，包括概率值在O. I和O. 9之间的小块)不进一步用于分类器训练目的，且在终点208处废弃。高置信度小块(包括概率值大于或等于O. 9的小块和概率值小于或等于O. I的小块)提供给决策菱形块210。值O. I和O. 9在此用作示例；可以使用其它阈值。在决策菱形块210，小块分类为具有非常高概率的小块和具有非常低概率的小块。具有是畅通路径小块的非常低概率的小块(例如，概率值小于或等于0. I的小块)提供给数据存储212，其中，它们可以用作分类器训练的可靠否定试验样本，如前文所述。具有是畅通路径小块的非常高概率的小块(例如，概率超过第一阈值(例如，0. 9)的那些小块)提供给当前数据帧214。每当新的小块移动到当前数据帧214中时，先前数据帧216从当前数据帧214接收小块。继而，来自于先前数据帧216的小块在决策菱形块218相对于第二阈值(例如，0. 95)评估。在决策菱形块218不满足或超过第二阈值的小块在终点220处废弃。在决策菱形块218确实超过第二阈值的小块包含到数据池222中，数据池222包含来自于先前接收小块的数据聚类。将小块包含到数据池222中的数据聚类中以与前文针对示意图80 中的数据池60所述相同的方式处置。在框204，来自于否定试验样本数据存储212、当前数据帧214、先前数据帧216和数据池222的数据可以用于适应性地训练分类器。然而，如上文关于图6所述，期望仅仅使用当前帧局部的(特征向量空间中局部的)可靠试验向量。为了选择仅仅局部试验向量，增加框228，其从数据成分202接收位置信息。框228的输出是一组可靠的局部试验支持向量。来自于数据成分202的小块数据还提供给框224，其中，其用于识别附近的训练支持向量。要注意的是，分类不必在框224之前，因为框224仅仅需要知道小块的位置，以便识别在特征向量空间中附近的训练支持向量。来自于框224的附近训练支持向量提供给数据存储226。在框204，来自于局部试验支持向量框228和附近训练支持向量数据存储226的数据然后可以用于根据以下讨论适应性地再次训练SVM分类器。在复杂分类问题中，例如所探讨的基于图像的畅通路径检测问题，如果增加核函数，那么SVM分类器可以表现更好。不是将复杂数据拟合非线性曲线，SVM分类器可以通过使用核函数将数据映射到不同空间而处置所述复杂性，其中，超平面可以用于将数据分成多类。强大而通常使用的核函数是径向基函数(RBF)，其是实际值函数，其值仅仅取决于距原点或称为中心的一些其它点的距离。在框204，高斯RBF核可以用于SVM分类器中，其中，核函数定义为
K(x,c) - esp(-^||x-c|f) (I)
其中，K是核函数，x是评估的特征向量，c是RBF中心，其是使用的训练特征向量，K是常数。符号exp(…)表示自然对数底数e的括号内的值的幂。使用来自于否定试验样本数据存储212、当前数据帧214、先前数据帧216、数据池222和附近训练支持向量数据存储226的调节输入，方程(I)中定义的RBF核可以在框204包括在SVM分类器中，从而在框204用来自于可靠局部试验样本的数据连续地更新SVM分类器。通过仅仅使用可靠样本，即，具有是畅通路径或非畅通路径的高置信度的样本，改进框204处的SVM分类器的准确性。通过仅仅使用局部样本，即向量空间中当前小块附近的样本，改进框204处的SVM分类器的速度。框204处的来自于SVM分类器的每个小块的概率值提供给决策菱形块230，其中，每个小块确定为终点232处的非畅通路径或者终点234处的畅通路径。
另一个可靠数据源可以包括在框204处的SVM分类器中使用的RBF核的输入中，且是车辆刚刚经过的区域的小块。数据池222中的聚类将当然包括来自于车辆经过的区域的小块的数据，但是该数据一定程度上被聚类中的小块数量稀释。增加经过区域数据存储236给予车辆最近成功经过的区域(S卩，不碰撞障碍物或遇到非道路状况)的小块额外的权重。来自于经过区域数据存储236的数据作为在框204处的SVM分类器中使用的RBF核的输入的另一种形式包括。 在图7中，成分206-228和236表示图4所示的局部训练和试验样本获取模块114。如前文所述，局部训练和试验样本获取模块114选择局部可靠训练和试验样本，其用于经由RBF核适应性地训练框204处的SVM分类器。图7中的框204表示图4所示的适应性分类器模块118，其根据需要适应性地更新且实时地评估所有图像小块。通过局部训练和试验样本获取模块114训练适应性分类器模块118不需要在所有时间进行。例如，在相对稳态的驾驶情况下，例如持久的高速公路驾驶，框204处的分类器可以在短时间段内良好地和完全训练，且可以绕过局部训练和试验样本获取模块114，直到再次需要。局部训练和试验样本获取模块114的使用可以通过车辆起动、通过驾驶情形变化(例如,从高速公路到市区)、或通过经过一定时间间隔来触发。在系统100的线120上，适应性分类器模块118的输出是来自于照相机102的最近图像的畅通路径评估。畅通路径评估用于驾驶辅助系统，如前文所述。图8是可以由图4的系统使用的分类器调节方法的可选实施例的流程图300。在该实施例中，框204处的分类器用于分类所有小块数据，以用于畅通路径或非畅通路径确定，如前文那样。然而，框204处的分类器不用于确定哪些小块足够可靠以用于适应性分类器训练。相反，在框302处增加另一个分类器。框302处的分类器仅仅通过来自于附近训练支持向量数据存储226和经过区域数据存储236的数据适应性地训练。S卩，框302处的分类器不受来自于框228的局部试验支持向量影响。来自于框302的输出反馈到决策菱形块206，其中，其基于通过数据成分212、214、216和222处理的概率值分类，且用于适应性地训练框204处的主分类器，如前文所述。使用上述方法和系统，可以改进驾驶辅助系统中的畅通路径道路检测的速度和准确性。速度和准确性的改进给配备有这种系统的车辆驾驶员提供性能益处且给这种车辆制 造商提供不同卖点。前述说明仅仅公开和描述本发明的示例性实施例。本领域技术人员从这种说明和附图以及权利要求书将容易认识到，能够对本发明进行各种变化、修改和变型，而不偏离由所附权利要求书限定的本发明的精神和范围。
权利要求
1.一种用于检测车辆的畅通驾驶路径的方法，所述方法包括 处理来自于照相机的图像以产生来自于每个图像的ー个或多个小块的特征数据； 使用第一训练分类器分析所述ー个或多个小块的特征数据，以确定概率值； 使用概率值超过第一概率阈值的小块作为训练样本以训练第二训练分类器； 使用第二训练分类器来分析所述ー个或多个小块的特征数据以确定一致性值； 评估概率值和一致性值以确定所述一个或多个小块中的每个的置信度值；以及 基于置信度值针对所述ー个或多个小块中的每个进行畅通驾驶路径或非畅通路径确定。
2.根据权利要求I所述的方法，其中，处理来自于照相机的图像以产生ー个或多个小块的特征数据包括分割图像以限定所述ー个或多个小块；以及提取所述ー个或多个小块的特征数据。
3.根据权利要求2所述的方法，其中，分割图像以限定所述ー个或多个小块包括仅仅选择尺寸超过预定尺寸阈值的小块。
4.根据权利要求2所述的方法，其中，提取所述ー个或多个小块的特征数据包括提取以下项中的ー个或多个几何形状特征、顔色特征、纹理特征和方向梯度直方图特征。
5.根据权利要求I所述的方法，其中，使用第一训练分类器分析所述ー个或多个小块的特征数据包括使用支持向量机分类器。
6.根据权利要求I所述的方法，其中，使用概率值超过第一概率阈值的小块作为训练样本以训练第二训练分类器包括将概率值超过第一概率阈值的小块的数据作为当前数据帧、先前数据帧和聚类数据池中的存储成分存储。
7.根据权利要求6所述的方法，其中，将概率值超过第一概率阈值的小块的数据作为当前数据帧、先前数据帧和聚类数据池中的存储成分存储包括 基于从每个存储成分到每个聚类的距离将来自于先前数据帧的存储成分包含到聚类数据池的聚类中； 将来自于当前数据帧的存储成分移动到先前数据帧中；以及 从照相机的最近图像产生当前数据帧的存储成分。
8.根据权利要求7所述的方法，其中，将来自于先前数据帧的存储成分包含到聚类数据池的聚类中包括仅仅使用来自于先前数据帧的概率值超过第二概率阈值的存储成分。
9.一种用于检测车辆的畅通驾驶路径的方法，所述方法包括 处理来自于照相机的图像以产生来自于每个图像的ー个或多个小块的特征数据； 使用第一训练分类器分析所述ー个或多个小块的特征数据，以确定概率值，其中，第一训练分类器是支持向量机分类器； 使用概率值超过概率阈值的小块作为训练样本以训练第二训练分类器； 使用第二训练分类器来分析所述ー个或多个小块的特征数据以确定一致性值； 评估概率值和一致性值以确定所述一个或多个小块中的每个的置信度值； 基于置信度值针对所述ー个或多个小块中的每个进行畅通驾驶路径或非畅通路径确定；以及 在车辆的驾驶辅助系统中使用畅通驾驶路径或非畅通路径确定。
10.ー种用于车辆的畅通路径检测系统，包括照相机，用于产生车辆前面或车辆后面的场景的图像； 分割模块，用于从每个图像限定一个或多个小块； 特征提取模块，用于从每个图像提取所述ー个或多个小块的特征数据； 第一分类器模块，用于分析特征数据以确定所述一个或多个小块中的每个的概率值；调节更新模块，使用概率值超过概率阈值的小块的特征数据以训练第二分类器模块；第二分类器模块，用于分析特征数据以确定所述一个或多个小块中的每个的一致性值；以及 联合决策模块，用于评估概率值和一致性值以针对所述一个或多个小块中的每个进行畅通驾驶路径或非畅通路径确定。
全文摘要
使用包括附加分类器的适应性机器学习技术的车辆畅通路径检测的方法和系统。数字照相机图像分割成小块，从所述小块提取表示诸如颜色和纹理的属性的特性特征。小块特征通过支持向量机(SVM)或其它机器学习分类器分析，其先前已经训练以识别畅通路径图像区域。对于获得低置信度值的图像区域，可以使用附加分类器，其中，附加分类器使用先前用高置信度分类为畅通路径道路的实际试验样本适应性地训练。来自于初始离线训练分类器和附加适应性更新分类器的输出然后用于作出关于随后图像小块中的畅通路径存在的联合决策。
文档编号G06K9/62GK102682301SQ201110405569
公开日2012年9月19日 申请日期2011年12月8日 优先权日2010年12月8日
发明者J.王, 张文德 申请人:通用汽车环球科技运作有限责任公司