选择夜间图像中的可见区域以执行无障碍路径探测的制作方法与工艺

实施例总体涉及道路辨识。

背景技术：
视觉成像系统被用于车辆中以便增强车辆内的感测应用，例如无障碍路径探测系统、物体探测系统和其他视觉/定位系统。这样的系统利用摄像机来捕获图像。对于夜间光线条件期间捕获的图像，可能由于照明不足的原因，可能不容易利用基于视觉的捕获系统从被捕获图像的非道路和其他未识别区域区分出行驶路径。如果基于视觉的摄像机系统不能够在行驶道路和非行驶道路之间进行区分，则利用被捕获图像信息的次级系统会变得低效。

技术实现要素：
实施例的优点在于通过选择建模技术来确定行驶所用的可见区域，该建模技术在替代性技术中提供最小误差。该方法利用训练图像来识别出代表从所有训练图像中识别可见区域的目标函数。所识别的可见区域用于探测无障碍路径。基于该目标函数，产生目标函数值-强度相关曲线图。多个建模技术使用该相关曲线图来确定哪个技术在替代方案中将产生具有最小误差的强度阈值。当系统用于实时环境来识别可见区域时，阈值将用在被捕获图像上。实施例设想了在夜间光线条件期间确定捕获的图像中的可见区域的方法。从安装于车辆的图像捕获装置捕获图像。生成被捕获图像的强度直方图。强度阈值被应用到该强度直方图以便识别出行驶路径的可见候选区域。从训练技术来确定强度阈值，该训练技术利用各场景的多个基于训练的被捕获图像。目标函数被用于为每个基于训练的被捕获图像的每个相关强度值确定目标函数值。处理每个基于训练的被捕获图像的目标函数值和相关联的强度值以便识别出最小目标函数值和相关联的最佳强度阈值从而识别出被捕获图像的可见候选区域。本发明还提供了以下技术方案。方案1.一种在夜间光线条件期间确定被捕获图像中的可见区域的方法，该方法包括步骤：从安装于车辆的图像捕获装置捕获图像；生成被捕获图像的强度直方图；应用强度阈值到该强度直方图以便识别出行驶路径的可见候选区域，从利用各场景的多个基于训练的被捕获图像的训练技术来确定所述强度阈值，其中目标函数被用于为每个基于训练的被捕获图像的每个相关强度值确定目标函数值，其中处理每个所述基于训练的被捕获图像的所述目标函数值和相关联的强度值来识别出最小目标函数值和相关联的最佳强度阈值以便识别出所述被捕获图像的所述可见候选区域。方案2.根据方案1所述的方法，其中所述最佳强度阈值由多种训练技术中的一种来确定，其中为每种训练技术所确定的每个最佳强度阈值确定均方误差，其中与确定的最小均方误差相关联的最佳强度阈值被选择用于识别出所述图像捕获装置所获得的被捕获图像内的所述候选区域。方案3.根据方案2所述的方法，其中应用固定强度阈值技术来确定所述最佳强度阈值，所述固定强度阈值技术包括：针对每个基于训练的被捕获图像的每个相关强度值来求和所述目标函数值；从求和的目标函数值识别出所述最小目标函数值；识别出与被识别的最小目标函数值相关联的强度阈值；以及应用被识别的强度阈值到所述强度直方图以便识别出与所述被捕获图像的所述候选区域相关联的像素。方案4.根据方案2所述的方法，其中应用固定强度百分比技术来确定所述最佳强度阈值，所述固定强度百分比阈值技术包括：为每个基于训练的被捕获图像确定累积强度直方图；为每个基于训练的被捕获图像中的每个强度值确定目标函数值；为每个基于训练的捕获图像生成累积直方图，每个累积直方图根据所述基于训练的被捕获图像中的强度值的百分比来生成；为每个基于训练的捕获图像生成目标函数值-基于百分比的强度值相关曲线图，其将每个图像内的每个基于百分比的强度值识别到相应目标函数值；为每个基于百分比的强度值对所述目标函数值求平均；从平均的目标函数值识别出所述最小目标函数值；识别与所述最小目标函数值相关联的相应基于百分比的强度值；识别与被识别的基于百分比的强度值相关联的强度值阈值；以及应用被识别的强度阈值到被捕获图像的所述强度直方图以便识别与所述被捕获图像的所述候选区域相关联的像素。方案5.根据方案2所述的方法，其中应用强度阈值回归技术来确定所述最佳强度阈值，所述强度阈值回归技术包括：生成被捕获图像的累积直方图；应用回归建模技术以从所述被捕获图像的累积直方图确定所述强度阈值；应用被识别的强度阈值到强度直方图以便识别与所述被捕获图像的候选区域相关联的像素。方案6.根据方案5所述的方法，其中被应用于识别所述强度阈值的所述回归建模技术包括最小二乘回归法。方案7.根据方案5所述的方法，其中被应用于识别所述强度阈值的所述回归建模技术包括稳健回归法。方案8.根据方案5所述的方法，其中响应确定被应用到每个基于训练的被捕获图像的每个回归建模技术的均方误差，以及响应识别产生被比较回归建模技术之间的最小均方的相应回归建模技术，来确定被应用于识别所述最佳强度阈值的所述回归建模技术。方案9.根据方案5所述的方法，其中所述回归建模技术包括线性回归建模技术并且由下述公式表示：其中a0是训练技术期间确定的相应建模技术所特有的初始参数，am是所述训练技术期间确定的相应二进制的相应建模技术所特有的参数，并且cumh(m,s)是训练图像s的二进制m处的累积强度直方图函数。方案10.根据方案2所述的方法，其中应用强度百分比回归技术来确定所述强度阈值，所述强度百分比回归技术包括：生成被捕获图像的累积直方图；应用回归建模技术来确定基于百分比的强度值；识别与被识别的基于百分比的强度值相关联的强度阈值；应用被识别的强度阈值到强度直方图以便识别与被捕获图像的候选区域相关联的像素。方案11.根据方案10所述的方法，其中被应用于识别所述强度阈值的所述回归建模技术包括最小二乘回归法。方案12.根据方案10所述的方法，其中被应用于识别所述强度阈值的所述回归建模技术包括稳健回归法。方案13.根据方案10所述的方法，其中响应确定被应用到每个基于训练的被捕获图像的每个回归建模技术的均方误差，以及响应识别产生被比较回归建模技术之间的最小均方误差的相应回归建模技术，来确定被应用于识别所述强度阈值的所述回归建模技术。方案14.根据方案5所述的方法，其中所述回归建模技术由下述公式表示：其中b0是训练技术期间确定的相应建模技术所特有的初始参数，bm是所述训练技术期间确定的相应二进制的相应建模技术所特有的参数，并且cumh(m,s)是训练图像s的二进制m处的累积强度直方图函数。方案15.根据方案1所述的方法，其中使用对采样夜间被捕获图像的观测从所述训练技术导出所述目标函数。方案16.根据方案15所述的方法，其中所述观测包括用于识别采样夜间图像的可见和不可见区域的地面实况标记，所述地面实况标记包括与预期在所述采样夜间被捕获图像内的感兴趣区域内可见的被标记道路有关的观测、与预期在所述采样夜间被捕获图像内的不可见区域内的未标记区域有关的观测、以及与预期在所述采样夜间被捕获图像内不包含纹理的不可见区域有关的观测。方案17.根据方案16所述的方法，其中所述目标函数由下述公式表示：其中x是一个采样夜间被捕获图像内感兴趣的可见区域的强度阈值，rdvis是所述采样被捕获图像中的感兴趣的可见区域内的被标记道路面积与所述采样夜间被捕获图像中的总体被标记区域的比例，unLvis是被分类为不可见的未标记面积与所述采样夜间被捕获图像中的总体未标记区域面积的比例，grdmaginvis是不可见区域内的梯度幅值，以及w是所述目标函数中每个分量的权重。方案18.根据方案1所述的方法，其中形态学平滑被应用到所述候选区域以便减少杂点并产生平滑区域。方案19.根据方案1所述的方法，其中用于辅助驾驶员确定路径的应用包括前视摄像机以及输出显示装置。方案20.根据方案1所述的方法，其中用于辅助驾驶员确定路径的应用包括目标探测感测系统。方案21.根据方案1所述的方法，其中照明标准化被应用到所述被捕获图像以便使所述图像的区域形成对比从而改进图像分类。附图说明图1是车辆中的成像捕获系统的框图。图2是用于识别出行驶路径的可见区域的方法的流程图。图3是通过基于视觉的成像系统捕获的示例性图像。图4是被捕获图像的示例性强度直方图。图5是通过应用被识别的强度阈值示出被确定候选可见区域的示例性图像。图6是形态学平滑之后的候选可见区域。图7是用于确定被应用到被捕获图像的强度阈值的训练技术。图8是地面实况标记图像的示例。图9是基于固定的强度阈值技术来识别强度阈值的方法的流程图。图10是目标函数值-强度相关曲线图的示例。图11是求和的目标函数值曲线图的示例。图12是用于基于固定的强度百分比技术来识别出强度阈值的方法的流程图。图13是训练图像的累积强度直方图的示例。图14是目标函数值-基于百分比的强度相关曲线图的示例。图15是平均目标函数值-基于百分比的强度相关曲线图。图16是被捕获图像的累积强度直方图。图17是根据基于强度阈值回归的技术来识别出强度阈值的方法的流程图。图18是示出每个训练图像的最小目标函数值的示例性曲线图。图19是示出每个训练图像的强度阈值的示例性曲线图。图20是基于强度百分比回归的技术来识别出强度阈值的方法的流程图。图21是示出每个训练图的强度百分比值的示例性曲线图。具体实施方式示出了车辆10内所用的用于在夜间执行无障碍路径探测的成像捕获系统的框图。车辆包括图像捕获装置11、视觉处理单元12和输出应用13。图像捕获装置11包括摄像机或视频照相机，其获得并存储车辆10的环境外部的图像以便处理。图像捕获装置11被安装在车辆上以便捕获沿行驶路径的所需区域。优选地，图像捕获装置11被安装在恰在前挡风玻璃后方以便捕获发生在车辆外部和前方的事件；不过，图像捕获装置可以被安装在适于捕获图像的任何其他部位。图像捕获装置11是车辆内现有系统的一部分，其通常用于辨识道路标志、车道标志、道路符号或车道偏离警告系统和无障碍路径探测系统中所用的其他公路目标。来自图像捕获装置11的被捕获图像还被用于在日间光线条件和夜间光线条件之间进行区分。视觉处理单元12接收被图像捕获装置11捕获的图像并且分析图像以便识别车辆10的行驶路径中的可见区域。可见区域可以被用于确定无障碍路径、行人目标或其他障碍物。这里将具体讨论处理和分析被捕获图像的细节。输出应用13包括利用行驶路径中的被识别可见区域来增强驾驶员对无障碍行驶路径的感知度的任意装置或应用或者利用无障碍路径来辅助驾驶员进行夜间增强操作的其他应用。例如，输出应用16可以是通知驾驶员行驶路径中的目标的警告系统。系统利用视觉处理单元12来确定夜间条件期间图像中的可见区域。执行训练技术来确定强度阈值，该强度阈值能够被应用到被捕获图像来识别出图像中代表可见区域的那些像素。在识别出阈值之后，强度阈值被应用到代表被捕获图像的强度直方图以便识别出图像中的可见区域。图2示出了用于识别被捕获图像的行驶路径的可见区域的流程图。在步骤20，通过车辆环境外部的捕获图像装置来捕获图像。图3示出了被基于视觉的成像系统所捕获的示例性图像。该图像被清晰示出以便示出图像中的目标，不过通常在夜间捕获的图像将具有可见和不可见区域。在图像中选择感兴趣区域来分析光线条件。如果通过视觉成像系统确定是夜间条件，则例程进行到步骤21来确定行驶路径中的可见区域。在步骤21，生成被捕获图像的强度直方图。图4示出了强度直方图的示例。x轴线代表强度（亮度）值，并且y轴线代表图像中每个像素强度值的像素数量。分析相应图像的感兴趣区域。基于多个像素中的每个像素的强度来生成直方图。感兴趣区域内的每个像素具有相关联的强度值。在直方图中呈现图像的每个强度值。在步骤22，强度阈值被应用到强度直方图以便识别出与被捕获图像的可见区域相关联的那些强度值。例如，在图4中，强度阈值由阈值线14代表。大于阈值线14的强度值被指定为代表可见区域的像素。小于阈值线14的强度值不被看作是可见区域的一部分。在步骤23，在被捕获图像中识别出候选可见区域。图5示出了通过这里描述的技术确定的被捕获图像的候选可见区域。加黑区域示出了由大于强度阈值的像素强度值识别出的图像的可见候选区域。在步骤24，对候选可见区域进行平滑操作。平滑操作可以包括打开和关闭平滑操作。任意已知的平滑操作可以被用于从候选区域识别出平滑的可见区域。可以配合地进行打开和关闭形态学平滑，其中打开会内部地平滑目标区域并且关闭会外部地平滑目标区域。打开操作会通过消除连接较大区段的狭窄区段来平滑目标区域、消除诸如拐角的小突起并且生成新间隙。关闭操作会通过融合目标区域的大面积之间的狭窄断开来平滑目标区域并填充目标区域内的间隙。图6示出了应用到图5的候选可见区域的形态学平滑操作。在步骤25，进行照明标准化以增强图像对比度以便于更佳的图像分类。图7示出了用于确定被应用到被捕获图像的强度阈值的训练技术。在步骤30，在夜间条件期间通过图像捕获装置来捕获多个基于训练的图像。基于训练的图像代表来自不同夜间光线条件和地点的各种场景。在步骤31，生成目标函数，其被用于确定强度阈值从而识别出从图像捕获装置捕获的图像内的可见区域。在训练阶段生成目标函数。基于对基于训练的被捕获图像的观测来公式化目标函数。所述观测可以是观测者分析图像并将地面实况标记应用到被捕获图像的观测。地面实况标记的示例可以包括训练图像的标记区域以作为道路标记区域、非道路标记区域和未标记区域。图8示出了基于观测的地面实况标记的示例。被指定为道路标记的区域总体由15表示，非道路标记总体由16表示，并且被指定为未标记的剩余区域由17表示。基于对图8中图像的逻辑观测以及对其他图像的观测，生成目标函数，其能够被用于确定夜间可见度阈值估计。图8示出了基于逻辑观测的示例性公式：……等式（1）其中x是采样夜间被捕获图像中感兴趣的可见区域的强度阈值，rdvis是采样被捕获图像中感兴趣的可见区域内的被标记道路面积与采样夜间被捕获图像中的总体被标记区域的比例，unLvis是被分类为不可见的未标记面积与采样夜间被捕获图像中的总体未标记区域面积的比例，grdmaginvis是不可见区域内的梯度幅值，以及w是目标函数中每个分量的权重。基于确定的目标函数，可以利用生成的目标函数来识别出最佳强度阈值。在步骤32，开始进行强度阈值识别过程以便最少化目标函数所生成的目标值。可以利用各种阈值识别技术来根据基于训练的图像生成强度阈值。针对每种技术来计算强度阈值以及与相应结果相关联的对应均方误差。总体由步骤33-36代表各种方法。应该理解，可以利用比这里描述的更多或更少的技术。之后将具体描述这些相应技术中的每一技术。在步骤37，比较从步骤33-36中每种技术所计算的均方误差来识别出产生最小均方误差的技术。在步骤38，选择与最小均方误差相关联的最佳强度阈值。在步骤39，步骤38中选择的强度阈值被用于识别出被捕获图像中的可见区域。也就是说，对于相应成像系统，一旦被校准且被投入用于车辆或其他环境内中，则选定的强度阈值被应用到针对车辆图像捕获装置捕获的任意夜间图像而生成的强度直方图，以便识别出代表被捕获图像内的可见区域的那些相应强度值。随后，可见区域被用于探测车辆行驶路径内的无障碍路径。图4示出了直方图的示例。大于强度阈值14的相应强度值代表与被捕获图像的可见区域相关联的那些图像像素。图9示出了用于识别出强度阈值的第一方法（图7中被表示为步骤33）的流程图。图9所示方法利用固定强度阈值技术针对所有基于训练的图像来识别出强度阈值。在步骤40，利用目标函数针对所有训练图像生成目标函数值-强度值相关曲线图。图10示出了示例性绘图。因此，每条绘制线代表相应图像。每条绘制线由从每个相应图像的目标函数值和强度值计算的目标函数值构成。x轴线指定强度值，并且y轴线指定目标函数值。在步骤41，每个相关强度值的目标函数值被求和以便生成求和的目标函数值的绘制线。也就是说，对于图10所示的相应强度值而言，针对相应强度值，所有图像的每个函数值被求和。图11示出最终绘图。在步骤42，最小目标函数值被识别作为图11所示的求和目标函数值的最小值。在步骤43，强度阈值（例如48）被识别作为与被识别最小目标函数值相关联的强度值。除了从曲线图识别出强度阈值之外，还可以通过下述公式来确定强度阈值：等式（2）其中s是相应图像，并且f(x,s)是相关联图像和强度值的目标函数值。在步骤44，确定基于固定强度阈值技术的均方误差。对于这里描述的固定强度阈值技术，可以通过下述公式来确定均方误差：等式（3）均方误差与从其他技术所确定的（图7的步骤33-36中所生成的）均方误差相比较以便确定将使用哪个训练技术。图12示出了用于识别出强度阈值的第二方法（如图7中步骤34所代表）的流程图。第二方法利用固定强度百分比技术。在步骤50，利用等式（1）中所示的目标函数来为所有基于训练的图像生成目标函数值-强度相关曲线图。应该理解的是，针对每种技术，目标函数值-强度相关曲线图是相同的，这是因为每种方法均利用相同的目标函数和训练图像。在步骤51，为每个基于训练的被捕获图像生成累积强度直方图。图13示出了累积直方图的示例。累积强度直方图示出了相应图像内的像素强度值的累积百分比。x轴线代表了强度值，并且y轴线代表了累积百分比。在步骤52，针对每个基于训练的图像生成目标函数值-基于百分比的强度相关图。图14中示出了相关图的示例。相关图识别出每个图像中每个基于百分比的强度值与相应目标函数值。x轴线代表强度值的百分比，并且y轴线代表目标函数值。在步骤53，与每个基于百分比的强度值相关联的目标函数值被平均以生成平均目标函数值绘制线。也就是说，对于图14中示出的相应基于百分比的强度值，对相应基于百分比的强度值的所有图像的每个目标函数值求平均。图15示出了最终绘图。x轴线代表强度值的百分比，并且y轴线代表平均目标函数值。在步骤54，从平均目标函数值识别出最小目标函数值。最小目标函数值是平均目标函数值中的最小值（例如0.75）。在步骤55，确定相应基于百分比的强度值。基于百分比的强度值（例如0.58）是与步骤54中识别出的最小目标函数值相关联的强度值。在步骤56，从捕获图像装置获得被捕获图像。如图16所示，为被捕获图像生成累积强度直方图。x轴线代表强度值，并且y轴线代表基于百分比的强度值。步骤55中识别出的基于百分比的强度值被用于识别强度阈值。利用绘制曲线（即累积强度直方图），针对相关联的基于百分比的强度值（例如0.58）识别出相关联的强度阈值（例如48）。作为如所示从相关曲线图来识别强度阈值的替代方案，可以通过下述公式来确定强度阈值：等式（4）其中s是相应图像，并且是根据基于百分比的强度值而定的目标函数值。在步骤57，基于来自固定强度百分比技术的数据来确定均方误差。对于这里描述的固定强度百分比技术，可以通过下述公式来确定均方误差：等式（5）均方误差与从其他技术确定的（图7的步骤33-36所生成的）均方误差相比较以便确定将使用哪种训练技术。图17示出了用于识别强度阈值的第三方法（如图7中步骤35所代表）的流程图。第三方法针对所有基于训练的图像利用基于强度阈值回归的技术。在步骤60，利用如等式（1）所示的目标函数来为所有训练图像提供目标函数值-强度值相关曲线图。目标函数值-强度相关曲线图是用于每种技术的相同的曲线图，这是因为每种方法均利用相同的目标函数和训练图像。在步骤61，针对每个训练图像识别最小目标函数值。图18中示出了图释每个训练图像的最小目标函数值的示例性曲线图。x轴线代表相应训练图像并且y轴线代表目标函数值。在步骤62，确定与每个最小目标函数值相关联的强度值。图19中示出了图释每个训练图像的强度值的示例性曲线图。x轴线代表相应训练图像并且y轴线代表强度值。在步骤63，确定回归参数以用于训练阶段的回归分析。可以通过下述公式来确定基于回归的强度阈值：等式（6）其中a0是训练技术期间确定的相应建模技术所特有的初始参数，am是训练技术期间确定的相应二进制的相应建模技术所特有的参数，并且cumh(m,s)是训练图像s的二进制（Bin）m处的累积强度直方图。可以基于已知强度阈值和每个训练图像的累积直方图来确定参数a0-aM。也就是说，基于等式（1）中列出的地面实况标记，已知强度阈值并且已知每个训练图像的累积强度直方图cumh(m,s)。因此，对于作为输入的具有相关联的累积强度直方图的至少M+1个训练图像而言，作为输出的具有强度阈值的至少M+1个回归等式可以被识别为具有M+1个未知参数a0-aM。因此，可以求解出参数a0-aM。此外，M+1个标识符可以被用于指定二进制数量。例如如果M+1等于八，则八个二进制被用于累积强度直方图。应该理解，八个二进制是示例性的并且被指定为M+1的数量可以大于或小于八。在步骤64，根据已知目标函数值、所用的每个相应训练图像的相应累积强度直方图和确定的参数a0-aM来为所应用的每个回归技术确定均方误差。在步骤65，识别出具有最小均方误差的回归技术。在步骤66，生成被捕获图像的累积直方图。在步骤67，从训练阶段确定的累积强度直方图cumh(m,s)和参数a0-aM被用于求解强度阈值。图20示出了用于识别强度阈值的第四方法（如图7中步骤36所表示）的流程图。第四方法利用基于强度百分比回归的技术。在步骤70，利用等式（1）所示的目标函数为所有训练图像提供目标函数值-强度值相关曲线图。目标函数值-强度相关曲线图是用于每种技术的相同的曲线图，这是因为每种方法均利用相同目标函数和训练图像。在步骤71，基于目标函数值-强度值相关曲线图来生成基于百分比的目标函数值相关曲线图。在步骤72，为每个训练图像识别出最小目标函数值。图18示出了图释每个训练图像的最小目标函数值的示例性曲线图。在步骤73，确定与每个最小目标函数值相关联的强度百分比值。图21示出了图释每个训练图像的强度百分比值的示例性曲线图。x轴线代表相应训练图像并且y轴线代表强度百分比值。在步骤74，在训练阶段为回归分析确定回归参数。可以通过下述公式来确定基于回归的强度百分比：等式（8）其中b0是训练技术期间确定的相应建模技术所特有的初始参数，bm是训练技术期间确定的相应二进制的相应建模技术所特有的参数，并且cumh(m,s)是训练图像s的二进制m处的累积强度直方图。可以基于已知强度阈值（来获得已知强度百分比阈值）和每个训练图像的累积直方图来确定参数b0-bM。也就是说，基于等式（1）中列出的地面实况标记，从已知强度阈值确定基于百分比的强度阈值。此外，针对每个训练图像，累积强度直方图cumh(m,s)是已知的。因此，对于作为输入的具有相关联的累积强度直方图的至少M+1个训练图像而言，作为输出的具有强度百分比阈值的至少M+1个回归等式可以被识别为具有M+1个未知参数b0-bM。因此，可以求解参数b0-bM。在步骤75，根据已知目标函数值、所用的每个相应训练图像的相应累积强度直方图和确定的参数b0-bM来为所应用的每个回归技术的强度百分比值数据确定均方误差。在步骤76，识别出具有最小均方误差的回归技术。在步骤77，生成被捕获图像的累积直方图。在步骤78，从训练阶段确定的累积强度直方图cumh(m,s)和参数b0-bM被用于求解基于百分比的强度阈值。在步骤79，从如图16所示的累积强度直方图根据基于百分比的相关强度阈值来确定强度阈值。虽然已经具体描述了本发明的某些实施例，不过熟悉本发明所涉及领域的技术人员将意识到实践如所附权利要求所限定的发明的各种替代性设计和实施例。