专利名称：用于畅通路径检测的去除由基于车辆的相机捕获的图像中的阴影的制作方法
技术领域：
实施例总地涉及基于视觉的目标检测系统。
背景技术：
光照情形如阴影会引起基于视觉的目标检测系统的误差。阴影会扭曲被捕获对象的颜色，导致(1)由阴影生产的边缘与(2)不同实体(例如道路与风景)间的边缘之间的模糊不清。已经使用一些应用来过滤掉阴影，但是现有技术的系统假定使用具有高质量成像器的相机。具有高质量成像器的相机昂贵且包装尺寸大，因此，特别是在基于批量生产的车辆的视觉系统中并不实用。使用高质量成像器，相机传感器被假定为窄频带并且如同狄拉克δ函数那样工作，因为它们仅在一个波长具有非空响应。然而，通常用在基于车辆视觉的目标检测系统内的低成本成像器与窄频带传感器假定并不相符。因此，用于去除阴影的现有技术不适于使用低成本生产的成像器。
发明内容
实施例的优点在于从将要被车用视觉感测系统分析的、由图像捕获装置捕获的图像减少阴影。所述减阴影技术关注于在道路表面的特定颜色集上，用于仅从所述特定颜色集执行阴影去除。另外，产生线性光照恒定轴线的选择，使得沿着所述特定颜色集的光照方向的投影值基本上与图像的其它颜色集分隔开。此外，与整个图像形成对照，基于没影点和没影线产生目标区域，其目标为图像的特定区域，用于执行减阴影技术。实施例设想了一种用于从捕获的图像产生减阴影图像以区分行驶畅通路径的方法。通过图像捕获装置捕获场景的输入图像。根据两维对数图绘出所捕获输入图像的每个像素。每个像素都由所述对数图中多个颜色集之一的颜色值表示。选择所述对数图中的特定颜色集。所述颜色集与道路的相应颜色值相关。确定随所述特定颜色集变化的线性光照恒定轴线。确定所述线性光照恒定轴线的光照方向，所述线性光照恒定轴线沿着基本正交于所述特定颜色集的光照方向的方向延伸。将所述特定颜色集的各所绘像素的色度对数值投射在所述线性光照恒定轴线上。所述线性光照恒定轴线上的各所绘像素表示所述图像的相应像素映射到光照恒定图像域的颜色值。识别所述输入图像中的边缘。识别所述光照恒定图像域中的边缘。将所述输入图像的识别边缘与所述光照恒定图像域中的识别边缘作比较。响应于所述输入图像中识别的边缘而所述光照恒定图像域中相关边缘的不存在，确定是否存在阴影边缘。产生减少了阴影的图像，用于通过基于车辆视觉的系统的场景分析。本发明提供以下技术方案
方案1. 一种用于从捕获的图像产生减少了阴影的图像以区分行驶的畅通路径的方法，所述方法包括如下步骤
(a)通过图像捕获装置捕获场景的输入图像；
(b)根据两维对数图绘出所捕获输入图像的每个像素，每个像素都由所述对数图中多个颜色集之一的颜色值表示；
(C)选择所述对数图中的特定颜色集，所述颜色集与道路的相关颜色值相关；
(d)确定随所述特定颜色集变化的线性光照恒定轴线；
(e)确定对于所述线性光照恒定轴线的光照方向，所述线性光照恒定轴线沿着基本正交于所述特定颜色集的光照方向的方向延伸；
(e)将所述特定颜色集的各所绘像素的色度对数值投影在所述线性光照恒定轴线上， 其中所述线性光照恒定轴线上的各所绘像素表示所述图像的相应像素映射到光照恒定图像域的颜色值；
(f)识别所述输入图像中的边缘；
(g)识别所述光照恒定图像域中的边缘；
(h)将所述输入图像的识别的边缘与所述光照恒定图像域中的识别的边缘作比较；
(i)响应于所述输入图像中识别的边缘而所述光照恒定图像域中相关边缘的不存在， 确定是否存在阴影边缘；以及
(g)产生减少了阴影的图像，用于通过基于车辆视觉的系统的场景分析。方案2.如方案1的方法，还包括下列步骤 确定所述图像中的没影点；
确定所述图像中水平延伸通过所述没影点的没影线； 确认所述没影线下方的目标区域；以及仅在所述目标区域上执行步骤(C) - (g)。方案3.如方案1的方法，其中其它颜色集投影在所述线性光照恒定轴线上，并且其中步骤(d)还包括选择提供在投射在所述线性光照恒定轴线上的所述特定颜色集与其它颜色集之间的显著的分隔距离的线性光照恒定轴线。方案4.如方案3的方法，其中选择所述线性光照恒定轴线基本上最小化了所述特定颜色集内的投影颜色值之间的距离。方案5.如方案4的方法，其中选择所述线性光照恒定轴线的步骤包括选择分散其它颜色集的投影颜色值的线性光照恒定轴线。方案6.如方案4的方法，其中选择所述线性光照恒定轴线包括选择提供了在所述特定颜色集与其它颜色集之间的显著距离的线性光照恒定轴线。方案7.如方案3的方法，还包括下列步骤 确定所述图像中的没影点；
确定所述图像中水平延伸通过所述没影点的没影线； 确认所述没影线下方的目标区域；以及仅在所述目标区域上执行步骤(C) - (g)。方案8.如方案3的方法，其中步骤(d)还包括选择基本上聚焦了所述特定颜色集的颜色值并且基本上分散了其它颜色集的颜色值的线性光照恒定轴线。方案9.如方案8的方法，还包括下列步骤 确定所述图像中的没影点；
确定所述图像中水平延伸通过所述没影点的没影线； 确认所述没影线下方的目标区域；以及仅在所述目标区域上执行步骤(C) - (g)。方案10.如方案1的方法，其中所述对数图包括对数型蓝_绿轴和对数型红_绿轴。方案11.如方案1的方法，其中识别所述输入图像和所述光照恒定图像域中的边缘还包括如下步骤
确定所述输入图像的方向梯度； 确定所述光照恒定图像域的方向梯度；
将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较，以确定是否存在阴影边缘。方案12.如方案11的方法，其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括
确定所述输入图像的方向梯度是否大于第一阈值；以及确定所述光照恒定图像域的方向梯度是否小于第二阈值。方案13.如方案11的方法，其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括
计算所述输入图像的方向梯度与所述光照恒定图像域的方向梯度之间的梯度差； 将所述梯度差与所述至少一个阈值作比较。方案14.如方案13的方法，其中计算梯度差包括下列步骤 确定所述输入图像的梯度范数；
确定所述光照恒定图像域的梯度范数；
通过从所述输入图像的梯度范数减去所述光照恒定图像域的梯度范数来计算所述梯度差。方案15.如方案1的方法，其中利用机器学习技术选择所述线性光照恒定轴线。方案16.如方案15的方法，其中所述机器学习技术包括线性判别分析。
图1为捕获道路图像的车辆的平面图。图2为由车辆内图像捕获装置捕获的图像。图3为阴影减少过程的框图。图4为使用线性光照恒定轴线的光照恒定线图的图表。图5为使用低质量图像捕获装置的示例性光照恒定线图。图6为根据第一实施例的用于畅通路径颜色集的示例性光照恒定线图。图7为根据第一实施例的用于从捕获的图像减少阴影的方法的流程图。图8为根据第二实施例的用于畅通路径颜色集的示例性光照恒定线图。图9为根据第三实施例的利用目标区域技术的示例性图像。
具体实施例方式图1中示出了沿着道路12行驶的车辆10。基于视觉的成像装置14捕获车辆10 前方的道路的图像，用以检测行驶可行区域(下文称畅通路径)内的图像。基于视觉的成像装置14用于检测目标。在优选实施例中，基于视觉的成像装置14用于为系统(例如，但不限于，车道偏离警告系统)识别畅通路径或道路中的车道标记。基于视觉的成像装置14优选安装在车辆的内部，恰在挡风玻璃的后方，用于捕获车辆外面和前方发生的事件。尽管基于视觉的成像装置14可用于多种功用(例如，增强驾驶员夜视)，但是本文所述的主要目的是用于需要识别道路标记、车道标记、道路标志或其它道路目标的系统。这种系统的例子包括，但不限于，必须要求系统能够识别车辆处于道路何处的车道偏离警告系统，用以警告驾驶员无意识的车道变化。图2示出了由车辆上基于视觉的成像装置捕获的图像。依赖于光源的亮度和角度，可能会在车辆行驶路线中的物体上投射阴影，从而增加了系统区分道路上的物体与投射在道路上的阴影的难度。如图2中所示，行驶在被驾驶车辆前方的车辆16以及路灯18 和20可在车行道中投射阴影22、24和26，使得难以识别道路上的车道标记28。图3中示出了用于去除阴影的示例性图形化流程方法。在框30中，含有阴影的图像被图像捕获装置捕获。阴影为操作图像捕集装置的人的自己的阴影。在框31中，执行后面描述的光照恒定分析，以检测图像中的所有阴影。在框32中， 在光照恒定图像域中表现输入图像。为图形目的在光照恒定图像域中示出的图像为灰度图像，其中颜色集是复现的，不管输入图像中存在的光照条件或阴影。应当理解，为在车辆中实施该技术的目的，不需要产生实际恒定图像；而是，可使用数学分析、建模或其它表现方式来模拟光照恒定图像域中的图像。如图所示，作为光照恒定分析的结果，从光照恒定图像域中去除了阴影。在框33中，比较输入图像和光照恒定图像域，用于确定原始输入图像中哪存在阴影以构造减少了阴影的图像。在框34中，作为原始输入图像的梯度与光照恒定图像域的梯度之间的比较的结果，从捕获的输入图像去除了阴影。图4描述了去除阴影的数学方法，如下所述。在用于路上车辆的目标检测和分类中，捕获图像的背景和前景是不断变化的。对于单一的RGB (红、绿、蓝)图像，可基于光照恒定分析去除投射的阴影。如果照明大致为三S函数型传感器成像的具有朗伯面的普朗克源，那么可形成色度波段比(例如，3波段RGB彩色图像的R/G、B/G)。另外，对于在不同照明条件下的任意颜色集，对于两维{log(R/G)，log(B/G) }值的对数图形成直线。此外，各不同颜色集的每条这种线具有相同的斜率。因此，可使用该物理概念得到光照恒定图像域，其中不管照明条件如何(即，是否存在阴影)，一个颜色集的颜色值都映射至光照恒定图像中的相同值。另外，图像中形成的物体边缘对应于材料反射率的变化。阴影边缘为在原始图像中有但是恒定图像中没有的边缘。在图像的梯度表示上定义阈值处理操作，以确定阴影边缘。由于阈值阴影边缘是噪声，所以应用形态学运算，以扩展边缘并填充阴影边缘中的一些空隙。此外，被识别的阴影边缘被设定为零，用以去除光照变化的影响。各处理通道的梯度图像的积分步骤用于放弃乘法常数而恢复减少了阴影的图像，然后估计乘法常数，以获得最终减少了阴影的彩色图像。这里描述减少了阴影的恒定图像的构造。利用了使用灰度成像的图形表示。该技术使用标准彩色图像作为输入，而输入为图像的光照恒定表示。光照恒定图像域通过将其
权利要求
1.一种用于从捕获的图像产生减少了阴影的图像以区分行驶的畅通路径的方法，所述方法包括如下步骤(a)通过图像捕获装置捕获场景的输入图像；(b)根据两维对数图绘出所捕获输入图像的每个像素，每个像素都由所述对数图中多个颜色集之一的颜色值表示；(c)选择所述对数图中的特定颜色集，所述颜色集与道路的相关颜色值相关；(d)确定随所述特定颜色集变化的线性光照恒定轴线；(e)确定对于所述线性光照恒定轴线的光照方向，所述线性光照恒定轴线沿着基本正交于所述特定颜色集的光照方向的方向延伸；(e)将所述特定颜色集的各所绘像素的色度对数值投影在所述线性光照恒定轴线上， 其中所述线性光照恒定轴线上的各所绘像素表示所述图像的相应像素映射到光照恒定图像域的颜色值；(f)识别所述输入图像中的边缘；(g)识别所述光照恒定图像域中的边缘；(h)将所述输入图像的识别的边缘与所述光照恒定图像域中的识别的边缘作比较；(i)响应于所述输入图像中识别的边缘而所述光照恒定图像域中相关边缘的不存在， 确定是否存在阴影边缘；以及(g)产生减少了阴影的图像，用于通过基于车辆视觉的系统的场景分析。
2.如权利要求1的方法，还包括下列步骤 确定所述图像中的没影点；确定所述图像中水平延伸通过所述没影点的没影线； 确认所述没影线下方的目标区域；以及仅在所述目标区域上执行步骤(C) - (g)。
3.如权利要求1的方法，其中其它颜色集投影在所述线性光照恒定轴线上，并且其中步骤(d)还包括选择提供在投射在所述线性光照恒定轴线上的所述特定颜色集与其它颜色集之间的显著的分隔距离的线性光照恒定轴线。
4.如权利要求3的方法，还包括下列步骤 确定所述图像中的没影点；确定所述图像中水平延伸通过所述没影点的没影线； 确认所述没影线下方的目标区域；以及仅在所述目标区域上执行步骤(C) - (g)。
5.如权利要求3的方法，其中步骤(d)还包括选择基本上聚焦了所述特定颜色集的颜色值并且基本上分散了其它颜色集的颜色值的线性光照恒定轴线。
6.如权利要求5的方法，还包括下列步骤 确定所述图像中的没影点；确定所述图像中水平延伸通过所述没影点的没影线； 确认所述没影线下方的目标区域；以及仅在所述目标区域上执行步骤(C) - (g)。
7.如权利要求1的方法，其中所述对数图包括对数型蓝_绿轴和对数型红_绿轴。
8.如权利要求1的方法，其中识别所述输入图像和所述光照恒定图像域中的边缘还包括如下步骤确定所述输入图像的方向梯度； 确定所述光照恒定图像域的方向梯度；将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较，以确定是否存在阴影边缘。
9.如权利要求8的方法，其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括确定所述输入图像的方向梯度是否大于第一阈值；以及确定所述光照恒定图像域的方向梯度是否小于第二阈值。
10.如权利要求8的方法，其中将所述输入图像的方向梯度和所述光照恒定图像域的方向梯度与至少一个阈值作比较还包括计算所述输入图像的方向梯度与所述光照恒定图像域的方向梯度之间的梯度差； 将所述梯度差与所述至少一个阈值作比较。
全文摘要
本发明涉及用于畅通路径检测的去除由基于车辆的相机捕获的图像中的阴影。提供了一种用于从捕获的图像产生减少了阴影的图像以区分行驶的畅通路径的方法。根据两维对数图绘出所捕获输入图像的每个像素。特定颜色集与畅通路径的相关颜色值相关。确定随所述特定颜色集变化的线性光照恒定轴线。确定所述线性光照恒定轴线的光照方向。将所述特定颜色集的各所绘像素的色度对数值投射在所述轴线上。识别所述输入图像和所述光照恒定图像域中的边缘。将所述输入图像的识别边缘与所述光照恒定图像域中的识别边缘比较。响应于所述边缘的比较，确定是否存在阴影边缘。产生减少了阴影的图像，用于车辆的基于视觉的系统的场景分析。
文档编号G06K9/00GK102314600SQ20111018774
公开日2012年1月11日 申请日期2011年7月6日 优先权日2010年7月6日
发明者吴 Q., 巴加瓦图拉 V., 张 W. 申请人:通用汽车环球科技运作有限责任公司