专利名称：基于车辆特征的车辆定位方法和装置的制作方法
技术领域：
本发明涉及基于机器视觉的车辆识别系统中确定车辆位置的车辆定位方法和装置，特别涉及基于从可能包含潜在车辆的图像区域即ROI中提取的车辆特征来准确地确定车辆在ROI中的位置的车辆定位方法和装置。
背景技术：
在基于机器视觉的车辆识别系统中，对由安装在自身车辆(以下简称为自车)或其它移动/固定的物体上的摄像机等摄影装置拍摄的原始图像进行分割等处理，会得到可能包含潜在车辆的图像区域，即所谓ROI(感兴趣区域，Region Of Interest)。而准确定位车辆在ROI中的位置，有助于提高系统的车辆识别率。尤其是准确定位车辆的下底边位置(即车轮与路面交界的位置)和车辆的宽度，对于获取自车周围车辆与自车的相对位置和相对距离至关重要。另外，准确的车辆定位对于车辆跟踪、车间距离计算、车型判断及车辆颜色识别也非常重要。
目前，主要是利用车辆的水平边缘、垂直边缘和对称性这些特征来定位车辆。图1示出了现有技术中定位车辆的主要步骤。如图1所示，在确定车辆在ROI中的位置时，主要包含以下步骤(1)计算车辆高度方向上的对称轴；(2)确定车辆左右、上下边缘。
首先，说明(1)计算车辆对称轴的方法。
以前，在定位车辆时，一般只计算一种对称轴，即轮廓对称轴或灰度对称轴。轮廓对称不容易受光照的影响，但容易受如路面或建筑物这样的背景等噪声的影响，特别是具有对称性的背景对对称性影响很大。而且，当车辆局部被遮挡时，轮廓的对称性被破坏。如图2A所示，由于作为背景的建筑物具有比车辆更显著的对称性，而将建筑物的对称轴错误地确定为车辆的对称轴。灰度对称性不容易受背景影响，但容易受光照的影响。因此，只计算一种对称轴必然容易受背景、光照条件、车辆图像不完整(即车辆被遮挡或车辆的局部车体在图像外)的影响，使对称轴计算不准，从而影响车辆定位的精度。
另外，现有技术中也公开了计算多个对称轴的方法，主要是通过综合多个对称轴计算结果得到最终的对称轴。但是采用的也只是轮廓对称、灰度对称、水平边缘对称、垂直边缘对称，而水平边缘对称和垂直边缘对称从原理上来说只是轮廓对称的一种，因此，仍然不能避免背景、光照条件、车辆图像不完整的影响。
另外，现有技术在计算对称轴时，参与对称轴计算的图像区域是整个ROI。所以存在以下问题计算量大，容易受一些背景的影响，而使对称轴计算不准确。
接着，说明现有技术中(2)确定车辆左右边缘和上下边缘的方法。
现有技术一般使用垂直边缘投影的方法确定车辆的左右边缘，使用水平边缘投影的方法确定车辆的上下边缘。所谓“垂直边缘投影”是指，使用边缘检测算子抽取图像的垂直边缘，并垂直投影，即将垂直边缘图像中所有的非零像素在垂直方向按列加和，投影值最大的像素列对应车辆的左右边缘。所谓“水平边缘投影”，与垂直边缘投影类似，是指使用边缘检测算子抽取图像的水平边缘，并水平投影，即将水平边缘图像中所有的非零像素在水平方向按行加和，投影值最大的像素行对应车辆的上下边缘。
由于在ROI中的背景也可能具有垂直边缘和水平边缘，所以它们的存在必然会影响到车辆的左右边缘和上下边缘的确定。另外，由于阴天或晴天等的不同光照条件、车辆局部被遮挡或车辆局部在图像之外时车辆图像不完整的影响，车辆可能会缺失部分边缘，这也会影响车辆的左右边缘和上下边缘的确定，最终影响车辆定位精度。例如，图2B示意性地示出了由于受到作为背景的建筑物的垂直边缘的影响，使得车辆左右边缘计算出现错误的情况。图2C示意性地示出了由于作为背景的指示牌的水平边缘的影响，使得车辆的上边缘计算错误的情况。
在现有技术(日本特开平7-334799)中，还提出了利用车底阴影确定车辆的下边缘的方法。其具体方法是首先找到车底阴影，然后确定车底阴影与路面形成的边缘，最后把这个边缘作为车辆的下边缘。但是，由于受太阳(或其它光源)的位置、摄像机安装高度、道路坡度的影响，图像上有时会检测不出车底阴影，如车底漏光、逆光，此时将无法确定车辆的下边缘。例如，图2D示意性地示出了由于车底漏光或逆光，检测不到车底阴影的情况。
发明内容
本发明是鉴于现有技术存在的上述问题而提出来的，其目的在于提供一种车辆定位方法和装置，基于从可能包含潜在车辆的图像区域即ROI中提取的车辆特征准确确定车辆的左右边缘，从而准确确定车辆在上述ROI中的位置。
本发明的另一个目的是，准确确定车辆的下边缘，从而准确确定车辆在上述ROI中的位置。
本发明的另一个目的是，综合利用车辆的对称性、水平和垂直边缘、车底阴影、车体颜色(或灰度)特征，准确确定车辆在上述ROI中的位置。
为了实现上述目的，本发明的车辆定位方法，根据可能包含车辆的图像区域即ROI，确定上述车辆在上述ROI中的位置，其特征在于具有以下步骤左右边缘确定步骤，利用从上述ROI的预定区域中提取的一种或多种车辆特征计算出上述车辆的一对或多对候选的左右边缘，并根据上述候选的左右边缘确定上述车辆的左右边缘，其中，上述车辆特征至少包括车底阴影特征及/或车体颜色特征；定位步骤，利用所确定的各个边缘，来确定上述车辆在上述ROI中的位置。
所述的车辆定位方法，其中，还包括以下步骤在上述左右边缘确定步骤中，当所计算出的上述候选左右边缘为一对或所计算出的多对候选左右边缘相同时，将计算出的上述候选左右边缘确定为车辆的左右边缘，当所计算出的多对候选左右边缘不相同时，按照预定的左右边缘融合规则来确定车辆的左右边缘。其中，在上述左右边缘确定步骤中，利用上述车底阴影特征计算上述车辆的左右边缘时，根据上述ROI的车底阴影预定区域内的像素的灰度来确定上述车辆的候选的左右边缘。其中，在上述左右边缘确定步骤中，根据上述ROI的车底阴影预定区域的像素的灰度均值，将灰度值小于上述灰度均值的像素的数量大于等于预定值的像素列，确定为上述车辆的候选的左右边缘。其中，在上述左右边缘确定步骤中，根据上述车体颜色特征计算上述车辆的左右边缘时，将上述ROI的车体颜色预定区域内的最长相同颜色水平线的左右边缘确定为上述车辆的候选的左右边缘。其中，在上述左右边缘确定步骤中，还包括利用从上述ROI提取的垂直边缘的投影来计算车辆左右边缘的步骤。
这样一来，根据本发明的车辆定位方法就可以准确确定车辆的左右边缘，从而准确确定车辆在上述ROI中的位置。
所述的车辆定位方法，其中，还包括上下边缘确定步骤，利用从上述ROI中提取的水平边缘的投影分别计算并确定上述车辆的候选上下边缘。其中，在上述上下边缘确定步骤中，还包括根据上述ROI的车底阴影预定区域的像素的灰度来确定上述车辆的候选的下边缘，当该下边缘与利用上述水平边缘的投影计算出的下边缘不相同时，按照预定的下边缘融合规则来确定车辆的下边缘。其中，在上述下边缘确定步骤中，根据上述ROI的车底阴影预定区域的像素的灰度均值，将灰度值小于上述灰度均值的像素的数量大于等于预定值的像素行，确定为上述车辆的候选下边缘。
这样一来，根据本发明的车辆定位方法就可以准确确定车辆的下边缘，从而准确确定车辆在上述ROI中的位置。
所述的车辆定位方法，其中，在上述上下边缘确定步骤中，还利用从上述车体颜色的水平分层变化的特征来计算上述车辆的候选上边缘，当该上边缘与利用上述水平边缘的投影计算出的上边缘不相同时，按照预定的上边缘融合规则来确定车辆的上边缘。其中，在上述上边缘确定步骤中，根据上述车体颜色的水平分层变化的特征来计算上述车辆的上边缘时，根据上述ROI的车体预定区域内的像素行之间的灰度差或颜色差来确定上述车辆的候选上边缘。
所述的车辆定位方法，其中，还包括对称轴确定步骤，根据从上述ROI中提取的一种或多种对称特征来计算上述车辆的高度方向上的一个或多个候选的对称轴，并根据上述候选的对称轴确定上述车辆的对称轴；其中，在上述对称轴确定步骤中，当所计算出的上述候选对称轴为一个或所计算出的多个候选对称轴相同时，将计算出的上述候选对称轴确定为车辆的对称轴，当所计算出的多个候选对称轴不相同时，按照预定的对称轴融合规则来确定车辆的对称轴。其中，在上述对称轴确定步骤中，上述对称特征包括从上述ROI中提取的轮廓对称、灰度对称和S分量对称中的至少一个。其中，确定上述轮廓对称轴的图像区域是整个ROI，确定上述灰度对称轴和S分量对称轴的图像区域是上述ROI中的由上述车底阴影的宽度和与上述宽度成一定比例关系的高度所组成的图像区域。
这样一来，利用本发明的车辆定位方法就可以综合利用车辆的对称性、水平和垂直边缘、车底阴影、车体颜色(或灰度)特征，来准确确定车辆在上述ROI中的位置。
为了实现上述目的，本发明的车辆定位装置，根据可能包含车辆的即ROI，确定上述车辆在上述图像中的位置，其特征在于具有以下单元左右边缘确定单元，利用从上述ROI的不同区域中提取的一种或多种车辆特征计算出上述车辆的一对或多对候选的左右边缘，并根据上述候选的左右边缘确定上述车辆的左右边缘，其中，上述车辆特征至少包括车底阴影特征及/或车体颜色特征；定位单元，利用所确定的各个边缘，来确定上述车辆在上述ROI中的位置。
所述的车辆定位装置与上述车辆定位方法相对应。
本发明具有如下效果根据本发明的车辆定位方法和装置，即使对称轴计算不准确，或者受光照、背景等影响，也能准确地确定车辆的在ROI中的位置，另外，还能处理ROI中的车辆图像不完整、及车辆拐弯时出现车头倾斜的情况下的车辆定位。
图1是表示现有技术中定位车辆的主要步骤的流程图。
图2A是示出了现有技术中利用轮廓对称计算车辆对称轴时，由于作为背景的建筑物比车辆更具有对称特性，而使得将建筑物的对称轴，错误地计算为车辆的对称轴的情况的图。
图2B是示出了现有技术中利用垂直边缘投影计算车辆左右边缘时，由于受到作为背景的建筑物的垂直边缘的影响，使得将建筑物的左右边缘，错误地计算为车辆的左右边缘的情况的图。
图2C是示出了现有技术中利用水平边缘投影计算车辆上下边缘时，由于作为背景的信号灯的水平边缘的影响，使得车辆的上边缘计算错误的情况的图。
图2D是示出了由于车底漏光或逆光，检测不到车底阴影的情况的图。
图3是表示本发明定位车辆的主要步骤的流程图。
图4是表示本发明实施方式1中融合3个候选对称轴的流程图。
图5A是利用车体颜色计算车辆左右边缘的流程图。
图5B利用车体颜色确定车辆左右边缘的小窗口设定示意图。
图5C利用车体颜色确定车辆左右边缘的示意图。
图6是表示本发明融合3对候选左右边缘来确定车辆的左右边缘的流程图。
图7是表示车辆颜色水平分层变化的示意图。
图8是表示本发明实施方式1的车辆定位装置中主要构成要素的方框图。
具体实施例方式
以下，根据
本发明的实施方式。
实施方式1下面，参照图3-7说明本发明的实施方式1的车辆定位方法。
图3是表示本发明实施方式1的车辆定位方法中定位车辆的主要步骤的流程图。下面，参照图3详细说明本发明定位车辆的主要步骤。
<计算并确定车辆高度方向上的对称轴>
在步骤S1中，利用轮廓对称、灰度对称和HSV色彩空间的S分量对称特征，分别计算车辆在高度方向即垂直方向上的对称轴，也就是轮廓对称轴、灰度对称轴和S分量对称轴作为车辆的候选对称轴。
由于利用轮廓对称、灰度对称来计算轮廓对称轴、灰度对称轴的方法是本领域的公知技术，所以在此省略说明，以下将详细说明计算S分量对称轴的方法。
一般，HSV色彩空间是以色彩的色调(H)、饱和度(S)、亮度(V)为三要素表示的，是适合人的视觉特性的色彩空间。其中，S分量，即饱和度分量，是与材料特性相关的分量。
本发明人等经过研究后，发现利用S分量计算出的S分量对称轴，不易受到背景、光照条件等的影响，所以在上述特定情况下能够更加准确地确定车辆的对称轴。
在利用S分量计算S分量对称轴时，首先，设定ROI中适合用于计算S分量对称轴的图像区域。该图像区域选择ROI中由车底阴影的宽度和与上述宽度成一定比例的高度所组成的图像区域。举例而言，将上述图像区域的底边设定为车底阴影的底边所在的行Ybc，将图像区域的左右边界设定为车底阴影的左右边界Xl和Xr，将车底阴影的宽度W设定为W＝Xr-Xl，将图像区域的高度H设定为H＝0.9W。其中，车底阴影的底边所在的行Ybc的计算详见步骤S4，车底阴影的左右边界Xl和Xr的计算详见步骤S4。
然后，在ROI的已被设定好的上述图像区域内，按照式(1)计算每列像素左右Δx范围内S分量的差异和S(j)，最小差异和所对应的像素列即为利用S分量计算出的S分量对称轴。
S(j)=ΣYbcYbc+HΣΔx=1W/2|P(j+Δx,i)-P(j-Δx,i)|---(1)]]>其中，P(x，y)为图像的S分量值。
以上，只是计算S分量对称轴的一个优选实施例，本发明计算S分量对称轴的方法并不限于此，可以根据具体情况来改变。
接着，在步骤S2中，对步骤S1中计算出的轮廓对称轴、灰度对称轴和S分量对称轴这3个候选对称轴按照预定的对称轴融合规则进行融合，来确定车辆高度方向上的对称轴。
融合并确定对称轴的具体方法可以根据需要预先决定。下面，参照图4说明一个对称轴融合规则的例子，但本发明融合多个候选对称轴的方法不限于此。
图4是表示本发明融合3个候选对称轴来确定车辆的高度方向上的对称轴的流程图。
当3个候选对称轴相同(即完全重合，x1＝x2＝x3)或近似相同(即任意两个对称轴之间的距离小于或等于预定值)时，将3个候选对称轴中间的对称轴确定为车辆的对称轴。
当3个候选对称轴中有2个候选对称轴相同(即重合，如x1＝x2)或近似相同(这2个候选对称轴之间的距离小于或等于预定值，如|x1-x2|≤Δ，Δ表示预定值)时，将这2个候选对称轴的中心确定为车辆的对称轴。
当3个候选对称轴都不同，即任意2个候选对称轴之间的距离都大于预定值时，则将轮廓对称轴确定为车辆的对称轴。
如上所述，首先计算出候选对称轴，特别是S分量对称轴，然后按预定的融合规则对其融合来确定车辆的对称轴。这样一来，不易受到背景、光照条件等的影响，能够提高确定车辆对称轴的精度。
另外，现有技术在计算不同的候选对称轴时，参与对称轴计算的区域一般是整个ROI。由于整个ROI可能包含部分背景图像，因此，基于整个ROI来计算对称轴容易导致对称轴计算不准确。而本发明中，根据情况采用不同的ROI区域来计算对称轴。例如，计算轮廓对称轴的图像区域是整个ROI，计算灰度对称轴和分量对称轴的图像区域是ROI中的由车底阴影的宽度和与宽度成一定比例关系的适当的高度所组成的图像区域内进行，这样即可以减少ROI中背景对对称轴的影响，还可以减少计算量。
再有，虽然这里例举了分别计算3个候选对称轴来最终确定车辆的对称轴的例子，但是本发明不限于此，也可以根据情况来改变，例如也可以根据需要只计算出一个对称轴，或者计算出更多的对称轴，还可以根据需要来确定适合的对称轴融合规则。
<计算并确定车辆的左右边缘>
在步骤S3中，利用垂直边缘投影算法来计算车辆的左右边缘，即车辆高度方向上的垂直边缘。首先，用Sobel等边缘检测算子在ROI内提取垂直边缘。然后，基于对称性约束进行过滤，去掉关于对称轴不对称的像素，因为它们很可能是不属于车辆轮廓的噪声像素。在得到过滤后的垂直边缘图像后，采用垂直投影的方法计算车辆的左右边缘，作为候选的左右边缘。
接着，在步骤S4中，利用车底阴影、车体颜色特征分别计算车辆的左右边缘，作为候选左右边缘。虽然在步骤S3中，已利用垂直边缘的投影计算出了左右边缘，但在实际应用中，由于环境和背景的复杂性，利用垂直边缘投影算法确定车辆的左右边缘还存在以下问题。例如，由于垂直边缘投影算法利用了车辆高度方向的对称轴，若确定的对称轴不准确时，利用垂直投影计算出的车辆左右边缘就不准确，而且，即使对称轴的计算准确，但由于垂直边缘投影算法容易受到背景的垂直边缘影响，所以有时也不能准确地确定车辆的左右边缘。
所以，本发明提出了利用车底阴影的左右边界、车体颜色特征来分别计算车辆的左右边缘，作为候选左右边缘的方法。
接着说明利用车底阴影的左右边界来计算车辆左右边缘的方法。
所谓“车底阴影”是指车下部的车影。将车底阴影的左右边缘作为车辆的左右边缘。通常，车底阴影是比车辆垂直边缘还稳定的车辆特征，因此利用车底阴影计算出的车辆左右边缘，更为稳定和准确。
首先，设定ROI中用于计算车底阴影的图像区域，即所谓“车底阴影预定区域”。虽然也可以对整个ROI进行计算，但是选择适当的范围可以减少计算量还会使计算更准确。例如，将ROI的下半部分设定为计算车辆左右边缘时使用的图像区域。然后，计算该图像区域内的灰度均值，并标记设定区域内小于该均值的像素。
随后，计算出车底阴影的左右边缘。首先，计算出在上述图像区域内被标记的像素最多的列，将该列像素的被标记的像素数量作为搜索车底阴影左右边缘的阈值Tc。然后，将像素列被标记的像素的数量记为Cc，从左向右逐列搜索设定区域，第一个满足条件Cc≥Tc·α的列即为车底阴影的左边缘，记为Xl，其中α为常数(0＜α＜1)，可根据经验适当设定。对车底阴影右边缘的确定与左边缘相同，记为Xr。
以上，说明了利用车底阴影来计算车辆左右边缘的方法。下面，参照图5A说明利用车体颜色来计算车辆左右边缘的方法。图5A是利用车体颜色来计算车辆的左右边缘的流程图。
所谓“利用车体颜色特征来确定车辆的左右边缘”，简而言之就是在ROI中找到的车体上最长的颜色一致的水平线的左右边界。
如图5A所示，首先，在步骤420，设定ROI中用于计算车体颜色的图像区域，即所谓“车体颜色预定区域”。虽然也可以对整个ROI进行计算，但是选择适当的范围可以减少计算量还会使计算更准确。设定该图像区域的底边为车底阴影的顶边所在的像素行Ytc，设定该图像区域的左右边界为车底阴影的左右边界Xl和Xr，设定该图像区域的高度为H＝0.6W，车底阴影的宽度W＝Xr-Xl。其中，车底阴影的顶边所在的行Ytc的计算详见步骤S7，车底阴影的左右边界Xl和Xr的计算详见步骤S4。
然后，在步骤421中，在上述图像区域，即车体颜色预定区域内的车辆对称轴的左侧区域内，设定用于搜索相同颜色水平线的预定大小的小窗口(小窗口设定如图5B所示)。在该小窗口内计算每列像素的灰度均值，比较相邻列像素的灰度均值，如果均值差小于设定的阈值，则认为这两列颜色相同。在小窗口内计算出颜色连续相同的最大连续列，该连续列即代表该小窗口内找到的最长相同颜色水平线，该连续列的起始列和结束列为水平线的左右端点。根据上述描述，在上述图像区域内，用小窗口遍历(从下向上移动小窗口)，在每个小窗口内都会得到一个最长水平线，在所有水平线中，找到最长的，即为对称轴左侧区域内找到的最长水平线。对称轴右侧的最长水平线找法与左侧相同。
最后，在步骤422中，将在对称轴左侧的最长水平线的左端点作为车辆的左边缘，将在对称轴右侧的最长水平线的右端点作为车辆的右边缘。图5C示意性地示出了利用车体颜色确定车辆左右边缘的图。
以上，分别说明了利用车底阴影、车体颜色特征分别计算车辆左右边缘的方法。其中，虽然利用车体颜色特征来计算车辆左右边缘的方法中使用了车辆的对称轴来协助计算，但也可以不是用对称轴，不关于对称轴分成左右两个图像区域来计算，而是计算整个图像区域内的车体上最长的颜色一致的水平线的左右边界。
下面，返回图3继续说明利用所计算出的3对候选左右边缘，按照预定的左右边缘融合规则来最终确定车辆的左右边缘的方法。
在步骤S5中，按照预定的左右边缘融合规则，将在步骤S3和步骤S4中计算出的3对候选左右边缘进行融合，得到最终的车辆左右边缘。下面，参照图6说明一个左右边缘融合规则的例子，但本发明的左右边缘融合规则不限于此，可以根据情况改变。
图6是表示本发明融合3对候选左右边缘来确定车辆的左右边缘的流程图。图6所示的左右边缘融合规则的流程与图4所示的对称轴融合规则的流程相似，所以这里省略详细说明。
<计算并确定车辆的上下边缘>
在步骤S6中，利用水平边缘投影来计算车辆的候选上下边缘。具体方法如下在确定车辆的左右边缘后，可以得到了一个左右边缘之间的垂直条带区域。在这个垂直条带区域内，与定位左右边缘类似，用水平Sobel等边缘检测算子在ROI内提取图像的水平边缘，利用现有技术中的水平投影法计算出车辆的候选上下边缘。
接着，在步骤S7中，利用车底阴影计算车辆下边缘。将车底阴影的下边缘作为车辆的下边缘。为了确定车底阴影的下边缘，首先，计算出在预定区域内被标记的像素最多的行，该行像素被标记的像素数量作为搜索车底阴影下边缘的阈值Tr；然后，将某行被标记的像素的数量记为Cr，从下向上逐行搜索设定区域，第一个满足条件Cr≥Tr·α1的行即为车底阴影的下边缘，记为Ybc，其中α1为常数(0＜α1＜1)，可以根据情况适当确定。
在此，简单说明计算车底阴影的上边缘的方法。从被标记的像素最多的行开始向上搜索，第一个满足条件Cr≤Tr·β的行即为车底阴影的上边缘，记为Ytc，其中β为常数(0＜β＜1)，可根据经验适当设定。接着，在步骤S8中，利用车体颜色水平分层变化特征来计算车辆的候选上边缘。当车辆上方有小的广告牌、指示牌或其它背景时，它们的水平边缘容易被误认为是车辆的上边缘。为了解决这个问题，本发明利用车辆具有显著的水平结构，特别是在这些水平结构上下颜色会发生改变的特征来调整上边缘。车辆颜色水平分层变化的示意图如图7所示。
下面，简单说明利用车体颜色水平分层变化的特征，来计算车辆的候选上边缘的方法。
首先，设定ROI中用于计算车体颜色水平分层变化的图像区域，虽然也可以对整个ROI进行计算，但是选择适当的范围可以减少计算量还会使计算更准确。该图像区域的底边为车底阴影的顶边所在的行Ytc，图像区域的左右边界为步骤S5中确定的车辆左右边缘Vl，Vr，图像区域的顶边为IT＝Ytc-VW，VW为车辆宽度，VW＝Vr-Vl。然后，计算图像区域内每行像素的灰度均值。
最后，如下计算出灰度均值突变的像素行在图像设定区域内，从上至下，比较第i行和第i+Δ行的灰度均值；如果两行的灰度均值的差大于设定的阈值T1，则逐列比较这两行的像素，并统计出像素灰度差大于设定阈值T1的像素数，如果像素数大于设定的阈值T2，则将第i行作为灰度突变的候选行，如果在第i行上下一定间隔内没有类似的突变行，则将第i行作为灰度突变行。图像区域内上方第一个突变行作为车辆的上边缘。
以上，说明了利用水平边缘投影、车底阴影和车体颜色水平分层变化分别计算车辆的候选上边缘、候选下边缘的方法。下面，将返回图3，说明根据上述候选上下边缘最终确定车辆的上下边缘的方法。
在步骤S9中，将所计算出的2个候选下边缘按照预定的下边缘融合规则融合，确定车辆最终的下边缘。下边缘融合的规则举例如下，但本发明的下边缘融合规则不限于此(1)如果没检测到车底阴影，则取水平投影确定的下边缘作为车辆的下边缘；(2)如果车底阴影的下边缘在车辆重心的下方，则取车底阴影的下边缘作为车辆的下边缘，否则取水平投影确定的下边缘作为车辆的下边缘。
根据本发明计算下边缘具有以下效果当车辆的下部比较暗时，可能找不到明显的水平下边缘或找到错误的水平下边缘，从而单纯采用步骤S5中的水平投影的方法无法确定车辆下底边或确定一个错误的下底边；而利用车底阴影确定车辆的下边缘的方法，当图像上检测不出车底阴影时，将无法确定车辆的下边缘。为了解决这些问题，本发明提出结合水平边缘投影和车底阴影的方法来确定车辆下边缘。
接着，在步骤S10中，将所计算出的2个候选上边缘按照预定的上边缘融合规则融合，确定车辆最终的上边缘。上边缘融合的规则举例如下，但本发明的上边缘融合规则不限于此。
(1)当利用车体颜色水平分层变化特征确定的上边缘大于等于利用水平边缘投影确定的上边缘时满足车辆纵横比的要求，则以利用车体颜色水平分层变化特征确定的上边缘作为车辆的上边缘；不满足车辆纵横比的要求，则以利用水平边缘投影确定的上边缘作为车辆的上边缘；(2)当利用水平边缘投影确定的上边缘大于等于利用车体颜色水平分层变化特征确定的上边缘时满足车辆纵横比的要求，则以利用水平边缘投影确定的上边缘作为车辆的上边缘；不满足车辆纵横比的要求，则以利用车体颜色水平分层变化特征确定的上边缘作为车辆的上边缘。
<确定车辆的位置>
在步骤S11中，根据所确定的车辆的各个边缘来确定车辆在ROI中的位置。
图3中示出的定位车辆的流程图只是一个例子，当然本发明的车辆定位的方法不限于此，可以根据情况对其进行改变。例如，图3中的流程图中具有确定车辆对称轴、左右边缘、上下边缘的步骤，但是定位车辆在ROI中的位置也可以采用其他方法，比如确定车辆的左右边缘的方法利用本发明，确定车辆对称轴的方法及/或确定车辆上下边缘的方法可以利用现有技术来替代，也可以只计算左右边缘或上下边缘来定位车辆在ROI中的位置。
(实施方式2)下面，参照图8说明本发明的实施方式2的车辆定位装置。
图8是表示本发明实施方式2中定位车辆装置100的主要构成的图。下面，参照图8详细说明车辆定位装置100的主要构成。
如图8所示，车辆定位装置100具有对称轴确定单元101、左右边缘确定单元102、上下边缘确定单元103和定位单元104。
图8中示出的定位车辆装置的构成只是一个例子，当然本发明的车辆定位装置不限于此，可以根据情况对其进行改变。例如，图8中具有对称轴确定单元、左右边缘确定单元、上下边缘确定单元，但是车辆定位装置也可以不设置对称轴确定单元，而只设置左右边缘确定单元或者和上下边缘确定单元。
另外，本发明的实施方式2的车辆定位装置100基本与实施方式1的车辆定位方法相对应。下面，只简单说明车辆定位装置100，而省略与实施方式1重复的说明，例如，为设置实现上述车辆定位方法中的步骤所需要的对应的装置，比如各种融合装置。
如图8所示，ROI输入装置200将可能包含车辆的图像区域即ROI的图像输入到车辆定位装置100中，而车辆定位装置100输出车辆定位的结果。
对称轴确定单元101根据从ROI中提取的一种或多种对称特征来计算车辆的高度方向上的一个或多个候选的对称轴，并根据候选的对称轴确定车辆的对称轴。其中，优选对称特征包括从ROI中提取的轮廓对称、灰度对称和S分量对称中的至少一个。还有，优选确定轮廓对称轴的图像区域是整个ROI，确定灰度对称轴和S分量对称轴的图像区域是在ROI中的由车底阴影的宽度和与宽度成一定比例关系的高度所组成的图像区域。
左右边缘确定单元102利用从ROI的预定区域中提取的一种或多种车辆特征计算出车辆的一对或多对候选的左右边缘，并根据候选的左右边缘确定车辆的左右边缘。其中，车辆特征至少包括车底阴影特征及/或车体颜色特征。
另外，在左右边缘确定单元102中，利用车底阴影特征计算车辆的左右边缘时，根据ROI的车底阴影预定区域内的像素的灰度来确定车辆的候选的左右边缘。另外，在左右边缘确定单元102中，根据车体颜色特征计算车辆的左右边缘时，根据ROI的车体颜色预定区域内的最长相同颜色水平线的左右边缘来确定车辆的候选的左右边缘。在左右边缘确定单元102中，还包括利用从ROI提取的垂直边缘的投影来计算车辆左右边缘的单元102。
上下边缘确定单元103利用从ROI中提取的水平边缘的投影分别计算并确定车辆的候选的上下边缘。在上下边缘确定单元103中，还包括根据ROI的车底阴影预定区域的像素的灰度来确定车辆的候选的下边缘，当该下边缘与利用水平边缘的投影计算出的下边缘不相同时，按照预定的下边缘融合规则来确定车辆的下边缘。在上下边缘确定单元103中，根据ROI的车底阴影预定区域的像素的灰度均值，将灰度值小于灰度均值的像素的数量大于等于预定值的像素行，确定为车辆的候选的下边缘。
在上下边缘确定单元103中，还利用从车体颜色的水平分层变化的特征来计算车辆的候选上边缘，当该上边缘与利用水平边缘的投影计算出的上边缘不相同时，按照预定的上边缘融合规则来确定车辆的上边缘。在上下边缘确定单元103中，根据车体颜色的水平分层变化的特征来计算车辆的上边缘时，根据ROI的车体预定区域内的像素行之间的灰度差或颜色差来确定车辆的候选上边缘。
定位单元104利用所确定的各边缘来确定车辆在图像中的位置。
本发明的定位方法和装置能准确地确定车辆高度方向上的对称轴。另外，由于结合了车底阴影和车体颜色特征，即使对称轴计算不准确，也能得到一个正确的车辆左右边缘。最后，由于结合了车辆的水平边缘投影、车底阴影和车体水平颜色分层的特征，上下边缘定位更准确。另外，本发明的定位方法和装置，使用范围广，不容易受光照、背景影响，能处理车辆图像不完整及车辆拐弯时出现车头倾斜的情况。
权利要求
1.一种车辆定位方法，根据可能包含车辆的图像区域即ROI，确定上述车辆在上述ROI中的位置，其特征在于具有以下步骤左右边缘确定步骤，利用从上述ROI的预定区域中提取的一种或多种车辆特征计算出上述车辆的一对或多对候选的左右边缘，并根据上述候选的左右边缘确定上述车辆的左右边缘，其中，上述车辆特征至少包括车底阴影特征及/或车体颜色特征；定位步骤，利用所确定的各个边缘，来确定上述车辆在上述ROI中的位置。
2.如权利要求1所述的车辆定位方法，其中，还包括以下步骤在上述左右边缘确定步骤中，当所计算出的上述候选左右边缘为一对或所计算出的多对候选左右边缘相同时，将计算出的上述候选左右边缘确定为车辆的左右边缘，当所计算出的多对候选左右边缘不相同时，按照预定的左右边缘融合规则来确定车辆的左右边缘。
3.如权利要求2所述的车辆定位方法，其中，在上述左右边缘确定步骤中，利用上述车底阴影特征计算上述车辆的左右边缘时，根据上述ROI的车底阴影预定区域内的像素的灰度来确定上述车辆的候选的左右边缘。
4.如权利要求3所述的车辆定位方法，其中，在上述左右边缘确定步骤中，根据上述ROI的车底阴影预定区域的像素的灰度均值，将灰度值小于上述灰度均值的像素的数量大于等于预定值的像素列，确定为上述车辆的候选的左右边缘。
5.如权利要求2所述的车辆定位方法，其中，在上述左右边缘确定步骤中，根据上述车体颜色特征计算上述车辆的左右边缘时，将上述ROI的车体颜色预定区域内的最长相同颜色水平线的左右边缘确定为上述车辆的候选的左右边缘。
6.如权利要求1至5任一项所述的车辆定位方法，其中，在上述左右边缘确定步骤中，还包括利用从上述ROI提取的垂直边缘的投影来计算车辆左右边缘的步骤。
7.如权利要求1至5任一项所述的车辆定位方法，其中，还包括上下边缘确定步骤，利用从上述ROI中提取的水平边缘的投影分别计算并确定上述车辆的候选上下边缘。
8.如权利要求7所述的车辆定位方法，其中，在上述上下边缘确定步骤中，还包括根据上述ROI的车底阴影预定区域的像素的灰度来确定上述车辆的候选的下边缘，当该下边缘与利用上述水平边缘的投影计算出的下边缘不相同时，按照预定的下边缘融合规则来确定车辆的下边缘。
9.如权利要求8所述的车辆定位方法，其中，在上述下边缘确定步骤中，根据上述ROI的车底阴影预定区域的像素的灰度均值，将灰度值小于上述灰度均值的像素的数量大于等于预定值的像素行，确定为上述车辆的候选下边缘。
10.如权利要求7所述的车辆定位方法，其中，在上述上下边缘确定步骤中，还利用从上述车体颜色的水平分层变化的特征来计算上述车辆的候选上边缘，当该上边缘与利用上述水平边缘的投影计算出的上边缘不相同时，按照预定的上边缘融合规则来确定车辆的上边缘。
11.如权利要求10所述的车辆定位方法，其中，在上述上边缘确定步骤中，根据上述车体颜色的水平分层变化的特征来计算上述车辆的上边缘时，根据上述ROI的车体预定区域内的像素行之间的灰度差或颜色差来确定上述车辆的候选上边缘。
12.如权利要求2所述的车辆定位方法，其中，还包括对称轴确定步骤，根据从上述ROI中提取的一种或多种对称特征来计算上述车辆的高度方向上的一个或多个候选的对称轴，并根据上述候选的对称轴确定上述车辆的对称轴。
13.如权利要求12所述的车辆定位方法，其中，在上述对称轴确定步骤中，当所计算出的上述候选对称轴为一个或所计算出的多个候选对称轴相同时，将计算出的上述候选对称轴确定为车辆的对称轴，当所计算出的多个候选对称轴不相同时，按照预定的对称轴融合规则来确定车辆的对称轴。
14.如权利要求12所述的车辆定位方法，其中，在上述对称轴确定步骤中，上述对称特征包括从上述ROI中提取的轮廓对称、灰度对称和S分量对称中的至少一个。
15.如权利要求14所述的车辆定位方法，其中，确定上述轮廓对称轴的图像区域是整个ROI，确定上述灰度对称轴和S分量对称轴的图像区域是上述ROI中的由上述车底阴影的宽度和与上述宽度成一定比例关系的高度所组成的图像区域。
16.一种车辆定位装置，根据可能包含车辆的图像区域即ROI，确定上述车辆在上述ROI中的位置，其特征在于具有以下单元左右边缘确定单元，利用从上述ROI的预定区域中提取的一种或多种车辆特征计算出上述车辆的一对或多对候选的左右边缘，并根据上述候选的左右边缘确定上述车辆的左右边缘，其中，上述车辆特征至少包括车底阴影特征及/或车体颜色特征；定位单元，利用所确定的各个边缘，来确定上述车辆在上述ROI中的位置。
17.如权利要求16所述的车辆定位装置，其中，还包括以下单元在上述左右边缘确定单元中，当所计算出的上述候选左右边缘为一对或所计算出的多对候选左右边缘相同时，将计算出的上述候选左右边缘确定为车辆的左右边缘，当所计算出的多对候选左右边缘不相同时，按照预定的左右边缘融合规则来确定车辆的左右边缘。
18.如权利要求17所述的车辆定位装置，其中，在上述左右边缘确定单元中，利用上述车底阴影特征计算上述车辆的左右边缘时，根据上述ROI的车底阴影预定区域内的像素的灰度来确定上述车辆的候选的左右边缘。
19.如权利要求18所述的车辆定位装置，其中，在上述左右边缘确定单元中，根据上述ROI的车底阴影预定区域的像素的灰度均值，将灰度值小于上述灰度均值的像素的数量大于等于预定值的像素列，确定为上述车辆的候选的左右边缘。
20.如权利要求17所述的车辆定位装置，其中，在上述左右边缘确定单元中，根据上述车体颜色特征计算上述车辆的左右边缘时，根据上述ROI的车体颜色预定区域内的最长相同颜色水平线的左右边缘来确定上述车辆的候选的左右边缘。
21.如权利要求16至20任一项所述的车辆定位装置，其中，在上述左右边缘确定单元中，还包括利用从上述ROI提取的垂直边缘的投影来计算车辆左右边缘的单元。
22.如权利要求16至20任一项所述的车辆定位装置，其中，还包括上下边缘确定单元，利用从上述ROI中提取的水平边缘的投影分别计算并确定上述车辆的候选的上下边缘。
23.如权利要求22所述的车辆定位装置，其中，在上述上下边缘确定单元中，还包括根据上述ROI的车底阴影预定区域的像素的灰度来确定上述车辆的候选的下边缘，当该下边缘与利用上述水平边缘的投影计算出的下边缘不相同时，按照预定的下边缘融合规则来确定车辆的下边缘。
24.如权利要求23所述的车辆定位装置，其中，在上述上下边缘确定单元中，根据上述ROI的车底阴影预定区域的像素的灰度均值，将灰度值小于上述灰度均值的像素的数量大于等于预定值的像素行，确定为上述车辆的候选的下边缘。
25.如权利要求22所述的车辆定位装置，其中，在上述上下边缘确定单元中，还利用从上述车体颜色的水平分层变化的特征来计算上述车辆的候选上边缘，当该上边缘与利用上述水平边缘的投影计算出的上边缘不相同时，按照预定的上边缘融合规则来确定车辆的上边缘。
26.如权利要求25所述的车辆定位装置，其中，在上述上下边缘确定单元中，根据上述车体颜色的水平分层变化的特征来计算上述车辆的上边缘时，根据上述ROI的车体预定区域内的像素行之间的灰度差或颜色差来确定上述车辆的候选上边缘。
27.如权利要求16所述的车辆定位装置，其中，还包括对称轴确定单元，根据从上述ROI中提取的一种或多种对称特征来计算上述车辆的高度方向上的一个或多个候选的对称轴，并根据上述候选的对称轴确定上述车辆的对称轴。
28.如权利要求27所述的车辆定位装置，其中，在上述对称轴确定单元中，当所计算出的上述候选对称轴为一个或所计算出的多个候选对称轴相同时，将计算出的上述候选对称轴确定为车辆的对称轴，当所计算出的多个候选对称轴不相同时，按照预定的对称轴融合规则来确定车辆的对称轴。
29.如权利要求27所述的车辆定位装置，其中，在上述对称轴确定单元中，上述对称特征包括从上述ROI中提取的轮廓对称、灰度对称和S分量对称中的至少一个。
30.如权利要求29所述的车辆定位装置，其中，确定上述轮廓对称轴的图像区域是整个ROI，确定上述灰度对称轴和S分量对称轴的图像区域是从上述ROI中的由上述车底阴影的宽度和与上述宽度成一定比例关系的高度所组成的图像区域。
全文摘要
本发明提供基于车辆特征的车辆定位方法和装置。利用车辆的一种或多种对称特征计算车辆高度方向上的一个或多个对称轴。利用ROI预定区域中提取的一种或多种车辆特征计算车辆的一对或多对左右边缘，车辆特征至少包括车底阴影特征及/或车体颜色特征。利用ROI中提取的水平边缘的投影计算车辆的上下边缘。根据ROI的车底阴影预定区域的像素的灰度来计算车辆的下边缘，利用车体颜色的水平分层变化的特征来计算车辆的上边缘。综合利用所确定的车辆的各种边缘，来确定车辆在图像中的位置。本发明在受光照、背景等影响时，也能准确地确定车辆在ROI中的位置。
文档编号G08G1/16GK101029824SQ20061005505
公开日2007年9月5日 申请日期2006年2月28日 优先权日2006年2月28日
发明者刘威, 郑烨 申请人:沈阳东软软件股份有限公司, 阿尔派株式会社