专利名称：障碍物跟踪装置及其方法
技术领域：
本发明涉及一种障碍物跟踪装置及其方法，使用从安装在以汽车等车辆为代表的移动体上的TV摄像机得到的图像，检测车辆等障碍物并进行跟踪。
背景技术：
目前，跟踪车辆等障碍物的方法在专利文献1(特开平8-94320号公报)中被提出。该方法将图像上边缘的点数多的区域检测为车辆，利用卡尔曼滤波来跟踪实际空间上的车辆车尾的位置。
另外，基于粒子型滤波的多个非刚体对象的跟踪方法在非专利文献1(阿部等，“基于粒子型滤波的多个非刚体对象的跟踪”，电子信息通信学会技术研究报告PRMU2003-241，pp63-66)中被提出。该方法将跟踪区域分割成小区域，利用将各个小区域的移动假设作为粒子的粒子型滤波(粒子滤波，particle filter)，进行车辆等物体的跟踪。
但是，在专利文献1和非专利文献1的技术中，当同时跟踪多个障碍物时存在问题。
即，在专利文献1的方法中，存在如下问题由于照明条件的变动或隐藏等而使障碍物未检测出的情况下，对应于其它检测出的障碍物而使跟踪位置产生大的误差，或者进行错误的障碍物的跟踪。
另外，在非专利文献1的方法中，虽然可进行鲁棒(robust)跟踪，但存在如下问题，即对于多个离散的观测位置，必须使用很多粒子，从而有时浪费多、处理量增大。
发明内容
因此，本发明鉴于上述问题，其目的在于提供一种障碍物跟踪装置及其方法，针对检测到的障碍物候补区域考虑模糊性，来检测障碍物的正确位置。
本发明是一种障碍物跟踪装置，其特征在于，具备图像取得部，搭载于移动体上，取得障碍物所照下的时间序列图像；障碍物检测部，从所述时间序列图像中检测当前时刻的障碍物候补区域；状态假设存储部，存储包含与所述障碍物的前一时刻有关的一个或多个状态假设的状态假设群；观测假设生成部，生成包含将所述障碍物候补区域的每个位置的观测假设与假定未检测到所述障碍物时的观测假设相组合的一个或多个观测假设的观测假设群；似然计算部，分别计算包含在所述状态假设群中的每个状态假设、与包含在所述观测假设群中的每个观测假设的每个组合的似然；状态假设更新部，求出所述每个观测假设的似然中的最大似然，使用作为对应于所述最大似然的状态假设的集合的当前时刻的状态假设群，更新存储在所述状态假设存储部中的前一时刻的状态假设；和假设选择部，选择在所述当前时刻的状态假设群中、所述似然最大的状态假设，作为检测到所述障碍物的状态。
根据本发明，可根据由搭载在车辆上的图像输入部取得的时间序列图像，稳定地检测出障碍物的位置。
图1是兼作本发明一个实施方式的障碍物跟踪装置的框图的流程图。
图2是对本实施方式的坐标系的说明图。
图3是存在多个观测位置时的说明图。
图4是假设的选择过程的说明图。
具体实施例方式
下面，参照图1-图5来说明本发明的一个实施方式的障碍物跟踪装置。
在本实施方式的障碍物跟踪装置中，对检测到的障碍物候补区域，考虑模糊性，并使用多个障碍物的观测位置，来设定多个观测假设，从该多个观测假设中选择最正确的假设。
(1)障碍物跟踪装置的构成图1是兼作本实施方式的障碍物跟踪装置的框图的流程图。
如图1所示，障碍物跟踪装置包括图像输入部1、障碍物检测部2、观测位置设定部3、假设生成部4、似然计算部5、假设选择部6、可靠性评价部7。
障碍物跟踪装置例如也可以通过将通用的计算机装置用作基本硬件来实现。即，障碍物检测部2、观测位置设定部3、假设生成部4、似然计算部5、假设选择部6、可靠性评价部7可以通过使搭载于上述计算机装置上的处理器执行程序来实现。
(2)图像输入部1图像输入部1具有安装在车辆上的、可取得车辆前方周边图像的体视(ステレォ視)TV摄像机。
另外，图2示出本实施方式中的坐标系，将世界坐标系的水平方向设为X，将进深方向设为Z，将图像坐标系的横向设为x，将纵向设为y。另外，时刻t由该时间序列图像的帧数决定。
(3)障碍物检测部2障碍物检测部2根据由图像输入部1取得的时间序列图像，决定障碍物候补区域。
障碍物检测部2使用体视的左右图像，检测车辆等的障碍物候补区域。此时，根据左右图像的视差，如图2所示，求出图像坐标系下的位置(x，y)与世界坐标系下的位置(X，Z)。
作为体视的方法，有非专利文献2(“使用立体图像的驾驶辅助用的前方状况识别系统”，电子信息通信学会技术研究报告，PRMU97-30，1997，pp39-46)的方法。
(4)观测位置设定部3观测位置设定部3设定障碍物的当前时刻t的观测位置。其设定方法如下所述。
首选，对于当前跟踪的障碍物，从假设生成部4中调用前一时刻t-1的障碍物的预测位置。该预测位置是利用与在后面说明的当前时刻t的预测位置的求出方法相同的方法求出的前一时刻t-1的预测位置。
接着，如图3所示，比较该预测位置与由障碍物检测部2得到的当前时刻t的检测位置，在预测位置与检测位置的距离小于等于阈值的情况下，将该检测位置作为“观测位置”。该观测位置不限于一个，将所述距离小于等于阈值的检测位置全部作为观测位置。例如，下述式1中存在M个观测位置。
观测位置用进深方向的距离Z与水平方向的距离X表示，但在下面的说明中，仅用进深方向的距离Z来表示观测位置。此时得到的M个观测位置的观测分布为p(j)measure(Z)=12πσRe-12σR2(Z-Zm(j))2(j=1···M),]]>利用高斯分布来表示。Zm为观测位置，σR为观测分布的标准偏差。
另外，观测位置不存在的观测位置的观测分布为p(j)measure(Z)＝α(j＝0)，利用一致分布来表示。由系数α来调节大小。
这样，只要适当设定观测分布，就可处理利用各种检测方法得到的观测位置。
(5)假设生成部4假设生成部4对于由观测位置设定部3针对每个障碍物设定的M个观测位置，分别生成观测假设。观测假设0是无观测位置的假设。并且，观测假设1设定为观测位置1，观测假设j设定为观测位置j(其中，j＝1、2、…M)。
另外，假设生成部4保持N个状态假设、即下述说明的状态假设群。这里所谓“状态”是指与障碍物的位置或速度等障碍物的运动信息有关的状态，所谓“状态假设”是指与这些状态有关的假设。进一步详细说明该保持的状态假设群。
假设在时刻t，在状态空间中具有状态矢量xt、状态矢量的方差协方差矩阵Pt、距离Zt、观测位置的误差方差矩阵R(标准偏差σR)。另外，将状态转换矩阵设为A，将状态转换噪声设为Q。由于假定等加速度运动模型，所以若将观测矩阵设为H、将进深方向的距离的观测位置设为Zm，则Xt＝AXt-1+wt-1Zm＝HXt+vtXt=ZtZ·tZ··tT]]>A=110.5011001]]>H＝(1 0 0)。
假设在状态空间中，N个状态假设具有矢量xt(i)和与之对应的似然为πt(i)的状态假设群{(矢量xt-1(i)；πt-1(i))}(其中，i＝0、1、…N-1)。但是，由于在说明书中无法用粗体字来表述矢量，所以记载为“矢量x”等。另外，“矢量x”表示障碍物在世界坐标系中的位置或速度，x与π的下缀表示时刻，上缀表示状态假设的序号。并且，所谓“似然”是指可靠程度，若似然高，则其可靠性也高。
(6)似然计算部5似然计算部5通过下面说明的预测、观测、推定的步骤，来执行由假设生成部4保持的状态假设群的更新，进而计算似然。
(6-1)预测步骤对于在时刻t-1推定的N个状态假设群{(矢量xt(i)；πt(i))}(其中，i＝0、1、…、N-1)，分别利用卡尔曼滤波，并利用式4、式6来计算预测位置和事前分布Ppriori(Z)。P0(i)是Pt-(i)的第1行第1列分量。<矢量xt/t-1>是当前状态的预测位置，<矢量xt-1/t-1>是过去状态的推定位置，Pt/t-1是所预测的状态的误差协方差矩阵，Pt-1/t-1是过去状态的误差协方差矩阵。但是，由于说明书中无法记载在矢量x上加了“^”的记号，所以表述为“矢量x”。
x^t/t-1(i)=Ax^t-1/t-1(i)]]>Pt/t-1(i)＝APt-1/t-1(i)AT+Qp(i)priori(Z)=12πP0(i)e-12P0(t)2(Z-Hx^t/t-1(i))2]]>(6-2)观测步骤根据在时刻t得到的M个观测位置，利用式1、式2来决定观测分布。
另外，利用式6来计算卡尔曼增益Kt(i，j)。
Kt(i,j)=Pt/t-1HT(HPt/t-1HT+R)-1]]>(6-3)推定步骤根据在时刻t-1推定的状态假设群{(矢量xt-1(i)；πt-1(i))}(其中，i＝0、1、…N-1)与M个观测假设的组合，利用卡尔曼滤波，由式7计算N×M个推定位置与事后分布。
x^t/t(i,j)=x^t/t-1(i)+K(i,j)(Zm(j)-Hx^t/t-1(i))]]>Pt/t(i,j)=(I-K(i,j)H)Pt/t-1(i)]]>若将推定位置上的事前分布的概率设为事前概率，将推定位置上的观测分布的概率设为观测概率，则利用贝叶斯法则，并利用式8将事后概率计算为事前概率与观测概率的积。
p(i,j)posteriori(Hx^t/t(i,j))p(i)priori(Hx^t/t(i,j))×p(j)measure(Hx^t/t(i,j))]]>另外，设观测假设与状态假设间的组合的加权系数为w，计算利用式9求出的事后概率，作为新的状态假设的似然。
πt(i,j)=w(i,j)×πt(i)×p(i,j)posteriori(Hx^t/t(i,j))]]>在存在附加信息的情况下，计算该观测假设与状态假设间的组合的加权系数w。
(7)假设选择部6假设选择部6从新的状态假设中，利用式10针对M个观测假设中的每一个选择似然最大的组合。
πt(j)=max(πt(i,j))]]>新的状态假设群更新为{(矢量xt(j)；πt(j))}(其中，j＝0、1、…M-1)。此时，πt(j)进行归一化，使全部状态假设中的似然的合计为1。
另外，在M个新的状态假设群中，πt(j)最大的状态假设被选择为当前时刻t的障碍物的状态假设。
(8)可靠性评价部7可靠性评价部7从由假设选择部6选择的状态假设中，取得障碍物的位置、速度、加速度等运动信息。
另外，根据运动状态的误差方差的大小等，评价可靠性，可靠性低的障碍物停止跟踪。
并且，在从障碍物检测部2得到的障碍物候补区域为新的区域的情况下，开始跟踪。
以上处理对时间序列图像执行处理，跟踪车辆等障碍物，检测正确的位置。
(9)处理内容根据图4来说明障碍物跟踪装置的处理内容。
在时刻t-2，利用观测位置2来选择状态假设2。
在时刻t-1，由于未得到正确的观测位置，所以若计算从时刻t-2至时刻t-1的状态假设与观测假设的组合的似然，则状态假设2与观测假设0的似然最大，在时刻t-1的状态下，选择基于无观测位置的观测假设0的状态假设0。
在时刻t的状态下，由于障碍物检测部2的结果良好，所以若计算从时刻t-1至时刻t的状态假设与观测假设的组合的似然，则状态假设0与观测假设2的组合的似然最大，选择基于体视结果的观测假设2的状态假设2。
这样，考虑上次时刻(t-1)的状态假设群与当前时刻t的观测假设群的全部组合，计算全部组合的似然，将最大似然的组合认为是正确的对应。
(10)效果根据本实施方式的障碍物跟踪装置，通过一边保持多个假设一边进行跟踪，并选择似然最大的假设，来确定障碍物的位置。由此，在未检测出障碍物候补区域的情况下，可以减少错误跟踪其它障碍物的现象，并且，即使跟踪暂时错误，也可再次跟踪正确的障碍物。另外，由于对应于所检测的障碍物候补区域的数量来适当地生成假设，所以可减少处理量。
(11)变更例本发明不限于上述实施方式，只要不脱离其主旨，可进行各种变更。
例如，在障碍物检测部2中，也可利用毫米波雷达等有源传感器来检测障碍物。
权利要求
1.一种障碍物跟踪装置，其特征在于，具备图像取得部，搭载于移动体上，取得障碍物所照下的时间序列图像；障碍物检测部，从所述时间序列图像中检测当前时刻的障碍物候补区域；状态假设存储部，存储包含与所述障碍物的前一时刻有关的一个或多个状态假设的状态假设群；观测假设生成部，生成包含将所述障碍物候补区域的每个位置的观测假设与假定未检测到所述障碍物时的观测假设相组合的一个或多个观测假设的观测假设群；似然计算部，分别计算包含在所述状态假设群中的每个状态假设、与包含在所述观测假设群中的每个观测假设的每个组合的似然；状态假设更新部，求出所述每个观测假设的似然中的最大似然，使用作为对应于所述最大似然的状态假设的集合的当前时刻的状态假设群，更新存储在所述状态假设存储部中的前一时刻的状态假设；和假设选择部，选择在所述当前时刻的状态假设群中、所述似然最大的状态假设，作为检测到所述障碍物的状态。
2.根据权利要求1所述的障碍物跟踪装置，其特征在于用包含所述障碍物的位置的运动信息和似然来表示所述状态假设。
3.根据权利要求1所述的障碍物跟踪装置，其特征在于用所述障碍物的每个检测位置的高斯分布来表示所述观测假设。
4.根据权利要求1所述的障碍物跟踪装置，其特征在于用一致分布来表示未检测到所述障碍物的观测假设。
5.根据权利要求1所述的障碍物跟踪装置，其特征在于利用卡尔曼滤波来计算包含在所述状态假设群中的状态假设与包含在所述观测假设群中的观测假设的每个组合的所述似然。
6.根据权利要求1所述的障碍物跟踪装置，其特征在于根据所述选择的状态假设，求出所述障碍物的运动信息。
7.根据权利要求6所述的障碍物跟踪装置，其特征在于对所述运动信息评价可靠性。
8.一种障碍物跟踪方法，其特征在于搭载于移动体上，取得障碍物所照下的时间序列图像；从所述时间序列图像中检测当前时刻的障碍物候补区域；存储包含与所述障碍物的前一时刻有关的一个或多个状态假设的状态假设群；生成包含将所述障碍物候补区域的每个位置的观测假设与假定未检测到所述障碍物时的观测假设相组合的一个或多个观测假设的观测假设群；分别计算包含在所述状态假设群中的每个状态假设、与包含在所述观测假设群中的每个观测假设的每个组合的似然；求出所述每个观测假设的似然中的最大似然，使用作为对应于所述最大似然的状态假设的集合的当前时刻的状态假设群，更新所述存储的前一时刻的状态假设；以及选择在所述当前时刻的状态假设群中、所述似然最大的状态假设，作为检测到所述障碍物的状态。
9.根据权利要求8所述的障碍物跟踪方法，其特征在于用包含所述障碍物的位置的运动信息和似然来表示所述状态假设。
10.根据权利要求8所述的障碍物跟踪方法，其特征在于用所述障碍物的每个检测位置的高斯分布来表示所述观测假设。
11.根据权利要求8所述的障碍物跟踪方法，其特征在于用一致分布来表示未检测到所述障碍物的观测假设。
12.根据权利要求8所述的障碍物跟踪方法，其特征在于利用卡尔曼滤波来计算包含在所述状态假设群中的状态假设与包含在所述观测假设群中的观测假设的每个组合的所述似然。
13.根据权利要求8所述的障碍物跟踪方法，其特征在于根据所述选择的状态假设，求出所述障碍物的运动信息。
14.根据权利要求13所述的障碍物跟踪方法，其特征在于对所述运动信息评价可靠性。
15.一种障碍物跟踪程序，其特征在于，由计算机实现以下功能图像取得功能，搭载于移动体上，取得障碍物所照下的时间序列图像；障碍物检测功能，从所述时间序列图像中检测当前时刻的障碍物候补区域；状态假设存储功能，存储包含与所述障碍物的前一时刻有关的一个或多个状态假设的状态假设群；观测假设生成功能，生成包含将所述障碍物候补区域的每个位置的观测假设与假定未检测到所述障碍物时的观测假设相组合的一个或多个观测假设的观测假设群；似然计算功能，分别计算包含在所述状态假设群中的每个状态假设、与包含在所述观测假设群中的每个观测假设的每个组合的似然；状态假设更新功能，求出所述每个观测假设的似然中的最大似然，使用作为对应于所述最大似然的状态假设的集合的当前时刻的状态假设群，更新由所述状态假设存储功能存储的前一时刻的状态假设；和假设选择功能，选择在所述当前时刻的状态假设群中、所述似然最大的状态假设，作为检测到所述障碍物的状态。
16.根据权利要求15所述的障碍物跟踪程序，其特征在于用包含所述障碍物的位置的运动信息和似然来表示所述状态假设。
17.根据权利要求15所述的障碍物跟踪程序，其特征在于用所述障碍物的每个检测位置的高斯分布来表示所述观测假设。
18.根据权利要求15所述的障碍物跟踪程序，其特征在于用一致分布来表示未检测到所述障碍物的观测假设。
19.根据权利要求15所述的障碍物跟踪程序，其特征在于利用卡尔曼滤波来计算包含在所述状态假设群中的状态假设与包含在所述观测假设群中的观测假设的每个组合的所述似然。
20.根据权利要求15所述的障碍物跟踪程序，其特征在于根据所述选择的状态假设，求出所述障碍物的运动信息。
21.根据权利要求20所述的障碍物跟踪程序，其特征在于对所述运动信息评价可靠性。
全文摘要
本发明提供一种障碍物跟踪装置及其方法，该障碍物跟踪装置具备图像输入部(1)，搭载于移动体上，取入与障碍物有关的时间序列图像；障碍物检测部(2)，从时间序列图像中检测当前时刻的障碍物候补区域；假设生成部(3)，保持与障碍物的前一时刻有关的状态假设群，并且，生成将障碍物候补区域的每个位置的观测假设与未检测到障碍物的观测假设相结合的观测假设群；似然计算部(5)，分别计算状态假设群与观测假设群的每个组合的似然，选择似然最大的观测假设群与状态假设群的组合，将该选择的状态假设群更新为当前时刻的状态假设群；和假设选择部(6)，将当前时刻的状态假设群中、所述似然最大的状态假作为检测到障碍物的状态。
文档编号G06T7/20GK101038164SQ20071008633
公开日2007年9月19日 申请日期2007年3月13日 优先权日2006年3月13日
发明者仲野刚, 窪田进 申请人:株式会社东芝