物体跟踪方法和装置的制造方法
【技术领域】
[0001]本发明总体地涉及图像处理，具体地涉及基于图像处理的物体跟踪方法和装置。
【背景技术】
[0002]基于图像处理的物体跟踪可应用于诸如车辆辅助驾驶、商场人员监控、医院病人监控等领域。
[0003]已经提出了一些基于图像处理对移动对象持续跟踪的技术方案。
[0004]在发明名称为“Detect1n and tracking of moving objects from a movingplatform in presence of strong parallax” 的美国专利 US8073196B2 中，公开了一种移动对象检测和跟踪技术，使用联合概率模型来反映当前和过去的观察，通过从滑动缓冲区中收集区别点来最大化联合概率，从而定义合适的数据相关性。区别点包括对象的显示，运动以及从视差图中抽取的边界框。
[0005]在发明名称为“METHOD OF MOBILE PLATFORM DETECTING AND TRACKING DYNAMICOBJECTS AND COMPUTER-READABLE MEDIUM THEREOF”的美国专利公开US20110052043A1 中，公开了一种动态对象检测和跟踪技术，其中移动平台使用飞行时间传感器获取三维图像，用随机样本一致性算法从三维图像中获得一个基本平面，并从三维图像中分离出对象。用联合概率数据相关过滤器(JPDAF)来推测这些对象的运动。
【发明内容】
[0006]根据本发明的一个方面，提供了一种计算机实现的基于连续视差图跟踪多个同类物体的物体跟踪方法，可以包括:获得从当前帧视差图检测到的第一待识别物体在当前帧视差图中的第一边界区域；计算该第一边界区域内的各个有效像素属于构成该第一待识别物体的像素的概率，从而获得第一待识别物体的像素概率图；获得各个跟踪对象的历史跟踪数据，每个跟踪对象的历史跟踪数据包括跟踪对象的标识符信息、与在当前帧图像之前的一个或多个先前视差图的每个关联的像素概率图；基于第一待识别物体的像素概率图与跟踪对象的每个的一个或多个像素概率图之间的匹配，来确定第一待识别物体的标识符信息并更新第一待识别物体的像素概率图；以及基于更新的第一待识别物体的像素概率图，更新第一待识别物体的第一边界区域，获得第二边界区域。
[0007]根据本发明的另一方面，提供了一种计算机实现的基于连续视差图跟踪多个同类物体的物体跟踪装置，可以包括:待识别物体边界区域获得部件，配置为获得从当前帧视差图检测到的第一待识别物体在当前帧视差图中的第一边界区域；待识别物体像素概率图计算部件，配置为计算该第一边界区域内的各个有效像素属于构成该第一待识别物体的像素的概率，从而获得第一待识别物体的像素概率图；跟踪对象历史像素概率图获得部件，获得各个跟踪对象的历史跟踪数据，每个跟踪对象的历史跟踪数据包括跟踪对象的标识符信息、与在当前帧图像之前的一个或多个先前视差图的每个关联的像素概率图；待识别物体标识以及像素概率图更新部件，基于第一待识别物体的像素概率图与跟踪对象的每个的一个或多个像素概率图之间的匹配，来确定第一待识别物体的标识符信息并更新第一待识别物体的像素概率图；以及待识别物体边界区域更新部件，基于更新的第一待识别物体的像素概率图，更新第一待识别物体的第一边界区域，获得第二边界区域。
[0008]根据上述实施例的物体跟踪装置和物体跟踪方法，能够基于历史跟踪结果来修正当前检测结果，达到消除或减轻对象检测结果的边界矩形框相对实际对象的偏移和变小的问题，换句话，能够尽可能地将对象的边界矩形框补全，使得其将对象的整体轮廓包围在内。
【附图说明】
[0009]从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中:
[0010]图1示出了在现有技术中因为各帧对象检测结果不准确导致的对象跟踪结果不准确的情况的示意图。
[0011]图2示出了根据本发明一个实施例的可以应用本发明的示例场景的示意图。
[0012]图3示出了用于解释本发明基本思想的图示。
[0013]图4示出了根据本发明一个实施例的基于连续视差图跟踪多个同类物体的物体跟踪装置100的配置框图。
[0014]图5示出根据本发明一个实施例的基于连续视差图跟踪多个同类物体的物体跟踪方法200的总体流程图。
[0015]图6示出了根据本发明一个实施例的计算该第一边界区域内的各个有效像素属于构成该第一待识别物体的像素的概率的示例性方法220的流程图。
[0016]图7示意性地示出了当前帧检测对象的边界区域和抽取的视差主平面的视差图例子。
[0017]图8示意性地示出了各个单元值表示第一边界区域内的各个像素是构成该第一待识别物体的像素的概率的表格。
[0018]图9示出了根据本发明另一实施例的计算该第一边界区域内的各个有效像素属于构成该第一待识别物体的像素的概率的示例性方法220’的流程图。
[0019]图10示意性地示出了对原始边界区域进行扩展后得到的边界区域以及相应的计算得到的像素概率图其中，其中，图10中的(a)示出了原始边界区域(实线矩形框)，图10中的(b)示出了扩展后的边界区域(虚线矩形框)，图10中的(c)示出了抽取出的扩展后的边界区域，图10中的(d)示出了与扩展后的边界区域对应的像素概率图。
[0020]图11示出了根据本发明一个实施例的基于第一待识别物体的像素概率图与跟踪对象的每个的一个或多个像素概率图之间的匹配，来确定第一待识别物体的标识符信息并更新第一待识别物体的像素概率图的示例性方法240的流程图。
[0021]图12示意性地示出了抽取的视差主平面和视差主平面在X坐标上的投影(即水平投影直方图)，其中，图12中的(a)示出了抽取的视差主平面，图12中的(b)示出了主平面水平投影。
[0022]图13示意性示出了将待识别物体的水平投影直方图在该跟踪对象的该像素概率图相关联的边界区域的水平投影直方图上沿水平方向滑动、计算各个匹配度、找到最大匹配度、以及找到最匹配部分的过程的示意图。
[0023]图14示意性示出了基于第一待识别物体的像素概率图与该跟踪对象的一个像素概率图之间的对齐位置，组合第一待识别物体的像素概率图与该跟踪对象的该像素概率图，得到了该第一待识别物体作为基于该跟踪对象的该像素概率图进行更新后的像素概率图的示例性过程。
[0024]图15示意性地示出了累计待识别物体关于该跟踪对象的各个像素概率图更新后的各个像素概率图，得到待识别物体关于该跟踪对象的像素概率图的操作示意图。
[0025]图16示意性地示出了基于关于跟踪对象P更新后的待识别物体的像素概率图以及基于第一待识别物体的第一边界区域距该跟踪对象P的当前帧预测区域位置的距离来计算第一待识别物体与该跟踪对象P之间的相似度的示意图。
[0026]图17中的(a)示出了获得的检测物体的视差概率图大于预定阈值的部分，图17中的(b)示出了在视差图中的对应边界区域，即第二边界区域。
[0027]图18示出了适于用来实现本发明实施方式的示例性计算系统600的框图。
【具体实施方式】
[0028]为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发明作进一步详细说明。
[0029]下面参考图1来说明本发明提出的动机。
[0030]图1示出了在现有技术中因为各帧对象检测结果不准确导致的对象跟踪结果不准确的情况的示意图。
[0031]这里，各帧对象检测结果是指单独(不结合其它帧图像)对各个帧进行图像处理得到的对象检测结果。例如，对于第N-2帧图像，只处理第N-2帧图像并且不参考其它帧的历史信息，得到对象检测结果；类似地，对于第N-1帧图像，只处理第N-1帧图像并且不参考其它帧的历史信息，得到对象检测结果；对于第N帧图像，只处理第N帧图像并且不参考其它帧的历史信息，得到对象检测结果。这里，对于对象检测技术没有限制，可以采用任何对象检测、定位和/或识别技术。
[0032]相对比地，各帧对象跟踪结果是指结合本帧的对象检测结果和各个对象的先前帧的历史跟踪信息得到的各帧的对象跟踪结果。例如对于第N-2帧图像，结合第N-3帧、第N-4帧图像中各个对象的历史跟踪信息，来得到该第N-2帧的对象跟踪结果；对于第N-1帧图像，结合第N-2帧、第N-3帧图像中各个对象的历史跟踪信息，来得到该第N-1帧的对象跟踪结果；对于第N帧图像，结合第N-1帧、第N-2帧图像中各个对象的历史跟踪信息，来得到该第N帧的对象跟踪结果。
[0033]从图1可见，在各帧对象检测结果不准确时，得到的对应跟踪结果也不准确。尤其是，从第N-2帧、第N-1帧、第N帧的检测结果可见，检测中逐渐地出现了定位的边界矩形框出现偏移且变小，所包围的对象的部分越来越小，即没有将对象的全部包围进边界矩形框内，而且这种趋势渐趋严重。由此，对应的跟踪结果也逐渐地出现了边界矩形框的偏移和变小。可见跟踪的过程是不稳定的。
[0034]针对因为对象检测结果的边界矩形框的偏移和变小而导致跟踪结果出现同样趋势的问题，希望能够基于历史跟踪结果来修正当前检测结果，来达到消除或减轻上述边界矩形框相对实际对象的偏移和变小的问题，换句话，尽可能地将对象的边界矩形框补全，使得其将对象的整体轮廓包围在内。
[0035]图2示出了根据本发明一个实施例的可以应用本发明的示例场景的示意图。
[0036]如图2所示，双目相机可以安装在车辆的顶部，拍摄获得左图像和右图像，该左图像和右图像传送到车载计算装置(例如实现为一芯片的形式)，由车载计算装置进行对于例如路面上车辆的检测和跟踪。
[0037]图3示出了用于解释本发明基本思想的图示。其中，对于当前第N帧图像，得到