一种视频中的物体跟踪方法及装置制造方法
【专利摘要】本发明公开了一种视频中的物体跟踪方法及装置，涉及数据处理技术，从用于存储物体历史状态信息的动态历史信息中，采集物体前一帧所在位置附近的该物体以及其它物体的历史状态信息，再根据该历史状态信息确定物体的运动趋势，估计物体在当前帧的位置，进而根据估计结果对该物体进行跟踪，由于在进行物体运动趋势的确定时，不仅仅根据物体本身的参数进行确定，而是参考了其它物体或该物体其它部位在该位置附近留下的历史状态信息，所以提高了运动趋势估计的准确性，减少了在跟踪过程中丢失目标的情况，提高了视频中的物体跟踪的准确度。
【专利说明】一种视频中的物体跟踪方法及装置
【技术领域】
[0001]本发明涉及数据处理技术，尤其涉及一种视频中的物体跟踪方法及装置。
【背景技术】
[0002]近年来，通过视频进行物体跟踪得到了较多的应用，尤其在交通方面为跟踪车辆起到了较大的作用。
[0003]目前，通过视频进行物体跟踪的方法主要为:根据当前帧图像数据，在当前帧图像中搜索与前一帧该物体图片匹配的部分，作为当前帧的该物体的图片，从而实现物体跟踪。
[0004]但是，若在整个图像中进行物体图片的匹配，则计算量较大，所以首先根据物体的运动速度等运动情况参数，估计物体的运动趋势，确定物体在当前帧可能出现的范围，再在该范围内进行物体图片匹配，从而确定当前帧该物体的位置，实现物体跟踪；或者，也可以根据物体运动趋势确定当前帧中物体的第一位置，同时根据图片匹配确定当前帧中物体的第二位置，再根据第一位置和第二位置，确定出物体的最终位置。
[0005]可见，估计物体的运动趋势对当前帧中物体的匹配具有较大影响，目前，进行物体运动趋势的估计，通常仅仅考虑物体本身的参数，例如可以根据前两帧中物体的位置确定物体的速度，再在当前帧中根据物体的速度进行运动趋势的估计，如图1所示，根据物体在T-1帧中的位置、T帧中的位置确定物体的速度ντ_1;再根据该VT_i以及物体运动方向确定物体在T+1帧中的位置，在一般模型下，通常认为Vt=Vh。
[0006]然而，物体的运动情况随时可能出现变化，单纯的根据物体本身的参数进行运动趋势的估计的准确度不高，容易在跟踪过程中丢失目标，影响视频中的物体跟踪的准确度。
【发明内容】
[0007]本发明实施例提供一种视频中的物体跟踪方法及装置，以提高视频中的物体跟踪的准确度。
[0008]一种视频中的物体跟踪方法，包括:
[0009]根据物体前一帧所在位置，确定信息采集范围；
[0010]从用于存储物体历史状态信息的动态历史信息中，获取在所述信息采集范围中该物体以及其它物体的历史状态信息；
[0011]根据所述历史状态信息确定所述物体的运动趋势，估计所述物体在当前帧的位置；
[0012]根据所述估计结果对该物体进行跟踪。
[0013]一种视频中的物体跟踪装置，包括:
[0014]确定单元，用于根据物体前一帧所在位置，确定信息采集范围；
[0015]获取单元，用于从用于存储物体历史状态信息的动态历史信息中，获取在所述信息采集范围中该物体以及其它物体的历史状态信息；
[0016]估计单元，用于根据所述历史状态信息确定所述物体的运动趋势，估计所述物体在当前帧的位置；
[0017]跟踪单元，用于根据所述估计结果对该物体进行跟踪。
[0018]本发明实施例提供一种视频中的物体跟踪方法及装置，从用于存储物体历史状态信息的动态历史信息中，采集物体前一帧所在位置附近的该物体以及其它物体的历史状态信息，再根据该历史状态信息确定物体的运动趋势，估计物体在当前帧的位置，进而根据估计结果对该物体进行跟踪，由于在进行物体运动趋势的确定时，不仅仅根据物体本身的参数进行确定，而是参考了其它物体或该物体其它部位在该位置附近留下的历史状态信息，所以提高了运动趋势估计的准确性，减少了在跟踪过程中丢失目标的情况，提高了视频中的物体跟踪的准确度。
【专利附图】
【附图说明】
[0019]图1为现有技术中进行物体运动趋势估计的不意图；
[0020]图2为本发明实施例提供的视频中的物体跟踪方法流程图；
[0021]图3-图5为本发明实施例提供的与实施例一对应的示意图；
[0022]图6-图7为本发明实施例提供的与实施例二对应的示意图；
[0023]图8为本发明实施例提供的与实施例三对应的示意图；
[0024]图9为本发明实施例提供的与实施例四对应的示意图；
[0025]图10为本发明实施例提供的视频中的物体跟踪装置结构示意图；
[0026]图11为本发明实施例提供的较佳的视频中的物体跟踪装置结构示意图。
【具体实施方式】
[0027]本发明实施例提供一种视频中的物体跟踪方法及装置，从用于存储物体历史状态信息的动态历史信息中，采集物体前一帧所在位置附近的该物体以及其它物体的历史状态信息，再根据该历史状态信息确定物体的运动趋势，估计物体在当前帧的位置，进而根据估计结果对该物体进行跟踪，由于在进行物体运动趋势的确定时，不仅仅根据物体本身的参数进行确定，而是参考了其它物体或该物体其它部位在该位置附近留下的历史状态信息，所以提高了运动趋势估计的准确性，减少了在跟踪过程中丢失目标的情况，提高了视频中的物体跟踪的准确度。
[0028]当一个物体周围的物体都具有相似的运动状态时，可以参考其它物体的历史状态信息确定当前物体的运动趋势，例如在公路上对车辆的跟踪即符合场景要求。
[0029]如图2所示，本发明实施例提供的视频中的物体跟踪方法，包括:
[0030]步骤S201、根据物体前一帧所在位置，确定信息采集范围；
[0031]步骤S202、从用于存储物体历史状态信息的动态历史信息中，获取在信息采集范围中该物体以及其它物体的历史状态信息；
[0032]步骤S203、根据历史状态信息确定物体的运动趋势，估计物体在当前帧的位置；
[0033]步骤S204、根据估计结果对该物体进行跟踪。
[0034]其中，动态历史信息可以使用图的方式体现，也可以使用数据库等其他方式体现，当使用图的方式体现时，则使用动态历史信息图(Dynamic History Informat1n map,以下简写为DHI map)作为跟踪方法的辅助工具，利用DHI map首先要假设物体之间的状态有相似性，因此利用其它物体的状态信息来指导当前物体的运动信息，DHI map中的状态信息不仅包括运动信息。除了运动信息外，可以添加例如尺寸变化等其他信息。任意符合假设的信息都可以添加到DHI map中。
[0035]在一些场景中，多个运动的物体之间有相似的状态信息变化。例如:在一条车道上，前后紧跟的两辆汽车，在经过同一个位置的速度大小、转弯方向、在监控视频里尺寸变化等状态是相似的。
[0036]因此，将物体经过一个位置的状态信息保留在这个位置，当有其他物体再次经过这个位置时，能够通过读取之前物体在这个位置的状态信息，即可对该物体下一时刻的状态作出一个初步判断。
[0037]但一个位置的状态信息不是一成不变的。例如早高峰时刻的车速信息显然不能指导半夜时刻经过该路口的车辆。物体间的相似性不仅随着距离增加而递减，也随着时间增加而递减。因此，存储邻近的(空间上和时间上)其他物体的历史状态对当前物体有指导意义较大。
[0038]DHI map中，物体上一帧留下的信息，有一部分会在当前做判断的时候被再次提取利用(两帧之间物体的范围有重叠时，这种现象经常出现)。因此物体之前的状态对当前状态有指导作用，或者说，物体会试图保持之前的状态(运动速度，方向，尺寸变化等等)。
[0039]DHI map中，前一个物体留下的状态信息，会对后面邻近的物体有指导作用(只要后面的物体能赶在信息被删除前将它提取出来)。从场景的角度来看，之前的状态信息对当前的状态信息有指导作用，或者说，场景的状态信息试图保持不变。(例如，拥堵的交通状态只会慢慢的缓解，而不太可能突然变得通畅。)
[0040]下面以DHI map为例，对本发明实施例提供的方案进行说明:
[0041]具体的，在步骤S201中，根据物体前一帧所在位置，确定信息采集范围，具体包括:
[0042]确定信息采集范围为物体前一帧所在位置且等同于物体本身大小的范围。
[0043]由于选择的物体本身大小的范围，所以该物体所获取的历史状态信息通常为自身和曾经通过自身当前所在位置的物体留下的信息，很难采集到与该物体相邻的物体留下的信息，所以当与该物体相邻的物体和该物体的运动趋势不同时，避免了与该物体相邻的物体留下的历史状态信息对该物体的影响。
[0044]其中，等同于物体本身大小的范围，可以具体为覆盖物体的最小矩形范围，或者覆盖物体的最小圆形范围，从而减小计算复杂度，也可以直接采用物体的轮廓作为等同于物体本身大小的范围，从而进一步提闻跟踪准确度。
[0045]步骤S202中，从用于存储物体历史状态信息的动态历史信息图中，获取在信息采集范围中，该物体以及其它物体的历史状态信息，具体包括:
[0046]从用于存储物体历史状态信息的动态历史信息图中，获取在前N帧中在该信息采集范围中所记录的该物体及其他物体的历史状态信息，其中，N为预先设定的值。
[0047]历史状态信息可以仅包括运动速度信息，也可以包括运动速度信息和尺寸变化信息，还可以包括其他可以参考的信息。
[0048]步骤S203中，根据历史状态信息确定物体的运动趋势，估计物体在当前帧的位置，具体包括:
[0049]将历史状态信息的平均值或加权平均值作为物体的状态信息；
[0050]根据物体的状态信息确定物体的运动趋势，估计物体在当前帧的位置。
[0051]由于历史状态信息中的各项信息所记录的时间越近，对于当前物体的参考价值越大，所以，所获取的每一项历史状态信息的存在时间越大，该项历史状态信息的权重越小。
[0052]在确定该物体在当前帧的位置后，还可以在动态历史信息图中记录该物体的当前状态信息，以便于在后续帧中使用。此时，该方法还包括:
[0053]在确定该物体在当前帧的位置后，在动态历史信息图中的该物体在当前帧所覆盖的至少一个点上留下至少一项该物体当前的状态信息。
[0054]具体的，在确定该物体在当前帧的位置后，在动态历史信息图中的该物体在当前帧所覆盖的至少一个点上留下至少一项该物体当前的状态信息，具体包括:
[0055]在确定该物体在当前帧的位置后，在动态历史信息图中的对应该物体的每个预先选取的特征点上留下至少一项该物体当前的状态信息。其中，特征点可以在物体上按照预先设定的密度均匀选取，也可以通过角点提取方法选取物体上的角点作为特征点，还可以通过其它特征点选取方法选取。
[0056]为进一步滤除噪声，在留下该物体当前的状态信息后，还包括:
[0057]对留下的该物体当前的状态信息进行滤波。
[0058]在动态历史信息图中需要留下该物体当前的状态信息的点上已经存在历史状态信息时，还包括:
[0059]将动态历史信息图中需要留下该物体当前的状态信息的点上的历史状态信息更新为该物体当前的状态信息；或者
[0060]将动态历史信息图中需要留下该物体当前的状态信息的点上的历史状态信息与该物体当前的状态信息的平均值或加权平均值作为动态历史信息图中该点上的历史状态信息。
[0061 ] 为了较准确的标识每项状态信息存在的时间长度，并减少DHI map的存储量，该方法还包括:
[0062]对应每项该物体当前的状态信息设置定时器，当定时器达到设定值时，删除该项该物体当前的状态信息。
[0063]下面通过具体的实施例对视频中的物体跟踪方法进行详细说明:
[0064]实施例一、
[0065]DHI map 的更新:
[0066]当确定了一个跟踪物体I在某一个位置(X，y)的信息后(包括速度大小、方向、尺寸变化等等)，将这些信息留在DHI map中(x，y)位置处，并对该位置的计时器设置初值，如图3所示。
[0067]所存储的信息可以是在DHI map添加一条新的数据，格式可以如表1所示。
[0068]表1:
[0069]
【权利要求】
1.一种视频中的物体跟踪方法，其特征在于，包括: 根据物体前一帧所在位置，确定信息采集范围； 从用于存储物体历史状态信息的动态历史信息中，获取在所述信息采集范围中该物体以及其它物体的历史状态信息； 根据所述历史状态信息确定所述物体的运动趋势，估计所述物体在当前帧的位置； 根据所述估计结果对该物体进行跟踪。
2.如权利要求1所述的方法，其特征在于，所述根据物体前一帧所在位置，确定信息采集范围，具体包括: 确定信息采集范围为物体前一帧所在位置且等同于物体本身大小的范围。
3.如权利要求1所述的方法，其特征在于，所述从用于存储物体历史状态信息的动态历史信息中，获取在所述信息采集范围中，该物体以及其它物体的历史状态信息，具体包括: 从用于存储物体历史状态信息的动态历史信息中，获取在前N帧中在该信息采集范围中所记录的该物体及其他物体的历史状态信息，其中，N为预先设定的值。
4.如权利要求1所述的方法，其特征在于，所述历史状态信息包括: 运动速度信息和 尺寸变化信息。
5.如权利要求1所述的方法，其特征在于，所述根据所述历史状态信息确定所述物体的运动趋势，估计所述物体在当前帧的位置，具体包括: 将所述历史状态信息的平均值或加权平均值作为所述物体的状态信息； 根据所述物体的状态信息确定所述物体的运动趋势，估计所述物体在当前帧的位置。
6.如权利要求5所述的方法，其特征在于，所获取的每一项历史状态信息的存在时间越大，该项历史状态信息的权重越小。
7.如权利要求1所述的方法，其特征在于，还包括: 在确定该物体在当前帧的位置后，在动态历史信息中的该物体在当前帧所覆盖的至少一个点上留下至少一项该物体当前的状态信息。
8.如权利要求7所述的方法，其特征在于，所述在确定该物体在当前帧的位置后，在动态历史信息中的该物体在当前帧所覆盖的至少一个点上留下至少一项该物体当前的状态信息，具体包括: 在确定该物体在当前帧的位置后，在动态历史信息中的对应该物体的每个预先选取的特征点上留下至少一项该物体当前的状态信息。
9.如权利要求7或8所述的方法，其特征在于，还包括: 对留下的该物体当前的状态信息进行滤波。
10.如权利要求7或8所述的方法，其特征在于，在动态历史信息中需要留下该物体当前的状态信息的点上已经存在历史状态信息时，还包括: 将动态历史信息中需要留下该物体当前的状态信息的点上的历史状态信息更新为该物体当前的状态信息；或者 将动态历史信息中需要留下该物体当前的状态信息的点上的历史状态信息与该物体当前的状态信息的平均值或加权平均值作为动态历史信息中该点上的历史状态信息。
11.如权利要求7所述的方法，其特征在于，还包括:对应每项该物体当前的状态信息设置定时器，当定时器达到设定值时，删除该项该物体当前的状态信息。
12.一种视频中的物体跟踪装置，其特征在于，包括: 确定单元，用于根据物体前一帧所在位置，确定信息采集范围； 获取单元，用于从用于存储物体历史状态信息的动态历史信息中，获取在所述信息采集范围中该物体以及其它物体的历史状态信息； 估计单元，用于根据所述历史状态信息确定所述物体的运动趋势，估计所述物体在当前帧的位置； 跟踪单元，用于根据所述估计结果对该物体进行跟踪。
13.如权利要求12所述的装置，其特征在于，所述确定单元具体用于: 确定信息采集范围为物体前一帧所在位置且等同于物体本身大小的范围。
14.如权利要求12所述的装置，其特征在于，所述获取单元具体用于: 从用于存储物体历史状态信息的动态历史信息中，获取在前N帧中在该信息采集范围中所记录的该物体及其他物体的历史状态信息，其中，N为预先设定的值。
15.如权利要求12所述的装置，其特征在于，所述历史状态信息包括: 运动速度信息和尺寸变化信息。
16.如权利要求12所述的装置，其特征在于，所述估计单元具体用于: 将所述历史状态信息的平均值或加权平均值作为所述物体的状态信息； 根据所述物体的状态信息确定所述物体的运动趋势，估计所述物体在当前帧的位置。
17.如权利要求12所述的装置，其特征在于，还包括: 更新单元，用于在确定该物体在当前帧的位置后，在动态历史信息中的该物体在当前帧所覆盖的至少一个点上留下至少一项该物体当前的状态信息。
18.如权利要求17所述的装置，其特征在于，所述更新单元具体用于: 在确定该物体在当前帧的位置后，在动态历史信息中的对应该物体的每个预先选取的特征点上留下至少一项该物体当前的状态信息。
19.如权利要求17或18所述的装置，其特征在于，所述更新单元还用于: 对留下的该物体当前的状态信息进行滤波。
20.如权利要求17或18所述的装置，其特征在于，在动态历史信息中需要留下该物体当前的状态信息的点上已经存在历史状态信息时，所述更新单元用于: 将动态历史信息中需要留下该物体当前的状态信息的点上的历史状态信息更新为该物体当前的状态信息；或者 将动态历史信息中需要留下该物体当前的状态信息的点上的历史状态信息与该物体当前的状态信息的平均值或加权平均值作为动态历史信息中该点上的历史状态信息。
21.如权利要求17所述的装置，其特征在于，所述更新单元还用于: 对应每项该物体当前的状态信息设置定时器，当定时器达到设定值时，删除该项该物体当前的状态信息。
【文档编号】G06T7/20GK104077783SQ201310097493
【公开日】2014年10月1日 申请日期:2013年3月25日 优先权日:2013年3月25日
【发明者】梁继 申请人:日电（中国）有限公司