前视频帧中的所述位置还包括： 基于所述对象的可能的位置以及所述对象在所述前一视频帧中的所识别的位置来确 定补偿值;以及 通过将所述对象的所述可能的位置平移所述补偿值来确定所述对象的可信位置。9. 根据权利要求4所述的计算机实现的方法，其中确定所述对象的与所述当前视频帧 相关联的所述位置还包括： 响应于确定所述新的位置与所述期望位置不一致： 通过增加所述搜索窗口的尺寸来确定新的搜索窗口；以及 使用所述新的搜索窗口来搜索所述对象在所述当前视频帧中的所述位置。10. 根据权利要求4所述的计算机实现的方法，其中确定所述对象的与所述当前视频帧 相关联的所述位置还包括： 响应于确定没有在所述前一视频帧中识别出所述对象的所述位置： 通过增加所述搜索窗口的尺寸来确定新的搜索窗口；以及 使用所述新的搜索窗口来搜索所述对象在所述视频帧中的所述位置。11. 根据权利要求10所述的计算机实现的方法，其中所述搜索窗口增加4倍。12. 根据权利要求2所述的计算机实现的方法，其中确定所述对象的与所述当前视频帧 相关联的所述位置还包括： 从所述当前视频帧减去背景。13. 根据权利要求12所述的计算机实现的方法，其中从所述当前视频帧减去所述背景 包括： 将所述当前视频帧分割成多个面片； 确定用于所述多个面片中的每个面片的动态性得分；以及 对于所述多个面片中的每个面片，响应于所述面片的所述动态性得分在门限值以下来 确定所述面片是背景面片。14. 根据权利要求13所述的计算机实现的方法，其中确定所述多个面片中的面片的动 态性得分包括： 通过确定所述当前视频帧的所述面片中的像素的红绿蓝(RGB)值与所述前一视频帧的 对应面片中的像素的RGB值之间的平方差来确定第一动态性值； 通过确定所述当前视频帧的所述面片中的像素的RGB值与下一视频帧的对应面片中的 像素的RGB值之间的平方差来确定第二动态性值;以及 基于所述第一动态性值和所述第二动态性值来确定所述动态性得分。15. 根据权利要求1所述的计算机实现的方法，还包括： 使所述对象的所述轨迹平滑，包括： 基于与所述多个视频帧相关联的所述多个位置中的每个位置与对应的预测位置之间 的距离和速度以及所述预测位置的加速度来确定能量函数;以及 使所述能量函数最小化。16. 根据权利要求15所述的计算机实现的方法，其中所述能量函数是具有用于二阶项 系数的对称五对角矩阵以及用于一阶项系数的矢量的二次函数。17. 根据权利要求1所述的计算机实现的方法，还包括： 在被适配成捕获视频的设备的显示器上显示视觉覆盖； 捕获由所述视觉覆盖引导的视频；以及 确定所述对象在初始视频帧中的初始位置，所述初始位置通过在由所述视觉覆盖定义 的区域中搜索所述对象而被确定。18. -种包括存储用于跟踪视频中的对象的指令的非暂态计算机可读介质的计算机程 序产品，所述指令在由处理器执行时使得所述处理器： 确定所述对象在所述视频的多个帧中的多个位置；以及 基于所述对象的所确定的多个位置来确定所述对象的轨迹。19. 根据权利要求18所述的计算机程序产品，其中所述指令还使得所述处理器确定所 述对象的与当前视频帧相关联的位置，其中确定所述对象的与所述当前视频帧相关联的所 述位置包括： 确定是否在前一视频帧中识别出所述对象的位置；以及 响应于确定在所述前一视频帧中识别出所述对象的所述位置： 基于所述对象在所述前一视频帧中的所识别的位置来识别所述对象在所述当前视频 帧中的新的位置； 基于所述对象在所述前一视频帧中的所识别的位置以及对象分类模型来确定所述对 象的期望位置；以及 确定所述新的位置是否与所述期望位置一致；以及 响应于确定所述新的位置与所述期望位置一致，存储所述新的位置作为所述对象的与 所述当前视频帧相关联的所述位置。20. 根据权利要求19所述的计算机程序产品，其中确定所述新的位置是否与所述期望 位置一致包括： 基于所述对象在所述当前视频帧中的多个视觉特征以及由所述对象分类模型识别的 对应的特征来计算用于所述当前视频帧的每个前景面片的得分； 将所述当前视频帧的所述前景面片的所述得分中的最高得分与门限相比较；以及 响应于所述最高得分超过所述门限，记录具有所述最高得分的所述前景面片的位置。21. 根据权利要求19所述的计算机程序产品，其中基于所述对象在所述前一视频帧中 的所识别的位置来识别新的位置包括： 基于所述对象在所述前一视频帧中的所识别的位置来确定搜索窗口；以及 使用所述搜索窗口来搜索所述对象在所述当前视频帧中的所述位置。22. 根据权利要求21所述的计算机程序产品，其中使用所述搜索窗口来搜索所述对象 在所述当前视频帧中的所述位置包括： 确定多个运动矢量，所述多个运动矢量对应于所述前一帧中的多个视觉特征以及所述 当前视频帧中的视觉特征； 基于所述多个运动矢量来确定平均运动矢量；以及 基于所述平均运动矢量来确定所述对象的可能的位置。23. 根据权利要求22所述的计算机程序产品，其中确定所述平均运动矢量包括： 确定所述多个运动矢量的子集的平均值，运动矢量的所述子集包括大于第一门限值并 且小于第二门限值的运动矢量。24. 根据权利要求21所述的计算机程序产品，其中确定所述对象的与所述当前视频帧 相关联的所述位置还包括： 响应于确定所述新的位置与所述期望位置不一致： 通过增加所述搜索窗口的尺寸来确定新的搜索窗口；以及 使用所述新的搜索窗口来搜索所述对象在所述当前视频帧中的所述位置。25. 根据权利要求21所述的计算机程序产品，其中确定所述对象的与所述当前视频帧 相关联的所述位置还包括： 响应于确定没有在所述前一视频帧中识别出所述对象的所述位置： 通过增加所述搜索窗口的尺寸来确定新的搜索窗口；以及 使用所述新的搜索窗口来搜索所述对象在所述视频帧中的所述位置。26. 根据权利要求19所述的计算机程序产品，其中确定所述对象的与所述当前视频帧 相关联的所述位置还包括： 从所述当前视频帧减去背景，其中从所述当前视频帧减去所述背景包括： 将所述当前视频帧分割成多个面片； 确定用于所述多个面片中的每个面片的动态性得分；以及 对于所述多个面片中的每个面片，响应于所述面片的所述动态性得分在门限值以下来 确定所述面片是背景面片。27. 根据权利要求26所述的计算机程序产品，其中确定所述多个面片中的面片的动态 性得分包括： 通过确定所述当前视频帧的所述面片中的像素的红绿蓝(RGB)值与所述前一视频帧的 对应面片中的像素的RGB值之间的平方差来确定第一动态性值； 通过确定所述当前视频帧的所述面片中的像素的RGB值与下一视频帧的对应面片中的 像素的RGB值之间的平方差来确定第二动态性值;以及 基于所述第一动态性值和所述第二动态性值来确定所述动态性得分。28. 根据权利要求18所述的计算机程序产品，其中所述指令还使得所述处理器： 使所述对象的所述轨迹平滑，包括： 基于与所述多个视频帧相关联的所述多个位置中的每个位置与对应的预测位置之间 的距离和速度以及所述预测位置的加速度来确定能量函数;以及 使所述能量函数最小化。29. 根据权利要求28所述的计算机程序产品，其中所述能量函数是具有用于二阶项系 数的对称五对角矩阵以及用于一阶项系数的矢量的二次函数。30. 根据权利要求18所述的计算机程序产品，其中所述指令还使得所述处理器： 在被适配成捕获视频的设备的显示器上显示视觉覆盖； 捕获由所述视觉覆盖引导的视频；以及 确定所述对象在初始视频帧中的初始位置，所述初始位置通过在由所述视觉覆盖定义 的区域中搜索所述对象而被确定。
【专利摘要】本发明的各实施方式总体上涉及用于体育视频识别的快速对象跟踪框架。具体地，提供和公开了一种用于体育视频中的对象跟踪的解决方案。确定是否在前一视频帧中识别出对象的位置。如果在前一视频帧中识别出对象的位置，则基于对象在前一视频帧中的所识别的位置而在当前视频帧中识别对象的新的位置。基于对象在前一视频帧中的所识别的位置以及经训练的对象分类模型来识别对象的期望位置。确定新的位置是否与期望位置一致；如果新的位置与期望位置一致，则存储新的位置作为对象在当前帧中的位置。
【IPC分类】G06K9/00, G06T7/20
【公开号】CN105631399
【申请号】CN201510833939
【发明人】韩铮, 戴晓伟, S·J·黄, J·法斯
【申请人】泽普实验室公司
【公开日】2016年6月1日
【申请日】2015年11月25日
【公告号】US20160148054, WO2016085667A1