一种识别和跟踪运动中的球形物体的方法及装置与流程

本发明属于对运动中的球形物体进行识别和跟踪的领域，尤其涉及使用图像分析技术和滤波器预测技术实现识别和跟踪运动中的球形物体的方法及装置。

背景技术：

识别和跟踪运动中的球形物体的主要任务是在给定视频中识别球形物体，并跟踪轨迹。

目前现有的方法是利用单帧图像中球体的纹理颜色信息和背景差来识别运动球体，并使用均值漂移等算法进行跟踪。该识别方法由于存在噪声和遮挡，仅依靠单帧图像识别目标存在不稳定性，容易造成目标的误识别，在复杂背景、球体快速运动情况下的跟踪效果较差；尤其场景中存在多个球的情况下，会出现目标id交换。

本发明使用多帧差分方法和滤波器预测技术解决以上问题，提高复杂背景、球体快速运动、场景中存在多个球情况下球形物体识别和跟踪的准确率。

技术实现要素：

本发明的目的在于解决复杂场景中球形物体识别和跟踪的不足，使用多帧差分法、滤波器预测和匹配实现复杂场景下球形物体的识别和跟踪，旨在解决和优化场景内复杂背景、球体快速运动、场景中存在多个球情况下球形物体识别和跟踪的准确率。

本发明采用以下技术方案实现。

本发明引入球体纹理特征提取模型，将球体图像范围内占比最多的若干种颜色作为球体的主要颜色，并以此提取球体的颜色范围，作为球体的纹理特征。

本发明引入帧间差分模型，将图像当前帧与前一帧二值化后做差，以此找出图像中的运动目标。

本发明引入找圆模型，找出图像中的圆形形状。

本发明引入基于轨迹预测的跟踪算法，使用一个多维空间模型描述跟踪目标的轨迹，使用滤波器根据跟踪目标的当前状态（k-1时刻）来预测跟踪目标在下一状态（k时刻）的轨迹位置，并更新轨迹；引入轨迹和目标匹配度模型来描述跟踪目标和目标轨迹的匹配度，轨迹和目标匹配度为滤波器预测的位置和跟踪目标的实际位置之间的距离。

一种识别和跟踪运动中的球形物体的方法，包括：

步骤1、提取球体特征

将图像中目标球所在的图像范围内占比最多的若干种颜色作为球体的主要颜色，并以此提取球体的颜色范围，作为球体的纹理特征。

步骤2、识别球体

从待分析跟踪视频图像帧中找出所有与所提取纹理特征匹配的区块，将当前帧与上一帧做差以找出运动物体，之后判断找出的运动物体是否为圆形，如果是圆则认定该区块为球体。

步骤3、预测球体轨迹

使用滤波器根据跟踪目标的当前状态（k-1时刻）来预测跟踪目标在下一状态（k时刻）的轨迹位置，并更新轨迹。计算滤波器预测的位置和当前帧球心的位置之间的距离作为匹配度度量，以此生成成本矩阵。

步骤4、匹配球体轨迹

将目标当前状态与轨迹之间的距离作为匹配度生成二分图，使用匹配算法进行最优目标匹配。

步骤5，球体跟踪控制

对连续视频的每一帧，调用步骤2、步骤3和步骤4，获得每一帧图像中跟踪的目标球体的id和位置，生成目标球体运动的真实轨迹，实现对目标球体的跟踪。

一种识别和跟踪运动中的球形物体的装置，包括：

模块1、提取球体特征模块

将球图像范围内占比最多的若干种颜色作为球体的主要颜色，并以此提取球体的颜色范围，作为球体的纹理特征。

模块2、识别球体模块

从图像中找出所有与所提取纹理特征匹配的区块，将当前帧与上一帧做差以找出运动物体，之后判断找出的运动物体是否为圆形，如果是圆则认定该区块为球体。

模块3、预测球体轨迹模块

使用滤波器根据跟踪目标的当前状态（k-1时刻）来预测跟踪目标在下一状态（k时刻）的轨迹位置，并更新轨迹。计算滤波器预测的位置和当前帧球心的位置之间的距离作为匹配度度量，以此生成成本矩阵。

模块4、匹配球体轨迹模块

将目标当前状态与轨迹之间的距离作为匹配度生成二分图，使用匹配算法进行最优目标匹配。

模块5，球体跟踪控制模块

对连续视频的每一帧，调用模块2、模块3和模块4，获得每一帧图像中跟踪的目标球体的id和位置，生成目标球体运动的真实轨迹，实现对目标球体的跟踪。

附图说明

图1示出了本发明实施例提供的一种识别和跟踪运动中的球形物体的方法的流程示意图。

图2示出了本发明实施例提供的一种识别和跟踪运动中的球形物体的方法中球体映射在图像坐标系上的圆信息向量示意图。

图3示出了本发明实施例提供的一种识别和跟踪运动中的球形物体的方法的球体跟踪结果示意图。

图4示出了本发明实施例提供的一种识别和跟踪运动中的球形物体的装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本实施例公开了一种识别和跟踪运动中的球形物体的方法，请参考图1，包括：

步骤s101，提取球体特征

(1)、将包含球体的rgb图像分别转换为灰度图f1，hsv图像f2。对灰度图f1进行霍夫圆变换计算，找出图中的圆形c(a,b,r)。c是一个包含检测到的圆的信息的向量，参考图2，向量内第一个元素a是圆的横坐标，第二个元素b是圆的纵坐标，第三个元素r是圆的半径大小。

(2)、在f2中统计圆形c范围内的颜色分布，取占比最多的若干种颜色作为主要颜色，并将主要颜色的范围作为纹理特征，其中h、s、v分别代表范围内hsv分量色调、饱和度、亮度的最小值和最大值。

步骤s102，识别球形物体

(1)、将当前帧图像和前一帧图像转换为hsv图像,并分别进行处理：对图像中所有像素，判断该像素的颜色是否在步骤s101提取出的纹理特征颜色范围内，在范围内的则置为黑色，否则置为白色，由此得到当前帧图像和前一帧图像的二值图像b1，b2。

(2)、将图像b1，b2进行差分得到图像b3。

(3)、将图像b3进行开运算（先腐蚀运算，再膨胀运算），找出图像中的轮廓，对轮廓图像进行霍夫圆变换，找出其中的圆形作为球形物体。

步骤s103，预测球体轨迹

使用卡尔曼滤波器预测球体轨迹，并更新轨迹。使用五维空间描述球体轨迹在某时刻的状态，x和y分别表示球心的横坐标和纵坐标，t为当前预测时刻。卡尔曼滤波器采用匀速模型和线性观测模型，其观测变量为。用卡尔曼滤波器预测的位置和当前帧球心的位置之间的欧式距离作为匹配度度量，以此生成成本矩阵。

步骤s104，匹配球体轨迹

使用匈牙利算法进行球体和轨迹的匹配。在匹配时，对于没有匹配成功的球体都认为可能产生新的轨迹，观察接下来的若干帧，若连续匹配成功，则认为新轨迹（新球体）产生。此外，对于每条轨迹有一个值用于记录从上一次匹配到当前时刻的时间，当该值大于阈值则认为该轨迹长时间没有匹配，删除此轨迹（球体）。

步骤s105，球体跟踪控制

本步骤实现对其他各步骤的控制和调度，对连续视频的每一帧，调用步骤s102、步骤s103和步骤s104，获得每一帧图像中跟踪的目标球体的id和位置，生成目标球体运动的真实轨迹，实现对目标球体的跟踪，结果参考图3。

本实施例公开了一种识别和跟踪运动中的球形物体的装置，请参考图4，包括：

模块s201，提取球体特征模块：将包含球体的rgb图像分别转换为灰度图f1，hsv图像f2。对灰度图f1进行霍夫圆变换计算，找出图中的圆形c，在f2中统计圆形c范围内的颜色分布，取占比最多的若干种颜色作为主要颜色，并将主要颜色的范围作为纹理特征。

模块s202，识别球体模块：将当前帧图像和前一帧图像转换为hsv图像,并分别进行处理：对图像中所有像素，判断该像素的颜色是否在上述提取出的纹理特征颜色范围内，在范围内的则置为黑色，否则置为白色，由此得当前帧图像和前一帧图像的二值图像，对两帧进行差分，并对差分图像进行开运算，找出图像中的轮廓，再对轮廓图像进行霍夫圆变换，找出其中的圆形作为球形物体。

模块s203，预测球体轨迹模块：使用卡尔曼滤波器预测球体轨迹，并更新轨迹。卡尔曼滤波器采用匀速模型和线性观测模型。用卡尔曼滤波器预测的位置和当前帧球心的位置之间的欧式距离作为匹配度度量，以此生成成本矩阵。

模块s204，匹配球体轨迹模块：使用匈牙利算法进行球体和轨迹的匹配。

模块s205，球体跟踪控制模块：本模块作为调度模块，循环对连续视频的每一帧，调用模块s202、模块s203和模块s204，获得每一帧图像需要跟踪的球体的id和位置，生成球体运动的真实轨迹，实现对球体的跟踪。

本实施例不对球体特征提取模型、球体轨迹预测模型、球体和轨迹匹配模型做限定，在未作特别申明的情况下，具体的模型对本实施例的技术方案不构成限制，应当理解为便于本领域技术人员理解技术方案而举的示例。

本领域内的技术人员应明白，本发明的实施例可提供为方法及装置。本发明是参照本发明实施例的方法及装置的流程图和结构示意图来描述的。

显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。