视频中的物体追踪方法及装置、电子设备、存储介质与流程

1.本发明涉及人工智能领域，具体而言，涉及一种视频中的物体追踪方法及装置、电子设备、存储介质。


背景技术：

2.相关技术中，当前大量的终端设备、照相设备产生了海量的视频、图像，在多种场景下，需要引入计算机视觉技术来处理、分析这些视频、图像；计算机视觉是用各种成像系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释，使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。当前的计算机视觉处理方式，是先建立一个视觉系统，这个系统能依据视觉敏感和反馈的某种程度的智能完成一定的任务。
3.例如，通过计算机视觉，实现图像处理和机器视觉追踪，经典问题便是物体识别，在进行物体识别时，现有技术中主要是实现特定目标的识别，比如几何图形识别，人脸识别，印刷或手写文件识别或者车辆识别。但是这种识别方式，往往是对静态图像的特定区域进行识别，如果是涉及到视频物体追踪，例如，在现代球类体育赛事中，通过视频追踪技术帮助电视进行转播、辅助判罚，但是这种物体追踪方式，容易受到室外复杂光照环境影响，物体的颜色、轮廓、纹理等信息都有可能受到干扰，仅仅利用其中一项特征信息有可能无法准确识别出物体。如在颜色与物体相似背景下仅仅使用颜色识别比较困难；在有多个物体轮廓相似情形下也较难区分出正确的物体。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种视频中的物体追踪方法及装置、电子设备、存储介质，以至少解决相关技术中无法准确追踪视频中移动物体的技术问题。
6.根据本发明实施例的一个方面，提供了一种视频中的物体追踪方法，包括：采集在目标物体运动过程中的视频，并对所述视频中的每帧图片进行白平衡处理，得到待分析图片；采用预先选取的颜色模型，对所述待分析图片进行颜色分割，得到二值化图像；对每个所述二值化图像进行边缘勾画和物体轮廓检测，确定物体位置；基于所述物体位置和预设填充参数确定所述目标物体所在的目标区域，其中，所述目标区域用于指示所述目标物体在图片中的位置。
7.可选地，对所述视频中的每帧图片进行白平衡处理，得到待分析图片的步骤，包括：计算所述每帧图片中关于图像三分量的平均值，并基于所述图像三分量的平均值计算所述每帧图片的平均灰度值；采用预设训练的灰度世界模型，基于所述每帧图片的平均灰度值，计算目标色适应参数；基于所述目标色适应参数调整和预设调整公式，调整所述每帧图片中每个像素点的所述图像三分量；将所述像素点调整至预定显示范围，得到所述待分析图片。
8.可选地，采用预先选取的颜色模型，对所述待分析图片进行颜色分割，得到二值化图像的步骤，包括：对所述待分析图片进行直方图均衡化处理；基于均衡化处理后的所述待分析图片，选取面向不同颜色的所述颜色模型；采用所述颜色模型，将所述待分析图片转换至所述颜色模型对应的色彩空间中；在所述色彩空间指示的多个通道中进行颜色分割，得到二值化图像。
9.可选地，对所述待分析图片进行直方图均衡化处理的步骤，包括：获取所述待分析图片中的所有像素数和所有灰度数；结合所述所有像素数和所述所有灰度数，计算所述待分析图片中各个灰度像素的出现概率值；结合所述灰度像素的出现概率值以及所述待分析图片的累计归一化直方图，计算对应于所述待分析图片的图片直方图的累计概率函数；将所述累计概率函数在图片灰度数的范围内进行线性化，完成所述直方图均衡化处理。
10.可选地，在所述色彩空间指示的多个通道中进行颜色分割，得到二值化图像的步骤，包括：基于预先选取的分割阈值，分别在所述色彩空间指示的色调通道和饱和度通道上进行颜色分割，得到二值化图像。
11.可选地，对每个所述二值化图像进行边缘勾画和物体轮廓检测，确定物体位置的步骤，包括：提取所述二值化图像的一阶导数的极值或者二阶导数的过零点信息；结合所述一阶导数的极值或者二阶导数的过零点信息，勾画所述二值化图像的图像边缘。
12.可选地，对每个所述二值化图像进行边缘勾画和物体轮廓检测，确定物体位置的步骤，包括：采用预设物体变换策略，采用所述二值化图像的全局特征将边缘像素连接起来组成区域封闭边界，将图像空间转换到参数空间，在所述参数空间中确定所述二值化图像的边缘点；结合所述二值化图像的边缘点，对图像进行坐标变换，将平面坐标变换为参数坐标；采用所述参数坐标，定位所述物体位置。
13.根据本发明实施例的另一方面，还提供了一种视频中的物体追踪装置，包括：采集单元，用于采集在目标物体运动过程中的视频，并对所述视频中的每帧图片进行白平衡处理，得到待分析图片；分割单元，用于采用预先选取的颜色模型，对所述待分析图片进行颜色分割，得到二值化图像；第一确定单元，用于对每个所述二值化图像进行边缘勾画和物体轮廓检测，确定物体位置；第二确定单元，用于基于所述物体位置和预设填充参数确定所述目标物体所在的目标区域，其中，所述目标区域用于指示所述目标物体在图片中的位置。
14.可选地，所述采集单元包括：第一计算模块，用于计算所述每帧图片中关于图像三分量的平均值，并基于所述图像三分量的平均值计算所述每帧图片的平均灰度值；第二计算模块，用于采用预设训练的灰度世界模型，基于所述每帧图片的平均灰度值，计算目标色适应参数；第一调整模块，用于基于所述目标色适应参数调整和预设调整公式，调整所述每帧图片中每个像素点的所述图像三分量；第二调整模块，用于将所述像素点调整至预定显示范围，得到所述待分析图片。
15.可选地，所述分割单元包括：均衡化处理模块，用于对所述待分析图片进行直方图均衡化处理；第一选取模块，用于基于均衡化处理后的所述待分析图片，选取面向不同颜色的所述颜色模型；第一转换模块，用于采用所述颜色模型，将所述待分析图片转换至所述颜色模型对应的色彩空间中；第一分割模块，用于在所述色彩空间指示的多个通道中进行颜色分割，得到二值化图像。
16.可选地，所述均衡化处理模块包括：第一获取子模块，用于获取所述待分析图片中
的所有像素数和所有灰度数；第一计算子模块，用于结合所述所有像素数和所述所有灰度数，计算所述待分析图片中各个灰度像素的出现概率值；第二计算子模块，用于结合所述灰度像素的出现概率值以及所述待分析图片的累计归一化直方图，计算对应于所述待分析图片的图片直方图的累计概率函数；第一线性化模块，用于将所述累计概率函数在图片灰度数的范围内进行线性化，完成所述直方图均衡化处理。
17.可选地，所述第一分割模块包括：分割子模块，用于基于预先选取的分割阈值，分别在所述色彩空间指示的色调通道和饱和度通道上进行颜色分割，得到二值化图像。
18.可选地，所述第一确定单元包括：第一提取模块，用于提取所述二值化图像的一阶导数的极值或者二阶导数的过零点信息；勾画模块，用于结合所述一阶导数的极值或者二阶导数的过零点信息，勾画所述二值化图像的图像边缘。
19.可选地，所述第一确定单元还包括：连接模块，用于采用预设物体变换策略，采用所述二值化图像的全局特征将边缘像素连接起来组成区域封闭边界，将图像空间转换到参数空间，在所述参数空间中确定所述二值化图像的边缘点；坐标变换模块，用于结合所述二值化图像的边缘点，对图像进行坐标变换，将平面坐标变换为参数坐标；定位模块，用于采用所述参数坐标，定位所述物体位置。
20.根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的视频中的物体追踪方法。
21.根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任意一项所述的视频中的物体追踪方法。
22.本发明中，采用采集在目标物体运动过程中的视频，并对视频中的每帧图片进行白平衡处理，得到待分析图片，然后采用预先选取的颜色模型，对待分析图片进行颜色分割，得到二值化图像，对每个二值化图像进行边缘勾画和物体轮廓检测，确定物体位置，基于物体位置和预设填充参数确定目标物体所在的目标区域，其中，目标区域用于指示目标物体在图片中的位置。在本发明中，采用了基于颜色和轮廓互相修正的识别方法，同时提取物体颜色信息以及轮廓特征，并进行匹配定位，降低了物体识别对环境光照的适应性，能够准确定位视频中的待追踪物体，从而解决相关技术中无法准确追踪视频中移动物体的技术问题。
附图说明
23.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
24.图1是根据本发明实施例的一种可选的视频中的物体追踪方法的流程图；
25.图2是根据本发明实施例的一种基于球体颜色与轮廓的视频追踪装置的示意图；
26.图3是根据本发明实施例的一种可选的颜色分割模块的示意图；
27.图4是根据本发明实施例的一种可选的轮廓分割模块的示意图；
28.图5是根据本发明实施例的一种可选的视频中的物体追踪装置的示意图；
29.图6是根据本发明实施例的一种视频中的物体追踪方法的电子设备(或移动设备)的硬件结构框图。
具体实施方式
30.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
31.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
32.为便于本领域技术人员理解本发明，下面对本发明各实施例中涉及的部分术语或名词做出解释：
33.色适应，采用von kries提出的理论，是视觉对照明色的一种自动校正。色适应与人眼视觉细胞的接收有直接的关系，因而可依此寻求出“物体色与视觉细胞之间的色适应模型”。
34.灰度世界模型，gray world理论基础是：本发明中的白平衡算法是在von kries假设的基础上改进得到的。这种假设表明色彩调整是一种独立的增益调整，这种增益调整对于三种锥体信号用的是三个不同的增益系数，而且每一个传感器通道都是独立传输的。
35.rgb模型，一种与人的视觉系统结构密切相连的模型，根据人眼结构，所有颜色都可看作是三个基本颜色——红(r，red)，绿(g，green)，蓝(b，blue)的不同组合。
36.hsi模型，h表示色调，s表示饱和度，i表示亮度。人区分颜色就常用三种基本特性量：亮度，色调和饱和度。亮度与物体的反射率成正比，如果没有彩色，就只有亮度一个分量的变化。对彩色来说，颜色中掺入白色越多就越明亮，掺入黑色越多亮度就越小。色调是与混合光谱中主要光波长相联系的。饱和度与一定色调的纯度有关，纯光谱色是完全饱和的。随着白光的加入饱和度逐渐减少。色调和饱和度合起来称为色度，所以颜色可用亮度和色度共同表示。
37.需要说明的是，本公开中的视频中的物体追踪方法及其装置可用于人工智能领域在对视频、图像进行物体的情况下，也可用于除人工智能领域之外的任意领域在对物体进行追踪的情况下，本公开中视频中的物体追踪方法及其装置的应用领域不做限定。
38.需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构
反馈的同意信息后，获取相关信息。
39.本发明下述各实施例可应用于各种视频追踪(例如，篮球比赛对篮球球体追踪、足球比赛对足球球体的追踪、人体追踪、监控追踪、养老院物体安全追踪等)、导航软件、辅助判罚等场景中，能够实现自动化的物体追踪，标识物体所处视频中的位置，通过显著颜色、轮廓等输出物体定位信息。本发明针对现有中在颜色与物体相似背景下仅仅使用颜色识别比较困难或者，在有多个物体轮廓相似情形下也较难区分出正确的物体。为了增强物体识别的鲁棒性，本发明采用了基于颜色和轮廓互相修正的识别方法，同时提取物体颜色信息以及轮廓特征，并进行匹配定位，降低了物体识别对环境光照的适应性。
40.下面结合各个实施例来详细说明本发明。
41.实施例一
42.根据本发明实施例，提供了一种视频中的物体追踪方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
43.图1是根据本发明实施例的一种可选的视频中的物体追踪方法的流程图，如图1所示，该方法包括如下步骤：
44.步骤s101，采集在目标物体运动过程中的视频，并对视频中的每帧图片进行白平衡处理，得到待分析图片；
45.步骤s102，采用预先选取的颜色模型，对待分析图片进行颜色分割，得到二值化图像；
46.步骤s103，对每个二值化图像进行边缘勾画和物体轮廓检测，确定物体位置；
47.步骤s104，基于物体位置和预设填充参数确定目标物体所在的目标区域，其中，目标区域用于指示目标物体在图片中的位置。
48.通过上述步骤，可以采集在目标物体运动过程中的视频，并对视频中的每帧图片进行白平衡处理，得到待分析图片，然后采用预先选取的颜色模型，对待分析图片进行颜色分割，得到二值化图像，对每个二值化图像进行边缘勾画和物体轮廓检测，确定物体位置，基于物体位置和预设填充参数确定目标物体所在的目标区域，其中，目标区域用于指示目标物体在图片中的位置。在该实施例中，采用了基于颜色和轮廓互相修正的识别方法，同时提取物体颜色信息以及轮廓特征，并进行匹配定位，降低了物体识别对环境光照的适应性，能够准确定位视频中的待追踪物体，从而解决相关技术中无法准确追踪视频中移动物体的技术问题。
49.下面结合上述各实施步骤来详细说明本发明。
50.步骤s101，采集在目标物体运动过程中的视频，并对视频中的每帧图片进行白平衡处理，得到待分析图片。
51.本实施例中，对于目标物体的类型和形状不做限定，其类型包括但不限于：球体、金属、铁器、木器等；而形状包括但不限于：圆形物体(如篮球、足球、棒球、排球、乒乓球、网球)、椭圆形(橄榄球)、方形(如魔方)、扁形(如铁饼)、长枪形。
52.本实施例中以篮球为示例，对目标物体在视频中的追踪方式进行说明。
53.可选的，对视频中的每帧图片进行白平衡处理，得到待分析图片的步骤，包括：计
算每帧图片中关于图像三分量的平均值，并基于图像三分量的平均值计算每帧图片的平均灰度值；采用预设训练的灰度世界模型，基于每帧图片的平均灰度值，计算目标色适应参数；基于目标色适应参数调整和预设调整公式，调整每帧图片中每个像素点的图像三分量；将像素点调整至预定显示范围，得到待分析图片。
54.白平衡是指不管在任何光源下，将白色物体还原为白色，本发明将灰度世界模型假设和白平衡算法结合，进行自动白平衡调整，即采用基于灰度世界模型的自动白平衡算法进行白平衡调整。
55.在计算每帧图片中关于图像三分量的平均值，并基于图像三分量的平均值计算每帧图片的平均灰度值时，是指首先通过图像r、g、b三个分量的各自的平均值avgr、avgg、avgb确定出图像的平均灰度值avggray，然后调整每个像素的r、g、b值，使得调整后的r、g、b三个分量各自的平均值都趋于平均灰度值avggray。
56.灰度世界算法假设给定的一幅色彩变化很大的图像的r、g、b元素的平均值合成是一种普通的灰色。这样我们就可以在一幅特殊光源下拍摄的图片中应用灰度世界假设来去掉因光源而带来的模糊层面。一旦选择了一种普通灰度值，每一种色彩元素就可以应用von kries转化用以下的系数进行调整。
57.计算视频中每帧图像的r、g、b三分量各自的平均值avgr、avgg、avgb，并令图像的平均灰度值。然后计算出各个目标色适应参数von kries参数，之后调整每个像素点的r、g、b分量，ui之后将像素点调整到可以显示的范围之内(即将像素点调整至预定显示范围，得到待分析图片)，例如24位真彩图像中最大值为255。
58.步骤s102，采用预先选取的颜色模型，对待分析图片进行颜色分割，得到二值化图像。
59.可选的，采用预先选取的颜色模型，对待分析图片进行颜色分割，得到二值化图像的步骤，包括：对待分析图片进行直方图均衡化处理；基于均衡化处理后的待分析图片，选取面向不同颜色的颜色模型；采用颜色模型，将待分析图片转换至颜色模型对应的色彩空间中；在色彩空间指示的多个通道中进行颜色分割，得到二值化图像。
60.直方图均衡化可以用来增加许多图像的局部对比度，尤其是当图像的有用数据的对比度相当接近的时候，通过这种处理，亮度可以更好地在直方图上分布，这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。
61.这种方法对于背景和前景都太亮或者太暗的图像非常有用，这种方法尤其是可以带来曝光过度或者曝光不足照片中更好的细节。
62.需要说明的是，对待分析图片进行直方图均衡化处理的步骤，包括：获取待分析图片中的所有像素数和所有灰度数；结合所有像素数和所有灰度数，计算待分析图片中各个灰度像素的出现概率值；结合灰度像素的出现概率值以及待分析图片的累计归一化直方图，计算对应于待分析图片的图片直方图的累计概率函数；将累计概率函数在图片灰度数的范围内进行线性化，完成直方图均衡化处理。
63.本实施例中，创建一个形式为y＝t(x)的变化，对于原始图像中的每个值它就产生一个y，这样y的累计概率函数就可以在所有值范围内进行线性化。
64.通过将这种方法分别用于图像rgb颜色值的红色、绿色和蓝色分量，从而也可以对
彩色图像进行处理。
65.在完成直方图均衡化处理后，可以进行图像分割，在阐述图像分割技术时，可以以灰度图像为例，要分割一幅彩色图像，首先要选好合适的颜色空间或模型；其次要采用合适于此空间的分割策略和方法。为正确有效地表达彩色信息，需要建立和选择合适的彩色表达模型。表达彩色的颜色空间有许多种，它们常是根据不同目的而提出的。
66.本发明使用面向彩色处理的最常用模型是hsi模型(即选取面向不同颜色的颜色模型为hsi模型)，其中h表示色调，s表示饱和度，i表示亮度。hsi模型在许多处理中有独特的优点，第一，在hsi模型中，亮度分量与色度分量是分开的，i分分量与图像的彩色信息无关，第二，在hsi模型中，色调h和饱和度s的概念互相独立并与人的感知紧密相连。这些特点使得hsi模型非常适合基于人的视觉系统对彩色感知特性进行处理分析的图像算法。
67.需要说明的是，在色彩空间指示的多个通道中进行颜色分割，得到二值化图像的步骤，包括：基于预先选取的分割阈值，分别在色彩空间指示的色调通道和饱和度通道上进行颜色分割，得到二值化图像。
68.图像的研究和应用中，人们往往仅对图像中的某些部分感兴趣，这些部分称为目标或前景(其他部分称为背景)，他们一般对应图像中特定的、具有独特性质的区域。为了辨识和分析目标，需要将他们分离提取出来，在此基础上才有可能对目标进一步利用。图像分割就是指把图像分成格局特性的区域并提取出感兴趣目标的技术和过程。
69.本发明采用hsi颜色空间作为颜色分割的基础，在色调通道h和饱和度通道s通道上进行阈值分割。分割阈值的选取是阈值分割技术的关键，如果阈值选取过高，则过多的目标点被误归为背景；阈值选得过低，则会出现相反的情况。本发明实施例中分割阈值的确定从真实环境中测试取得最佳值。
70.步骤s103，对每个二值化图像进行边缘勾画和物体轮廓检测，确定物体位置。
71.可选的，对每个二值化图像进行边缘勾画和物体轮廓检测，确定物体位置的步骤，包括：提取二值化图像的一阶导数的极值或者二阶导数的过零点信息；结合一阶导数的极值或者二阶导数的过零点信息，勾画二值化图像的图像边缘。
72.边缘能勾画出目标物体，蕴含丰富的信息，是图像分割、识别以及分析中抽取图像特征的重要属性。利用图像一阶导数的极值或者二阶导数的过零点信息来提供判断边缘点的基本依据。图像中的边缘是图像局部特性不连续(或突变)的结果，例如，灰度值的突变，颜色的突变、纹理的突变等。对于图像中变化比较平坦的区域，因相邻像素的灰度变化不大，因而其梯度幅值较小，趋近0；而图像的边缘地带，因相邻的像素灰度变化剧烈，所以梯度幅值较大，因此用一阶导数幅值的大小可以判断图像中是否有边缘以及边缘的位置。同样道理，二阶导数的符号可以用于判断一个边缘像素是在边缘亮的一边还是的暗的一边，而且过零点的位置就是边缘的位置。
73.在本实施例中，对每个二值化图像进行边缘勾画和物体轮廓检测，确定物体位置的步骤，包括：采用预设物体变换策略，采用二值化图像的全局特征将边缘像素连接起来组成区域封闭边界，将图像空间转换到参数空间，在参数空间中确定二值化图像的边缘点；结合二值化图像的边缘点，对图像进行坐标变换，将平面坐标变换为参数坐标；采用参数坐标，定位物体位置。
74.例如，以球体为例，球体在二维的图片中表现为一个圆，本发明中对圆的检测可以
使用hough变换策略实现，hough变换是图像处理中从图像中识别几何形状的基本方法之一，hough变换：利用图像全局特征将边缘像素连接起来组成区域封闭边界，它将图像空间转换到参数空间，在参数空间对点进行描述，达到检测图像边缘的目的。该方法把所有可能落在边缘上的点进行统计计算，根据对数据的统计结果确定属于边缘的程度。hough变换的实质就是对图像进行坐标变换，把平面坐标变换为参数坐标，使变换的结果更易识别和检测。
75.通过上述变换策略，可以得到物体的参数，相应的即可在图片中标注出物体的位置。
76.步骤s104，基于物体位置和预设填充参数确定目标物体所在的目标区域，其中，目标区域用于指示目标物体在图片中的位置。
77.在以上模块中已经通过颜色分割成了二值化的图像，然后通过预设变换策略，检测出了物体轮廓。之后，本实施例中，可以通过一个填充率的参数来确定准确的物体区域，用阈值分割的图像来填充轮廓检测中得到的物体，当填充率达到一个阈值就认为这个物体是在物体内部，此时如果物体的半径越大，这个物体就越接近真实目标物体。
78.本发明实施例中，通过球体的颜色和轮廓互相修正的识别方法，对球体进行精确定位，增强了在室外复杂光照环境中，对球体识别跟踪的鲁棒性。解决了以往仅使用球体单一特征进行识别的局限性，并且具有较高的识别速度，满足足篮球等体育赛事直播中的球体跟踪。
79.下面结合另一种可选的实施例来说明本发明。
80.实施例二
81.本实施例中，以篮球赛事中的篮球为待检测物体，实现对视频图像中的球体追踪。
82.本实施例中的涉及的视频可以为篮球赛事实时视频/回放视频，视频长短并不限定，该视频本质上是由一帧一帧的图片组成，球体追踪技术核心在于确定目标球体在图片中的位置。
83.图2是根据本发明实施例的一种基于球体颜色与轮廓的视频追踪装置的示意图，该视频追踪装置可以通过球体的颜色与轮廓追踪视频中球体的位置，其包括：白平衡模块201、颜色分割模块202、轮廓分割模块203、位置标定模块204。
84.具体描述如下：
85.白平衡模块201：物体在不同光源的照射下会呈现不同的颜色。这是因为不同的光源其色温不同，从而导致目标物体的反射光线光谱偏离“真实”颜色。当白色目标物体被低色温光源射时，反射光线偏红；相反高色温光源会使同一白色目标物体反射光线偏蓝。由于人眼对色彩有恒久不变性，人的视觉或许不能区分这种颜色的差别。但是对于图像来说，给定光源下目标物体的反射光线将被记录，而且如果光源不标准将会引起色差。这时直接应用颜色进行分割会产生较大的误差，因此，需要先进行白平衡处理。
86.白平衡是指不管在任何光源下，将白色物体还原为白色。传统的白平衡方法首先在色温环境中拍摄纯白色物体分析所摄得的图像数据对白色物体部分的数据进行平均得出三原色的平均值(r、g、b)根据白色的定义：r＝g＝b，改变r、b感应通道的增益可以实现图像白平衡。这种方法要求以标准白色参照物进行白平衡校准，给用户带来不便。因此在工程应用时产生了一些自动白平衡的算法主要有：1)全局白平衡法：认为所拍摄的图像所拍摄
rgb三色分量的统计平均值应该相等。对拍摄的图像进行统计平均以r、b分量的均值作为白平衡校准的依据；2)局部白平衡法：搜寻所拍摄的图像中最亮的区域作为白色区域，该区域的rgb三色分量的统计平均值应该相等，以该区域r、b分量的统计平均值作为白平衡校准的依据。但是这些算法具有很大的局限性，不能正确再现物体的真实色彩：当环境过亮或过暗时全局白平衡算法几乎完全失效；而当所拍摄的物体并无白色存在时，局部白平衡算法得到的数值是失实的。
87.为了改进这些算法从而得到更好的调整效果，本发明实施例中将灰度世界(gray world)模型假设和白平衡算法结合进行自动白平衡调整，即采用基于灰度世界模型的自动白平衡算法进行白平衡调整。
88.gray world假设理论基础：很多白平衡算法都是在von kries假设的基础上改进得到的。这种假设表明色彩调整是一种独立的增益调整，这种增益调整对于三种锥体信号用的是三个不同的增益系数，而且每一个传感器通道都是独立传输的。
89.增益系数表示如公式(1)：
90.la＝k
l
l
91.ma＝kmm
92.sa＝kss
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(1)；
93.其中l、m、s代表三色的原始初值，k表示将原始信号增大到三色调整值l、m、s的增益系数。调整模型因部分系数获得的方法而不同。
94.在这些模型中r、g、b通道通常被认为是l、m、s视网膜波段的一种近似，所以采用公式(2)进行变换：
95.ra＝krr
96.ga＝kgg
97.ba＝kbb
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(2)；
98.gray world彩色均衡方法基于“灰度世界假设”，该假设认为对于衣服有着大量色彩变化的图像，r、g、b三个分量个子的平均值趋于同一个灰度值。在客观世界中，一般来说物体及其周围环境的色彩变化是随机的，独立无关的，因此这一假设是合理的。该方法的基本思想是首先通过图像r、g、b三个分量的各自的平均值avgr、avgg、avgb确定出图像的平均灰度值avggray，然后调整每个像素的r、g、b值，使得调整后的r、g、b三个分量各自的平均值都趋于平均灰度值avggray。
99.灰度世界算法假设给定的一幅色彩变化很大的图像的r、g、b元素的平均值合成是一种普通的灰色。这样就可以在一幅特殊光源下拍摄的图片中应用灰度世界假设来去掉因光源而带来的模糊层面。一旦选择了一种普通灰度值，每一种色彩元素就可以应用von kries转化用以下公式(3)示意的系数进行调整。
[0100][0101][0102]
[0103]
具体算法
[0104]
1)采用公式(4)计算图像的r、g、b三分量各自的平均值avgr、avgg、avgb，并令图像的平均灰度值。
[0105][0106]
2)利用公式(3)计算出各个von kries参数，结合公式(2)调整每个像素点的r、g、b分量。
[0107]
3)将像素点调整到可以显示的范围之内。例如24位真彩图像中最大值为255。
[0108]
图3是根据本发明实施例的一种可选的颜色分割模块的示意图，如图3所示，该颜色分割模块202包含3个子模块：直方图均衡化子模块301、颜色模型转换子模块302、颜色分割子模块303。
[0109]
直方图均衡化子模块301：直方图均衡化通常用来增加许多图像的局部对比度，尤其是当图像的有用数据的对比度相当接近的时候，通过直方图均衡处理，亮度可以更好地在直方图上分布。这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。
[0110]
这种方法对于背景和前景都太亮或者太暗的图像非常有用，尤其是可以带来曝光过度或者曝光不足照片中更好的细节。
[0111]
实现方法：一个灰度图像，让ni表示灰度i出现的次数，然后通过如下公式(5)这样图像中灰度为i的像素的出现概率是
[0112][0113]
其中，l是图像中所有的灰度数，n是图像中所有的像素数,p实际上是图像的直方图，归一化到0.1。
[0114]
把c作为对应于p的累计概率函数,通过公式(6)定义为：
[0115][0116]
其中，c是图像的累计归一化直方图。
[0117]
本实施例中，可以创建一个形式为y＝t(x)的变化，对于原始图像中的每个值它就产生一个y，这样y的累计概率函数就可以在所有值范围内进行线性化，转换公式(7)定义为：
[0118]
yi＝t(xi)＝ciꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(7)；
[0119]
其中，t将不同的等级映射到0..1域，为了将这些值映射回它们最初的域，需要在结果上应用下面的简单变换公式(8)：
[0120]
y'i＝yi·
(max-min)+min
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(8)；
[0121]
上面描述了灰度图像上使用直方图均衡化的方法，但是通过将这种方法分别用于图像rgb颜色值的红色、绿色和蓝色分量，从而也可以对彩色图像进行处理。
[0122]
颜色模型转换子模块302：在讨论图像分割技术时，基本均以灰度图像为例。要分割一幅彩色图像，首先要选好合适的颜色空间或模型；其次要采用合适于此空间的分割策略和方法。
[0123]
为正确有效地表达彩色信息，需要建立和选择合适的彩色表达模型。表达彩色的颜色空间有许多种，它们常是根据不同目的而提出的。
[0124]
从应用的角度看，当前所提出的众多彩色模型可分为两类。一类面向诸如彩色显示器或彩色打印机之类的硬设备，另一类面向视觉感知或者说以彩色处理分析为目的的应用。
[0125]
其中，第一类面向硬件设备的彩色模型，适合在输出显示场合使用，最经典的最常用的面向硬设备的彩色模型是rgb模型，电视摄像机和彩色扫描仪都是根据rgb模型工作的。rgb模型是一种与人的视觉系统结构密切相连的模型。根据人眼结构，所有颜色都可看作是三个基本颜色——红(r，red)，绿(g，green)，蓝(b，blue)——的不同组合。cie所规定的红绿蓝这三种基本色的波长分别为700nm，546.1nm，435.8nm。由于光源的光谱是连续渐变的，所以并没有一种颜色可准确地叫做红，绿，蓝。因而需要注意，定义三种基本波长并不表明仅由三个固定的r、g、b分量就可组成所有颜色。
[0126]
而第二类面向视觉感知的彩色模型，是指与人类颜色视觉感知比较接近，独立于显示设备。本发明实施例中，确定面向彩色处理的最常用模型是hsi模型，其中h表示色调，s表示饱和度，i表示亮度。区分颜色常用三种基本特性量：亮度，色调和饱和度。亮度与物体的反射率成正比，如果没有彩色，就只有亮度一个分量的变化。对彩色来说，颜色中掺入白色越多就越明亮，掺入黑色越多亮度就越小。色调是与混合光谱中主要光波长相联系的。饱和度与一定色调的纯度有关，纯光谱色是完全饱和的。随着白光的加入饱和度逐渐减少。色调和饱和度合起来称为色度。所以颜色可用亮度和色度共同表示。
[0127]
hsi模型在许多处理中有独特的优点。第一，在hsi模型中，亮度分量与色度分量是分开的，i分分量与图像的彩色信息无关。第二，在hsi模型中，色调h和饱和度s的概念互相独立并与人的感知紧密相连。这些特点使得hsi模型非常适合基于人的视觉系统对彩色感知特性进行处理分析的图像算法。
[0128]
在rgb空间的彩色图像可以方便地转换到hsi空间。对任何三个归一化到[0，1]范围内的r、g、b值，其对应的hsi模型中的h、s、i分量可由下面的公式(9)计算：
[0129][0130][0131][0132]
其中，当s＝0时，对应无色，这时h没有意义，此时定义h为0。另外，当i＝0或i＝1时，讨论s也没有意义。
[0133]
颜色分割子模块303：在图像的研究和应用中，人们往往仅对图像中的某些部分感兴趣，这些部分称为目标或前景(其他部分称为背景)，他们一般对应图像中特定的、具有独特性质的区域。为了辨识和分析目标，需要将他们分离提取出来，在此基础上才有可能对目标进一步利用。图像分割就是指把图像分成格局特性的区域并提取出感兴趣目标的技术和
过程。
[0134]
最常用的图像分割方法就是把图像的灰度分成不同的等级，然后用设置灰度门限的方法确定有意义的区域或欲分割物体的界限。
[0135]
本发明采用hsi颜色空间作为颜色分割的基础，在h和s通道上进行阈值分割。分割阈值的选取是阈值分割技术的关键。如果阈值选取过高，则过多的目标点被误归为背景；阈值选得过低，则会出现相反的情况。本发明装置中分割阈值的确定从真实环境中测试取得最佳值。
[0136]
图4是根据本发明实施例的一种可选的轮廓分割模块的示意图，如图4所示，包含如下几个子模块：边缘检测子模块401和圆检测子模块402，其中，
[0137]
边缘检测子模块401：边缘能勾画出目标物体，蕴含丰富的信息，是图像分割、识别以及分析中抽取图像特征的重要属性。利用图像一阶导数的极值或者二阶导数的过零点信息来提供判断边缘点的基本依据。图像中的边缘是图像局部特性不连续(或突变)的结果，例如，灰度值的突变，颜色的突变、纹理的突变等。对于图像中变化比较平坦的区域，因相邻像素的灰度变化不大，因而其梯度幅值较小，趋近0；而图像的边缘地带，因相邻的像素灰度变化剧烈，所以梯度幅值较大，因此用一阶导数幅值的大小可以判断图像中是否有边缘以及边缘的位置。同样道理，二阶导数的符号可以用于判断一个边缘像素是在边缘亮的一边还是的暗的一边，而且过零点的位置就是边缘的位置。
[0138]
梯度对应一阶导数，对于一个连续图像的函数f(x，y)，它在点f(x，y)处的梯度是一个矢量，采用公式(10)定义为：
[0139][0140]
其中，gx，gy分别为沿x方向和y方向的梯度。
[0141]
梯度的幅度和方向角采用如下公式(11)分别表示：
[0142][0143]
φ(x,y)＝arctan(gy/g
x
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(11)；
[0144]
由上式(11)可知，梯度的数值就是f(x，y)在其最大变化率方向上的单位距离所增加的量。
[0145]
对于数字图像而言，梯度是由差分代替微分来实现的，因此可以写成如下公式(12)：
[0146][0147]
本发明实施例中，采用canny算子来检测边缘，canny算子力图在抗噪声干扰和精确定位之间寻求最佳折中方案。步骤如下：
[0148]
1)用二维高斯滤波模板与灰度图像卷积，以减小噪声影响；
[0149]
2)利用导数算子找到图像灰度沿着两个方向的导数g
x
,gy，并采用如下公式(13)求出梯度的大小和方向：
[0150][0151]
3)非极大值抑制。遍历图像，如果某个像素的灰度值与其梯度方向上前后两个像素的灰度值相比不是最大的，则将该像素值置0，即不是边缘。
[0152]
4)使用图像累计直方图计算两个阈值。灰度值大于高阈值的像素为边缘，小于低阈值的不是边缘，介于两个阈值之间的，如果其邻接像素有灰度值大于高阈值的则为边缘，如没有则不是。
[0153]
圆检测子模块402：球体在二维的图片中表现为一个圆，本发明中对圆的检测使用hough变换实现，hough变换是图像处理中从图像中识别几何形状的基本方法之一，圆hough检测是目前应用最为广泛的方法之一，其可靠性高，对噪声、变形、部分区域残缺、边缘不连续等有较好的适应性。
[0154]
hough变换的原理：利用图像全局特征将边缘像素连接起来组成区域封闭边界，它将图像空间转换到参数空间，在参数空间对点进行描述，达到检测图像边缘的目的。
[0155]
该方法把所有可能落在边缘上的点进行统计计算，根据对数据的统计结果确定属于边缘的程度。hough变换的实质就是对图像进行坐标变换，把平面坐标变换为参数坐标，使变换的结果更易识别和检测。
[0156]
圆hough变换，已知圆的一般方程为如下公式(14)
[0157]
(x-a)2+(y-b)2＝r2ꢀꢀꢀꢀꢀꢀꢀ
公式(14)；
[0158]
公式(14)中：(a，b)是圆心，r是圆的半径。把x-y平面上的圆转换到a-b-r参数空间，则图像空间中过任意一点的圆对应于参数空间中的一个三维锥面，图像空间中同一圆上的点对应于参数空间中的所有三维锥面必然交于一点。通过检测这一点可以得到圆的参数，相应的即可在图片中标注出圆的位置。
[0159]
位置标定模块204：通过上述模块，完成颜色分割成了二值化的图像，然后通过hough也已经检测出了球体轮廓。之后，可通过一个填充率的参数来确定准确的圆区域。用阈值分割的图像来填充轮廓检测中得到的圆，当填充率达到一个阈值就认为这个圆是在圆内部，此时如果圆的半径越大，这个圆就越接近真实目标物体。
[0160]
上述实施方式，通过球体的颜色和轮廓互相修正的识别方法，对球体进行精确定位，增强了在室外复杂光照环境中，对球体识别跟踪的鲁棒性，解决了以往仅使用球体单一特征进行识别的局限性，并且具有较高的识别速度，满足各种球体等体育赛事直播中的球体跟踪，提升物体检测的准确度。
[0161]
下面结合另一种可选的实施例来说明本发明。
[0162]
实施例三
[0163]
本实施例中提供了一种视频中的物体追踪装置，该装置中所包含的各个实施单元对应于上述实施例一中的各个实施步骤。
[0164]
图5是根据本发明实施例的一种可选的视频中的物体追踪装置的示意图，如图5所示，该物体追踪装置可以包括：采集单元51、分割单元52、第一确定单元53、第二确定单元54，其中，
[0165]
采集单元51，用于采集在目标物体运动过程中的视频，并对视频中的每帧图片进
行白平衡处理，得到待分析图片；
[0166]
分割单元52，用于采用预先选取的颜色模型，对待分析图片进行颜色分割，得到二值化图像；
[0167]
第一确定单元53，用于对每个二值化图像进行边缘勾画和物体轮廓检测，确定物体位置；
[0168]
第二确定单元54，用于基于物体位置和预设填充参数确定目标物体所在的目标区域，其中，目标区域用于指示目标物体在图片中的位置。
[0169]
上述视频中的物体追踪装置，可以通过采集单元51采集在目标物体运动过程中的视频，并对视频中的每帧图片进行白平衡处理，得到待分析图片，然后通过分割单元52采用预先选取的颜色模型，对待分析图片进行颜色分割，得到二值化图像，通过第一确定单元53对每个二值化图像进行边缘勾画和物体轮廓检测，确定物体位置，通过第二确定单元54基于物体位置和预设填充参数确定目标物体所在的目标区域，其中，目标区域用于指示目标物体在图片中的位置。在该实施例中，采用了基于颜色和轮廓互相修正的识别方法，同时提取物体颜色信息以及轮廓特征，并进行匹配定位，降低了物体识别对环境光照的适应性，能够准确定位视频中的待追踪物体，从而解决相关技术中无法准确追踪视频中移动物体的技术问题。
[0170]
可选的，采集单元包括：第一计算模块，用于计算每帧图片中关于图像三分量的平均值，并基于图像三分量的平均值计算每帧图片的平均灰度值；第二计算模块，用于采用预设训练的灰度世界模型，基于每帧图片的平均灰度值，计算目标色适应参数；第一调整模块，用于基于目标色适应参数调整和预设调整公式，调整每帧图片中每个像素点的图像三分量；第二调整模块，用于将像素点调整至预定显示范围，得到待分析图片。
[0171]
可选的，分割单元包括：均衡化处理模块，用于对待分析图片进行直方图均衡化处理；第一选取模块，用于基于均衡化处理后的待分析图片，选取面向不同颜色的颜色模型；第一转换模块，用于采用颜色模型，将待分析图片转换至颜色模型对应的色彩空间中；第一分割模块，用于在色彩空间指示的多个通道中进行颜色分割，得到二值化图像。
[0172]
可选的，均衡化处理模块包括：第一获取子模块，用于获取待分析图片中的所有像素数和所有灰度数；第一计算子模块，用于结合所有像素数和所有灰度数，计算待分析图片中各个灰度像素的出现概率值；第二计算子模块，用于结合灰度像素的出现概率值以及待分析图片的累计归一化直方图，计算对应于待分析图片的图片直方图的累计概率函数；第一线性化模块，用于将累计概率函数在图片灰度数的范围内进行线性化，完成直方图均衡化处理。
[0173]
可选的，第一分割模块包括：分割子模块，用于基于预先选取的分割阈值，分别在色彩空间指示的色调通道和饱和度通道上进行颜色分割，得到二值化图像。
[0174]
可选的，第一确定单元包括：第一提取模块，用于提取二值化图像的一阶导数的极值或者二阶导数的过零点信息；勾画模块，用于结合一阶导数的极值或者二阶导数的过零点信息，勾画二值化图像的图像边缘。
[0175]
可选的，第一确定单元还包括：连接模块，用于采用预设物体变换策略，采用二值化图像的全局特征将边缘像素连接起来组成区域封闭边界，将图像空间转换到参数空间，在参数空间中确定二值化图像的边缘点；坐标变换模块，用于结合二值化图像的边缘点，对
图像进行坐标变换，将平面坐标变换为参数坐标；定位模块，用于采用参数坐标，定位物体位置。
[0176]
上述的视频中的物体追踪装置还可以包括处理器和存储器，上述采集单元51、分割单元52、第一确定单元53、第二确定单元54等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
[0177]
上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来基于平台标识以及金融账户信息，更新文件识别信息以及文件属性信息。
[0178]
上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。
[0179]
本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：采集在目标物体运动过程中的视频，并对视频中的每帧图片进行白平衡处理，得到待分析图片；采用预先选取的颜色模型，对待分析图片进行颜色分割，得到二值化图像；对每个二值化图像进行边缘勾画和物体轮廓检测，确定物体位置；基于物体位置和预设填充参数确定目标物体所在的目标区域，其中，目标区域用于指示目标物体在图片中的位置。
[0180]
根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的视频中的物体追踪方法。
[0181]
根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述任意一项的视频中的物体追踪方法。
[0182]
图6是根据本发明实施例的一种视频中的物体追踪方法的电子设备(或移动设备)的硬件结构框图。如图6所示，电子设备可以包括一个或多个(图中采用602a、602b，
……
，602n来示出)处理器602(处理器602可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器604。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、键盘、电源和/或相机。本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。
[0183]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0184]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0185]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连
接，可以是电性或其它的形式。
[0186]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0187]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0188]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0189]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。