一种手部区域跟踪方法及系统

1.本发明涉及手势识别技术领域，特别是涉及一种手部区域跟踪方法及系统。


背景技术：

2.移动ar装配系统强调3d虚拟对象与真实世界的合成与交互，而三维注册技术是构建移动ar系统的基础、关键和难点，目前三维注册主要发展趋势为视觉跟踪的slam技术和深度学习方法。虽然slam技术和深度学习方法可提升三维注册的稳定性，但是其复杂模型结构中存在的大量参数需要极大的存储空间、运行空间和高硬件配置，使得移动ar装配系统的实时准确性与实际需求差距较大。因此，基于指尖点交互输入的移动ar装配系统中，采用slam技术和深度学习方法并不能够保证对手部区域跟踪的精度。
3.因此，亟需一种手部区域跟踪方法及系统，以提高手部区域跟踪的精度。


技术实现要素：

4.本发明的目的是提供一种手部区域跟踪方法及系统，以提高手部区域跟踪的精度。
5.为实现上述目的，本发明提供了如下方案：
6.一种手部区域跟踪方法，包括：
7.获取移动ar装配系统中的二维视频序列图像；
8.确定当前帧的所述二维视频序列图像中手部区域的空间尺度和位置，得到不同空间尺度下的对应位置的图像；
9.将所述不同空间尺度下的对应位置的图像作为训练样本；
10.利用所述训练样本训练kcf跟踪器，得到训练好的kcf跟踪器；
11.确定下一帧的所述二维视频序列图像中手部区域的空间尺度，得到不同尺度下的目标追踪图像；
12.将所述不同尺度下的目标追踪图像作为待跟踪样本；
13.利用所述训练好的kcf跟踪器计算所述待跟踪样本的响应；
14.当响应最大时，输出对应的待跟踪样本的空间尺度下的位置。
15.可选的，在所述利用所述训练样本训练kcf跟踪器，得到训练好的kcf跟踪器之后，判断所述训练好的kcf跟踪器是否存在遮挡；若存在遮挡，则返回“确定当前帧的所述二维视频序列图像中手部区域的空间尺度和位置，得到不同空间尺度下的对应位置的图像”步骤。
16.可选的，所述确定当前帧的所述二维视频序列图像中手部区域的空间尺度和位置，具体包括：
17.对当前帧的所述二维视频序列图像的大小和变换角度进行处理，确定手部区域的空间尺度；
18.利用手部肤色均值迭代分割法和背景减除法处理当前帧的所述二维视频序列图
像，确定手部区域的位置。
19.可选的，所述利用所述训练样本训练kcf跟踪器，得到训练好的kcf跟踪器，具体包括：
20.利用岭回归算法处理所述训练样本，确定正则风险最小kcf跟踪器；
21.利用核岭回归算法优化所述正则风险最小kcf跟踪器，得到训练好的kcf跟踪器。
22.可选的，所述利用岭回归算法处理所述训练样本，确定正则风险最小kcf跟踪器，具体包括：
23.将所述训练样本循环偏移得到循环矩阵；
24.在傅里叶空间中利用所述循环矩阵计算所述kcf跟踪器中分类器的权重向量；
25.根据所述权重向量计算残差函数的值；
26.当所述残差函数的值最小时，将此时的kcf跟踪器作为所述正则风险最小kcf跟踪器。
27.可选的，所述利用核岭回归算法优化所述正则风险最小kcf跟踪器，得到训练好的kcf跟踪器，具体包括：
28.对不同的训练样本的乘积的核函数进行循环偏移，得到训练核函数循环矩阵；
29.在傅里叶空间中利用所述训练核函数循环矩阵计算学习系数；
30.根据所述核函数变换矩阵计算学习系数；
31.根据所述学习系数和所述训练样本的核函数对所述权重向量变换，得到第一变换后权重向量；
32.根据所述第一变换后权重向量对所述正则风险最小kcf跟踪器进行变换，得到变换后的kcf跟踪器；
33.将所述变换后的kcf跟踪器作为训练好的kcf跟踪器。
34.可选的，所述利用所述训练好的kcf跟踪器计算所述待跟踪样本的响应，具体包括：
35.对所述训练样本和所述待跟踪样本的乘积的核函数进行循环偏移，得到混合核函数循环矩阵；
36.对所述混合核函数循环矩阵进行傅里叶变换，得到混合核函数变换矩阵；
37.将所述混合核函数变换矩阵代入至所述训练好的kcf跟踪器，得到所述待跟踪样本的响应值。
38.可选的，在所述当响应最大时，输出对应的待跟踪样本的空间尺度下的位置之后，还包括：
39.将当前帧以前所有帧中不同手部区域的空间尺度对应位置的图像作为新的训练样本；
40.根据所述新的训练样本更新所述学习系数，得到更新后的kcf跟踪器；
41.将所述更新后的kcf跟踪器作为新的训练好的kcf跟踪器，返回“确定下一帧的所述二维视频序列图像中手部区域的空间尺度，得到不同尺度下的目标追踪图像”步骤。
42.可选的，所述训练好的kcf跟踪器的表达式为：
43.44.其中，f(z)表示手部区域的位置；w表示所述分类器的权重向量；z表示所述待跟踪样本；i表示对一帧图像中第i个空间尺度的对应位置的图像；n表示一帧图像中不同空间尺度下的对应位置的图像个数；α
i
表示一帧图像中第i个空间尺度的对应位置的图像的学习系数；κ(z,x
i
)表示所述待跟踪样本和第i个空间尺度的对应位置的图像的乘积的核函数。
45.一种手部区域跟踪系统，包括：
46.采集模块，用于获取移动ar装配系统中的二维视频序列图像；
47.当前帧图像确定模块，用于确定当前帧的所述二维视频序列图像中手部区域的空间尺度和位置，得到不同空间尺度下的对应位置的图像；
48.训练样本确定模块，用于将所述不同空间尺度下的对应位置的图像作为训练样本；
49.训练模块，用于利用所述训练样本训练kcf跟踪器，得到训练好的kcf跟踪器；
50.下一帧图像确定模块，用于确定下一帧的所述二维视频序列图像中手部区域的空间尺度，得到不同尺度下的目标追踪图像；
51.测试样本确定模块，用于将所述不同尺度下的目标追踪图像作为待跟踪样本；
52.相应计算模块，用于利用所述训练好的kcf跟踪器计算所述待跟踪样本的响应；
53.输出模块，用于当响应最大时，输出对应的待跟踪样本的空间尺度下的位置。
54.根据本发明提供的具体实施例，本发明公开了以下技术效果：
55.本发明提供的一种手部区域跟踪方法及系统，通过对输入的二维视频序列图像利用手部肤色分割和背景减除的方法确定待注册的手部区域位置，然后将速度性能表现优异相关滤波kcf算法应用于手部区域跟踪，使训练所得的分类器对待检测目标的解释力更强，因而对目标图像手部区域位置的追踪更准确；并且使用kcf算法对手部区域的跟踪速率有明显提升。通过分析之前所有帧的跟踪更新策略实现对训练样本更新，有效地降低了手部区域跟踪时复杂环境的影响，实现了kcf算法对手部区域的自适应跟踪，进而实现复杂环境下对手部区域实时、准确及稳定的跟踪，为指尖点准确实时检测识别提供支撑。
附图说明
56.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
57.图1为本发明实施例1提供的一种手部区域跟踪方法的流程图；
58.图2为本发明实施例1提供的一种手部区域跟踪方法中利用所述训练样本训练kcf跟踪器得到训练好的kcf跟踪器的具体方法流程图；
59.图3为本发明实施例2提供的一种手部区域跟踪系统的结构图。
具体实施方式
60.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
61.本发明的目的是提供一种手部区域跟踪方法及系统，以提高手部区域跟踪的精度。
62.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
63.实施例1：
64.自然指尖点交互的移动ar装配系统跟踪注册方法通过自适应相关滤波的手部区域跟踪，可为自然指尖点交互在ar装配系统中的应用提供支撑，使得自然视频序列手部区域跟踪成为自然指尖点移动ar装配系统的基础，因此需要在手部发生形变、光照、尺度、旋转等复杂环境下依然能够实时精确地对手部区域进行跟踪，同时解决手部区域跟踪中存在的目标模板漂移问题，成为自然指尖点移动ar装配系统中需要解决的关键问题。现有的slam技术和深度学习方法并不能够保证对手部区域跟踪的实时性和精度。
65.对此，本实施例1提供了一种手部区域跟踪方法，其利用交互控制理论并结合相对应的机器视觉理论，同时融合核相关滤波跟踪(kernelcorrelation filter，kcf)算法，检测跟踪手部区域位置，提高复杂环境下手部区域跟踪的精度和实时性，同时解决手部区域跟踪中存在的目标模板漂移问题。如图1所示，本实施例1提供的一种手部区域跟踪方法，包括：
66.s1：获取移动ar装配系统中的二维视频序列图像；
67.采集自然指尖点交互的移动ar装配系统中的二维视频序列图像；
68.s2：确定当前帧的所述二维视频序列图像中手部区域的空间尺度和位置，得到不同空间尺度下的对应位置的图像，具体包括：
69.s21：对当前帧的所述二维视频序列图像的大小和变换角度进行处理，确定手部区域的空间尺度；
70.s22：利用手部肤色均值迭代分割法和背景减除法处理当前帧的所述二维视频序列图像，确定手部区域的位置，实现对手部区域定位；
71.s3：将所述不同空间尺度下的对应位置的图像作为训练样本；
72.s4：利用所述训练样本训练kcf跟踪器，得到训练好的kcf跟踪器，参阅图2，具体包括：
73.s41：利用岭回归算法处理所述训练样本，确定正则风险最小kcf跟踪器。
74.利用kcf跟踪算法对训练样本的训练过程实际上可以看成是一个岭回归问题，而训练是为了找到回归函数f(z)＝w
t
z，使得残差函数最小：
[0075][0076]
其中，z表示待跟踪样本；w表示分类器的权重向量；w
t
为w的转置；x
i
表示训练样本中第i个空间尺度对应的手部区域图像；y
i
表示训练样本中第i个空间尺度对应的手部区域位置，这里也代表回归值，训练样本表示为{(x1,y1),(x2,y2),...,(x
i
,y
i
),...}；λ为防止过拟合的正则化参数。
[0077]
观察式(1)可知残差函数的解可由w计算得到：
[0078]
w＝(x
t
x+λi)
‑1x
t
y
ꢀꢀꢀꢀ
(2)
[0079]
其中，x为训练样本中的特征向量占一行组成的样本矩阵，x
t
为x的转置，y为样本回归值y
i
组成的列向量，i为单位矩阵，λ为防止过拟合的正则化参数。由于训练样本的计算需在傅里叶空间中进行，在此给出复数下的求解结果为：
[0080]
w＝(x
h
x+λi)
‑1x
h
y
ꢀꢀꢀꢀ
(3)
[0081]
其中，x
h
为x的共轭转置。
[0082]
因此，根据式(3)计算权重向量w，从而计算残差函数的值；并在残差函数的值最小时，获得正则风险最小kcf跟踪器(即残差函数的值最小时对应的回归函数)。
[0083]
虽然上述方法可以获得正则风险最小kcf跟踪器，但是随着训练样本数目的增加，式(3)的求逆计算耗时严重，因此为了简化式(3)的计算，提高算法的计算效率，要利用循环矩阵的性质避开矩阵求逆的运算。该过程具体包括：
[0084]
(1)将训练样本循环偏移得到循环矩阵，循环矩阵表示为：
[0085][0086]
其中，x＝{x
1 x
2 x3ꢀ…ꢀ
x
n
}，表示循环矩阵的第一行，x
n
表示训练样本中第n个空间尺度对应的手部区域图像。
[0087]
(2)在傅里叶空间中利用循环矩阵计算kcf跟踪器中分类器的权重向量；
[0088]
由于循环矩阵x具备的性质，其中为x的傅里叶变换，f为傅里叶变化矩阵。因此将循环矩阵x代入式(3)，并且等式两边乘f得：
[0089][0090]
其中，w*为w的共轭，
⊙
为向量对应元素相乘，变换后权重向量w的求解变换到傅里叶空间中，从而减少了计算量。
[0091]
因此根据权重向量w可计算残差函数的值；
[0092]
当所述残差函数的值最小时，将此时的kcf跟踪器作为所述正则风险最小kcf跟踪器。
[0093]
s42：利用核岭回归算法优化所述正则风险最小kcf跟踪器，得到训练好的kcf跟踪器。
[0094]
当训练样本线性可分时，可以利用岭回归算法得到线性分类器，从而获得正则风险最小kcf跟踪器；但是当训练样本线性不可分时，就需要采用核岭回归算法对分类器进行优化，提高分类器的性能，通过引入核函数将样本的特征空间映射到一个更高维的空间中去。
[0095]
假设核函数为则分类器的权重向量变为那么求解参数就由w变为α，其中α＝{α1,α2,...,α
i
,...}
t
。由于不确定核函数映射的高维空间，计算不同训练样本的乘积的核函数，即k
ij
＝κ(x
i
,x
j
)，其中x
i
表示训练样本中第i个空间尺度的手部区域图像，x
j
表示训练样本中第j个空间尺度的手部区域图像，则最终的回归函数变为：
[0096][0097]
虽然上述过程根据将式(6)可以得到训练好的kcf跟踪器，但是由于式(6)计算耗时严重，存在计算速率慢的问题。因此为了进一步提高kcf跟踪器的跟踪速率，需要结合循环矩阵的特性进行优化。
[0098]
式(6)的正则最小二乘解为α＝(k+λi)
‑1y，其中，α表示学习系数；k为不同的训练样本的乘积的核函数组成的矩阵，如gauss核函数、多项式核函数；y为样本回归值y
i
组成的列向量，i为单位矩阵，λ为防止过拟合的正则化参数。
[0099]
优化α即可完成对kcf跟踪器的优化，具体过程包括：
[0100]
对不同的训练样本的乘积的核函数进行循环偏移，得到训练核函数循环矩阵；
[0101]
在傅里叶空间中利用所述训练核函数循环矩阵计算学习系数，即
[0102][0103]
其中，k
xx
是训练核函数循环矩阵的第一行元素组成的向量；α
*
为α的共轭。
[0104]
s5：确定下一帧的所述二维视频序列图像中手部区域的空间尺度，得到不同尺度下的目标追踪图像；
[0105]
s6：将所述不同尺度下的目标追踪图像循环偏移得到待跟踪样本；
[0106]
s7：利用所述训练好的kcf跟踪器计算所述待跟踪样本的响应：
[0107]
待跟踪样本的响应为f(z)＝(k
z
)
t
α。为了提高计算速率，在计算过程中引入循环矩阵特性，并在傅里叶空间中计算，因此该过程为：
[0108]
s71：对所述训练样本和所述待跟踪样本的乘积的核函数进行循环偏移，得到混合核函数循环矩阵：
[0109]
k
xx
'＝g(c(x')x)(8)
[0110]
其中，g()表示训练样本和待跟踪样本的乘积的核函数，k
xx
'是混合核函数循环矩阵k
z
的第一行元素组成的向量，c(x')是以x'为第一行的循环矩阵，x'表示待跟踪样本中手部区域图像；
[0111]
s72：对所述混合核函数循环矩阵进行傅里叶变换，得到混合核函数变换矩阵：
[0112][0113]
其中，
⊙
为向量对应元素相乘；
[0114]
s73：将所述混合核函数变换矩阵代入至所述训练好的kcf跟踪器，即式(6)，得到所述待跟踪样本的响应值；
[0115]
s8：当响应最大时，输出对应的待跟踪样本的空间尺度下的位置。
[0116]
作为一种可选的实施方式，在s4之后，判断所述训练好的kcf跟踪器是否存在遮挡；若存在遮挡，则返回“确定当前帧的所述二维视频序列图像中手部区域的空间尺度和位置，得到不同空间尺度下的对应位置的图像”步骤。
[0117]
上述方法中的学习系数和训练样本的计算只考虑了当前帧图像的影响，采用的是按照一定比例更新最新训练的权重向量到现有的权重向量中去，这样很大程度上限制了跟踪更新的鲁棒性。由于手部区域经常受到环境影响而变化，需及时更新训练样本来适应手部区域的变化。因此，在kcf跟踪器实时更新时，考虑当前帧n之前所有帧的影响来计算学习
系数和目标模型。
[0118]
在s8之后，还包括：
[0119]
假设从第1帧到第n帧的目标模型为{x
j
:j＝1,
…
,n}，则式(1)可修改为：
[0120][0121]
将当前帧以前所有帧中不同手部区域的空间尺度对应位置的图像作为新的训练样本，此过程的目的是更新目标模型：
[0122]
x
n
＝(1
‑
ξ)x
n
‑1+ξx
ꢀꢀꢀꢀ
(11)
[0123]
其中ξ为学习因子，x
n
、x
n
‑1分别为当前帧的目标模型和上一帧的目标模型；
[0124]
根据新的训练样本更新所述学习系数，得到更新后的kcf跟踪器；
[0125]
第n帧手部区域图像的学习系数为：
[0126][0127]
其中，的元素为可得kcf的响应为最大的位置就是检测到的手部区域，学习系数的分子和分母的更新分别采用：
[0128][0129][0130]
其中，ξ为学习因子，为当前帧学习系数的分子，和上一帧学习系数的分子，为当前帧学习系数的分母，和上一帧学习系数的分母。
[0131]
本实施通过首先对自然指尖点交互的移动ar装配系统采集二维视频序列图像，并对采集的图像从图像大小、变换角度方面进行预处理，利用手部肤色均值迭代分割和apbs背景减除的方法确定待注册的手部区域位置，实现对手部区域定位；然后将速度性能表现优异相关滤波kcf算法应用于手部区域跟踪，并采用考虑之前所有帧的策略来解决kcf算法每帧图像训练的权重向量更新问题，实现kcf算法对手部区域的自适应跟踪，进而实现复杂环境下对手部区域实时、准确及稳定的跟踪，为指尖点准确实时检测识别提供支撑。
[0132]
本实施提供的一种手部区域跟踪方法优点如下：
[0133]
1、在背景变化(背景1、背景2)、光照变化(强光、弱光)、尺度变化(缩小、放大)、旋转(小幅度、大幅度)等复杂环境下对手部区域视频序列进行手部区域跟踪，可在复杂环境下成功检测到手部区域轮廓；
[0134]
2、对于握拳、单指、双指、三指、四指、五指、数字六、大拇指8种指尖点视频序列，采用该方法对手部区域跟踪，在复杂环境下自适应滤波算法均可以成功检测并实时准确地跟踪到手部区域。
[0135]
3、利用自适应相关滤波的手部区域跟踪，可实现在发生形变、光照、旋转等复杂环境下对手部区域的稳定跟踪，并利用基于k
‑
cos与平行向量的指尖点检测识别，可提高指尖
点识别理解的准确性和稳定性，使得指尖点检测识别准确率约为93％。
[0136]
实施例2：
[0137]
参阅图3，本实施例还提供了一种手部区域跟踪系统，包括：
[0138]
采集模块m1，用于获取移动ar装配系统中的二维视频序列图像；
[0139]
当前帧图像确定模块m2，用于确定当前帧的所述二维视频序列图像中手部区域的空间尺度和位置，得到不同空间尺度下的对应位置的图像；
[0140]
训练样本确定模块m3，用于将所述不同空间尺度下的对应位置的图像作为训练样本；
[0141]
训练模块m4，用于利用所述训练样本训练kcf跟踪器，得到训练好的kcf跟踪器；
[0142]
下一帧图像确定模块m5，用于确定下一帧的所述二维视频序列图像中手部区域的空间尺度，得到不同尺度下的目标追踪图像；
[0143]
测试样本确定模块m6，用于将所述不同尺度下的目标追踪图像作为待跟踪样本；
[0144]
相应计算模块m7，用于利用所述训练好的kcf跟踪器计算所述待跟踪样本的响应；
[0145]
输出模块m8，用于当响应最大时，输出对应的待跟踪样本的空间尺度下的位置。
[0146]
本说明书中每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0147]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。