一种基于肤色模板的特征跟踪方法及装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理技术，尤其涉及一种基于肤色模板的特征跟踪方法及装置。
【背景技术】
[0002] 随着运动目标检测技术的快速发展，相应的产生了多种用于对运动目标进行检测 的方法，例如现有技术中基于运动目标的颜色特征、运动信息、运动模型等建立相应的检测 方法，而其中运动目标的特征检测与跟踪是研究的重要基础和关键技术，例如可以对处于 运动状态人的手部、脸部所拍摄的图像序列的特征进行检测和跟踪，可以实现对于人的手 势、人的脸部等的识别。
[0003] 基于运动目标的颜色特征的检测方法有均值漂移、连续的自适应均值漂移等方 法，此类方法在一些简单场景下可以实现较好的人的手势等的跟踪。基于运动目标的运动 信息的检测方法有光流法、卡尔曼滤波（Kalman FiIter)、粒子滤波（Particle Filter)等 方法。其中，光流法可以利用含有运动目标的图像序列中像素的强度在时域、空域的变化， 进而推算出所述运动目标的运动场（Motion Field)，最终实现对于运动目标的跟踪，所述 光流根据计算所需的像素点的多少，光流可以分为稠密光流和稀疏光流。此外，也有基于运 动模型的检测方法，此类方法中首先建立运动目标的2D或3D模型，例如建立人手的2D或 3D模型，在对目标跟踪的过程中，根据实际情况对建立的模型的参数进行迭代、优化，从而 使其不断的适应手势的变化，实现对于手势的跟踪。
[0004] 在上述对运动目标进行检测的方法中，基于颜色特征的方法通常难以适应复杂场 景、光照变化剧烈等情况，当存在较多与运动目标相似颜色的背景像素时，基于颜色信息的 检测方法中容易发生跟踪窗口漂移、发散等问题。基于运动信息的方法中通常是利用运动 目标的纹理信息来选择特征点进行跟踪，但在一些复杂场景时跟踪效果较差，而且对于运 动目标的任意姿态变化、运动目标的遮挡等情况难以有效进行处理。基于运动模型的方法 通常都计算量非常大。
[0005] 相关技术可参考公开号为US2013259317A1的美国专利申请。
【发明内容】
[0006] 本发明解决的问题由于复杂场景、光照变化、运动目标姿态变化等复杂条件的影 响，而导致的运动目标的跟踪结果不准确的问题。
[0007] 为解决上述问题，本发明技术方案提供一种基于肤色模板的特征跟踪方法，所述 方法包括：
[0008] 建立肤色模板；
[0009] 通过核函数对所述肤色模板进行加权处理，以获得联合模板；
[0010] 获取图像的跟踪窗口所含有的特征点；
[0011] 基于稀疏光流算法对所述特征点进行跟踪；
[0012] 基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少 一种操作。
[0013] 可选的，所述方法还包括：在建立肤色模板之前，对用于建立肤色模板的图像进行 校正。
[0014] 可选的，所述对用于建立肤色模板的图像进行校正的过程包括：
[0015] 通过公式
【主权项】
1. 一种基于肤色模板的特征跟踪方法，其特征在于，包括： 建立肤色模板； 通过核函数对所述肤色模板进行加权处理，W获得联合模板； 获取图像的跟踪窗口所含有的特征点； 基于稀疏光流算法对所述特征点进行跟踪； 基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种 操作。
2. 如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，还包括：在建立肤 色模板之前，对用于建立肤色模板的图像进行校正。
3. 如权利要求2所述的基于肤色模板的特征跟踪方法，其特征在于，所述对用于建立 肤色模板的图像进行校正的过程包括： 通过公式
?获取校正参数M(top)，其中，m为像素点的灰度 值，L为灰度阔值，f(m)为图像中灰度值为m的像素点的个数，所述灰度阔值是由图像中亮 度值大于亮度阔值的像素点的个数占图像总像素点个数的比例确定的； 对图像中的每一个像素点，通过公式
获取校正后的该 像素点的颜色值Y (new)，其中，Y (old)是校正前的该像素点的颜色值。
4. 如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，所述建立肤色模 板包括基于楠圆肤色模型或者高斯肤色模型中的任意一种模型建立肤色模板。
5. 如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，所述核函数包括 化anechn化0V核函数和高斯核函数中的任意一种。
6. 如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，所述通过核函数 对所述肤色模板进行加权处理，W获得联合模板的过程包括： 通过公式.
获得加权模板KM，其中，i，j分 别为加权模板内像素点在X方向上、Y方向上的索引值，a,b分别为核函数在X方向、Y方向 上的窗宽； 通过公式JM=SM?KM对肤色模板进行加权，W获得联合模板，其中JM为联合模 板，SM为肤色模板，KM为加权模板，运)表示对SM和KM中相同位置的值进行乘积运算。
7. 如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，所述获取跟踪窗
口所含有的特征点的过程包括： 通过下述公式获取图像的跟踪窗口内的所有像素点的自相关矩阵：
其中，M(x，y)表示坐标为 (x，y)的像素点的自相关矩阵，i，j为跟踪窗口内的像素点分别在X方向和Y方向上的索 引值，w(i，如为在X方向上的索引值为i、在Y方向上的索引值为j处的像素点的权重值， K为所述跟踪窗口的二分之一宽度值，ly和ly分别是X方向索引值为i、在Y方向上的索引 值为j处的像素点在X方向上偏导数值和在Y方向上的偏导数值； 基于所述像素点的自相关矩阵，获取所述像素点的自相关矩阵的最大特征值和最小特 征值； 当A (min)〉AX A (max)时，确定所述像素点为跟踪窗口所含有的特征点；或者，当 入（min)〉AX A (max)时，且所述像素点距离其它已确定的特征点的距离大于距离阔值时， 确定所述像素点为跟踪窗口所含有的特征点；其中A (max)为所述像素点的自相关矩阵的 最大特征值，A (min)为所述像素点的自相关矩阵的最小特征值，A为特征阔值，基于联合 模板的大小确定所述距离阔值。
8. 如权利要求7所述的基于肤色模板的特征跟踪方法，其特征在于，所述特征阔值的 取值为0.001?0.01。
9. 如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，还包括：在获取图 像的跟踪窗口所含有的特征点之后，基于稀疏光流算法对所述特征点进行跟踪之前，基于 所述联合模板对跟踪前所述跟踪窗口所含有的特征点