专利名称：用于视频序列的多角度多目标快速人脸跟踪方法
技术领域：
本发明涉及的是一种视频处理技术领域的方法，具体是一种用于视频序列的多角
度多目标快速人脸跟踪方法。
背景技术：
视频序列中的人脸检测与跟踪技术具有广泛的应用前景，在国家安全、军事安全 和公共安全领域，智能门禁、智能视频监控、公安布控、海关身份验证、司机驾照验证等都有 广泛的应用。 经过对现有技术的检索发现，基于级联结构的AdaBoost人脸检测方法，目前被认 为是有效的人脸检测方案，如中国专利文献号CN101350062A，
公开日2009_1_21，记载了一 种"基于视频的快速人脸检测方法"，该技术通过预处理利用视频帧间的时空域特征进行前 景区域的人脸检测，将人脸检测过程分为审查模式和跟踪模式两种不同的模式。如果跟踪 模式中无法在预测区域检测到人脸或者预测到在下一帧中正在跟踪的人脸将脱离监控区 域，检测流程转入审查模式，对前景区域做全面的搜索，重新收集监控区域的人脸信息。该 方案利用训练好的正面人脸分类器，对前景预测区域进行人脸检测，以达到提高检测速度 的目的。但是，对于视频序列中的多个角度人脸目标，仅仅依靠AdaBoost检测和前景预测 方法，通过对视频中的每一帧用不同角度的人脸分类器进行检测，难以达到视频跟踪实时 性的要求。
发明内容
本发明针对现有技术存在的上述不足，提供一种用于视频序列的多角度多目标快
速人脸跟踪方法，能够快速排除非人脸区域，使视频序列的实时多角度多人脸目标跟踪成
为可能；同时，通过引入卡尔曼滤波器，在视频序列中出现目标遮挡时，利用卡尔曼滤波器
的预测结果，更新被遮挡目标的位置，可以较好地克服由遮挡带来的跟踪困难。 本发明是通过以下技术方案实现的，本发明包括步骤 第一步、多角度人脸快速检测对视频序列中的待检测帧进行肤色分割，用不同角 度的人脸分类器对肤色区域进行人脸检测，并融合人脸检测结果。 所述的肤色分割是指利用肤色特征，将待检测帧由RGB颜色空间转化到HSV颜色 空间，然后按照人脸肤色模型，提取出肤色区域并剔除非肤色区域。 所述的肤色特征是指人体皮肤的颜色相对于其他物体是人体表面最为显著的特 征之一，能够利用肤色这一特征将人体与其他物体区分开来。 所述的人脸肤色模型是指利用肤色在通常的光照条件下，会集聚在色彩空间中 某个特定的区域内的特性，通过对肤色图像采样建立一个分布函数或寻找肤色分布的合适 阈值，就能够将肤色区域从背景图像中提取出来。 所述的人脸检测是指先利用积分图计算候选区域内的肤色面积，当肤色面积小 于设定的阈值，则排除该肤色面积对应的区域，否则利用AdaBoost算法训练得到的人脸分类器对候选区域进行检测，如果检测结果为真，则候选区域为人脸区域；否则，候选区域为 非人脸区域。 所述的肤色面积为Sskin = iiA+iiD_(iiB+iic)，其中Sskin表示矩形区域ABCD内肤 色面积，取值范围为0至lj 255X矩形ABCD的宽度X矩形ABCD的高度，iit为在点t处的积 分图，取值范围为0到255X待检测图像宽度X待检测图像高度。 第二步、当两个人脸目标区域没有出现重叠，则对每一个对人脸区域建立H通道 颜色直方图并计算H通道颜色直方图，然后用Camshift迭代算法计算人脸目标位置，更新 卡尔曼滤波器人脸目标运动模型，否则执行第三步； 所述的计算H通道颜色直方图，是指由H通道颜色直方图计算待检测图像的颜色 概率图，以颜色亮度的高低作为判定质心位置准则，用Camshift迭代算法在颜色概率图中 计算搜索区域的质心位置，动态调整目标窗口大小，并卡尔曼滤波器建立的人脸运动模型。
第三步、目标遮挡时的人脸跟踪如果任意两个人脸目标出现重叠，由卡尔曼滤波 器预测被遮挡人脸的位置，同时利用卡尔曼预测的人脸位置来更新卡尔曼滤波器参数。
与现有技术相比，本发明能够显著提高检测、跟踪的速度，实现多角度、多人脸的 实时跟踪，对480X320的视频，每秒跟踪速度可达35帧以上。对于一般场景中的多角度、 多人脸跟踪，准确率可达95 %以上。
图l为本发明流程图。
图2为待测图例； 其中a为对正面人脸检测图例；b为对左半边人脸检测图例；C为对右半边人脸 检测图例；d为对正面、侧面人脸检测融合后的图例。
图3为处理后图例； 其中a为经过肤色分割后的图例；b为颜色概率图。
图4为实施例部分跟踪结果示意图。
具体实施例方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行 实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施 例。
如图1所示，本实施例包括如下步骤 第一步、多角度人脸快速检测对待检测帧进行肤色分割，利用积分图快速剔除非 肤色区域，对肤色区域进行人脸检测，用不同角度的人脸分类器检测图像，融合最后的人脸 检测区域。 第二步、未出现目标遮挡时的人脸跟踪对人脸区域建立颜色直方图，计算待检测 图像的颜色概率图，用Camshift算法的迭代结果，更新人脸区域位置，同时更新由卡尔曼 滤波器建立的人脸运动模型。 第三步、目标遮挡时的人脸预测如果出现人脸遮挡，由卡尔曼滤波器预测人脸区 域位置，再更新人脸运动模型。
上述多角度人脸快速检测步骤如下 利用肤色特征，将图像由RGB颜色空间转化到HSV颜色空间，克服了 RGB颜色空间 对光照亮度变化比较敏感的缺陷，按照人脸肤色模型，提取出肤色区域，如图3a所示。在用 多角度人脸检测器检测图像前，先计算候选区域内的肤色面积，如果肤色面积小于设定的 阈值，则马上排除该区域，以提高检测的速度；否则利用AdaBoost算法训练得到的人脸分 类器对候选区域进行检测，如果检测结果为真，则候选区域为人脸区域；否则，候选区域为 非人脸区域。 而候选区域的肤色面积，可以直接由积分图求得Sskin二 i"+ii。-(iie+iic)，如图 3a所示，其中Sskin表示矩形区域ABCD内肤色面积，取值范围为
，iit为在点t处的积分图，取值范围为
。 最后融合各个角度人脸检测器检测得到的人脸区域，检测结果如图2所示，图2中 的a、 b、 c和d分别表示正面、左侧、右侧人脸和最后融合各个角度的人脸检测结果。
上述未出现目标遮挡时的人脸跟踪方法具体实现方法如下 判断人脸目标区域间的相对位置，如果任意两个人脸区域没有出现重叠，计算由
步骤1)得到的每个人脸区域的H通道颜色直方图，由H通道颜色直方图，计算待检测图像
的颜色概率图，如图3b所示，亮度越高越接近人脸颜色，用Camshift迭代算法，在颜色概率
图中计算搜索区域的质心位置，动态调整目标窗口大小，更新人脸区域位置，同时更新由卡
尔曼滤波器建立的人脸运动模型。 上述目标遮挡时的人脸预测实现方法如下 判断人脸目标区域间的相对位置，如果任意两个人脸区域出现重叠，由卡尔曼滤 波器人脸运动模型预测被遮挡的人脸区域位置，同时利用卡尔曼预测的人脸区域位置来更 新卡尔曼滤波器人脸运动模型参数。预测过程即如图l中的虚线所示。预测结果如图4第 3和第20帧，当两个人脸区域出现重叠时，由卡尔曼滤波器人脸运动模型进行预测(白色矩 形框所示)，甚至在人脸完全被遮挡时，卡尔曼滤波器人脸运动模型依然能预测到人脸的所 在位置。
权利要求
一种用于视频序列的多角度多目标快速人脸跟踪方法，其特征在于，包括以下步骤第一步、多角度人脸快速检测对视频序列中的待检测帧进行肤色分割，用不同角度的人脸分类器对肤色区域进行人脸检测，并融合人脸检测结果；第二步、当两个人脸目标区域没有出现重叠，则对每一个对人脸区域建立H通道颜色直方图并计算H通道颜色直方图，然后用Camshift迭代算法计算人脸目标位置，更新卡尔曼滤波器人脸目标运动模型，否则执行第三步；第三步、目标遮挡时的人脸跟踪如果任意两个人脸目标出现重叠，由卡尔曼滤波器预测被遮挡人脸的位置，同时利用卡尔曼预测的人脸位置来更新卡尔曼滤波器参数。
2. 根据权利要求1所述的用于视频序列的多角度多目标快速人脸跟踪方法，其特征 是，所述的肤色分割是指利用肤色特征，将待检测帧由RGB颜色空间转化到HSV颜色空间， 然后按照人脸肤色模型，提取出肤色区域并剔除非肤色区域。
3. 根据权利要求2所述的用于视频序列的多角度多目标快速人脸跟踪方法，其特征 是，所述的人脸肤色模型是指通过对肤色图像采样建立一个分布函数或寻找肤色分布的 合适阈值，将肤色区域从背景图像中提取出来。
4. 根据权利要求1所述的用于视频序列的多角度多目标快速人脸跟踪方法，其特征 是，所述的人脸检测是指先利用积分图计算候选区域内的肤色面积，当肤色面积小于设定 的阈值，则排除该肤色面积对应的区域，否则利用AdaBoost算法训练得到的人脸分类器对 候选区域进行检测，如果检测结果为真，则候选区域为人脸区域；否则，候选区域为非人脸 区域。
5. 根据权利要求1所述的用于视频序列的多角度多目标快速人脸跟踪方法，其特征 是，所述的肤色面积为Sskin = iiA+iiD_(iiB+iic)，其中S^表示矩形区域ABCD内肤色面 积，取值范围为0到255X矩形ABCD的宽度X矩形ABCD的高度，iit为在点t处的积分 图，取值范围为0到255X待检测图像宽度X待检测图像高度。
6. 根据权利要求1所述的用于视频序列的多角度多目标快速人脸跟踪方法，其特征 是，所述的计算H通道颜色直方图，是指由H通道颜色直方图计算待检测图像的颜色概率 图，以颜色亮度的高低作为判定质心位置准则，用Camshift迭代算法在颜色概率图中计算 搜索区域的质心位置，动态调整目标窗口大小，并卡尔曼滤波器建立的人脸运动模型。
全文摘要
一种视频处理技术领域的用于视频序列的多角度多目标快速人脸跟踪方法，通过多角度人脸快速检测以及对人脸区域建立颜色直方图，计算待检测图像的颜色概率图，用Camshift算法的迭代结果，更新人脸区域位置，同时更新由卡尔曼滤波器建立的人脸运动模型，同时，当目标遮挡时则进行人脸预测如果出现人脸遮挡，由卡尔曼滤波器预测人脸区域位置，再更新人脸运动模型。本发明能够快速排除非人脸区域，使视频序列的实时多角度多人脸目标跟踪成为可能；同时，通过引入卡尔曼滤波器，在视频序列中出现目标遮挡时，利用卡尔曼滤波器的预测结果，更新被遮挡目标的位置，可以较好地克服由遮挡带来的跟踪困难。
文档编号G06K9/00GK101794385SQ20101012949
公开日2010年8月4日 申请日期2010年3月23日 优先权日2010年3月23日
发明者潘杰, 熊惠霖 申请人:上海交通大学