专利名称：视频监控图像中最清晰人脸的捕捉方法
技术领域：
本发明涉及一种视频监控图像中最清晰人脸的捕捉方法，是一种摄像头监控 领域中的信息处理方法。
背景技术：
目前，单摄像头的监控广泛应用于工业控制，安全保障，交通监控，门禁系 统等领域。在很多领域(如安保系统，门禁系统)需要自动的将人脸的图像 在视频中检测出，并且记录。由于视频记录的是连续的图像，同一个人根据其 停留时间的长短可以产生几千至几万幅图像，如果将其全部记录是一种对空间 的浪费，也为后期的査找工作带来很大的麻烦，选择其中清晰度高的记录是一 种直观的可行办法。由于光线，视角，遮挡等因素，视频中检测到的人脸并不 总是正面清晰的，很可能是模糊的，从大量的连续图像中自动的选取一个清晰 人脸成为一个难题。
经过对现有技术文献的查找发现，Ying-Li Tian等人在2005年的Computer Viskm and Pattern Recognition (计算机视觉与模式识别)会议上发表了题为 "Robust and efficient foreground analysis for real-time video surveillance"(实时视步页 监控中鲁棒有效的前景分析)的论文，该文用混合高斯模板的方法对背景进行 建模，然后通过灰度和纹理信息去除阴影，最后在得到的前景中检测人脸。该 方法很好的解决了甜景(人脸)的检测和跟踪问题，但是无法自动的从连续获 得的人脸图像中选择高清晰度的图像，没有解决从这一系列图像中选取清晰图 像的问题。
发明内容
本发明的目的在于针对现有技术的不足，提出一种视频监控图像中最清晰人 脸的捕捉方法，能够自动的从连续获得的人脸图像中选择高清晰度的图像。
为实现上述目的，本发明利用快速离散傅里叶变换的方法，在大量人脸序列图像中选择最清晰人脸，包括视频的获取；利用直方图均衡化、图像形态学 处理等方法对图像预处理；利用快速目标检测的方法进行人脸检测；根据速度 估计跟踪人脸；利用快速离散傅里叶变换对人脸进行选择。 本发明的方法通过以下步骤实现
1、 对监控区域摄像头捕获的视频进行图像预处理，调整亮度值后将彩色图 像转化为黑白图像，对图像进行直方图均衡化使整个图像的灰度平衡，然后对 图像进行形态学处理。
2、 对形态学处理后的每一帧图像用开源函数库opencv中改进的AdaBoost 方法检测人脸；对检测到的人脸利用剔除区域相互包含的方法和YCbCr统计特 性的方法去除不正确的人脸；对每一帧图像都使用上述人脸检测算法检测人脸； 记录人脸大小及坐标并且通过前后多帧图像中的人脸位置估计人脸运动的方向 和速度。
3、 如果在前后两帧图像中都检测到了人脸，并且后一帧的人脸在前一帧人 脸的坐标附近，则认为是同一个人脸；如果在前帧图像中未检测到人脸而在后 一帧图像中检测到，则认为是新出现的人脸；如果在前帧图像中检测到人脸而 在后一帧中未检测到，根据人脸消失时间及人脸在图像中的位置来判断人是否 离开监控区域；以此来实现人脸的跟踪，并保存所有检测到的人脸图像作为候 选图像。
4、 对同一个人的所有候选图像进行归一化，使之拥有相同的大小，然后去 除这些候选图像的边框部分，对剩余部分做快速离散傅里叶变换，得到傅里叶 变换值；将所有傅里叶变换值中最大的M个值所对应的候选图像挑选出来，从 中选择一个像素最多的图像保存，完成视频监控图像中最清晰人脸的捕捉；其 中M为傅里叶变换值总数量的5 — 10%。
图像是否清晰在频域是由其高频分量决定的，而高频分量越丰富，其傅里 叶变换值越大，通过一定的预处理，可以使傅単叶变换值与清晰度成正比关系， 以此来选择图像。
本发明与现有技术相比的显著效果在于更加快速的实现人脸的检测和跟
4踪，能够实时的处理监控视频。本发明能够从大量的人脸中选择最清晰的人脸 并且存储相关信息，不需要大量的空间存储监控视频，只需要少量空间存储关 键信息，节约了时间、空间和成本。
图1是本发明实施例中人脸跟踪部分的状态转移图。
具体实施例方式
下面结合附图和实施例对本发明的技术方案作详细说明。以下实施例在以本 发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的 保护范围不限于下述的实施例。
本实施例具体步骤如下
(1)视频捕获和图像预处理 由摄像头捕获视频，然后传输给后台程序进行处理。
对监控区域摄像头捕获的视频进行图像预处理，调整亮度值后将彩色图像 转化为黑白图像，对图像进行直方图均衡化使整个图像的灰度平衡，然后对图 像进行形态学处理。
为方便描述，假设此时环境亮度不高，先对亮度进行补偿。由于获取的图
像的表达方式一般是使用RGB (红绿蓝)值，先将图像转换为HSI (色调、色饱
和度、亮度)值表达，转换公式为
<formula>formula see original document page 5</formula>
其中
<formula>formula see original document page 5</formula> 式中，R表示红色分量，G表示绿色分量，B表示蓝色分量，H表示色调，S表示色饱和度，I表示亮度。然后增加适当的I值，这时将彩色图像转换为黑白图像。 将得到的黑白图像做直方图均衡化。对所得到的所有图像点的灰度进行统
计，得到每个灰度值的概率密度，对概率密度进行积分即可。 (2)人脸检测
对预处理后的每一帧图像用开源函数库opencv中改进的AdaBoost方法检测 人脸。尽管这个方法可以提供非常高的检测率和很低的错检率，但仍然会有一 些错误的区域被当做人脸，如不是皮肤颜色的区域和相互包含的区域。本发明 对检测到的人脸利用剔除区域相互包含的方法和YCbCr (亮度、蓝色色度、红色 色度)统计特性的方法去除不正确的人脸。首先检查各个被认为是人脸的区域 的坐标和大小，如果发现有一个大区域包含了一个小区域，去除那个较大的。 然后检测各个区域的颜色，大量的统计表明，在YCbCr颜色空间中，只有那些值 在0〈Y〈1.01 ，0.52<Cb<0.66,0.32<Cr<0.63范围内的区域才可能有人脸。如果颜色 不在这个范围内，除去此区域。
记录人脸大小及坐标并且通过前后多帧图像中的人脸位置估计人脸运动的 方向和速度。
(3)人脸跟踪
如果在前后两帧图像中都检测到了人脸，并且后一帧的人脸在前-一帧人脸 的坐标附近，则认为是同一个人脸；如果在前帧图像中未检测到人脸而在后一 帧图像中检测到，则认为是新出现的人脸；如果在前帧图像中检测到人脸而在 后一帧中未检测到，根据人脸消失时间及人脸在图像中的位置来判断人是否离 开监控区域；以此来实现人脸的跟踪，并保存所有检测到的人脸图像作为候选 图像。
图l给出了本实施例中人脸跟踪部分的状态转移图。如图1所示，本歩骤如 下所述为便于描述，先定义几个变量。数组变量PRE[]用来记录前一帧捕获的 人脸信息，数组变量CUR[]用来记录本帧捕获的人脸信息。数组变量有以下两种 主要状态有用，无用。有用表示这个变量正被用于记录信息，无用表示这个 变量没有被使用或者已经被废弃。有用状态又有三个分支状态新的，正常的，消失的。新的表示这个变量存储的是一个新探测到的人脸信息，并且其置信值 小于置信阈值下限，还不能认为这是一个人脸。正常的表示这个人脸连续多次 被检测到。消失的表示这个人脸以前是正常的，但在最近几帧中消失了，并且 消失时间小于消失时间阈值。
对每个变量CUR，先查询哪个PRE能够和它匹配，如果有匹配的，记录是数 组的第几个变量匹配。如果没有匹配的，则认为这个是新出现的人脸，将其信 息保存在一个无用的PRE中。
对于每一个匹配的PRE，考虑它的状态。如果它是新的，增加它的置信值， 保存人脸信息。如果它是正常的，只需要保存人脸信息。如果是消失的，这说 明再次找到了这个人，将其状态变更为正常的，保存人脸信息。
对于数组CUR[]中每一个CUR执行以上步骤，然后处理那些数组PRE[]中未 被匹配的。如果状态是新的并且置信值小于阈值，认为它是噪声，直接删除。 如果状态是新的但是置信值大于阈值，减小置信值。如果是正常的并且在图像 边界附近，认为它是走出了监控区域，输出现有信息。如果是正常的但是没有 在图像边界附近，将其标记为消失。如果状态是消失但是消失时间小于阈值， 增加消失时间。如果状态是消失的并且消失时间大于阈值，认为其消失了，输 出现有信息。
如果此帧需要输出信息则进入人脸选择歩骤，如果不需要则直接进入下一 轮回的获取视频。 (4)人脸选择
所述人脸选择部分主要通过快速离散傅里叶变换实现。首先对同一个人的 所有候选图像进行归一化，使之拥有相同的大小。然后去除这些候选图像的边 框部分，对剩余部分做快速离散傅里叶变换，得到傅里叶变换值。本实施例截 取候选图像正中间的20乘以20像素的图像，然后对这些图像进行快速离散傅里 叶变换，再将变换中心转移到图像中心。
接着开始计算图像的高频分量。为了计算图像的高频分量，先制作一个20 乘以20的权值矩阵，使得这个矩阵越靠近中间的值越小，越接近边缘的值越大。
7这是因为快速傅里叶变换将高频分量的信息变换到靠近边缘的地方。在本实施 例中，其中心圈的值是l，以后每向外一圈加l。
将这个权值矩阵的对应值和图像的对应值相乘后相加即得到傅里叶变换值。
比较所有傅里叶变换值的大小，选择其中最大的5个(即M-5， 一般的， 如果候选图像大于50个，则取M为傅里叶变换值总数量的5 — 10n/。)，从中选择一
个像素最多的图像保存。这个图像在清晰度和大小两方面都会很合适，使人眼 感觉非常清晰。到此，完成视频监控图像中最清晰人脸的捕捉。 最后将得到的人脸及其相关信息存储，以便以后的处理和使用。
权利要求
1、一种视频监控图像中最清晰人脸的捕捉方法，其特征在于包含以下步骤1)对监控区域摄像头捕获的视频进行图像预处理，调整亮度值后将彩色图像转化为黑白图像，对图像进行直方图均衡化使整个图像的灰度平衡，然后对图像进行形态学处理；2)对形态学处理后的每一帧图像用开源函数库opencv中改进的AdaBoost方法检测人脸；对检测到的人脸利用剔除区域相互包含的方法和YCbCr统计特性的方法去除不正确的人脸；记录人脸大小及坐标并且通过前后多帧图像中的人脸位置估计人脸运动的方向和速度；3)如果在前后两帧图像中都检测到了人脸，并且后一帧的人脸在前一帧人脸的坐标附近，则认为是同一个人脸；如果在前帧图像中未检测到人脸而在后一帧图像中检测到，则认为是新出现的人脸；如果在前帧图像中检测到人脸而在后一帧中未检测到，根据人脸消失时间及人脸在图像中的位置来判断人是否离开监控区域；以此来实现人脸的跟踪，并保存所有检测到的人脸图像作为候选图像；4)对同一个人的所有候选图像进行归一化，使之拥有相同的大小，然后去除这些候选图像的边框部分，对剩余部分做快速离散傅里叶变换，得到傅里叶变换值；将所有傅里叶变换值中最大的M个值所对应的候选图像挑选出来，从中选择一个像素最多的图像保存，完成视频监控图像中最清晰人脸的捕捉；其中M为傅里叶变换值总数量的5-10％。
全文摘要
本发明涉及一种视频监控图像中最清晰人脸的捕捉方法，利用快速离散傅里叶变换的方法选择最清晰人脸，包括视频的获取；利用直方图均衡化、图像形态学处理等方法对图像预处理；利用快速目标检测的方法进行人脸检测；利用剔除区域相互包含的方法和YCbCr统计特性的方法去除不正确的人脸；根据多帧图像中的人脸估计人脸的位置和速度以此来跟踪人脸；利用快速离散傅里叶变换判断人脸的清晰度选择具有最佳清晰度的人脸。本发明能快速实现人脸的检测和跟踪，实时处理监控视频，不需要大量的空间存储监控视频，节约了时间、空间和成本。
文档编号G06T7/00GK101582163SQ20091005375
公开日2009年11月18日 申请日期2009年6月25日 优先权日2009年6月25日
发明者刘允才, 刘欢喜, 兵 孙, 科 李 申请人:上海交通大学