基于视觉显著性的复杂环境人脸检测方法
【专利摘要】本发明提供一种基于视觉显著性的复杂环境人脸检测方法，首先利用视觉注意机制获取人脸显著图；然后分割显著图得到二值模板；利用形态学算子调整二值模板使其覆盖整个人脸区域；最后将模板与原图匹配，检测出人脸目标区域；该种基于视觉显著性的复杂环境人脸检测方法，利用视觉注意机制获取人脸显著图，根据显著图准确定位有效人脸目标区域，消除了复杂环境下光照、姿态、遮挡等因素的影响，达到无人工干预，自动、准确检测非约束人脸目标区域的目的。
【专利说明】
基于视觉显著性的复杂环境人脸检测方法
技术领域
[0001] 本发明涉及一种基于视觉显著性的复杂环境人脸检测方法。
【背景技术】
[0002] 人脸检测是非约束人脸识别中的一项关键技术，准确检测到复杂背景中的人脸区 域对后续人脸识别工作至关重要。一方面可以降低后续工作的计算复杂度，另一方面也可 以去除背景干扰，提高人脸特征的准确性。
[0003] 目前常用的人脸检测算法主要有基于模板匹配的人脸检测算法和基于肤色的人 脸检测算法两类。基于模板匹配的人脸检测算法是根据先验数据归纳出一个统一的人脸模 板，然后手动选择人眼位置，得到人眼间的距离，根据该距离利用人脸模板检测出人脸区 域;基于肤色的人脸检测算法主要依据是利用人脸的肤色与背景颜色差异实现人脸检测。 这两种方法适用于单一环境的人脸检测，对于复杂环境的非约束人脸检测效果不理想。
[0004] 现有技术方案的不足之处在于：
[0005] -、基于模板匹配的人脸检测算法虽然原理简单，但由于不同人脸差异大，人脸模 板很难精确匹配所有人脸，再加上拍摄条件不受约束(例如光照影响、姿态变化、目标遮挡 等），该方法很难获得复杂环境下理想的人脸检测效果。另一方面，基于模板匹配的人脸检 测算法需要手动选择两只人眼位置，耗时长且不具有自动检测的能力，不适用于智能人机 交互。
[0006] 二、基于肤色的人脸检测算法虽常用于彩色图像的人脸检测，但由于人体其他部 位可能具有和人脸肤色相同的颜色，比如男性赤膊等，并且场景中某些目标也可能会和人 脸皮肤具有相同的颜色，因此该方法鲁棒性差，不适用于复杂环境的人脸检测。
[0007] 上述问题是在人脸检测过程中应当予以考虑并解决的问题。
【发明内容】
[0008] 本发明的目的是提供一种基于视觉显著性的复杂环境人脸检测方法解决现有技 术中存在的适用于单一环境的人脸检测，对于复杂环境的非约束人脸检测效果不理想的问 题。
[0009] 本发明的技术解决方案是：
[0010] -种基于视觉显著性的复杂环境人脸检测方法，首先利用视觉注意机制获取人脸 显著图；然后分割显著图得到二值模板;利用形态学算子调整二值模板使其覆盖整个人脸 区域;最后将模板与原图匹配，检测出人脸目标区域;具体包括以下步骤：
[0011] S1、输入原始图像即灰度图片I(x，y)，利用视觉显著图算法提取灰度图片I(x，y) 中目标人脸区域显著图，记为S(x，y);
[0012] S2、采用双三次插值算法调整显著图S(x，y)的图像尺寸为原始图像，把显著图S (x，y)中的每个像素按照灰度值强弱划分成η个等级，返回第m个百分位值，把该值作为阈 值，分割显著图S(x，y)得到模板此^， 7);
[0013] S3、调整模板施(x，y)得到精细模板M2(x，y);
[0014] S4、依据所得精细模板M2 (X，y)，来确定目标人脸区域；
[0015] S5、将原始图像I(x，y)与目标人脸区域作匹配，得到最终的人脸检测图。
[0016] 进一步地，步骤S4具体为：
[0017]541、初始化变量811111_1、811111_5^代3,811111_1用以记录精细模板12(1，5〇中非零区域 的横坐标之和，sum_y用以记录精细模板M2 (x，y)中非零区域的纵坐标之和，area用以记录 精细模板M2(x，y)中非零区域数目；
[0018] S42、遍历M2(x，y)，如果其中某个像素点值为1，就把area值加I，sum_x和811111_7的 值分别加上该点对应的横纵坐标值；
[0019 ] S43、遍历完M2 (X，y)之后，用area对sum_x和sum_y求平均就得至幽2 (X，y)的质心p;
[0020] S44、用edge函数处理M2 (X，y)，得到M2 (X，y)区域边缘的二值图像，求出质心p到区 域边缘的最小距离d;
[0021] S45、以P为中心，以d为边长作正方形，这个正方形区域就是目标人脸所在的区域。
[0022] 进一步地，步骤S3具体为：
[0023] S31、判断模板％&，7)是否有冗余，若是，模板M1(Xj)余留了目标人脸以外的区 域，就把M1(Xd)中的冗余区域删除，只保留有用的区域；
[0024] S32、如果M1(Xj)没有完全覆盖整个目标人脸区域，就对M1(Xj)实施闭运算；
[0025] S33、如果Mi(X，y)丢失信息过多，就对Mi(X，y)进行孔洞填充；
[0026] S34、得到精细模板M2(Xj)。
[0027]本发明的有益效果是：
[0028] 一、该种基于视觉显著性的复杂环境人脸检测方法，利用视觉注意机制获取人脸 显著图，根据显著图准确定位有效人脸目标区域，消除了复杂环境下光照、姿态、遮挡等因 素的影响，达到无人工干预，自动、准确检测非约束人脸目标区域的目的。
[0029]二、本发明去除了图片背景干扰，为准确提取人脸特征，实现非约束环境下的人脸 验证、识别提供技术支持；
[0030] 三、该种基于视觉显著性的复杂环境人脸检测方法，去除了图片背景干扰，将特征 提取区域缩减为人脸目标区域，可以降低后续工作的计算复杂度，缩短运行时间。
【附图说明】
[0031] 图1是本发明实施例的实现框架的说明示意图；
[0032]图2是实施例基于视觉显著性的复杂环境人脸检测方法的流程示意图。
[0033]图3是实施例中_旲板调整的说明不意图。
[0034]图4是实施例的端正人脸检测结果与基于模板的端正人脸检测结果的比较示意 图。
[0035]图5是实施例的不端正人脸检测结果与基于模板的不端正人脸检测结果比较示意 图。
【具体实施方式】
[0036]下面结合附图详细说明本发明的优选实施例。
[0037]实施例利用人眼视觉注意机制提取目标显著图，根据显著图确定有效人脸目标区 域，实现复杂环境下的人脸检测，为准确验证、识别非约束环境下的人脸提供技术支持。 [0038] 实施例
[0039] -种基于视觉显著性的复杂环境人脸检测方法，实现框架如图1所示。首先利用视 觉注意机制获取人脸显著图；然后分割显著图得到二值模板;利用形态学算子调整二值模 板使其覆盖整个人脸区域;最后将模板与原图匹配，检测出人脸目标区域。
[0040] 该种基于视觉显著性的复杂环境人脸检测方法的具体实现流程如图2所示。步骤 描述如下：
[0041] S1、输入图像一幅250\250的灰度图片1(^7)，利用视觉显著图算法提取目标人 脸区域显著图，记为S(x，y)。
[0042] S2、采用双三次插值算法调整S(x，y)图像尺寸为原图大小250X250jES(x，y)* 的每个像素按照灰度值强弱划分成η个等级，返回第m个百分位值。把这个值作为阈值，分割 显著图S(x，y)得到模板施(、7)。
[0043] S3、调整模板施(X，y)得到精细模板M2(X，y)。如图3，判断模板施(X，y)是否有冗余， 若是，模板M1(Xj)余留了目标人脸以外的区域，就把M1(Xj)中的冗余区域删除，只保留有 用的区域;判断模板施(1， 7)是否完全覆盖了目标人脸区域，如果M1(Xj)没有完全覆盖整个 目标人脸区域，就对M 1(Xd)实施闭运算;如果M1(Xj)丢失信息过多，就对M1(Xd)进行孔洞 填充;得到精细模板M 2 (X，y)。
[0044 ] S4、确定目标人脸区域。初始化变量sum_x、s um_y、are a，sum_x用以记录精细模板 M2(x，y)中非零区域的横坐标之和，sum_y用以记录精细模板M2(x，y)中非零区域的纵坐标之 和，area用以记录精细模板M2(x，y)中非零区域数目。遍历M2(X，y)，如果其中某个像素点值 为1，就把area值加I，sum_x和sum_y的值分别加上该点对应的横纵坐标值。遍历完M2(X，y) 之后，用area对sum_x和sum_y求平均就得到M2(x，y)的质心p。用edge函数处理M2(x，y)，得到 M 2(x，y)区域边缘的二值图像，求出质心p到区域边缘的最小距离d。以p为中心，以d为边长 作正方形，这个正方形区域就是目标人脸所在的区域。
[0045] S5、将输入图片I(x，y)与目标人脸区域作匹配就得到最终的人脸检测图。
[0046] 实施例效果对比分析
[0047] 实施例与基于模板的人脸检测效果比较
[0048] 基于模板的人脸检测算法是通过定位输入图片中人的两只眼睛，获取眼睛之间的 线段距离D，再分别以D的中点为端点，向上0.f5D距离和向下1.5D距离为另一端点作线段，以 D和2D确定的矩形区域为人脸模板截取输入图片，从而达到人脸检测的目的。当检测姿态端 正的正面人脸图片时，基于模板的人脸检测算法和实施例都可以检测出有效人脸区域，如 图4所示;而检测姿态不端正的非正面人脸图片时，实施例人脸检测效果明显优于基于模板 的人脸检测效果，如图5所示。其中，基于模板的人脸检测算法不能检测到完整的人脸区域， 人脸面部信息损失严重，不适用于后期人脸识别；而实施例用视觉显著图准确定位人脸目 标区域，不受人脸姿态的影响。
[0049] 实施例与基于模板的人脸检测时间比较
[0050] 人脸检测时间是指从输入一张人脸图片开始到人脸目标区域被检测出来为止的 所有步骤运行时间。实施例与基于模板的人脸检测算法的人脸检测时间结果如表1所示。
[0051]表1本发明与基于模板
的人脸检测时间比较
[0053]从表1中可以看出，实施例的算法运行时间明显低于基于模板的人脸检测算法。这 是由于基于模板的人脸检测算法是非自动的，需要手动选择人眼位置，所以消耗时间明显 较长。
[0054]实施例在非约束人脸识别中的应用
[0055]从LFW数据库中选出有20张以上(包括20张）的人图片作为实验数据，共62类人，总 共3023张图片。把这3023张图片作为输入，利用实施例提取人脸目标区域得到另一个新的 人脸数据库(记为LFW-GBVS)。随机抽取数据库中每类人的10张图片作为训练样本，每类人 剩下的图片作为测试样本，采用HOG描述子对两个人脸数据库进行特征提取，并用SVM分类 器进行分类，得到的实验结果如表2所示。
[0056] 表2 LFW与LFW-GBVS人脸库的识别性能比较
[0058]从表2可以看出，采用实施例提取人脸目标区域后，再进行特征提取和分类，可以 使识别性能得到很大提升，一方面识别率提高到72.53 %，是LFW人脸库识别率的2倍;另一 方面算法运行时间为57.8s，降低为原来的1/4。这是因为实施例消除了背景干扰，准确检测 出人脸目标区域，提高了人脸特征准确性，降低了后期操作的计算复杂度，所以实施例应用 在非约束人脸识别方面是有效的。
【主权项】
1. 一种基于视觉显著性的复杂环境人脸检测方法，其特征在于，首先利用视觉注意机 制获取人脸显著图；然后分割显著图得到二值模板;利用形态学算子调整二值模板使其覆 盖整个人脸区域;最后将模板与原图匹配，检测出人脸目标区域;具体包括以下步骤： 51、 输入原始图像即灰度图片I(x，y)，利用视觉显著图算法提取灰度图片I(x，y)中目 标人脸区域显著图，记为S(x，y); 52、 采用双三次插值算法调整显著图S(x，y)的图像尺寸为原始图像，把显著图S(x，y) 中的每个像素按照灰度值强弱划分成η个等级，返回第m个百分位值，把该值作为阈值，分割 显著图S(x，y)得到模板施^， 7); 53、 调整模板施(X，y)得到精细模板M2 (X，y); 54、 依据所得精细模板M2(x，y)，来确定目标人脸区域； 55、 将原始图像I(x，y)与目标人脸区域作匹配，得到最终的人脸检测图。2. 如权利要求1所述的基于视觉显著性的复杂环境人脸检测方法，其特征在于，步骤S4 具体为： 541、 初始化变量sum_x、sum_y、ar ea，sum_x用以记录精细模板M2 (X，y)中非零区域的横 坐标之和，sum_y用以记录精细模板M2 (x，y)中非零区域的纵坐标之和，area用以记录精细 模板M2(x，y)中非零区域数目； 542、 遍历M2(X，y)，如果其中某个像素点值为1，就把area值加1，sum_x和sum_y的值分别 加上该点对应的横纵坐标值； 543、 遍历完M2 (X，y)之后，用area对sum_x和sum_y求平均就得到M2 (X，y)的质心p; 544、 用edge函数处理M2(X，y)，得到M2(X，y)区域边缘的二值图像，求出质心p到区域边 缘的最小距离d; 545、 以p为中心，以d为边长作正方形，这个正方形区域就是目标人脸所在的区域。3. 如权利要求1或2所述的基于视觉显著性的复杂环境人脸检测方法，其特征在于，步 骤S3具体为： 531、 判断模板此(1，7)是否有冗余，若是，模板MKxj)余留了目标人脸以外的区域，就 把施(1，7)中的冗余区域删除，只保留有用的区域； 532、 如果Mi(x，y)没有完全覆盖整个目标人脸区域，就对Mi(x，y)实施闭运算； 533、 如果Mi(x，y)丢失信息过多，就对Mi(x，y)进行孔洞填充； 534、 得到精细模板M2(x，y)。
【文档编号】G06K9/00GK105844235SQ201610164383
【公开日】2016年8月10日
【申请日】2016年3月22日
【发明人】童莹, 陈凡, 曹雪虹
【申请人】南京工程学院