人脸识别方法及系统、人脸图像的眼镜框去除方法与装置的制作方法

专利名称：人脸识别方法及系统、人脸图像的眼镜框去除方法与装置的制作方法
技术领域：
本发明涉及图像处理与模式识别领域，特别涉及一种人脸识别方法及系统、人脸 图像的眼镜框去除方法与装置。
背景技术：
人脸识别作为一种重要的身份鉴别技术，在安全、金融、人机交互、信息、教育等诸 多领域有着广泛的应用前景。目前的人脸识别系统通过将模板库中的模板图像与待识别人 脸形成的识别图像(人脸图像)相比较来进行人脸识别，在模板图像与识别图像获取条件 基本一致时有很好的识别效果。但识别图像存在遮挡物而模板图像无遮挡时，会由于图像 之间特征的差异而降低识别率，其中眼镜的遮挡尤为突出，由于眼镜镜框纹理、形状、位置、 镜片颜色、模糊程度和镜片反光等因素的变化，使待识别人脸图像稳定性下降，因此眼镜遮 挡的人脸识别难以进行。而随着日常生活中人们配带眼镜的比例越来越高，眼镜对人脸的 遮挡则成为了人脸识别中必须解决的一个问题，现有技术对该问题进行了不断的研究和讨 论。
目前主要的解决眼镜遮挡的人脸识别方法可以分为两类一类是图像分块，从遮 挡图像中获得未被遮挡的图像特征；另一类是眼镜消除，从遮挡图像中消除眼镜，获得无眼 镜的对应图像。
1、基于图像分块的方法
基于图像分块的方法把人脸图像划分成很多小块，检测每一块是否被遮挡，从而 从未被遮挡的小块中提取特征作为该图像的特征进行识别。比较典型的是Hyun Jun Oh等 人在“In Proceedings of Asian Conference on ComputerVision,Vol. 3851,pp. 120-129, Jan. 2006”上提到的方法，其把人脸分成很多小块，利用最近邻的分类方法检测每一小块是 否为遮挡区域，继而从未被遮挡的小块中获取图像特征进行识别。特征的选择是根据大量 的样本分成同样的小块后获得的每一块的NMF(Nonnegative Matrix Factorization)特 征。这类方法过于依赖区域检测结果，区域检测的方法一般为从训练样本学习出分类器进 行检测，本身检测的结果便会有误差。同时区域划分的方法在粗划分时容易造成图像大面 积的丢失，使得未被遮挡的图像区域难以描述整幅图像特征，而进行细划分时，虽然对整张 人脸特征的描述更为准确，但也给识别的效率带来了负担。
2、基于眼镜(眼镜框)消除的方法
基于眼镜消除的方法一般通过学习戴眼镜图像与对应无眼镜图像之间的关 系来消除图像中的眼镜遮挡。其主要思路是用主成分分析(PCA, PrincipalComponent Analysis)的方法训练一批没有配戴眼镜的图像，投影戴眼镜的人脸图像到该空间以获得 无眼镜图像特征对戴眼镜图像的描述，从而重建出对应摘掉眼镜的人脸图像。最早由Saito 在 “ International Conference on ImageProcessing，，，Vol. 4, pp. 197-201, Oct. 1999，， 中提出，之后又有 Du 等人在《Pattern Recognition Letters)), Vol. 26, pp. 2215-2220, Oct. 2005上做了一定的改进先利用阈值强化重建的图像与原图像之间的差异获得眼镜的区域，通过迭代的方法逐渐消除原图中眼镜区域，使得重建的图像更为真实。在这其中， 应用了各种眼镜检测的方法，比如主动形状模型(active shape model)、snake模型、人工 神经网络(Artificial Neural Networks)、Hough变换等方法,但这类方法的问题在于过 于依赖眼镜检测的结果，而由于眼镜的多样性，本身眼镜检测就难以达到要求；重建图像存 在失真，重建图像由训练样本线性组成，必然与原图存在差异；对于镜片模糊或者有反光 的情况以及镜框颜色较深的情况都表现很差，重建图像中总会有眼镜框和黑斑等遗留的存 在，需要特定的戴眼镜与对应无眼镜样本进行学习。
随着社会对安全需求的日益增长，人脸识别正在智能安全监控中扮演着越来越重 要的角色，然而由于受眼镜框等遮挡物的影响，人脸识别的可靠性也经受着考验，为了尽可 能减少眼镜框遮挡对人脸识别的影响，有必要提供一种有效的针对戴眼镜人脸图像的眼镜 框去除方法。
相关技术还可参考公开号为CN 102034079A的中国专利申请，该专利申请公开了 一种眼镜遮挡下的人脸识别方法和系统。发明内容
本发明要解决的问题是提供一种戴眼镜人脸图像的眼镜框去除方法，能便捷、有 效地去除戴眼镜人脸图像中的眼镜框，进而提高人脸识别率。
为解决上述问题，本发明技术方案提供一种人脸图像的眼镜框去除方法，包括
对输入的戴眼镜的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述 人脸图像进行几何校正，形成第一图像；
从所述第一图像中提取出眼睛预估区域，获得第二图像，并对所述第二图像进行 数学形态学处理以确定眼镜框的位置；
基于所述第一图像，建立人脸的肤色模型；
在所述第二图像中，对确定出位置的眼镜框的每个像素点进行插值，并以所述肤 色模型对眼镜框的部分像素点的插值结果进行修正，再经去噪处理后形成第九图像；
以所述第九图像替代所述第一图像中的眼睛预估区域，合成后输出去除眼镜框后 的人脸图像。
可选的，从所述第一图像中提取眼睛预估区域包括
基于对双眼进行检测定位后的结果获得双眼的坐标；
根据双眼的坐标计算出双眼之间的距离D ；
以双眼中心为原点，向上、下、左、右四个方向扩展D的预定倍数后获得所述眼睛 预估区域。
可选的，所述向上、下、左、右四个方向扩展D的预定倍数包括向上扩展O. 2D，向 下扩展O. 5D，向左、右各扩展1. 1D。
可选的，对所述第二图像进行数学形态学处理以确定眼镜框的位置包括
对所述第二图像进行卷积滤波操作，形成第三图像；
将所述第三图像与预先设置的眼睛模板进行与运算操作，形成第四图像；
对所述第四图像进行二值化操作，形成第五图像；
对所述第五图像进行数学形态学操作，形成第六图像，确定所述第六图像中的白像素部分为眼镜框的位置。
可选的，所述预先设置的眼睛模板包括适于屏蔽所述第三图像中的眼球的掩模区 域，所述掩模区域按与所述第二图像的尺寸相适应的比例进行设置。
可选的，所述掩模区域为两个相同大小的椭圆，所述椭圆的短轴长度为第二图像 高度的1/4，长轴长度为第二图像宽度的1/8，两个椭圆中心的纵坐标位于第二图像高度的 1/2处，横坐标分别位于第二图像宽度的1/4处、3/4处。
可选的，对所述第二图像进行卷积滤波操作，形成第三图像包括分别以预设模板 及其转置模板对所述第二图像进行卷积滤波操作，输出两个滤波结果的绝对值之和，形成 所述第三图像。
可选的，所述预设模板是基于Sobel算子建立的。
可选的，所述数学形态学操作包括闭运算操作、去除小面积连通域的操作。
可选的，所述在所述第二图像中，对确定出位置的眼镜框的每个像素点进行插值， 并以所述肤色模型对眼镜框的部分像素点的插值结果进行修正，再经去噪处理后形成第九 图像包括
在所述第二图像上，相应于所述第六图像中的白像素部分，基于所述肤色模型具 有的均值参数对每个像素点进行插值，形成第七图像；
在所述第七图像上，相应于所述第六图像中的白像素部分，基于向所述肤色模型 投影后得到的肤色概率值对眼镜框的部分像素点的插值结果进行修正，形成第八图像；
在所述第八图像上，相应于所述第六图像中的白像素部分，进行中值滤波操作以 去除孤立噪声，形成所述第九图像。
可选的，所述在所述第二图像上，相应于所述第六图像中的白像素部分，基于所述 肤色模型具有的均值参数对每个像素点进行插值，形成第七图像包括
选取像素点的邻域，并确定第一阈值，所述第一阈值为区分眼镜框灰度与其周围 皮肤灰度的分割阈值；
若像素点的灰度值大于所述均值参数，则使用该像素点的邻域中低于所述第一阈 值的像素均值更新该像素点的灰度值，否则使用该像素点的邻域中高于所述第一阈值的像 素均值更新该像素点的灰度值；
遍历所有像素点后，形成所述第七图像。
可选的，所述在所述第七图像上，相应于所述第六图像中的白像素部分，基于向所 述肤色模型投影后得到的肤色概率值对眼镜框的部分像素点的插值结果进行修正，形成第 八图像包括
对每个像素点向所述肤色模型投影，得到每个像素点的肤色概率值；
若某个像素点的肤色概率值大于第二阈值，则以所述第二图像中该像素点的灰度 值对所述第七图像中相对应像素点的灰度值进行更新；
遍历所有像素点后，形成所述第八图像。
可选的，所述第二阈值为O. 002 O. 01。
可选的，所述肤色模型为高斯模型。
为解决上述问题，本发明技术方案还提供一种人脸识别方法，包括以上述眼镜框 去除方法对输入的戴眼镜的人脸图像中的眼镜框进行去除，再对去除眼镜框后输出的人脸图像进行人脸识别。
为解决上述问题，本发明技术方案还提供一种人脸图像的眼镜框去除装置，包 括
预处理单元，适于对输入的戴眼镜的人脸图像中的双眼进行检测定位，并基于定 位后的结果对所述人脸图像进行几何校正，形成第一图像；
提取单元，适于从所述第一图像中提取出眼睛预估区域，获得第二图像；
数学形态学处理单元，适于对所述第二图像进行数学形态学处理以确定眼镜框的 位置；
肤色模型建立单元，适于基于所述第一图像，建立人脸的肤色模型；
插值单元，适于在所述第二图像中，对确定出位置的眼镜框的每个像素点进行插 值，并以所述肤色模型对眼镜框的部分像素点的插值结果进行修正，再经去噪处理后形成 第九图像；
图像合成单元，适于以所述第九图像替代所述第一图像中的眼睛预估区域，合成 后输出去除眼镜框后的人脸图像。
为解决上述问题，本发明技术方案还提供一种包括上述人脸图像的眼镜框去除装 置的人脸识别系统。
与现有技术相比，本发明的技术方案具有以下优点
通过对输入的戴眼镜的人脸图像中的双眼进行检测定位，并基于定位后的结果对 所述人脸图像进行几何校正，然后提取出眼睛预估区域并对其进行数学形态学处理以确定 眼镜框的位置，继而对确定出位置的眼镜框的每个像素点进行插值，再使用肤色模型对眼 镜框的部分像素点的插值结果进行修正，最后将经中值滤波去噪处理后的结果合成进原 图，从而能便捷、有效地去除戴眼镜的人脸图像中的眼镜框，进而提高了人脸识别率。
其中，通过使用肤色模型对眼镜框的部分像素点的插值结果进行修正，能减少由 于眼镜框位置不精确所带来的部分像素插值结果不准确，从而达到对所述人脸图像中的眼 镜框更好的去除效果。


图1是本发明实施方式提供的人脸图像的眼镜框去除方法的流程示意图2至图9是本发明实施例的人脸图像的眼镜框去除的实际示例图10是提取眼睛预估区域的示意图11是眼睛模板的示意图12是本发明实施方式提供的人脸图像的眼镜框去除装置的结构示意图。
具体实施方式
现有技术难以便捷、有效地去除戴眼镜人脸图像的眼镜框，从而会因眼镜框的遮 挡而造成人脸识别率的降低。本技术方案首先使用人眼定位技术对输入的戴眼镜的人脸图 像中双眼的位置进行定位，并基于定位后的结果对所述人脸图像进行几何校正，然后提取 出眼睛预估区域并对其进行数学形态学处理以确定眼镜框的位置，继而对确定出位置的眼 镜框的每个像素点进行插值，并为了减少眼镜框位置不精确所带来的部分像素插值结果不准确，再使用肤色模型对该部分像素进行修正，最后将经中值滤波去噪处理后的结果合成 进原图，从而获得去除了眼镜框的人脸图像，进而提高了人脸识别率。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明 的具体实施方式
做详细的说明。
在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不 同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类 似推广。因此本发明不受下面公开的具体实施方式
的限制。
图1是本发明实施方式提供的人脸图像的眼镜框去除方法的流程示意图。如图1 所示，所述人脸图像的眼镜框去除方法包括
步骤S101，对输入的戴眼镜的人脸图像中的双眼进行检测定位，并基于定位后的 结果对所述人脸图像进行几何校正，形成第一图像；
步骤S102，从所述第一图像中提取出眼睛预估区域，获得第二图像，并对所述第二 图像进行数学形态学处理以确定眼镜框的位置；
步骤S103，基于所述第一图像，建立人脸的肤色模型；
步骤S104，在所述第二图像中，对确定出位置的眼镜框的每个像素点进行插值，并 以所述肤色模型对眼镜框的部分像素点的插值结果进行修正，再经去噪处理后形成第九图 像；
步骤S105，以所述第九图像替代所述第一图像中的眼睛预估区域，合成后输出去 除眼镜框后的人脸图像。
图2至图9是本发明实施例的人脸图像的眼镜框去除的实际示例图。下面结合图1以及图2至图9，以具体实施例对上述人脸图像的眼镜框去除方法作详细说明。
首先，执行步骤S101，对输入的戴眼镜的人脸图像中的双眼进行检测定位，并基于 定位后的结果对所述人脸图像进行几何校正，形成第一图像。本实施例中，输入的待处理的 人脸图像为戴眼镜的人脸图像，并且该人脸图像为人脸灰度图像。实际情况中，在对输入的 人脸图像进行识别前，还需要判断输入的人脸图像是否为配戴眼镜的人脸图像，是则以本 发明实施方式提供的人脸图像的眼镜框去除方法对输入的人脸图像中的眼镜框进行去除 处理后再开始人脸识别，否则便直接对输入的人脸图像进行人脸识别，当然，对于未配戴眼 镜的人脸图像进行人脸识别时，步骤SlOl对输入的人脸图像进行预处理的过程一般仍需 要执行。
需要说明的是，虽然本发明实施方式提供的人脸图像的眼镜框去除方法更多地应 用于人脸识别中，但其并不局限于人脸识别，也可以单独作为一种图像处理的方法对配戴 眼镜的人脸图像进行眼镜框的去除处理。
本实施例中，对输入的人脸灰度图像进行两点(双眼)检测定位，可采用现有技术 中任意一种人眼定位方法，例如AdaBoost方法、人工神经网络法、模板匹配法、灰度投影法 等等。至于各种人眼定位技术为本领域技术人员所公知，在此不再赘述。
步骤SlOl是对输入的人脸图像进行预处理的过程。对于各种人脸识别的方法，人 脸图像的标准化都是很重要的，对最终的识别结果也有着直接的影响。这里的标准化主要 是指在各幅人脸图像中，人脸的关键部位在图像中的相对位置是否都是一样的。由于通常 是利用整幅图像的信息进行人脸识别的，对于不经过任何处理的原始图像，人脸部位在图像中的位置都是有所偏移的，这会影响人脸的正确识别。所以需要对输入的人脸图像进行 几何校正，以使不同输入情况下的人脸图像最后都统一到同样的大小，并且人脸关键部位 也尽量保持一致。几何校正主要包括缩放、旋转、翻转。缩放就是把原始图像中包含的人 脸缩放到统一的大小，其依据是人眼的坐标(通过上述人眼定位技术获得)。人眼是人面部 很重要的一个部件，通过缩放处理，能保证双眼间距离是相同，从而其他部位如鼻、嘴、脸颊 等位置也都保持在相对标准的位置。旋转就是把原始图像中人脸图像进行平面内的旋转处 理，主要目的是使两眼之间的连线保持在水平的位置。翻转主要是考虑到有的人脸图像可 能存在上下颠倒的问题，便可以通过翻转来进行纠正，以使目标图像中的人脸保持正面。因 为考虑到本发明实施方式所述的人脸图像的眼镜框去除方法具体是对输入的戴眼镜人脸 图像中的眼镜框的去除，而非局限于人脸识别，因此，为了便于后续步骤能够准确提取出眼 睛预估区域并确定眼镜框的位置，本实施例中，所述几何校正主要包括水平校正，即采用人 眼定位技术获得双眼的位置(坐标)后，以双眼连线为基准对人脸图像进行水平校正。
通过步骤SlOl对输入的戴眼镜的人脸图像进行预处理，并输出第一图像后，执行 步骤S102，从所述第一图像中提取出眼睛预估区域，获得第二图像，并对所述第二图像进行 数学形态学处理以确定眼镜框的位置。本实施例中，步骤S102中从所述第一图像中提取眼 睛预估区域具体可包括
基于对双眼进行检测定位后的结果获得双眼的坐标；
根据双眼的坐标计算出双眼之间的距离D ；
以双眼中心为原点，向上、下、左、右四个方向扩展D的预定倍数后获得所述眼睛 预估区域。
图10是提取眼睛预估区域的示意图。参阅图10，图中示出了人脸图像中的面部 主要部位，如眼、鼻、嘴、脸颊等，通过步骤SlOl可获得双眼的坐标，所述双眼的坐标具体指 的是眼睛中心的坐标，如图10所示，点A表示右眼(图中左侧的眼睛)的中心，点B表示左 眼(图中右侧的眼睛)的中心，假设A、B两点的横坐标分别为X1和X2，则双眼之间的距离 D= IX1-X2I,而点O为两眼中心，即线段AB的中点。确定眼睛预估区域时，以双眼中心(点 O)为原点，向上、下、左、右四个方向扩展D的预定倍数后便可获得所述眼睛预估区域，具体 实施时，所述预定倍数可根据实际情况进行设定。本实施例中，向上、下、左、右四个方向扩 展D的预定倍数包括向上扩展O. 2D，向下扩展O. 5D，向左、右各扩展1. 1D，如图10中虚线 框所示区域即为所述眼睛预估区域。所述眼睛预估区域界定出了人脸图像中眼睛部位、眼 镜框所在的区域，能够初步划定眼镜框所处的范围，由此能更有针对性地确定出眼镜框的 具体位置，减小后续步骤对眼镜框进行去除处理时的计算量。需要说明的是，图10中并未 对眼镜框进行标示，一般眼镜框会包含于所获得的眼睛预估区域之中，因此只需要提取出 该眼睛预估区域进行后续处理即可。
在第一图像中，裁剪出所获得的眼睛预估区域，由所述眼睛预估区域形成第二图 像后，便完成了对眼睛预估区域的提取。图2是第二图像的一个具体示例。如图2所示，提 取出的眼睛预估区域中主要包括了双眼以及眼镜框，此时需要对第二图像进行一系列的处 理才能确定出眼镜框的位置，即确定出第二图像中的眼镜框由哪些像素点构成。
本实施例中，步骤S102中对所述第二图像进行数学形态学处理以确定眼镜框的 位置具体可包括如下步骤
步骤S102b，对所述第二图像进行卷积滤波操作，形成第三图像；
步骤S102C，将所述第三图像与预先设置的眼睛模板进行与运算操作，形成第四图 像；
步骤S102d，对所述第四图像进行二值化操作，形成第五图像；
步骤S102e，对所述第五图像进行数学形态学操作，形成第六图像，确定所述第六 图像中的白像素部分为眼镜框的位置。
提取出所述眼睛预估区域形成第二图像后，首先执行步骤S102b，对所述第二图像 进行卷积滤波操作，形成第三图像。具体地，分别以预设模板及其转置模板对所述第二图像 进行卷积滤波操作，输出两个滤波结果的绝对值之和，形成第三图像。本实施例中，所述预 设模板为基于索贝尔算子(Sobeloperator)建立的模板，Sobel算子是图像处理中的算子 之一，主要用作边缘检测。Sobel算子是滤波算子的形式，用于提取图像轮廓，可以利用快 速卷积函数，简单有效，因此应用广泛。该算子包含两组3X3的矩阵，分别为横向及纵向， 将其与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。具体到本实施例， Sobel算子包含3X3的矩阵S及其转置矩阵Si，即'I 2 I '
S= O O O-1 -2 -1「I O -1]
S'= 2 O -2I O -1
其中，所述预设模板为矩阵S，所述预设模板的转置模板为矩阵S的转置矩阵S'。
通过所述预设模板及其转置模板对第二图像进行卷积滤波操作后，形成第三图 像。图3是第三图像的一个具体示例。如图3所示，图中已提取出眼镜框的基本轮廓，但 是，眼睛中的眼球所形成的轮廓会对眼镜框的轮廓造成一定影响，因此还需要屏蔽眼球的影响。
执行步骤S102C，将所述第三图像与预先设置的眼睛模板进行与运算操作，形成第 四图像。具体地，所述预先设置的眼睛模板包括适于屏蔽所述第三图像中的眼球的掩模区 域，所述掩模区域按与所述第二图像的尺寸相适应的比例进行设置。图11是眼睛模板的示 意图。参阅图11，本实施例中，所述掩模区域为两个相同大小的椭圆，所述椭圆的短轴长度 为第二图像高度的1/4，长轴长度为第二图像宽度的1/8，两个椭圆中心的纵坐标位于第二 图像高度的1/2处，横坐标分别位于第二图像宽度的1/4处、3/4处。当然，具体实施时，所 述掩模区域的大小以及所处的位置可根据实际情况进行微调，以确保获得较佳的眼球屏蔽 效果。在其他实施例中，所述掩模区域也可以为其他形状，例如矩形、菱形等，只要能实现对 眼球的屏蔽即可。通过将第三图像与预先设置的眼睛模板进行与运算操作后，形成第四图 像。图4是第四图像的一个具体示例。如图4所示，图中已屏蔽眼球对眼镜框所产生的影 响，然而仍未形成较为清晰的眼镜框轮廓，因此还需要作进一步的处理。
步骤S102d，对所述第四图像进行二值化操作，形成第五图像。二值化操作，是图 像处理的基本操作，例如一个256级灰度的图像，就是将图像上的像素点的灰度值设置为O 或255，也就是将整个图像呈现出明显的黑白效果。将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。在数字图像处理中，二值图像占有非常重要的地位，首先，图像的二值化有利于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出感兴趣的目标的轮廓。其次，要进行二值化图像的处理与分析，首先要把灰度图像二值化，得到二值化图像。例如可以将所有灰度大于或等于阈值的像素判定为属于特定物体，其灰度值设置为255，否则这些像素点被排除在物体区域以外，灰度值设置为O，表示背景或者例外的物体区域。具体实施时，可使用各种已知的阈值确定方法，如最大类问方差法、最大熵方法、经验法等等，本实施例中，优选采用最大类间方差法。通过对第四图像进行二值化操作后，形成第五图像。图5是第五图像的一个具体示例。如图5所示，图中已形成较为清晰的眼镜框轮廓，但是眼镜框的轮廓中存在较多的小面积孔洞区域，因此还需要作进一步处理。
执行步骤S102e，对所述第五图像进行数学形态学操作，形成第六图像，确定所述第六图像中的白像素部分为眼镜框的位置。数学形态学(Mathemat1-cal Morphology)建立在集合论的基础上，是用于研究几何形状和结构的一种数学方法。近年来，数学形态学已发展为一种新型的数字图像处理和模式识别领域的方法，应用在图像检测、纹理分析、颗粒分析、特征生成、骨架化、形状分析、压缩、成分分析及细化等诸多领域。数学形态学用于图像处理的基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状，以达到对图像分析和识别的目的。数学形态学的基本运算包括膨胀、腐蚀、开启和闭合。膨胀是将图像中与目标物体接触的所有背景点合并到物体中的过程，结果是使目标增大、孔径缩小， 可以增补目标中的空间，使其形成连通域；腐蚀具有使目标缩小、目标内孔增大以及外部孤立噪声消除的效果；开启具有消除图像中细小物体，并在物体连接纤细处分离物体和平滑较大物体便捷的作用；而闭合具有填充物体影像内细小空间，连接邻近物体和平滑边界的作用。本实施例中，步骤S102e中所述数学形态学操作包括闭运算操作、去除小面积连通域的操作。关于数学形态学操作的具体实现，可参考现有技术常用实现方式，在此不再详细描述。通过对第五图像进行数学形态学操作后，形成第六图像。图6是第六图像的一个具体示例。如图6所示，图中已形成比较清晰、完整的眼镜框轮廓，而且眼镜框的轮廓中也几乎不存在 小面积孔洞区域，因此通过第六图像中的白像素部分便可确定出眼镜框的位置，从而确定第二图像中的眼镜框由哪些像素点构成。
通过步骤SlOl形成第一图像后，为了能够给后续步骤去除眼镜框时提供表示肤色的像素点的灰度值参考依据，还需要执行步骤S103，基于所述第一图像，建立人脸的肤色模型。需要说明的是，步骤S103需基于步骤SlOl形成的第一图像才能执行，因此步骤S103 是在步骤SlOl之后执行的，但是步骤S102与步骤S103的执行顺序则并无先后之分，可以先执行步骤S102后执行步骤S103，也可以先执行步骤S103后执行步骤S102，还可以将步骤S102、步骤S103同时执行。一般肤色模型大致可区分为两类参数式模型(Parametric) 与非参数式模型(Non-parametric),其两者在肤色样本训练所需的计算时间以及参数的储存空间上都有很大差异。参数式肤色模型例如高斯模型(GM，Gaussian Model)、高斯混合模型(Gaussian Mixture Model)、捕圆边界肤色模型(Elliptic boundary model)等；非参数式肤色模型例如贝氏分类器(Bayes classifier) ^Normalized Lookup Table (NLUT) > Self-OrganizingMap (SOM)等。
本实施例中，建立的所述肤色模型为参数式肤色模型中的高斯模型。具体地，从所述第一图像中选取人脸部分像素，统计建立肤色高斯模型Ν( μ，σ)，其中，μ为该模型的均值参数，σ为该模型的标准差参数。具体实施时，为消除人脸图像中的背景干扰，可以将所述第一图像的四周各去除一部分后再进行统计。
完成步骤S102、步骤S103之后，执行步骤S104，在所述第二图像中，对确定出位置的眼镜框的每个像素点进行插值，并以所述肤色模型对眼镜框的部分像素点的插值结果进行修正，再经去噪处理后形成第九图像。具体实施时，步骤S104可包括如下步骤
步骤S104a，在所述第二图像上，相应于所述第六图像中的白像素部分，基于所述肤色模型具有的均值参数对每个像素点进行插值，形成第七图像；
步骤S104b，在所述第七图像上，相应于所述第六图像中的白像素部分，基于向所述肤色模型投影后得到的肤色概率值对眼镜框的部分像素点的插值结果进行修正，形成第八图像;
步骤S104c，在所述第八图像上，相应于所述第六图像中的白像素部分，进行中值滤波操作以去除孤立噪声，形成所述第九图像。
其中，步骤S104a具体可包括
选取像素点的邻域，并确定第一阈值 ；
若像素点的灰度值大于所述均值参数，则使用该像素点的邻域中低于所述第一阈值的像素均值更新该像素点的灰度值，否则使用该像素点的邻域中高于所述第一阈值的像素均值更新该像素点的灰度值；
遍历所有像素点后，形成所述第七图像。
所述第一阈值是为了区分眼镜框灰度与其周围皮肤灰度的分割阈值，如果眼镜框色度相对肤色来说更深(眼镜框灰度大于周围皮肤灰度)，则选取该像素点的邻域中灰度值小于所述第一阈值的像素点进行插值，反之，则选取该像素点的邻域中灰度值大于所述第一阈值的像素点进行插值，如此可使插值后的像素点与周围背景肤色更接近，达到较佳的去除效果。具体实施时，可使用各种已知的阈值分割的确定方法，如最大类间方差法、最大熵方法、经验法等等确定所述第一阈值，本实施例优选采用最大类间方差法。步骤S104a 中选取的邻域可以为3X3、5X5、7X7等。
本实施例中，所述肤色模型为高斯模型，该模型的均值参数为μ，表示所统计的体现肤色的像素点灰度值的均值。如果像素点的灰度值大于μ，则说明是亮镜框(相对于肤色来说，眼镜框的灰度值较大)，使用邻域中低于所述第一阈值的像素均值来更新像素的值；否则为暗镜框(相对于肤色来说，眼镜框的灰度值较小)，使用邻域中高于第一阈值的像素均值来更新像素值。如此，便可将眼镜框的像素点的灰度值调整为与周围肤色的像素点的灰度值接近，从而在视觉上达到将眼镜框去除的效果。通过步骤S104a的插值操作，可在一定程度上实现眼镜框的去除，形成第七图像。图7是第七图像的一个具体示例。如图 7所示，图中的眼镜框已被去掉较多，但仍然未达到理想的效果，究其原因，是由于通过前述步骤所确定的眼镜框位置不精确所带来的部分像素插值结果不准确，因此还需要对眼镜框的部分像素点的插值结果进行修正。
步骤S104b具体可包括
对每个像素点向所述肤色模型投影，得到每个像素点的肤色概率值；
若某个像素点的肤色概率值大于第二阈值，则以所述第二图像中该像素点的灰度值对第七图像中相对应像素点的灰度值进行更新；
遍历所有像素点后，形成所述第八图像。
步骤S104b是对所述第七图像上相应于所述第六图像中的白像素部分的每个像素点进行肤色侦测的过程。肤色侦测最主要是要藉由肤色模型来判断所测的像素点是否为肤色点，由于肤色概率分布可能是为常态分布(NormalDistribution),本实施例中，所建立的肤色模型可以为高斯模型，因此经由所述高斯模型来逼近其肤色概率分布，即可检测出像素点的肤色概率值。具体地，每个像素点的肤色概率值P可按如下公式计算，即实现每个像素点向所述肤色模型投影
权利要求
1.一种人脸图像的眼镜框去除方法，其特征在于，包括对输入的戴眼镜的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像；从所述第一图像中提取出眼睛预估区域，获得第二图像，并对所述第二图像进行数学形态学处理以确定眼镜框的位置；基于所述第一图像，建立人脸的肤色模型；在所述第二图像中，对确定出位置的眼镜框的每个像素点进行插值，并以所述肤色模型对眼镜框的部分像素点的插值结果进行修正，再经去噪处理后形成第九图像；以所述第九图像替代所述第一图像中的眼睛预估区域，合成后输出去除眼镜框后的人脸图像。
2.根据权利要求1所述的人脸图像的眼镜框去除方法，其特征在于，从所述第一图像中提取眼睛预估区域包括基于对双眼进行检测定位后的结果获得双眼的坐标；根据双眼的坐标计算出双眼之间的距离D ；以双眼中心为原点，向上、下、左、右四个方向扩展D的预定倍数后获得所述眼睛预估区域。
3.根据权利要求2所述的人脸图像的眼镜框去除方法，其特征在于，所述向上、下、左、右四个方向扩展D的预定倍数包括向上扩展O. 2D，向下扩展O. 5D，向左、右各扩展1. 1D。
4.根据权利要求1所述的人脸图像的眼镜框去除方法，其特征在于，对所述第二图像进行数学形态学处理以确定眼镜框的位置包括对所述第二图像进行卷积滤波操作，形成第三图像；将所述第三图像与预先设置的眼睛模板进行与运算操作，形成第四图像；对所述第四图像进行二值化操作，形成第五图像；对所述第五图像进行数学形态学操作，形成第六图像，确定所述第六图像中的白像素部分为眼镜框的位置。
5.根据权利要求4所述的人脸图像的眼镜框去除方法，其特征在于，所述预先设置的眼睛模板包括适于屏蔽所述第三图像中的眼球的掩模区域，所述掩模区域按与所述第二图像的尺寸相适应的比例进行设置。
6.根据权利要求5所述的人脸图像的眼镜框去除方法，其特征在于，所述掩模区域为两个相同大小的椭圆，所述椭圆的短轴长度为第二图像高度的1/4，长轴长度为第二图像宽度的1/8，两个椭圆中心的纵坐标位于第二图像高度的1/2处，横坐标分别位于第二图像宽度的1/4处、3/4处。
7.根据权利要求4所述的人脸图像的眼镜框去除方法，其特征在于，对所述第二图像进行卷积滤波操作，形成第三图像包括分别以预设模板及其转置模板对所述第二图像进行卷积滤波操作，输出两个滤波结果的绝对值之和，形成所述第三图像。
8.根据权利要求7所述的人脸图像的眼镜框去除方法，其特征在于，所述预设模板是基于Sobel算子建立的。
9.根据权利要求4所述的人脸图像的眼镜框去除方法，其特征在于，所述数学形态学操作包括闭运算操作、去除小面积连通域的操作。
10.根据权利要求4所述的人脸图像的眼镜框去除方法，其特征在于，所述在所述第二图像中，对确定出位置的眼镜框的每个像素点进行插值，并以所述肤色模型对眼镜框的部分像素点的插值结果进行修正，再经去噪处理后形成第九图像包括在所述第二图像上，相应于所述第六图像中的白像素部分，基于所述肤色模型具有的均值参数对每个像素点进行插值，形成第七图像；在所述第七图像上，相应于所述第六图像中的白像素部分，基于向所述肤色模型投影后得到的肤色概率值对眼镜框的部分像素点的插值结果进行修正，形成第八图像；在所述第八图像上，相应于所述第六图像中的白像素部分，进行中值滤波操作以去除孤立噪声，形成所述第九图像。
11.根据权利要求10所述的人脸图像的眼镜框去除方法，其特征在于，所述在所述第二图像上，相应于所述第六图像中的白像素部分，基于所述肤色模型具有的均值参数对每个像素点进行插值，形成第七图像包括选取像素点的邻域，并确定第一阈值，所述第一阈值为区分眼镜框灰度与其周围皮肤灰度的分割阈值；若像素点的灰度值大于所述均值参数，则使用该像素点的邻域中低于所述第一阈值的像素均值更新该像素点的灰度值，否则使用该像素点的邻域中高于所述第一阈值的像素均值更新该像素点的灰度值；遍历所有像素点后，形成所述第七图像。
12.根据权利要求10所述的人脸图像的眼镜框去除方法，其特征在于，所述在所述第七图像上，相应于所述第六图像中的白像素部分，基于向所述肤色模型投影后得到的肤色概率值对眼镜框的部分像素点的插值结果进行修正，形成第八图像包括对每个像素点向所述肤色模型投影，得到每个像素点的肤色概率值；若某个像素点的肤色概率值大于第二阈值，则以所述第二图像中该像素点的灰度值对所述第七图像中相对应像素点的灰度值进行更新；遍历所有像素点后，形成所述第八图像。
13.根据权利要求12所述的人脸图像的眼镜框去除方法，其特征在于，所述第二阈值为 O. 002 O. 01。
14.根据权利要求1所述的人脸图像的眼镜框去除方法，其特征在于，所述肤色模型为高斯模型。
15.一种人脸识别方法，其特征在于，以权利要求1至14任一项所述的眼镜框去除方法对输入的戴眼镜人脸图像中的眼镜框进行去除，再对去除眼镜框后输出的人脸图像进行人脸识别。
16.一种人脸图像的眼镜框去除装置，其特征在于，包括预处理单元，适于对输入的戴眼镜的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像；提取单元，适于从所述第一图像中提取出眼睛预估区域，获得第二图像；数学形态学处理单元，适于对所述第二图像进行数学形态学处理以确定眼镜框的位置；肤色模型建立单元，适于基于所述第一图像，建立人脸的肤色模型；插值单元，适于在所述第二图像中，对确定出位置的眼镜框的每个像素点进行插值，并以所述肤色模型对眼镜框的部分像素点的插值结果进行修正，再经去噪处理后形成第九像合成单元，适于以所述第九图像替代所述第一图像中的眼睛预估区域，合成后输出去除眼镜框后的人脸图像。
17.根据权利要求16所述的人脸图像的眼镜框去除装置，其特征在于，所述预处理单元包括双眼定位单元，适于对输入的戴眼镜的人脸图像中的双眼进行检测定位；几何校正单元，适于基于定位后的结果对所述人脸图像进行几何校正，形成第一图像。
18.根据权利要求16所述的人脸图像的眼镜框去除装置，其特征在于，所述提取单元、数学形态学处理单元、肤色模型建立单元、插值单元集成于眼镜框去除单元之中。
19.根据权利要求16所述的人脸图像的眼镜框去除装置，其特征在于，所述提取单元包括眼睛预估区域确定单元，适于基于对双眼进行检测定位后的结果获得双眼的坐标，根据双眼的坐标计算出双眼之间的距离D，以双眼中心为原点，向上、下、左、右四个方向扩展D的预定倍数后获得所述眼睛预估区域。
20.根据权利要求19所述的人脸图像的眼镜框去除装置，其特征在于，所述眼睛预估区域确定单元以双眼中心为原点，向上扩展O. 2D，向下扩展O. 5D，向左、右各扩展1.1D后获得所述眼睛预估区域。
21.根据权利要求16所述的人脸图像的眼镜框去除装置，其特征在于，所述数学形态学处理单元包括卷积滤波单元，适于对所述第二图像进行卷积滤波操作，形成第三图像；眼球屏蔽单元，适于将所述第三图像与预先设置的眼睛模板进行与运算操作，形成第四图像；二值化单元，适于对所述第四图像进行二值化操作，形成第五图像；数学形态学操作单元，适于对所述第五图像进行数学形态学操作，形成第六图像，所述第六图像中的白像素部分确定出眼镜框的位置。
22.根据权利要求21所述的人脸图像的眼镜框去除装置，其特征在于，所述眼球屏蔽单元预先设置的眼睛模板包括适于屏蔽所述第三图像中的眼球的掩模区域，所述掩模区域按与所述第二图像的尺寸相适应的比例进行设置。
23.根据权利要求22所述的人脸图像的眼镜框去除装置，其特征在于，所述掩模区域为两个相同大小的椭圆，所述椭圆的短轴长度为第二图像高度的1/4，长轴长度为第二图像宽度的1/8，两个椭圆中心的纵坐标位于第二图像高度的1/2处，横坐标分别位于第二图像宽度的1/4处、3/4处。
24.根据权利要求21所述的人脸图像的眼镜框去除装置，其特征在于，所述卷积滤波单元分别以预设模板及其转置模板对所述第二图像进行卷积滤波操作，输出两个滤波结果的绝对值之和，形成所述第三图像。
25.根据权利要求24所述的人脸图像的眼镜框去除装置，其特征在于，所述预设模板是基于Sobel算子建立的。
26.根据权利要求21所述的人脸图像的眼镜框去除装置，其特征在于，所述数学形态学操作单元进行的数学形态学操作包括闭运算操作、去除小面积连通域的操作。
27.根据权利要求21所述的人脸图像的眼镜框去除装置，其特征在于，所述插值单元包括第一插值单元，适于在所述第二图像上，相应于所述第六图像中的白像素部分，基于所述肤色模型具有的均值参数对每个像素点进行插值，形成第七图像；第二插值单元，适于在所述第七图像上，相应于所述第六图像中的白像素部分，基于向所述肤色模型投影后得到的肤色概率值对眼镜框的部分像素点的插值结果进行修正，形成第八图像；中值滤波单元，适于在所述第八图像上，相应于所述第六图像中的白像素部分，进行中值滤波操作以去除孤立噪声，形成所述第九图像。
28.根据权利要求27所述的人脸图像的眼镜框去除装置，其特征在于，所述第一插值单元选取像素点的邻域，并确定第一阈值，所述第一阈值为区分眼镜框灰度与其周围皮肤灰度的分割阈值，若像素点的灰度值大于所述均值参数，则使用该像素点的邻域中低于所述第一阈值的像素均值更新该像素点的灰度值，否则使用该像素点的邻域中高于所述第一阈值的像素均值更新该像素点的灰度值，遍历所有像素点后，形成所述第七图像。
29.根据权利要求27所述的人脸图像的眼镜框去除装置，其特征在于，所述第二插值单元对每个像素点向所述肤色模型投影，得到每个像素点的肤色概率值，若某个像素点的肤色概率值大于第二阈值，则以所述第二图像中该像素点的灰度值对所述第七图像中相对应像素点的灰度值进行更新，遍历所有像素点后，形成所述第八图像。
30.根据权利要求29所述的人脸图像的眼镜框去除装置，其特征在于，所述第二阈值为 O. 002 O. 01。
31.根据权利要求16所述的人脸图像的眼镜框去除装置，其特征在于，所述肤色模型为高斯模型。
32.—种人脸识别系统，其特征在于，包括权利要求16至31任一项所述的人脸图像的眼镜框去除装置。
全文摘要
一种人脸图像的眼镜框去除方法，包括对输入的戴眼镜的人脸图像中的双眼进行检测定位，并基于定位后的结果对所述人脸图像进行几何校正，形成第一图像；从所述第一图像中提取出眼睛预估区域，获得第二图像，并对所述第二图像进行数学形态学处理以确定眼镜框的位置；基于所述第一图像，建立人脸的肤色模型；在所述第二图像中，对确定出位置的眼镜框的每个像素点进行插值，并以所述肤色模型对眼镜框的部分像素点的插值结果进行修正，再经去噪处理后形成第九图像；以所述第九图像替代所述第一图像中的眼睛预估区域，合成后输出去除眼镜框后的人脸图像。本发明的技术方案能便捷、有效地去除戴眼镜人脸图像中的眼镜框，进而提高人脸识别率。
文档编号G06K9/00GK103020579SQ20111028285
公开日2013年4月3日 申请日期2011年9月22日 优先权日2011年9月22日
发明者王晓平, 曾文斌, 赵文忠 申请人:上海银晨智能识别科技有限公司