双目视觉人脸识别算法
【专利摘要】双目视觉人脸识别算法，采用双目相机对人脸区域进行图像采集，对人脸图像进行人脸定位，定位人脸区域及脸部特征，获得人脸初步图像A；再获取人脸区域的景深图像B，对人脸初步图像A和景深图像B进行2D?3D融合，获取人脸识别图像。本发明不同于基于3D重建的双目视觉立体人脸识别系统，采用双目视觉采集的多幅景深图像与人脸区域图像进行融合，作为全新判别依据。在不进行三维重建的情形下，形成对人脸信息的完整描述，实现更加快速和准确的识别。
【专利说明】
双目视觉人脸识别算法
技术领域
[0001] 本发明属于视觉图像处理技术领域，涉及一种人脸识别技术，具体的说，涉及一种 双目视觉人脸识别算法。
【背景技术】
[0002] 基于人脸图像的身份鉴别旨在使计算机具有通过人脸来鉴别身份的功能。它是一 种依托于图像理解、模式识别、计算机视觉和神经网络等高技术的智能系统，可以部分甚至 全部地代替人类从事复杂而频繁的基于人脸图像的身份识别工作。由于其广泛的应用领 域，人脸识别技术在近三十年里得到了广泛的关注和研究，并且正在被推向应用。
[0003] 近年来，随着计算机技术的迅速发展，人脸自动识别技术得到广泛研究与开发，人 脸识别成为近30年里模式识别和图像处理中最热门的研究主题之一。人脸识别的目的是从 人脸图像中抽取人的个性化特征，并以此来识别人的身份。一个简单的自动人脸识别系统， 包括以下4个方面的内容：
[0004] (1)人脸检测(Detection):即从各种不同的场景中检测出人脸的存在并确定其位 置。
[0005] (2)人脸的规范化(Normalization):校正人脸在尺度、光照和旋转等方面的变化。 [0006] (3)人脸表征(Face Representation):采取某种方式表示检测出人脸和数据库中 的已知人脸。
[0007] (4)人脸识别（Recognition):将待识别的人脸与数据库中的已知人脸比较，得出 相关信息。
[0008] 在人脸识别中，特征的分类能力、算法复杂度和可实现性是确定特征提取法需要 考虑的因素。所提取特征对最终分类结果有着决定性的影响。分类器所能实现的分辨率上 限就是各类特征间最大可区分度。因此，人脸识别的实现需要综合考虑特征选择、特征提取 和分类器设计。
[0009] 目前人脸识别分为传统的二维图像识别和三维人脸重构，二维图像识别对输入人 脸图像质量较敏感，如侧脸等类似图像的识别率较低，基于双目的三维人脸重构识别率较 高但运算速度较慢。
【发明内容】
[0010] 本发明的目的在于针对现有技术的不足，提供一种基于双目视觉系统的人脸识别 方法，可以使二维人脸图像融合三维景深信息，提高人脸图像的识别率。
[0011] 本发明的技术方案为:双目视觉人脸识别算法，包括以下步骤：
[0012] (1)进行人脸定位:定位人脸区域及脸部特征，获得人脸初步图像A;
[0013] (2)获取人脸区域的景深图像:采用双目视觉采集系统对人脸区域进行景深测量， 得到人脸区域的景深图像B;
[0014] (3)对人脸初步图像A和景深图像B进行2D-3D融合:人脸初步图像A及精神图像B均 传入像融合模块；图像A的坐标(x，y)处的像素值记为A(x，y)，图像B的坐标(x，y)处的像素 值记为B(x，y)，加权系数记为w(x，y)，对图像A和图像B对应的点进行加权像素融合，得到加 权融合后对应点(x，y)处的像素：
[0015] C(x，y)=F[A(x，y)，B(x，y)]=w(x，y)*A(x，y)*B(x，y);求解各个点的像素值。
[0016] (4)对人脸融合图像进行图像识别。
[0017]优选的是:人脸定位的方法为:通过肤色提取，获取人脸部区域;肤色提取对脸部 区域的获取是比较准确的，误差小，速度快。标记脸部特征:此处需要定位的特征是眼睛、鼻 尖、嘴唇三个部分；由于眼睛具有对称性，因此可以很快就能标记处眼睛的位置，而鼻子是 在眼睛的下面，嘴巴是在鼻子的下面，因此只要标记好眼睛，鼻子和嘴巴也能相应的标记出 来。获取最小的人脸内接矩形，且该最小人脸内接矩形内接双眼、鼻尖和嘴唇四个特征点。
[0018] 优选的是:加权系数
。除此之外， 加权系数的选择方法还有很多。
[0019] 优选的是:获取人脸景深图像前，先进行相机标定，相机标定方法有多种:传统相 机标定法、主动视觉相机标定方法、相机自标定法等，选择传统相机标定方法进行相机标 定。通过相机标定获得相机内矩阵参数和外矩阵参数，进一步获得人脸区域的景深信息，通 过子图像融合获得包含景深信息的人脸区域训练样本库，训练样本库得到人脸识别图像。
[0020] 双目视觉人脸识别系统，包括：
[0021 ]双目相机:用于人脸图像的采集。
[0022] 图像预处理模块:包括图像光线补偿、图像灰度图获取、图像去噪、图像对比度增 强、图像二值化五部分，采用传统的双目相机进行图像采集，根据相机的安装环境，进行必 要的补光措施。获取灰度图像(或进行图像灰度处理），去噪后可进行图像对比增强，最后设 定阈值得到需要的二值化图像。
[0023] 人脸定位模块:获取人脸区域图像，并标定典型的脸部特征；
[0024]双目景深测量模块:获取人脸区域图像的景深；
[0025] 2D-3D融合模块:将双目景深模块获得的图像与人脸定位模块获得的图像进行融 合；
[0026] 识别模块:识别2D-3D融合模块融合的人脸图像。
[0027] 本发明的有益效果为:本发明结合双目视觉进行人脸识别，能够有效解决单目人 脸识别中图像采样不完整导致的识别率低下的问题。本发明不同于基于3D重建的双目视觉 立体人脸识别系统，采用双目视觉采集的多幅景深图像与人脸区域图像进行融合，作为全 新判别依据。在不进行三维重建的情形下，形成对人脸信息的完整描述，实现更加快速和准 确的识别。
【附图说明】
[0028]图1为本发明人脸识别原理示意图。
[0029]图2为本发明结构示意图。
[0030]图3为双目景深测量模块原理图。
【具体实施方式】
[0031] 以下结合附图对本发明的【具体实施方式】进行进一步的描述。
[0032] 如图1和图2所示，双目视觉人脸识别系统与方法，通过双目相机采集人脸图像，并 将采集的图像传递到图像处理系统。图像处理系统包括图像预处理模块、人脸定位模块、双 目景深测量模块、2D-3D融合模块和识别模块。
[0033] 图像预处理模块:包括图像光线补偿、图像灰度图获取、图像去噪、图像对比度增 强、图像二值化五部分，采用传统的双目相机进行图像采集，根据相机的安装环境，进行必 要的补光措施。获取灰度图像(或进行图像灰度处理），去噪后可进行图像对比增强，最后设 定阈值得到需要的二值化图像。双目相机采集的人脸图像首先经图像预处理模块处理，并 将处理后的图像传递到人脸定位模块。
[0034] 人脸定位模块:获取人脸区域图像，并标定典型的脸部特征，获得人脸初步图像A; 其中人脸定位的方法为:通过肤色提取，获取人脸部区域;肤色提取对脸部区域的获取是比 较准确的，误差小，速度快。标记脸部特征:此处需要定位的特征是眼睛、鼻尖、嘴唇三个部 分；由于眼睛具有对称性，因此可以很快就能标记处眼睛的位置，而鼻子是在眼睛的下面， 嘴巴是在鼻子的下面，因此只要标记好眼睛，鼻子和嘴巴也能相应的标记出来。获取最小的 人脸内接矩形，且该最小人脸内接矩形内接双眼、鼻尖和嘴唇四个特征点。双目景深测量模 块:获取人脸区域图像的景深。获取的人脸初步图像A传递到后续的识别模块。
[0035]如图3所示，双目景深测量模块:获取人脸区域的景深图像:采用双目视觉采集系 统对人脸区域进行景深测量，得到人脸区域的景深图像B。双目景深测量模块包括四个部 分，标定相机，图像校正，图像匹配，及获取景深。
[0036]标定相机:摄像头定标一般都需要一个放在摄像头前的特制的标定参照物，采用 棋盘纸进行标定，摄像头获取参照物的图像，并由此计算摄像头的内参数和外参数。根据棋 盘上的每一个角点在世界坐标系中的位置坐标和这些角点在图像上的投影位置坐标，可计 算出摄像头的内外参数。
[0037]图像校正：图像校正的作用是消除相机拍摄到的图像的畸变，使世界坐标系中任 意一点的位置坐标在双目相机拍摄到的两幅图像上的投影位置坐标严格对应。
[0038] 图像匹配:通过图像校正后，双目相机拍摄的两幅图像的对极线恰好在同一水平 线上，保证一幅图像上任意一点与其在另一幅图像上的对应点具有相同的行坐标（即x轴坐 标），进行一维搜索即将两幅图像上的对应点相匹配。
[0039] 获取景深:根据匹配的对应点视差计算对应点景深，进而获取图像景深。
[0040] 2D-3D融合模块:将双目景深模块获得的图像与人脸定位模块获得的图像进行融 合:对人脸初步图像A和景深图像B进行2D-3D融合:人脸初步图像A及精神图像B均传入像融 合模块；图像A的坐标(x，y)处的像素值记为A (x，y)，图像B的坐标(x，y)处的像素值记为B (x，y)，加权系数记为w(x，y)，对图像A和图像B对应的点进行加权像素融合，得到加权融合 后对应点(x，y)处的像素：
[0041] C(x，y)=F[A(x，y)，B(x，y)]=w(x，y)*A(x，y)*B(x，y);求解各个点的像素值;其 中加权系数w(x，y)为
[0042] 对人脸初步图像A所示人脸区域范围内的各个坐标点逐一进行像素融合，获得2D-3D融合后的人脸图像。
[0043] 识别模块:识别2D-3D融合模块融合的人脸图像。常规人脸识别算法都可对融合后 图像进行识别。具体采用象素点空间变换算法和基于主成分分析的增强特征脸算法进行识 另IJ，即使人脸存在15度以内的侧偏或旋转也不会影响识别结果，因此可以克服复杂背景中 人脸提取及识别的难题。另外在识别过程中将引入人工干预，可根据图像具体情况(背景， 光照等)从多种识别模式中选择最适当的方法得到判定结果，因而和与现有实用的人脸识 别技术相比，本技术具有较高鲁棒性。
【主权项】
1. 双目视觉人脸识别算法，其特征在于:包括W下步骤： (1) 进行人脸定位:定位人脸区域及脸部特征，获得人脸初步图像A; (2) 获取人脸区域的景深图像:采用双目视觉采集系统对人脸区域进行景深测量，得到 人脸区域的景深图像B; (3) 对人脸初步图像A和景深图像B进行2D-3D融合：图像A的坐标(x，y)处的像素值记为 A(x，y)，图像B的坐标(x，y)处的像素值记为B(x，y)，加权系数记为w(x，y)，得到加权融合后 对应点(x，y)处的像素： C(x,y)=F[A(x,y) ,B(x,y)] =w(x,y)*A(x,y)*B(x,y)； (4) 对人脸融合图像进行图像识别。2. 如权利要求1所述的双目视觉人脸识别算法，其特征在于:所述人脸定位的方法为： 通过肤色提取，获取人脸部区域;标记脸部特征：眼睛、鼻尖、嘴唇;获取最小的人脸内接矩 形，且该最小人脸内接矩形内接双眼、鼻尖和嘴唇四个特征点。3. 如权利要求1所述的观日规常:人盼巧讶I當巧.其据佈#干，所化加权系数w(x，y)为： 4. 如权利要求1所述的双目视觉人脸识别算法，其特征在于:通过相机标定获得相机内 矩阵参数和外矩阵参数，进一步获得人脸区域的景深信息，通过子图像融合获得包含景深 信息的人脸区域训练样本库，训练样本库得到人脸识别图像。5. 双目视觉人脸识别系统，包括图像预处理模块，其特征在于:还包括双目相机W及： 人脸定位模块:获取人脸区域图像，并标定典型的脸部特征； 双目景深测量模块:获取人脸区域图像的景深； 2D-3D融合模块:将双目景深模块获得的图像与人脸定位模块获得的图像进行融合； 识别模块:识别2D-3D融合模块融合的人脸图像。
【文档编号】G06K9/00GK105913013SQ201610217308
【公开日】2016年8月31日
【申请日】2016年4月8日
【发明人】于林明, 王孔茂, 都强, 王利宁, 孙正康, 赵福立
【申请人】青岛万龙智控科技有限公司