利用主动光源获取人脸图像的方法

专利名称：利用主动光源获取人脸图像的方法
技术领域：
本发明涉及一种获取人脸图像的方法，特别是指一种在人脸识别过程中，利用主动光源进行对人脸进行照明，用以克服环境光对人脸图像稳定性的影响的方法，属于计算机图像识别和处理技术领域。
背景技术：
人脸识别是基于计算机、图象处理、模式识别等技术的一种生物特征识别技术。近年来，特别是美国遭到9.11恐怖袭击事件后，世界各国都把安全放到首位，因此，人脸识别技术的得到比以前更多的关注。
生物识别技术主要是依靠人体的身体特征来进行身份验证的一种高科技识别技术。人的指纹、掌纹、眼虹膜、脱氧核糖核酸(DNA)以及人脸相貌等人体特征具有人体所固有的不可复制的唯一性、稳定性，无法复制，失窃或被遗忘。由于每个人的这些特征都不相同，因此利用人体的这些独特的生理特征可以准确地识别每个人的身份。已有的人体生物识别方法包括人脸识别、指纹识别、声音识别、掌形识别、签名识别、眼虹膜、视网膜识别等。
人脸识别与其他识别技术相比较，具有自然、简便、易用、用户接受性良好、非接触、非侵扰等众多优点。面部识别无需干扰人们的正常行为就可以实现识别的目的，无需为人们是否愿意将手放在指纹采集设备上，或对着麦克风讲话，或是将他们的眼睛对准激光扫描装置而进行争辩。只要从一架摄像机前走过，就可以被快速地识别。因此，人脸识别技术可广泛地应用于安全验证、监控、出入口控制、电脑登录、互联网登录及身份认证、电子商务信息系统、金库的安全设施、保险柜、自动柜员机、追捕犯罪嫌疑人、反恐怖斗争以及其他适用的领域。
常见的人脸识别技术典型应用模式包括
身份鉴定(一对多的搜索)在鉴定模式下，确定一个人的身份，可以快速地计算出实时采集到的面纹数据与面像数据库中已知人员的面纹数据之间的相似度，给出一个按相似度递减排列的可能的人员列表，或简单地返回鉴定结果(相似度最高的)和相对应的可信度。
身份确认(一对一的比对)在确认模式下，面纹数据可以存储在智能卡中或数码记录中，只需要简单地将实时的面纹数据与存储的数据相比对，如果可信度超过一个指定的阈值，则比对成功，身份得到确认。
监控应用面像捕捉、面像识别技术，在监控范围中跟踪一个人和确定他的位置。
监视可以在监控范围内发现人脸，而不论其远近和位置，能连续的跟踪他们并将它们从背景中分离出来，将他的面像与监控列表进行比对。整个过程完全是无需干预，连续和实时。
上述的各种应用模式可以广泛地应用在如下的多个领域身份确认与人员检索可用于电脑/网络安全、银行业务、智能卡、访问控制、边境控制等领域；身份证可用于选民登记、身份证、护照、驾驶执照、工作证等；计算机信息保护系统利用面像特征识别用户，保护计算机信息；犯罪嫌疑人识别系统应用于脸部照片登记系统，事件后分析系统；远距离身份识别应用于监视、监控、闭路电视、交通管理、敌友识别等。
参见图1，一个完整的人脸识别过程是将待识别人脸图像与数据库中人脸作比对，然后作出识别判决。比对识别是在人脸特征码的基础上进行。该过程由图像采集10、特征提取20、和特征比对30三个步骤完成。对应于人脸识别系统则包括图像采集模块其通过图像采集装置(如摄像机、数码相机等)采集的人脸图像或图像视频序列，然后，将这些图像或视频序列送至计算机进行处理；特征提取模块其设置在计算机之中，从输入的图像中检测定位人脸部分，并在对人脸姿态进行校正之后提取人脸的特征信息，即人脸特征码；特征比对模块同样设置在计算机之中，它将待识别人的人脸特征信息(人脸特征码)与人脸特征数据库中所存入的特征信息(人脸特征码)进行比对，并在这些信息中找出最佳的匹配对象。
显然，人脸特征数据库需要在识别之前建立。因此，参见图2，一个人脸识别系统识别应有由人脸识别A和人脸录入建档B两大过程构成。其中，人脸录入建档B过程的目的是建立在人脸识别过程中使用的人脸特征数据库。
人脸识别A和人脸录入建档B两大过程均包括图像采集和特征提取过程，以获取图像和提取特征。但人脸识别过程是将提取的特征码与人脸特征数据库所存入的特征码进行特征比对匹配，而人脸录入建档过程则将提取的特征码存入人脸特征数据库。
人脸的特征提取20由人脸检测或人脸跟踪201、人脸的特征定位与校正202、人脸特征抽取203等几个步骤构成。人脸检测是指在动态的场景与复杂的背景中判断是否存在人脸并分离出人脸，人脸跟踪指对被检测到的人脸进行动态目标跟踪，人脸定位找出眼、鼻、嘴等关键部位，人脸校正利用关键部位对人脸进行几何校正(如校正偏移的人脸姿态)，人脸特征提取对检测校正的人脸计算脸部的本质特征。
人脸的特征对比30则是基于抽取人脸特征将待识别的人脸数据库40中的人脸进行依次比对，计算匹配可信度，并判决最佳匹配对象。因此，人脸的特征描述决定了人脸识别的具体方法与性能。
要获得高度可靠、精确的人脸识别效果，所提取人脸特征应反映脸部的本质特征，即不随皮肤色调、面部毛发、发型、眼镜、表情、姿态、和光线的变化。但是，现有的人脸识别技术中所存在的一大难题在于环境光线的变化对人脸特征的影响非常大，不同的环境光线下所获得的人脸图像的识别效果差异极大。
研究表明由光线变化造成的同一人脸的图像差别要远远大于不同人脸的图像差别。(参见Yael Adnin，Yael Moses and Shimon Ullman，“FacerecognitionThe problem of compensating for changes in illuminationdirection(人脸识别光照方向变化补偿问题)”，IEEE Transactions onPattern Analysis and Machine Intelligence，Vol.19，No.7，1997，第712-732页)。现有的人脸识别技术中主要依赖的是“被动”光源，即环境光源。但是，在实际的应用过程中，环境光千差万别，并且难以控制。环境光源的变化会使得获取的人脸发生显著变化，导致所提取人脸特征发生显著变化，进而导致人脸特征对比准确率下降。
设人脸表面一点Pi的法向量为n1＝(nx，ny，nz)T，且nT1为单位向量，即‖n‖＝1；设光源为点光源，方向为s＝(sx，sy，sz)，人脸的成像公式可以简单地用Lambertian(兰伯特)模型表示，Pi点的灰度Ii为Ii＝ρi(x，y)ni(x，y)T·s (1)其中，i＝1，2，…，k，k为人脸所包含的像素点数；ρi为人脸在Pi点的表面反射率，nTi表示人脸表面一点i处的表面法向量，·表示点积x，y，z表示Pi三维空间中的坐标。
从上述的公式可以看出人脸的成像与人脸的表面反射率、人脸的三维形状和光照有关。在人脸的成像过程中，这三个要素是必不可少的。其中前两项与人脸的本身内在特性有关，也是进行人脸识别所需要的信息；最后一项的光线则是人脸成像的外在因素，也是影响人脸识别性能的主要因素。
虽然光线的强度‖s‖影响人脸图像的灰度，但这种影响由于是整体性的，可以用简单的线性变换予以校正。真正影响人脸识别性能的是光线相对于人脸表面法向量的入射角度。设θi为入射光线与人脸表面法向量在Pi点的夹角(θi∈
)，光线的强度‖s‖＝1，则公式(1)可以表示成如下的公式Ii＝ρi(x，y)cosθi(2)其中，i＝1，2，…，k；k为人脸所包含的像素点数。
从公式(2)中可以看出，如果光线入射角度变化，则θi就会发生相应的变化，从而造成同一人脸在不同光照角度下图像差别。通过相关分析得可知一个从人脸左侧入射的光线产生的人脸图像与一个从人脸右侧入射的光线产生的人脸图像的相关系数一般为负值，这说明两幅图像是完全不同的。
由于在实际的应用过程中，光线的角度与系统的应用环境有关，而实际的环境千差万别并且难以控制。目前人脸识别技术所用图像混合了内在与外在因素，这也就是目前最好的人脸识别系统在光线变化的情况下的识别率只有50％左右的原因(参见2002年美国国家标准局“人脸识别产品评测”报告会(FRVT 2002 Evaluation Report，P.J.Phillips，P.G rother，R.JMicheals，D.M.Blackburn，E Tabassi，and J.M.Bone.March 2003)。。
虽然目前有多种方法在上述的人脸识别中可以进行补偿、归一化等等处理(参见P.N.Belhumeur，David J.Kriegman，“What is the set ofImages of an Object Under All possiblle Lighting Conditions？”，IEEEconf.On Computer Vision and Pattern Recognition”，1996；AthinodorosS.Georghiades and Peter N.Belhumeur，“Illumination cone models forrecognition under variable lightingFaces”，CVPR，1998；Athinodoros S.Georghiades and Peter N.Belhumeur，”From Few to manyIllumination cone models for face recognition under variable lightingand pose”，IEEE Transactions on Pattern Analysis and MachineIntelligence，Vol.23，No.6，pp 643-660，2001；Amnon Shashua，andTammy Riklin-Raviv，“The quotient imageClass-based re-renderingand recognition with varying illuminations”，Transactions onPattern Analysis and Machine Intelligence，Vol.23，No.2，pp129-139，2001；T.Riklin-Raviv and A.Shashua.“The Quotient imageClassbased recognition and synthesis under varying illumination”.InProceedings of the 1999 Conference on Computer Vision and PatternRecognition，pages 566--571，Fort Collins，CO，1999；Ravi Ramamoorthi，Pat Hanrahan，“On the relationship between radiance and irradiancedetermining the illumination from images of a convex Lambertianobject”，J.Opt.Soc.Am.，Vol.18，No.10，2001；Ravi Ramamoorthi，“Analytic PCA Construction for Theoretical Analysis of LightingVariability in Images of a Lambertian Object”，IEEE Transactions onPattern Analysis and Machine Intelligence，Vol.24，No.10，2002-10-21；Ravi Ramamoorthi and Pat Hanrahan，“An EfficientRepresentation for Irradiance Environment Maps”，SIGGRAPH 01，pages497--500，2001；Ronen Basri，David Jacobs，“Lambertian Reflectanceand Linear Subspaces”，NEC Research Institute Technical Report2000-172R；Ronen Basri and David Jacobs，Lambertian Reflectance andLinear Subspaces，IEEE Transactions on Pattern Analysis and MachineIntelligence，forthcoming；Terence Sim，Takeo Kanade，“Illuminatingthe Face”，CMU-RI-TR-01-31，Sept.28，2001等)，但其效果并不明显，而且对处理系统的计算能力要求很高。这些方法中，有的要求对人脸进行三维建模，有的则对人脸的形状进行假设，而这些限制使得人脸识别技术的可操作性大大降低，并且很难取得很好的效果。

发明内容
本发明的主要目的在于提供一种利用主动光源获取人脸图像的方法；在人脸识别过程中，利用主动光源进行对人脸进行照明，克服环境光对人脸图像稳定性的影响。
本发明的另一目的在于提供一种利用主动光源获取人脸图像的方法；通过主动光源进行对人脸进行照明，准确地获取人脸图像中双眼的位置信息，降低人脸检测的难度。
本发明的目的是这样实现的采用主动光源对被拍摄的人脸区域进行照射；同时使用电子图像采集装置对人脸进行拍摄，获取相应的图像，并进一步将所述的图像传送到相应的电子计算处理设备中进行人脸图像的识别处理；其中，所述的主动光源与环境光源在人脸部位所产生的成像总能量大于环境光源在人脸部位所产生的成像能量。这里的主动光源包括可见光灯光、闪光灯、红外波段光源等。本发明可以有效地减小不同光照环境下，光线变化对人脸图像的影响，从而达到在各种光照条件下高度准确的人脸识别；在使用时，利用主动光源对人脸照明，主动光源保持与摄像装置相对位置保持不变；人脸成像中，由于主动光源光强影响大于环境光强，因此，所采集的人脸图像最为稳定，能取得最佳的计算机识别效果。


图1为人脸图像识别的基本流程示意图；图2为人脸图像识别认证以及录入建档流程示意图；图3为实现本发明的人脸图像识别方法的系统构成示意图；图4为本发明主动光源投射方向相对于摄像镜头轴线方向夹角示意图；图5为本发明利用主动光源成像在人眼中心产生高亮点的示意图；图6采用本发明的人脸识别门禁控制系统；图7为采用红外主动光源的图像获取装置。
具体实施例方式
以下结合附图和具体的实施例对本发明作进一步的详细说明参见图3采用本发明的人脸识别系统320，由主动光源照明装置321、图像摄像采集装置322、和计算机处理识别装置323三部份构成；本发明的要点在于主动照明光源的运用，及其与图像摄像采集装置之间的配置关系。
首先，采用主动光源照明装置321对被拍摄的人脸310区域进行照射；同时使用图像摄像采集装置322，例如电脑摄像头、工业摄像机、红外专用摄像机等，对人脸310进行拍摄，获取相应的图像；然后，将所述的图像传送到相应的计算机处理识别装置323中进行人脸图像的识别处理。
在上述的步骤中，所采用的主动光源与环境光源在人脸部位所产生成像的总能量大于2倍环境光源在人脸部位所产生的成像能量。例如假设环境光在人脸部位的光强为30勒克斯(LUX)，在拍摄人脸图像时，采用的主动光源在人脸部位的光强为120LUX，其总光强为环境光线在人脸部位光强的4倍。
具体地，上述的主动光源照明装置由主动辐射源构成，包括红外光源、闪光灯、或可见光灯光等。利用闪光灯在拍摄时对人脸进行照射，由于闪光灯的光强远远大于环境光，因此，可以大大减低环境光对成像的影响。可见光灯光亦可达到类似效果。
利用红外光源在拍摄中对人脸进行照射时，由于人眼对红外感受微弱甚至不感受，因此，在拍摄人脸图像时，红外光源对人无侵扰；在采用红外光源对人脸照射的同时，可以在拍摄设备(例如电子摄像机、数字相机等)镜头上加设相应的红外滤光镜片，用红外滤光镜片进一步减低环境光的影响；因此，红外光源最适合作为人脸识别的主动照明光源。
本发明的具体实施方式
中，无论采用上述的何种主动光源对人脸进行照射，都应当保持主动光源照明装置与图像摄像采集装置之间的相对位置固定，且主动光源的投射方向与电子图像采集装置的摄像镜头轴线成一锐角。
参见图4，在人脸图像的录入和识别过程之中，应当尽量保持人脸平面311与图像摄像采集装置322的相对位置不变，且保持人脸平面311与图像摄像采集装置322中的摄像镜头轴线方向相互垂直(即人脸平面的法向量与摄像镜头轴线方向平行)，这样，人脸平面311法向量与主动光源照明装置321的投射方向的夹角θ基本不变。如此对人脸进行照明，所获得的图像最为稳定。
当使用红外光源时，由于红外光源与可见光波长不同，可以在摄像镜头上加装红外滤光镜片，用于将可见光抑制，以此进一步减低环境光的影响。在本发明中，可用的红外光源的波长为740nm-1700nm的近红外光源，或波长为1700nm-4000nm中红外光源照明。由于红外光为不可见光，并且人眼对红外感受微弱甚至不感受，红外光源对人无侵扰；红外光源应用可在人不察觉中进行。并且，利用在红外光源，可在黑暗中进行人脸识别。
在加用红外滤光镜片时，所述的红外滤光镜片可为带通型或截通型。比如当采用850nm红外发光二极管照明时，可以配合中心波长为850nm的带通型红外滤光镜片，使得850nm的红外光通过，而滤除其他波长光线；或者，配合截止波长为850nm的长通红外滤光片，使得800nm以上波长的红外光通过，而滤除800nm以下波长的光线。
参见图5，利用主动光源成像在人眼中心产生高亮点(左图)检测人眼，进而检测人脸(右图)。在主动光源是红外光时，会使得所获得的人脸图像的人眼中心是一高亮点。利用这一特点，在获得拍摄图像时，就可以首先对图像中出现的、反映人眼的高亮点进行检测，当检测到所述的高亮点时，其周围的区域则可以判断为人脸图像区域。或者，根据人眼与人脸图像的几何关系，利用成对出现的高亮点，配合相应的模板，就可以准确快速地对图像中的人脸区域进行定位。这使得困难的人脸检测问题得以大大简化。
再进一步参见图4，当主动光源照明装置321中的主动光源的投射方向相对于摄像镜头轴线方向的夹角为θ，设环境光为S2，如果加入一个主动光源S1，前述的公式(1)可以写成Ii＝ρi(x，y)ni(x，y)T·(s1+s2) (3)其中，i＝1，2，…，k；如果主动光源S1的强度大于环境光S2强度，即‖S1‖＞‖S2‖，则公式(3)可以近似表示为Ii≈ρi(x，y)ni(x，y)T·s1(4)其中，i＝1，2，…，k；如果在系统识别过程中，进一步约束人脸与摄像装置的相对位置不变，则人脸表面法向量与主动光源的投射方向的夹角不变。则根据公式(4)可知所获得的人脸图像只与人脸本身的特性(表面反射率和表面法向量)有关，而与环境光照条件近似无关。如此采集的人脸图像最为稳定，能取得最佳的计算机识别效果。
参见图6、图7，以下是一个采用本发明实现的人脸识别门禁控制系统的例子如图6所示，在门400上安装有控制器410，采用主动光源的图像获取装置420将获取的人脸信息通过图像信号传送到计算机430中，计算机430根据得到的图像信号进行判断，并将判断结果发送到门400上的控制器410上，通过该控制器410来控制门的打开与否。
图7是图6中的采用主动光源的图像获取装置420的示意图，该主动光源图像获取装置420为一摄像机，在摄像机上采用8-12颗850nm红外发光二极管照明421，置于摄像机镜头前，与摄像机镜头同轴(此时当人脸平面法与主动光源的投射方向垂直时，夹角为零)，配合中心波长为850nm的带通红外滤光镜片422，使得850nm的红外光通过，而滤除其他波长光线；或配合截止波长为800nm的长通红外滤光片，使得800nm以上波长的红外光通过，而滤除800nm以下波长的光线。通过摄像机采集人脸310图像并传至计算机430处理。然后，利用主动光源的使用在人眼中心产生高亮点，使用简单的图像处理技术将此两高亮点检出，进而检测到人脸的位置。最后，对检测到的人脸进行校正，并提取特征，然后作特征比对及识别判决。计算机430根据识别判决的结果，控制门禁系统开门的操作。
最后应说明的是以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或者等同替换；而一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。
权利要求
1.一种利用主动光源获取人脸图像的方法，其特征在于采用主动光源对被拍摄的人脸区域进行照射；同时使用电子图像采集装置对人脸进行拍摄，获取相应的图像，并进一步将所述的图像传送到相应的电子计算处理设备中进行人脸图像的识别处理；其中，所述的主动光源和环境光源在人脸部位所产生的成像总能量大于环境光源在人脸部位所产生的成像能量。
2.根据权利要求1所述的利用主动光源获取人脸图像的方法，其特征在于所述的主动光源和环境光源在人脸部位所产生的成像总能量不小于环境光源在人脸部位所产生成像能量的2倍。
3.根据权利要求1所述的利用主动光源获取人脸图像的方法，其特征在于所述的主动光源与所述的电子图像采集装置相对位置固定，并且，该主动光源的投射方向与电子图像采集装置的摄像镜头轴线成一锐角，即0-90度之间。
4.根据权利要求1或2或3所述的利用主动光源获取人脸图像的方法，其特征在于所述的主动光源为主动辐射源，至少是红外光源或可见光源或闪光灯，或其组合。
5.根据权利要求4所述的利用主动光源获取人脸图像的方法，其特征在于所述的红外光源的波长为740nm-4000nm，或者是在所述波长范围内不同波长红外光源的组合。
6.根据权利要求5所述的利用主动光源获取人脸图像的方法，其特征在于当使用红外光源作为主动光源时，所述的电子图像采集装置的摄像镜头前还可以进一步加设用于抑制可见光的红外滤光镜片，该红外滤光镜片的波长与所述红外光源的波长相适应。
7.根据权利要求6所述的利用主动光源获取人脸图像的方法，其特征在于所述的红外滤光镜片为带通型或长通截止型滤光镜片，以抑制可见光而使红外光通过。
8.根据权利要求1所述的利用主动光源获取人脸图像的方法，其特征在于当使用主动光源采集图像之后，所述的电子计算处理设备检测该主动光源在所述图像中的高亮点，并利用所述的高亮点从所述的图像中检测到人脸图像。
9.根据权利要求1或3所述的利用主动光源获取人脸图像的方法，其特征在于所述的电子图像采集装置为电子视频摄像机或数字照相机。
10.根据权利要求1所述的利用主动光源获取人脸图像的方法，其特征在于所述的电子计算处理设备为设有图像处理软件及相应硬件的计算机系统。
全文摘要
一种利用主动光源获取人脸图像的方法，采用主动光源对被拍摄的人脸区域进行照射；同时使用电子图像采集装置对人脸进行拍摄，获取相应的图像，并进一步将所述的图像传送到相应的电子计算处理设备中进行人脸图像的识别处理；其中，所述的主动光源在人脸部位所产生的成像能量远远大于环境光源在人脸部位所产生的成像能量。本发明可以有效地减小不同光照环境下，光线变化对人脸图像的影响，从而达到在各种光照条件下高度准确的人脸识别；在使用时，利用主动光源对人脸照明，主动光源保持与摄像装置相对位置保持不变；人脸成像中，由于主动光源光强影响大于环境光强，因此，所采集的人脸图像最为稳定，能取得最佳的计算机识别效果。
文档编号G03B15/02GK1627317SQ200310121340
公开日2005年6月15日 申请日期2003年12月12日 优先权日2003年12月12日
发明者高奇 申请人:北京阳光奥森科技有限公司