专利名称：用于面部检测的近红外方法和系统的制作方法
相关申请的交叉引用本申请要求美国临时申请No.60/318,786、题为”面部检测系统和方法”的专利申请的利益，所述申请于2001年9月13日提交，本申请将所述文件合并在此以供参考。
政府的权利本发明是在美国政府的支持下完成的，基金授予号为NSF/CRCD0088086，基金来源于政府的行政部门国家科学基金会。美国政府持有本发明的不容争辩的权利。
背景技术：
本发明关于检测系统和方法。更具体地说，本发明是关于利用近红外光谱检测诸如面部容貌特征的检测系统和方法。
在多种情形下，检测不同的个人是很重要的。比如，很多高档保安应用实例中都要求检测不同的个人，例如，在使馆周边的监视系统中就需要知道某些个人是否在特定的场景中。此外又如，不仅是高级的保安情形需要这样的检测系统和方法，政府大厦、学校、机场及边境管制点也需要。因此，需要开发并装备检测及鉴别个人的系统，例如相隔一段距离进行检测的系统。这样的系统对于防范高价值的资源(例如政府大厦的周边)免遭不对称威胁(例如恐怖主义分子)的情形非常有利。
通常，某些近期的开发出的生物测定技术(例如，一些面部识别系统，它们可以将某个特定个人的预先存储的数据与实时采集的个人的数据进行对比)可被用于诸如上文描述的情形中。然而，这类面部识别系统并不是不存在问题。比如，许多面部识别系统没有适当的检测技术，用以检测一个或多个人物出现在被监视的景象中(例如，鉴别一个人物是否存在和/或检测某人物的一个或多个面部容貌特征)。又如，许多面部识别系统无法成功地判定一个人面部的朝向或一个人面部的范围，从而使面部识别算法无法有效地被用于所述被检测的个人。
面部检测，比如在某一景象中面部的检测和/或在某一景象中检测某人的一个或多个面部容貌特征，是成功应用面部识别算法的一个重要的先决步骤。例如，预先存储的面部识别标志必须以坐标定位或对准的形式应用于一幅面部图像。换句话说，面部检测是面部识别系统总体的一个非常重要的预处理阶段，它向面部识别系统提供一个或多个要点或面部容貌特征，从而可以将预先存储的个人的面部识别标志与现有图像中检测到的人进行有效的对比。比如，所述面部检测技术可提供图像中某人的两眼中心点的位置，从而使面部识别标志可以与其对准(例如，将面部识别标志中的双眼与需分析的个人图像中的双眼对准)。
面部检测是一项具有挑战性的机器视觉操作，尤其是在室外照明变化非常大的环境情形下。这样的环境条件要求是面部识别系统通常仅限于室内配备的通行管制应用的一个重要原因之一。所以，为了扩大上述面部识别技术的应用，一个需要应对的重大技术挑战就是在无约束环境条件下面部检测部件性能低下的问题。
可见光波段面部检测部件，例如文献中报道的那些，选择纯算法方案，因而先天就存在现象学的问题(phenomenology problem)。人的面部识别标志在可见光波段相对于不同种族变化非常大。这种变化与动态照明条件交织在一起就形成了一个令人生畏的问题。通过使用人工照明器来减少光线变化的方法在可见光波段很难实行，因为它会转移景象中人物的注意力并为监视系统的存在做宣传。
近年来，在面部检测领域已经积累了相当多的研究成果。尽管方法不尽相同，这些研究主要集中于三种不同的方法，即人工神经元网络、特征提取及小波分析。不同的方法应用于面部检测时都有其相应的长处与不足，但没有任何一种方法能够取得足以匹敌人类感知能力的结果。
大多数面部检测研究专注于不同形式的特征提取。特征提取方法利用不同的面部及皮肤的属性来分解并提取所需的数据。流行的方法包括皮肤颜色分离、主要构件分析、本征空间(Eigenspace)建模，直方图分析、表面纹理分析以及频域特征。
基于人工神经元网络的面部检测研究也受到了关注。使用这种方法的问题之一是寻找一组有代表性的数据。所述困难也因另一个事实而增加难度，即，必须搜集一组强有力的反例数据来训练单个的网络。
小波方法通常的目的是最大类(maximum class)的判别及信号维数化简。由于维数降低，基于小波方法的运算效率较高。
然而，上述所有方法都伴随着可见光谱的图像。因此它们对光线的变化以及人类面部表象在可见光波段中的变化很敏感。
发明概述面部检测系统需要更高的精度，特别是在复杂的环境及照明条件下。因此，根据本发明，最好进行近红外光谱的多波段特征提取，以提供可靠的面部检测。换句话说，例如，本发明提供面部检测方法，例如，确定某人面部上眼睛的位置，是基于近红外现象学的、利用多波段特征提取及利用广义模型数据(例如，利用哈夫变换(Houghtransform)模板)来实现的。
例如，在一个实施例中，通过从多个近红外波段提取容貌特征来提供检测的皮肤区域中面部的朝向及范围。然后，对被检测的皮肤区域中每一点应用通用哈夫变换，所述变换是利用一幅组合容貌特征图像中的所期望的眼睛区域的表象(如，人的一组眼睛和眉毛)来建模的。从对通用模板的最强响应得到眼睛的斑点图像，其中眼睛可被定位，从而也可从中确定检测对象的一只或一双眼睛的中心。
面部识别标志在近红外光照中变化很少，因而对于检测这些标志帮助很大。此外，景象中的照度可以通过包含近红外照明装置的反馈控制回路保持在最佳电平。再者，由于人眼看不见近红外光，所以面部检测可以以不冒昧及隐蔽的形式完成。这些长处与人类皮肤对于近红外光谱独特的反射特性结合起来，使基于简单并可靠算法的面部检测得以实现。
依照本发明用于检测某人面部的方法包括提供图像数据，所述图像数据表示从景象反射回来的、至少属于反射红外辐射范围内某一波长范围的光。图像数据中有可能对应于人的一条或两条眉毛的景象区域被提取出来，并且图像数据中有可能对应于人的一只或一双眼睛的景象区域也被提取出来。将提取的有可能对应于人的一条或两条眉毛的景象区域与提取的有可能对应于人的一只或一双眼睛的景象区域合起来就形成了一幅组合容貌特征图像。然后对所述组合容貌特征图像利用表示眼部区域的模型数据进行搜索来检测所述人物的一只或一双眼睛。
在本方法的一个实施例中，提供第一图像输出，所述图像输出代表从景象反射回来的属于反射红外辐射范围内第一波长范围的光。从第一图像输出中可提取出有可能对应于人的一条或两条眉毛的景象区域。有可能对应于人的一条或两条眉毛的景象区域在第一波长范围比人的皮肤有相对较高的反射率。另外，再提供第二图像输出，所述图像输出代表从景象反射回来的属于反射红外辐射范围内第二波长范围的光。从第二图像输出中可提取出有可能对应于人的一只或一双眼睛的景象区域。有可能对应于人的一只或一双眼睛的景象区域在第二波长范围比人的皮肤有相对较低的反射率。
在本方法的另一个实施例中，面部搜索区域可以通过从背景中离析出景象中的人的皮肤来确定，举例来说，可以基于上述第一和第二图像输出来进行分离。例如，人的皮肤对于第一波长范围及第二波长范围红外光反射率之差，比背景中人皮肤以外的其他物体对于第一波长范围及第二波长范围红外光反射率之差更大。
在本方法的再一个实施例中，对所述组合容貌特征图像利用代表眼部区域的模型数据进行搜索以检测所述人物的一只或一双眼睛。所述搜索可能会得到一个或多个包含眼睛的区域，举例来说，将表示多数人眼睛与眉毛关系的模板用于所述组合容貌特征图像来确定一个或多个包含眼睛的区域的位置。然后可以对处在一个或多个包含眼睛的区域中的一只或一双眼睛的中心进行估算，举例来说，确定一个或多个包含眼睛的区域是否是一个横跨大部分人面部的单个斑点，或是大小差不多的两个斑点，还是一个较横跨大部分人面部的单个斑点小但却较其他被确定的包含眼睛的区域大的单个斑点。
还描述依据本发明的用于检测人面部的系统。所述系统包括至少一台成像设备，用以提供表示景象中反射回来的、处于红外反射辐射范围至少一个波长范围中的光的图像数据；以及处理设备。所述处理设备用以提取图像数据中有可能对应于人的一条或两条眉毛的景象区域，也用以提取图像数据中有可能对应于人的一只或一双眼睛的景象区域，再将提取的有可能对应于人的一条或两条眉毛的景象区域与提取的有可能对应于人的一只或一双眼睛的景象区域合并起来，构成一幅组合容貌特征图像，而后再利用表示眼睛区域的模型数据来搜索所述组合容貌特征图像，从而检测到所述人物的一只或一双眼睛。
在所述系统的一个实施例中，所述系统可以包括第一成像设备，所述设备对红外反射辐射范围的第一波长范围敏感，以提供表示景象的第一图像输出。从第一图像输出中可提取出有可能对应于人的一条或两条眉毛的景象区域。相应于某人一条或两条眉毛的景象区域对于第一波长范围有比人的皮肤较高的反射率。所述系统还可以包括第二成像设备，所述设备对红外反射辐射范围的第二波长范围敏感，以提供表示景象的第二图像输出。从第二图像输出中可提取出有可能对应于人的一只或一双眼的景象区域。有可能对应于人的一只或一双眼睛的景象区域对于第一波长范围有比人的皮肤较低的反射率。
在所述系统的另一实施例中，处理设备还通过从背景离析出景象中的人的皮肤来确定面部搜索区域(举例来说，基于上述第一与第二图像输出来分离)从而可以利用人的皮肤对第一波长范围与第二波长范围反射的差异。
在所述系统的另一实施例中，处理设备也可利用表示眼睛区域的模型数据来搜索组合容貌特征图像，以便得到一个或多个包含眼睛的区域，举例来说，对组合容貌特征图像使用表示多数人眼睛与眉毛关系的模板，来为一个或多个包含眼睛的区域定位。然后，从一个或多个包含眼睛的区域中可估算出一只或两只眼的中心位置。
在所述系统的另一实施例中，所述系统包括检测装置，用于监测景象的照明水平；以及控制装置，用于对所述检测装置的监测结果作出反映而动态地调节由光源提供的照明水平。
下面描述用于检测人面部的另一方法。所述方法包括提供表示景象中反射回来的、处于反射红外辐射范围第一波长范围中的光的第一图像输出；以及提供表示景象中反射回来的、处于反射红外辐射范围第二波长范围中的光的第二图像输出。基于上述第一与第二图像输出，通过从背景离析出的景象中人的皮肤来规定至少一个面部搜索区域。人皮肤对第一波长范围与第二波长范围的光之反射率的差异大于背景中除了人以外的物体对第一波长范围与第二波长范围的光之反射率的差异。在规定的面部搜索区域中提取出有可能对应于人的一条或两条眉毛的景象区域。这些有可能对应于人的一条或两条眉毛的景象区域对于第一波长范围有比人的皮肤较高的反射率。在规定的面部搜索区域中还提取出有可能对应于人的一只或一双眼睛的景象区域。这些有可能对应于人的一只或一双眼睛的景象区域对于第二波长范围有比人的皮肤较低的反射率。将从景象中提取的有可能对应于人的一条或两条眉毛的区域与从景象中提取的有可能对应于人的一只或一双眼睛的区域合并在一起就得到一幅组合容貌特征图像。对所述组合容貌特征图像再利用表示眼区域的模型数据来搜索以确定一个或多个包含眼睛的区域。然后，从一个或多个包含眼睛的区域中估算一只或一双眼睛的中心位置。
以上关于本发明的概述并不打算描述每一个本发明的实施例或实现方法。其优越性，以及对本发明更完整的理解，将通过参考以下的详细说明和权利要求书而变得显而易见并得到赏识。
实施例的简述
图1展示起概括说明作用的近红外人物鉴别系统，用以根据本发明使用面部检测及面部识别来鉴别人。
图2展示包含面部检测进程的近红外人物鉴别方法，其可用图1所示的系统实现，用以根据本发明来检测人面部。
图3展示用来描述人头部可能取向的示意图；根据本发明可以至少在某种程度上估算其取向。
图4展示具有代表性的硬件系统实施例，其可根据本发明实现至少面部检测。
图5展示一种示意性面部检测进程的实施例，其根据本发明可由图2概括示意。
图6展示一种近红外皮肤离析系统的实施例，其可用于根据本发明的、如图5所示的规定面部搜索区域的过程。
图7A图解说明供两台照相机互对准的方案。
图7B展示另一种照相机互对准的实施例。
图8是表示某一图像帧中像素的数量与光谱功率之间关系的直方图。
图9是电磁(EM)频谱图。
图10展现汽车挡风玻璃的红外线透射率特性。
图11展现汽车侧面玻璃窗的红外线透射率特性。
图12是展示浅肤色及深肤色白人男性对光的反射百分率的曲线图。
图13是展示浅肤色及深肤色亚裔男性对光的反射百分率的曲线图。
图14是展示浅肤色及深肤色非洲裔男性对光的反射百分率的曲线图。
图15是比较浅色及深色皮肤反射率的曲线图。
图16是棉花、木材及聚酰胺反射率的曲线图。
图17是蒸馏水反射率的曲线图。
图18是天然的人类头发反射率的曲线图。
图19是真人发做的假发套的反射率的曲线图。
图20是展示根据本发明对红外照明装置进行控制的示意曲线图。
图21是一种方法的说明性实施例，它是一种根据本发明的、如图5概括示意的、用来进一步确定面部搜索区域的方法。
图22a-22h是用来描述根据本发明确定面部搜索区域的方法的图解说明，所述方法曾在图5中概略展示并在图21中具体展示。
图23是一种根据本发明的眼定位方法的说明性实施例，它曾概略地展示于图5。
图24是一种搜索方法的说明性实施例，用于根据本发明的在图23中概略示意的眼定位方法中为包含眼睛的区域定位。
图25是一种近似方法的说明性实施例，用于在根据本发明的在图23中概略示意的眼定位方法中为人的一只或一双眼睛的近似中心确定位置。
图26a-26d是用来描述根据本发明的提取眼睛及眉毛特征之方法的一种实施例的图解说明，所述方法用于曾在图23中概略展示的眼定位方法。
图27是用于搜索方法中的模板的示范的图解说明，所述模板用于在根据本发明的在图23中概略展示的并参照图24进一步描述的眼定位方法中为包含眼的区域定位。
图28a-28c是用来描述一种根据本发明之方法的实施例的图解说明，所述方法用于在图23中概略展示的并参照图25进一步描述的眼定位方法确定人的一只或一双眼睛的近似中心。
实施例的详细描述各种用于面部检测的方法和系统的实施例，举例来说，诸如用于面部检测预处理级的方法和系统，将会通过参照图1-28来描述。需要意识到的是在此所述方法和系统的功能部件和/或实施例可以结合在一起使用，和/或所述方法和系统可与其他的检测系统结合在一起使用。
例如，在所述、依据本发明的、这样的组合系统的示意性实施例中，面部检测可用于面部识别算法的预处理级，所述算法将预先存储的不同人物的图像文件与当前取得的并从中检测到面部的图像进行比较。另一方面，面部检测系统也可用于其他应用的预处理级，举例来说，人员计数，确定某人面部的朝向以提供诸如所述人物是否专注于某个特定的目标(举例来说，一幅画，一辆车，一台电视的屏幕，一架摄像机，等等)的信息。
又如，这样的组合系统和/或方法可用这里所描述的两台照相机系统来实现，或者可用于由其他方式提供表示景象之图像数据的情形。
更进一步，比如，在某些其他的依照本发明的系统和方法的实施例中，在检测人或人的面部并确定所述人物眼睛的位置时，也许会用皮肤离析法来确定面部搜索区域，也许并不用所述离析法。换句话说，比如，当使用这里将进一步描述的模板时，搜索的范围可能大过面部的区域很多。
另外，这样的方法和系统可以与其他诸如利用热红外检测的系统和方法结合在一起使用。热红外或其他近红外检测可用于检测化妆。同样的，可见光谱系统也可与这里所描述的方法和系统结合在一起使用以提高检测能力。
最好是，在这里描述的依照本发明的面部检测方法、设备和/或系统，被用于如图1所展示的面部识别技术的预处理阶段。图1展示某个人物鉴别系统10，所述系统的操作由用户11控制，在软件18中应用面部识别算法22之前的预处理级来实施软件18中的面部检测算法20。
如图2所示，某个可用图1中的系统10来实现的人物鉴别方法50，包括检测在受监视的景象中的面部(部件52)，举例来说，确定面部上眼的位置，用以确定面部的朝向和/或面部的范围。由于从面部检测进程得到这些信息，才使其它面部识别算法22得以被应用(部件56)。
通过图3所示可意识到，当考虑了人头与获取数据的成像部件之间的不同位置时，面部检测才会有效。例如，如图3所示，被监视对象的面部朝前，并且大部分的旋转角度都应考虑在内。这样的旋转角度由图3中的头所示，包括相应于Z轴的-35°至+35°范围内，相应于X轴的-35°至+35°范围内，相应于Y轴的-90°至+90°范围内的头的取向。
人物鉴别系统10的面部检测进程52所(举例来说，子系统)包括成像硬件系统12及计算机设备16，所述计算机设备对于由成像硬件系统12提供的图像数据应用面部检测算法20。在应用了面部检测算法20并当检测到人面部后，至少表示所述人物一部分面部的图像数据，举例来说，可见光图像数据，近红外数据，等等，将被提供给面部识别系统，最好还包括在面部检测进程中确定的其他信息。比如，可将表示检测到的面部上的眼睛中心的数据；和/或一个或多个容貌特征，提供给面部识别系统，以使其能有效地分析表示受监测的景象中当前检测到的面部的图像数据。
面部识别算法22可以是任何用于鉴别某个人或分析某人面部的算法，举例来说，确定某人欲望的热分析或近红外分析。在图1中所示的具有代表性的实施例中，面部识别算法22包括面部数据单元32，用来存储表示不同人的数据，举例来说，面部容貌特征、面部图像、面部识别标志等等。
面部识别算法22还包括面部识别分析工具34，用于分析涉及通过在此描述的一种或多种面部检测技术所检测到的面部图像数据。例如，分析工具34可被用于将面部数据单元32存储的数据与所提供的有关检测到的面部图像数据中的面容特征进行比较，所述图像数据举例来说有可见光图像数据，近红外图像数据或任何其它有利于鉴别某个人或有利于评估某人企图(举例来说，恐怖分子、走私等等)的数据。
在此所描述的一种或多种面部检测技术可用于改进现有的面部识别系统或与之结合在一起。在一个具有代表性的实施例中，可将一种或多种技术合并为一个包含由新泽西州泽西市(Jersey City，NJ)的Visionics公司出产的面部识别机FaceIt的系统。由于FaceIt主要依赖面部的几何形状进行面部识别，它可以无需变化地应用于可见光及近红外图像。换句话说，FaceIt系统中普通的面部检测器可用依据本发明的面部检测器来替换。
各种各样的成像硬件系统配置12可用来实现依据本发明的面部检测进程，以提供景象的近红外图像像素数据(如图5所示的方框72)。然而较好的方法是如图4所示，成像硬件配置12包括利用多台近红外照相机的方法。更好是系统使用两台照相机60作为输入媒介。照相机60最好是对大约0.9微米至大约1.7微米范围的所谓近红外光谱敏感。这个范围明显地落在红外光谱的反射部分并且与如图9所示及下面将要描述的热辐射毫不相干。例如，所述近红外照相机可以是Sensors Unlimited出产的商品名称为SU-320的照相机。
照相机60工作的光谱段处于图9所示的电磁频谱中反射红外部分121。可见光谱122是传统照相机感光范围。遗憾的是，可见光照相机所受的干扰会随着诸如恶劣天气、夜间时段及直射阳光等差的环境条件而增加。有些问题，如夜间时段的观测，可通过人工照明来克服，这与照相机的可见光谱特性相配。然而，这也等于告知所述人物他正在被监视。另一个不足是，作为被关注的目标，人面部13在可见光范围中，没有均匀的成像质量。面部会根据某人的生理特征及照明的强度和照射的角度，而呈现深色或浅色。
热红外波段123与物质的热性质有关。人的体温是摄氏37度。这意味着尽管面部的肤色不同，人的面部在热红外成像中有均匀的光颜色，这与可见光成像相反。
在一种以下将要进一步描述的最佳实施例中，所述两台照相机60被设置在互相垂直的角度上，并使用分光镜以使两台照相机60都处在同样有利的位置取景，但取景的子波段却不同。所述分光镜将反射光分成近红外光谱中波长大约0.9微米至大约1.4微米的下波段光束及波长大约1.4微米至大约1.7微米的上波段光束。两束光分别传至相应的照相机60的焦面阵列。每一台照相机连接到将输入图像数据(举例来说，视频信号)数字化的帧提取器62。
在装有帧提取器62的计算机设备16上运行的软件20中的照明监视器元件30将分析图像数据的输入画面中的照明情况。所述系统会因而控制照明装置68(举例来说近红外灯)，为景象提供所需的照明。例如，所述系统可适当地调节通过串行接口与计算机16相连的可编程电源单元66的输出电压。电源66为照明景象的近红外灯68提供电力。通过这样的反馈，所述系统将能够在无论何种外部条件的情况下为景象保持恒定的照明。
换句话说，可以把计算机控制的近红外照明装置加到所述系统中，以便在任何时间在景象中保持最佳的照明水平。例如，可用一台光度计来测量景象的照明情况并提供信号以启动用计算机调节照明装置的需求。与景象的恒定照明相反，当监视对象不知不觉盯住所述系统很久时，灯68可被频闪触发。
通常，对由成像装置硬件系统12提供的近红外图像数据进行操作的面部检测算法20，如上所述，包含图1中的四个单元或模块。面部检测算法20可用于实现如图5所示的面部检测方法52。
面部检测方法52包括从景象接收近红外图像像素数据，或换句话说，识别由成像装置硬件系统12提供的近红外图像数据(方框72)。基于近红外像素数据，景象中的皮肤从背景中被离析出来，并预示所述部分可能是存在于景象中的面部(方框74)。此后，如果从景象中离析出了皮肤，一个面部搜索区域或区间将被确定，从而限定需进行人眼搜索的景象区域(方框76)。例如，一个面部搜索区域可通过不同的成像技术来改善，从而呈现出一个面部搜索区域，所述区间表示被检测人物暴露在外的面部皮肤的外形轮廓。在面部搜索区域被确定后，将应用眼定位过程来判定眼在所确定的面部搜索区域内的位置(方框78)。
输入处理单元24最好工作于从帧提取器62中捕获不仅上波段而且下波段的近红外输入图像(方框72)。然后将图像排列好并送至照明监控器30及皮肤检测模块26。
照明监控器30，如上所述，评估景象中当前的照明水平，并动态地调节电源66的功率输出。一个如图20所示的输出电压与相应的照明之间的简单变换使得系统能精确地实现在景象中所期望的照明水平。
当接收到对偶的两个输入图像后，皮肤检测模块26通常将进行一系列操作来分离图像数据中的皮肤(方框74及方框76)。例如，皮肤检测模块26的输出可以是二进制图像，其中所有皮肤区域呈黑色而背景呈白色。随后，所述图像被送到面部检测软件20的最后单元，面部检测模块28。
通常，面部检测模块28先确定面部上一只或一双眼睛的位置，从而可以确定比如面部的朝向。例如，在一个实施例中，对一个组合容貌特征图像使用模板进程，所述组合容貌特征图像是从上述对偶的两个输入图像及上述皮肤图像提取的，可提供眼睛位置的良好近似。基于眼睛和/或皮肤的位置，可以很直观地确定面部的朝向和范围。这些确定的方法可通过使用某些已知的朝向特征来实现，例如，如下所述这样的特征。
例如，可以定义一条沿y坐标轴延伸的垂直于z坐标轴的法线(见图3)，所述法线将被检测的面部上的眼分开。如果某人面部朝正前方，通常所述法线将与检测到的双眼等距离。然而，如果所述人物扭转面部，举例来说，头绕y坐标轴略微转动，那末，其中一只眼就会较另一只眼距法线更近。
类似地，例如，可以定义一条沿x坐标轴延伸的垂直于y坐标轴的法线(见图3)，所述线将面部沿着双眼的位置分成上下两部分。双眼通常处在面部上某一确定的位置，举例来说，面部的三分之一处在眼以上，而三分之二处在眼以下，或换句话说，处在法线以下。如果某人面部朝正前方，通常(至少在以上所提供的示例线的情况下)检测到的三分之一的皮肤将高于法线，而三分之二则低于法线。然而，如果所述人物头前倾或后仰，举例来说，头绕x坐标轴略微转动，那末，很明显皮肤在法线之上与在其下的比率将不同。例如，这样的分析也可用于去除检测到的皮肤中属于脖子的部分。
最好是，计算机设备16包括一个可用于运行软件的计算机系统，以提供用户这里所描述的功能。尽管所述功能可通过计算机设备的可执行软件来实现，但其它专用硬件也可用来提供所述功能，举例来说，面部检测。因此，这里所用的计算机设备不仅包括诸如能够运行各种软件进程的处理器之类的电路，也可包括专用硬件。
例如，计算机系统16可以是任何固定或移动计算机系统，举例来说，一台个人计算机。计算机系统的确切配置并无限制，并且依据本发明，几乎任何可以提供适当的运算容量的设备都可使用。此外，不同的外围设备，如计算机显示器、鼠标器、键盘、内存、打印机等等，都是可以想象到的与系统的处理设备组合在一起使用的。
将进一步参考图5的用于面部检测方法52的近红外数据的接收(方框72)，参照图6-19来描述提供这样的近红外图像数据和可以利用这样的数据得到的信息的各种各样的示范的实施例。近红外光谱对皮肤检测的用途特别有益，这正如先前的专利申请所描述的，先前的专利申请有于1999年9月3日提交的题为”近红外人体检测方法和系统”的美国专利申请No.09/389,925；以及于2000年12月7日提交的题为”近红外伪装检测”的美国专利申请No.09/732,236。
人的皮肤在1.4微米附近呈现出急剧的反射率的变化。这种现象使得人们可以通过对下波段近红外图像与上波段近红外图像取加权差进行高精度的皮肤变换。所述皮肤检测或离析方法的现象学基础有一个优越的结果，即人造的头或伪装过的头无法蒙骗所述系统。
图6展示近红外混合系统110的基本布局，所述系统用于检测人，举例来说，检测人的面部区域和/或离析出人面部的皮肤。它属于双波段成像系统。两台互对准的照相机111和112检测例如景象中含有人面部13的图像。照相机111最好是有大约从至少0.8微米至1.4微米波长范围的光谱敏感性。照相机112具有大约从1.4微米到至少2.2微米波长范围的光谱敏感性。略微少或略微多一些的波长范围也可以得到满意的检测结果。区分两个波长范围光谱敏感性的1.4微米的临界点是一个用于双波段系统110的更可取的界限，当然也可以是另一个适当的数值。每一台照相机的敏感波段范围可以在1.4微米波长附近有些重叠，这并不削弱系统110检测人或皮肤的能力。
照相机111和112成像信号的质量在阴暗的日子或夜间仍可保持高水平，因为照相机观测的景象被不伤害肉眼的近红外照明器所照亮。因为肉眼对近红外光谱不敏感，所以系统110可以在所有时间保持隐蔽，不管它是否处于测试模式。用在下波段(举例来说0.8微米至1.4微米)照相机在理想的情况下应该是图像增强器。因此，照明器的光谱发射的规格要求只需符合上波段范围(举例来说1.4微米到2.2微米)。近红外照相机111和112甚至可在诸如阴霾的恶劣天气条件下提供清晰的图像信号。这些用于检测及照明的特殊红外波段提供了足够的光线透射，从而可穿过挡风玻璃、侧面车窗、雾及黑暗。这就提供了在各种环境中令人满意的对人的检测方法，例如，在玻璃后面、在车中、在夜间及恶劣的天气等环境条件中。
照相机111和112相应的图像输出115和116转到加权差软件进程117或专用硬件，用来对其亮度进行加权减法来合并两台照相机的图像输出。所述加权差软件或硬件可称作合并器。这种对照相机输出图像的合并，在生成的合并图像中增强了面部13及其它暴露在外的人皮肤的轮廓。同样，合并图像还具有削弱照相机摄取的景象中的背景的特点。这就在合并图像中增加了人物与背景的反差，从而为通过软件进程118或专用硬件所设定的阈值来进行的本质完美的图像分区创造了条件。这种设定阈值的软件或硬件可称为阈值设定器。所述域值设定器118的输出可转到显示器119、打印机或后面的进程或专用硬件。
处理过的最终图像展示出暴露的皮肤部分，如图6所示的面部13处理过后得到二进制斑点13’。检测的面部13的背景120可被忽略，如显示器119所示的空白背景120’。换句话说，表示面部皮肤的轮廓鲜明的二进制面部图像13’，确保了对景象中是否存在人面部进行可靠检测。
图7A图解说明照相机111和112相互间的校准。在照相机之间有空间与时间的校准。照相机可以是同一牌子及型号。照相机之间必要的差别是光学波段滤光镜148和149，其分别位于照相机111和112的读出阵列146和147与照相机镜头158和159之间。滤光镜148决定了照相机111中的读出阵列146的0.8微米至1.4微米的光谱敏感性，而滤光镜149决定了照相机112中的读出阵列147的1.4微米至2.2微米的光谱敏感性。
在照相机111的镜头158前及照相机112的镜头159前也可插入偏振器。做为替代，偏振器也可加装在照相机111的镜头158与读出阵列146之间及照相机112的镜头159与读出阵列147之间。照相机的读出阵列146和147的大小一样，例如，镓砷化合物基片上的512×512个像素。
典型的情况是，每个读出阵列的取景区相同。例如，三个像素151、152及153，被用来进行空间互对准。三个像素中的每一个都分别对焦在相应的，处在照相机111和112取景的图像120上的151’、152’及153’部位。那就意味着两个阵列摄取同样的图像，像素与像素一一对应，尽管它们的光谱敏感性不同。换句话说，像素的行与列与物理世界景象对齐，像素与像素一一对应。一旦空间互对准完成，照相机111和112就相对于物理世界保持静止。
照相机的时间互对准意思是，从信号的角度来看照相机之间相互同步。相互对应的两个像素中任意一个的信号在同一时间到达其帧缓冲器。每个像素的光记忆时间为微秒级。典型的一幅帧时间大约为33毫秒，即每秒30帧。像素数据的传输可以是并行的，即一行接着一行，或是串行的，即一个像素接着一个像素，也可以是其它形式的信息传输。同步信号将会用于照相机111和112以启动并保持它们之间的时间互对准。
图像输出或像素信号115和116转到软件进程或专用硬件117，所述部件为每一个像素提供确定的加权，并合并分别从照相机111和112得到的相应像素对以生成单一的像素。加权差通过一个接一个像素来进行。每个结果就是两个像素经加权相减后合并成的像素。这种合并的加权差方程式为，P(i，j)合并＝P(i，j)下波段-C*P(i，j)上波段P为光谱功率。各自图像中每一像素的方位或位置(position或location)由行(即”i”)及列(即”j”)来确定。照相机111和112所摄图像像素的行数与列数刚好相等。下波段像素是从照相机111得到的像素，而上波段像素是从照相机112得到的像素。在i，j点的每一个像素的光谱功率”P”由代表亮度的数量等级表示，例如在8位二进制分辨率情况下的0至255。”0”为全黑或全暗(即没有光谱功率)，而”255”则为全白或全亮(即最大光谱功率)。0至255的数字读数当然可以代表各种级的灰色，亮度或光谱功率。式中的”C”为一常数(即加权因数)，它由背景的照明情况或景象120及监测目标或面部13的照明情况决定。夜间时段的”C”取决于人工照明器114的光谱分布及特性。
某个典型的下波段像素(图像146)的亮度或光谱功率或许为55，而与之对应的典型的上波段像素(图像147)的亮度或光谱功率或许为10。这些上下波段像素的数值代表皮肤在相应波段的亮度或光谱功率。一个生成的典型合并像素在日间时段取景的情况下，其处在i行及j列位置的日间光谱功率由下列计算确定。
P(i，j)合并＝55-3*10P(i，j)合并＝55-30＝25合并像素信号从软件进程或专用硬件117转到软件进程或专用硬件118，以通过对其使用阈值来进行图像分块。进程或专用硬件118模仿一个类似比较器的电路，当合并像素的值低于某个阈值(T)时，它的值就(V1)被定为0，而当合并像素的值高于某个阈值(T)时，它的值就(V2)被定为255。
图8展示一帧合并像素图像帧的直方图。对一幅给定的监测到的图像，其中每一个光谱功率值的像素数由曲线154及155表示。曲线154的像素代表背景120，而曲线155的像素代表人的皮肤13。曲线154与155相交于156，所述值就被视为可用作阈值的合适数值。如果曲线154与155不相交，那么阈值156就位于曲线154与155的中间。当一帧画面转到另一帧画面时，阈值也随之改变，因此阈值是动态的，并由每一帧画面相应的直方图决定。如果阈值的光谱值为20，则当合并像素的值低于20时，就把它的值定为0，而当合并像素的值高于20，就把它的值定为255。显示器119中的结果图像具有白像素表示的背景120’及黑像素表示的面部13’。所述图像也可以通过处理或专用硬件118而反转过来，使得背景120’为黑像素而面部13’为白像素。
图7B展示另一种对照相机111和112进行互对准的实施例。如图所示，一台光学设备157，举例来说，一台分光/滤光装置，用来对照相机进行互对准。形式与图7A所示基本上相同，只是没有为照相机111和112提供滤光镜147及148。取而代之的是，滤光作用由光学设备157完成。
如图7B所示，光线从外界环境通过分光/滤光器157进到两台近红外照相机111和112，如光点151-153所表示的。所述分光/滤光光学设备157是一种镀有在某一特定角度性能最优的膜的光学装置。所述分光/滤光光学设备157将波长小于1.4微米(即下波段)的光引导到照相机111，而将波长大于1.4微米(即上波段)的光引导到另一台照相机112。照相机111和112最好是连到一台用于处理视频信息的计算机。不过，其它电子装置或操作人员也可用来替代或补充计算机设备。下与上波段要么由分光/滤光光学设备157的光敏性划界，要么由照相机111和112的光敏性划界。例如，下波段可从0.8微米至1.4微米，而上波段可从1.4微米至2.4微米。不过，其它有些不一样的范围也一样可以工作。
分光/滤光光学设备157在每个时间点上，经由系统的硬件提供两帧分属上下波段的互对准的帧。因此，参照图7B的实施例，无需像前面所描述的实施例要求的那样，使用花费时间并通常是复杂的软件，来完成时间互对准。
照相机111和112工作的光谱范围，是处在图9所示的反射红外部分121中，图9展示如本申请前面所述电磁频谱。图10展现一块清洁的汽车挡风玻璃(曲线124)及一块肮脏的汽车挡风玻璃(曲线125)对介乎0.4至2.8微米的红外光的透射率特性。汽车挡风玻璃对超过2.8微米的热红外波长范围的辐射透射率特性几乎为零。汽车浅色的侧窗对0.3至2.8微米的红外光的透射率较好(50％至85％)，如图11展现的曲线126。汽车侧窗对于2.8至4.3微米的辐射的透射率只有大约20％。超过4.3微米后，透射率降为接近于零。然而，侧面车窗的频谱特性容许一些热辐射透过。通过观察这些信息，可以发现利用近红外频谱的本发明的面部检测，可用于检测玻璃挡板后的人物，举例来说，售票厅的玻璃挡板、机场的玻璃挡板等等。
图12中的曲线127及128分别展示白人男性浅与深肤色对红外光的反射百分率。反射率在0.6至1.4微米范围内较好。当超过1.4微米时，反射率明显减小。不过，浅与深肤色反射率的差别却是微乎其微的。
图13中的曲线129及130分别展示亚裔男性浅与深肤色的皮肤的反射率。图14中的曲线131及132分别展示非洲裔男性浅与深肤色皮肤的反射率。尽管浅肤色的反射率较深肤色的反射率高，但图12-14中的曲线127、128、129、130、131及132具有类似的形状，并且所有的曲线在1.4微米左右开始下降。这些反射率曲线展示所有肤色的白人、亚裔人与非洲裔人在0.6至1.4微米范围内反射率的某些差异。
图15中的曲线133及134分别展示差异更极端的浅色皮肤及深色皮肤的反射率。浅色皮肤及深色皮肤的反射率在1.4微米以下差别明显。当超过1.4微米后，分别表示浅色皮肤及深色皮肤的反射率曲线133及134，变得几乎重合，并且反射率也降到20％以下。因此，在1.4微米及1.4微米以上的近红外波段，检测到的具有各种各样肤色深浅层次的人的反射率，当波长大于1.4微米时基本一致。
图16中的曲线135、136及137分别展示棉花、木材及聚酰胺的反射率，其差别不仅在0.6至1.4微米范围内，而且在1.4微米以上都很显著。其反射率在超过1.4微米的阈值点后下降不明显的现象，是展现人面部(举例来说，面部的皮肤)的反射率与作为背景的无生命物体(举例来说，诸如车内的装饰物，仪表盘及纺织品)的反射率之间巨大差别的基础，也提供了在1.4至2.2微米范围内对人面部(举例来说，面部的皮肤)的便捷的检测方法。
因而，在照相机工作的1.4至2.2微米范围内，图像中的白人男性与假人头和/或背景相比，反射率有明显的差别。假人头的图像反射较多并显得较亮，而真人男性的图像较暗，因此两幅图像之间的效果差别是实实在在的。
这种人物检测(举例来说，皮肤检测)的方案比用可见光成像的方法优越许多，因为后一种方案在白人与肤色类似的假人头之间只呈现出很小差别或无法呈现出任何差别。概括地说，在1.4至2.2微米范围内的成像很容易区分出是真人头像还是假人头像，然而在0.8至1.4微米范围内的成像却不容易将各自的头像区分开来。
人皮肤在1.4至2.2微米范围内的低反射率，可通过由图17中的曲线138展示的蒸馏水的光谱反射率来说明。其反射率在1.4微米附近有较大的下降。超过1.4微米后，水吸收了大量的红外辐射并在图像中呈现为暗的实体。由于人体中天生有70％是水，其光谱响应也就与水的相近。所以工作在1.4至2.2微米范围内的照相机112，捕捉到了这个独特的人体区分特质。在照相机112的工作范围内，人们可以安全地在夜间使用一台相匹配的近红外照明装置114，以提高检测到的面部13的图像质量。所述光线人看不到，也对他们的眼睛无害，因为照明装置114的波长高于为1.4微米的安全线。
下面将进一步参照前面的几幅图以及图18-19，描述自然人的组织结构(举例来说，天生的皮肤与头发)对近红外光谱的上波段的反射特性。例如，这些特性可用于皮肤检测，或将皮肤从背景或其它与背景相关的人造材料中离析出来。
人的皮肤对近红外光谱上波段(即近红外光谱中1.4微米及1.4微米以上的波段)的反射率极低，所述特性已在前面参照图12-15描述过了。图12-15展示人的皮肤在0.6微米至1.4微米之间有高的反射率。然而，超过1.4微米，所述反射率明显减小。因为几乎所有其它处在典型景象中的物体对近红外光谱中波长超过1.4微米的上波段具有较高的反射率，所以人的皮肤(例如，面部及颈部)与背景之间的反差强烈。
再者，如图12-15所示，皮肤的反射特性，即人的皮肤对超过1.4微米的近红外光谱上波段反射率明显减小的特性，是对所有人种适用的，举例来说，当对比白人、亚裔人及非洲裔人时，他们对超过1.4微米的近红外光谱上波段的反射特性差别很小。例如，图10展示白人男性的反射率在1.4微米或大概在1.4微米下降很多，图11展示亚裔男性同样的反射率下降，图12展示非洲裔男性同样的反射率下降，并且图13也展示浅色皮肤与深色皮肤之间反射率下降的极端差别。因此，并如本申请前面所描述的，在近红外1.4微米及1.4微米以上的波段，检测到的具有各种各样肤色深浅层次的人的天然皮肤的反射率，当波长大于1.4微米时基本一致。
与天然皮肤相对，人的头发(即天然的毛发)对大于1.4微米的近红外光谱上波段有很高的反射率。这个反射特性也是对所有人种都适用的特性。图18概括展示出了人的毛发对大于1.4微米的近红外光谱上波段有高反射率的本性。在图18中，展示天然的人的毛发对至少一部分的近红外光谱的反射率图。图中展示一份天然的人毛发样本的三个单独的反射率的测量值，所述样本展示出高反射率。
与人的天然毛发的高反射率相对，图19展示某个用人发作的假发套(一种本申请下面将描述的人工的材料)的反射率图。所述图对于人的眼睛在近红外光谱上波段的反射率同样正确。如图所示，在近红外光谱上波段，假发套的反射率比天然毛发低很多。即使假头套用真人发织成，由于在制作假头套过程中的化学处理，其反射特性发生了改变。尽管在对比真人发织成的假头套与真的天然的人毛发时，反射率的差别比较细微，但这种反射率的差别是实实在在的并可很容易地捕捉到。
另外，各种人造材料的反射率，诸如那些用于伪装及通常如下所定义的材料(很厚的化妆品，人造的面部的部件，加上去的头发，等等)，其典型特征为其对超过1.4微米波长的反射率相当高。例如，如图16所示并如本申请前面所述，棉花、木材及聚酰胺的反射特性为其反射率在超过1.4微米波长点后并不显著下降。
考虑到以上情况，人们可以发现天然的人皮肤与其他人造材料的反射特性之间有显著的差别。例如，在近红外光谱的上波段天然的人毛发与人皮肤之间以及在近红外光谱的下波段面部的眼睛与人皮肤之间，都有着显著的差别。近红外光谱中这种反射特性的差别，使得基于本发明的面部检测操作成为可能。
再者，如本申请前面所述，无论上下波段的近红外射线都可穿透汽车的玻璃窗。因此，与可见光谱及热红外光谱相比，这是一个不容置疑的优点。因此，利用近红外光谱上波段的本发明可以检测并离析即使是在玻璃后面的皮肤。
依照本发明的皮肤检测器模块26利用近红外光谱的上下波段的至少一部分，在被监控的景象中将皮肤从背景中离析出来，所述过程由图5中面部检测方法52的模块74概括地表示。如在本发明中使用的，所述被利用的近红外光谱上波段的部分包括从1.4微米到至少1.7微米范围的部分。如本申请前面所指出的，在2.8微米处热能量开始出现。如在本发明中使用的，所述被利用的近红外光谱下波段的部分包括从至少0.9微米到1.4微米范围的部分。
从事本领域工作的技术人员将会认识到略微短些或略微长些的范围也可得到满意的检测结果。例如，相对于上面所给出的范围，如果与这些波长数值有偏差的范围也可提供满意的检测结果，那么，所述偏差也可被认为是在所指定的范围中。比如，下波段可延伸到0.6微米，而上波段可延伸到2.4微米。
此外，如在本发明中使用的，背景包括任何除了天然皮肤和/或天然毛发之外的任何物质，如景象中的其它物件及材料。例如假发套、化装材料、人造鼻子部分等等，是由一种或多种诸如聚合物、纤维等等的人造材料或非生物的物品构成的，所有这些都在这里被称为背景材料。再者，背景目标在这里也涉及人造物质，举例来说，人身后的汽车、人的衣服等等。
图5概略展示的面部检测方法52中的皮肤离析进程(方框74)的一个最佳实施例可以通过以上描述的概念来完成。用于将两幅近红外图像(即上波段及下波段图像)合并的像素变换，最好是利用以上所述方法并由下式表示P(i，j)合并＝P(i，j)下-f*P(i，j)上其中，P(i，j)x是代表图像x的、位置在(i，j)的像素值，而f为所用的加权因子(前面列为常数C)。例如，通过实验可确定接近最优的f＝1.38。如前所述加权相减运算显著地增强了图像数据中人皮肤与背景之间的反差。
紧接着加权相减进程，再进行阈值化操作。人们已经使用了多种阈值技术，正如本领域的技术人员所知的。根据本发明，可以使用任何适当的可提供满意的暗区与亮区分割的阈值化进程。通常，这些阈值化进程将表示反射值的数据与一个或多个阈值进行比较。这些阈值的确定可基于各种各样的因素，例如天然皮肤、天然毛发、背景等的反射特性。例如，根据本发明，可以使用大津(Otsu)在电气与电子工程师协会期刊《系统、人及控制论》(IEEE Transactions onSystems，Man and Cybernetics)的1979年1月的SMC-9卷第一期上发表的文章”从灰度直方图推导出的一种阈值选取方法”中所描述的阈值化进程。阈值化进程通常涉及一个非参数的并且无监管的阈值选取方法。一种最优的阈值选取是为了使在灰度级上生成的类别的分离程度最大化。所述算法只利用灰度级直方图的零阶及一阶累积矩(cumulative moment)。所述系统的速度，部分地由于所述阈值化进程，可为用户提供实时的图像。
图22a-22d中图解说明皮肤离析进程。图22a展示近红外下波段图像，其中皮肤有强反射率，而图22b展示近红外上波段图像，其中与在上面所述下波段中皮肤有强反射率的情况相比，皮肤在近红外上波段有相对较低的反射率。经加权相减后的图像如图22c所示，所述图像提供了皮肤与背景之间更强的反差。更进一步，接下来的阈值化算法的应用，人们就可以得到图22d中的二进制图像。
在获得经历了阈值化过程的图像后(所述图像表示面部的搜索区域，而所述搜索区域用于如下所述对所述人物眼睛的搜索)，进一步对二进制图像的界定可压缩搜索区域。这样可节约后面对面部搜索区域中的像素应用其它算法的处理时间。
例如，如图22e-22h所示并参照图21所描述的，这样的进一步界定处理包括提供从背景中离析出的代表皮肤的图像像素数据，举例来说，如图22d所示的二进制图像(方框80)。然后，对图像数据进行开放与闭合操作(opening and closing operations)，使其中表示皮肤或轮廓的图像数据平滑。换句话说，将对二进制图像进行一系列形态学操作(morphological operation)。
例如，开放操作(opening operation)平滑了皮肤区域的轮廓，断开狭窄的峡部，并去除微小的孤立区域及尖锐的峰或岬。一幅开放图像如图22e所示。闭合操作合并狭窄的断裂及长而窄的裂口；去除微小的洞；并填充轮廓的缝隙。一幅闭合图像如图22f所示。这些开放和闭合技术是图像处理技术的专业人员所熟知的。
更进一步，可用膨胀及侵蚀算法(dilation and erosionalgorithms)来产生除去图像的微小细节的效果(方框84)。这些技术也为本行业的技术人员所熟知。经过膨胀处理的图像如图22g所示，而而经过侵蚀处理的图像如图22h所示。
尽管已经描述了几种不同的图像处理技术，但还可能有其它技术可用于进一步限定面部搜索区域。所述限定的搜索区域提供了用于确定检测到的面部范围的数据。
利用如上所述通过离析出景象中的皮肤而确定的面部搜索区域，可以对落在被确定范围内的像素应用面部检测器方法52中的眼定位进程78。然而，必须意识到眼定位进程可应用于一个大得多的、不曾确定过面部搜索区域的区域，来确定某人物的眼睛。无论如何，最好是相对于背景将皮肤离析出来，从而提供一个较小的区域，并对所述区域使用眼定位进程78。
面部检测方法52，特别是眼定位进程78的主要目的是，确定被监测人物的面部13的朝向及范围。这个目的可以通过找到面部上的一只或两只眼睛来完成，最好是在确定的面部搜索区域内进行，正如将要参照图23-28所展示和描述的说明性实施例所描述的。
面部检测方法52为了给面部识别系统提供某些有用的信息，必须准确地确定至少一只眼睛的位置。本发明的一个主要优点是利用已在前面描述过的皮肤、眼睛以及毛发在电磁频谱的近红外波段所展现的现象学特征。
面部检测方法52，特别是眼定位进程78，通常利用如图23所示的三个步骤来确定一只或一双眼睛的位置。当接收到用于所述限定的面部搜索区域的图像数据时(方框90)(如分别如图22a及22b所示的上及下波段的近红外图像时)以及来自如图22h例示的皮肤检测模块的输出图像后，就执行提取进程91。所述提取进程91在上下波段近红外图像中提取有可能是眉毛(例如，参见图26a)及眼睛(例如，参见图26b)的区域。然后，将提取的有可能是眉毛及眼睛的区域合并成一幅组合容貌特征图像(例如，参见图26c)。
然后，再对组合容貌特征图像利用表示眼睛区域的模型数据进行搜索，举例来说，模型数据为通常表示多数人面部特征的标准数据(方框98)，从而确定包含眼睛的区域。其后，再在已定位的包含眼睛的区域内估算面部上一只或一双眼睛的中心(方框100)。
下面将更加详细地描述一个说明性的面部检测方法52，特别是眼定位进程78。首先，眼定位进程78包括提取上下波段近红外图像区域，所述近红外图像可能是眉毛(方框92)以及可能是眼睛(方框94)。所述提取过程利用人的毛发与皮肤在上下近红外波段独特的反射特性来实现。
在近红外上波段，眉毛相对于人皮肤极低的反射率而较醒目。所得到的适合于眉毛提取的阈值如下(原文空白)其中(原文空白)为眉毛阈值函数，而(原文空白)为在上波段近红外图像位置(原文空白)的像素值。
在近红外下波段，眼睛相对于人皮肤的极高的反射率而较醒目。所得到的最适合于眼睛提取的阈值如下(原文空白)其中(原文空白)为眼睛阈值函数，而(原文空白)为在下波段近红外图像位置(原文空白)的像素值。
图26a展现至少一个提取的满足阈值的眉毛区域400及其它满足阈值的区域。此外，图26b展现至少一个提取的满足阈值的眼睛区域402及其它满足阈值的区域。
提取的眉毛与眼睛的容貌特征图像再被合并成一幅组合容貌特征图像(方框96)。如图26c所示，图中呈现一幅三个层次的图像，其中黑色区域可能表示眉毛区域，灰色区域可能表示眼睛区域，而白色区域表示除了眉毛和眼睛的其他区域。
从上述图中可看出，实际的眉毛区域400及眼镜区域402相互位置之间很接近。这种相互关系可用于使用下面将描述的基于眼睛区域模型数据的模板进程，来搜索组合图像，以确定包含眼睛的区域(方框98)。
下面将参照图24描述一个示意性的搜索方法98的实施例。如图24所示，搜索方法98包括接收代表组合图像的图像数据，所述组合图像包括提取的区域(方框200)。一个表示眼睛与眉毛位置的模板模型，举例来说，一个经过多数人规格化的模板，将被用于包含提取的区域的组合容貌特征图像(方框202)。例如，所述模板通过给定的人类解剖学的约束为组合图像中包含眼睛的区域的外观建模。其后，将提供代表任何找到的或结果的包含眼睛的区域的图像数据，用于进一步的分析(方框204)。
在一个示意性的搜索方法98中，使用了一个模板进程，举例来说，哈夫变换，来从组合容貌特征图像中寻找包含眼睛的区域。例如，一个被博拉德(D.H.Ballard)描述过的广义的哈夫变换模板，是通过组合容貌特征图像中所期望的眼睛区域的外观来建模的，博拉德的文章”将哈夫变换一般化以检测任意形状”发表在《PatternRecognition》第13卷，第2期，111-122页(1981)。一个范例性的模板408如图27所示。模板408包括处在灰色区域420(对眼睛建模)上方的黑色区域410(对眉毛建模)。模板408在具体实现的每一点上可旋转并可确定尺寸，从而可应付各个人面部的旋转及变化。所述变换的结果是得到一个或多个包含眼睛的区域的位置。
例如，图26d是应用模板408的结果的范例性表示。所述结果是三个层次的图像。背景430显示为白色，皮肤区域为灰色432，而皮肤区域中对眼睛模板呈现最强响应的范围(或多个范围)则显示为黑色(举例来说，包含眼睛的区域434)。换句话说，图26d展示叠加在确定的皮肤图像上的哈夫变换的结果。通过图26d可看出，边界436表示确定出的搜索区域，所述区域由前面所述检测到的或离析出的皮肤来确定轮廓。面部的范围取决于这样的边界的参数和/或特性。
图28a-28c中展示眼定位方法78中眼中心估算进程100的一个说明性实施例，将通过参照图25来描述所述实施例。估算进程100接收表示包含眼睛的区域的数据(方框210)，所述包含眼睛的区域最好与限定的离析出的皮肤区域相关联(例如见图26d)。进程100确定被定位的包含眼睛的区域(或多个区域)属于何种类型(方框212)。当鉴别出包含眼睛的区域(或多个区域)的类型后，则可估算一只或一双眼睛的近似中心(方框214)。
例如，主体眼睛的中心可通过斑点分析来估算。一个斑点是指一组相连的像素。因为不同人的面部有所不同，在如图28a-28c所示的哈夫变换图像中可产生许多不同的符合包含眼睛的区域的”眼睛”斑点图案。具体地说，例如如图28a所示的情况1一个跨越整个面部区域宽度的单个斑点。所述斑点被从中间切断并按两个较小的斑点来处理，以确定其中所包含的一双眼睛的中心。
如图28b所示的情况2有两个大小相近的斑点，并且这两个斑点通常较其它的斑点大。由此可确定其所表示的一双眼睛的中心。
如图28c所示的情况3只有一个单个的小斑点与其它斑点分离且较其它斑点大。在这种情况下，只确定单只眼睛的中心。
最终，面部检测器确定一只或一双眼睛的中心位置。例如，中心可以选用所提取的斑点的质心。不过，由于斑点既可代表眼睛，又可代表眉毛，所以眼睛的中心并不是斑点的质心，但通常可发现它是这样的斑点的质心的函数，举例来说，偏离质心一定距离。
一旦眼睛中心的位置确定后，头的取向也可被判定。例如，如果眼睛的位置处在被离析出的皮肤的某个区域，则可判定头处在某一位置，举例来说，被检测的目标也许朝下看或朝上看。
当知道了头的取向与位置后，就可确定是否可以提取一幅满意的面部图像以供识别之用。通过必要的外推运算从任意给定的面部的旋转角度来生成面部的正面图像也是一种可行的方案，当然，前提是至少可以看到一半的面部。
所有在此引用的专利及参考文献，是对其全面的引用，就像对其中每一篇的分别引用一样。尽管本发明以参照其特定的最佳实施例的形式来描述，但在权利要求书的预期范围中可以对本发明各种变化和修改，正如本专业的技术人员已知的。
权利要求
1.一种用于检测人的面部的方法，所述方法包括提供代表来自景象的反射光的图像数据，所述反射光属于反射的红外射线范围中的至少一个波长范围；从所述图像数据中提取有可能对应于人的一条或两条眉毛的景象区域；从所述图像数据中提取有可能对应于人的一只或一双眼睛的景象区域；将所述提取的有可能对应于人的一条或两条眉毛的景象区域和所述提取的有可能对应于人的一只或一双眼睛的景象区域合并，从而生成一幅组合容貌特征图像；以及依据表示眼睛区域的模型数据对所述组合容貌特征图像进行搜索，以便检测所述人物的一只或一双眼睛。
2.如权利要求1所述的方法，其特征在于所述”提供代表来自景象的反射光的图像数据，所述反射光属于反射的红外射线范围中的至少一个波长范围”包括提供代表来自景象的反射光的第一图像输出，所述反射光属于反射的红外射线范围中的第一波长范围，其中从所述第一图像输出提取有可能对应于人的一条或两条眉毛的景象区域，而且其中所述有可能对应于人的一条或两条眉毛的景象区域在所述第一波长范围比人的皮肤有相对较高的反射率；以及提供代表来自景象的反射光的第二图像输出，所述反射光属于反射的红外射线范围中的第二波长范围，其中从所述第二图像输出提取有可能对应于人的一只或一双眼睛的景象区域，而且其中所述有可能对应于人的一只或一双眼睛的景象区域在所述第二波长范围比人的皮肤有相对较低的反射率。
3.如权利要求2所述的方法，其特征在于位于所述第一波长范围与所述第二波长范围之间的波长为大约1.4微米。
4.如权利要求3所述的方法，其特征在于所述第二波长范围是从至少大约0.9微米到1.4微米，而所述第一波长范围是从1.4微米到至少大约1.7微米。
5.如权利要求2所述的方法，其特征在于所述方法还包括通过依据所述第一和第二图像输出而从景象中相对于背景离析出人的皮肤来确定面部搜索区域。
6.如权利要求5所述的方法，其特征在于人皮肤在所述第一波长范围内的反射率与人皮肤在所述第二波长范围内的反射率之间的差别，比除了人皮肤以外的背景中的其它物体在所述第一波长范围内的反射率与所述其它物体在所述第二波长范围内的反射率之间的差别大。
7.如权利要求5所述的方法，其特征在于所述”通过从景象中离析出相对于背景的人皮肤来确定面部搜索区域”包括对所述第一图像输出中像素的光谱功率与所述第二图像输出中相应像素的光谱功率进行加权差运算，从而得到所述各像素的加权差输出。
8.如权利要求7所述的方法，其特征在于所述”通过从景象中离析出人皮肤来确定面部搜索区域”还包括将所各像素的加权差与一个或多个阈值相比较，以便把代表皮肤的像素与代表背景中并非人皮肤的物体的像素区分开。
9.如权利要求1所述的方法，其特征在于所述方法还包括通过从景象中相对于背景离析出人的皮肤来确定面部搜索区域。
10.如权利要求9所述的方法，其特征在于从所述确定了的搜索区域中提取所述图像数据中有可能对应于人的一条或两条眉毛或者有可能对应于人的一只或一双眼睛的景象区域。
11.如权利要求9所述的方法，其特征在于所述方法还包括检测人物面部的朝向或范围，所述检测是依据检测到的所述人物的一只或一双眼睛以及离析出的所述人物的皮肤来实现的。
12.如权利要求1所述的方法，其特征在于所述方法还包括检测所述人物面部的朝向，所述检测至少是依据检测到的人物的无论一只还是一双眼睛来实现的。
13.如权利要求1所述的方法，其特征在于所述”依据表示眼睛区域的模型数据对所述组合容貌特征图像进行搜索，以便检测所述人物的一只或一双眼睛”包括依据表示眼睛区域的模型数据来对所述组合容貌特征图像进行搜索，从而得到一个或多个包含眼睛的区域；以及估算所述一个或多个包含眼睛的区域中一只或一双眼睛的中心。
14.如权利要求13所述的方法，其特征在于所述”依据表示眼睛区域的模型数据对所述组合容貌特征图像进行搜索，从而得到一个或多个包含眼睛的区域”包括把代表多数人眼睛与眉毛关系的模板用于所述组合容貌特征图像，以便确定所述一个或多个包含眼睛的区域的位置。
15.如权利要求13所述的方法，其特征在于所述”估算所述一个或多个包含眼睛的区域中一只或一双眼睛的中心”包括判定所述一个或多个包含眼睛的区域是横跨所述人物面部大部分的单一斑点，还是两个尺寸大约相等的斑点，或是比横跨所述人物面部大部分的单一斑点尺寸相对较小，但却比其它确定了位置的包含眼睛的区域大的单一斑点。
16.如权利要求1所述的方法，其特征在于所述方法还包括监测景象的亮度级，并对所述监测结果作出反应而动态地调整所述亮度级。
17.一种用于检测人物面部的系统，所述系统包括至少一台成像装置，可以用来提供代表来自景象的反射光的图像数据，所述反射光属于反射的红外射线范围中的至少一个波长范围；以及处理装置，所述处理装置可以用来从所述图像数据中提取有可能对应于人的一条或两条眉毛的景象区域；从所述图像数据中提取有可能对应于人的一只或一双眼睛的景象区域；将所述提取的有可能对应于人的一条或两条眉毛的景象区域和所述提取的有可能对应于人的一只或一双眼睛的景象区域合并，从而生成一幅组合容貌特征图像；以及依据表示眼睛区域的模型数据对所述组合容貌特征图像进行搜索，以便检测所述人物的一只或一双眼睛。
18.如权利要求17所述的系统，其特征在于所述”至少一台成像装置”包括对属于反射的红外射线范围中所述第一波长范围的反射光敏感以提供代表所述景象的第一图像输出的第一成像装置，其中，从所述第一图像输出提取有可能对应于人的一条或两条眉毛的景象区域，而且其中所述有可能对应于人的一条或两条眉毛的景象区域在所述第一波长范围比人的皮肤有相对较高的反射率；以及对属于反射的红外射线范围中所述第二波长范围的反射光敏感以提供代表所述景象的第二图像输出的第二成像装置，其中，从所述第二图像输出提取有可能对应于人的一只或一双眼睛的景象区域，而且其中所述有可能对应于人的一只或一双眼睛的景象区域在所述第二波长范围比人的皮肤有相对较低的反射率。
19.如权利要求18所述的系统，其特征在于位于所述第一波长范围与所述第二波长范围之间的波长为大约1.4微米。
20.如权利要求18所述的系统，其特征在于所述第二波长范围是从至少大约0.9微米到1.4微米，而所述第一波长范围是从1.4微米到至少大约1.7微米。
21.如权利要求18所述的系统，其特征在于所述处理装置还可以用于通过依据所述第一和第二图像输出从景象中相对于背景离析出人皮肤来确定面部搜索区域。
22.如权利要求21所述的系统，其特征在于人皮肤在所述第一波长范围内的反射率与人皮肤在所述第二波长范围内的反射率之间的差别，比景象中除了人皮肤以外的其它物体在所述第一波长范围内的反射率与所述其它物体在所述第二波长范围内的反射率之间的差别大。
23.如权利要求21所述的系统，其特征在于所述处理装置还可以用于对所述第一图像输出中各像素的光谱功率与所述第二图像输出中相应像素的光谱功率进行加权差运算，从而得到所述各像素的加权差输出。
24.如权利要求23所述的系统，其特征在于所述处理装置还可以用于将所述各像素的加权差输出与一个或多个阈值相比较，以便把代表皮肤的像素与代表背景中并非人皮肤的物体的像素区分开。
25.如权利要求17所述的系统，其特征在于所述处理装置还可以用于通过从景象中相对于背景离析出人皮肤来确定面部搜索区域。
26.如权利要求25所述的系统，其特征在于从所述确定了的搜索区域中提取所述图像数据中有可能对应于人的一条或两条眉毛或者有可能对应于人的一只或一双眼睛的景象区域。
27.如权利要求25所述的系统，其特征在于所述处理装置还可以用于检测人物面部的朝向或范围，所述检测是依据检测到的所述人物的一只或一双眼睛以及离析出的所述人物的皮肤来实现的。
28.如权利要求17所述的系统，其特征在于所述处理装置还可以用于检测所述人物面部的朝向，所述检测至少是依据检测到的人物的无论一只还是一双眼睛来实现的。
29.如权利要求17所述的系统，其特征在于所述处理装置还可以用于依据表示眼睛区域的模型数据对所述组合容貌特征图像进行搜索，从而得到一个或多个包含眼睛的区域；以及估算所述一个或多个包含眼睛的区域中一只或一双眼睛的中心。
30.如权利要求29所述的系统，其特征在于所述处理装置还可以用于把代表多数人眼睛与眉毛关系的模板用于所述组合容貌特征图像，以确定所述一个或多个包含眼睛的区域的位置。
31.如权利要求29所述的系统，其特征在于所述处理装置还可以用于判定所述一个或多个包含眼睛的区域是横跨所述人物面部大部分的单一斑点，还是两个尺寸大约相等的斑点，或是比横跨所述人物面部大部分的单一斑点尺寸相对较小，但却比其它确定了位置的包含眼睛的区域大的单一斑点。
32.如权利要求17所述的系统，其特征在于所述系统还包括可以用于监测景象中的亮度级的监测装置；以及用于对所述监测结果作出反应而动态地调整光源提供的亮度级的控制装置。
33.一种用于检测人的面部的方法，所述方法包括提供代表来自景象的反射光的第一图像输出，所述反射光属于反射的红外射线范围中的第一波长范围；提供代表来自景象的反射光的第二图像输出，所述反射光属于反射的红外射线范围中的第二波长范围；依据所述第一和第二图像输出，通过从景象中相对于背景离析出人的皮肤来确定至少一个面部搜索区域，其中，人皮肤在所述第一波长范围内的反射率与人皮肤在所述第二波长范围内的反射率之间的差别，比除了人皮肤以外的背景中的其它物体在所述第一波长范围内的反射率与所述其它物体在所述第二波长范围内的反射率之间的差别大；从所述确定了的面部搜索区域中提取有可能对应于人的一条或两条眉毛的区域，其中，所述有可能对应于人的一条或两条眉毛的区域在所述第一波长范围比人皮肤有相对较高的反射率；从所述确定了的面部搜索区域中提取有可能对应于人的一只或一双眼睛的区域，其中，所述有可能对应于人的一只或一双眼睛的区域在所述第一波长范围比人皮肤有相对较低的反射率；将所述提取的有可能对应于人的一条或两条眉毛的景象区域和所述提取的有可能对应于人的一只或一双眼睛的景象区域合并，从而生成一幅组合容貌特征图像；依据表示眼睛区域的模型数据对所述组合容貌特征图像进行搜索，以确定一个或多个包含眼睛的区域的位置；以及估算所述一个或多个包含眼睛的区域中一只或一双眼睛的中心。
34.如权利要求33所述的方法，其特征在于位于所述第一波长范围与所述第二波长范围之间的波长为大约1.4微米。
35.如权利要求33所述的方法，其特征在于所述第二波长范围是从至少大约0.9微米到1.4微米，而所述第一波长范围是从1.4微米到至少大约1.7微米。
36.如权利要求33所述的方法，其特征在于所述”通过从景象中离析出人的皮肤来确定面部搜索区域”包括对所述第一图像输出的各像素的光谱功率与所述第二图像输出的相应像素的光谱功率进行加权差运算，从而得到所述各像素的加权差输出。
37.如权利要求36所述的方法，其特征在于所述”通过从景象中离析出人的皮肤来确定面部搜索区域”还包括将所述各像素的加权差输出与一个或多个阈值相比较，以便把代表皮肤的像素与代表背景中并非人皮肤的物体的像素区分开。
38.如权利要求33所述的方法，其特征在于所述方法还包括检测人物面部的朝向或范围，所述检测是依据检测到的所述人物的一只或一双眼睛以及离析出的所述人物的皮肤来实现的。
39.如权利要求33所述的方法，其特征在于所述方法还包括检测所述人物面部的朝向，所述检测至少是依据检测到的人物的无论一只还是一双眼睛来实现的。
40.如权利要求33所述的方法，其特征在于所述”依据表示眼睛区域的模型数据对所述组合容貌特征图像进行搜索，从而得到一个或多个包含眼睛的区域”包括把代表多数人眼睛与眉毛关系的模板用于所述组合容貌特征图像，以便确定所述一个或多个包含眼睛的区域的位置。
41.如权利要求33所述的方法，其特征在于所述”估算所述一个或多个包含眼睛的区域中一只或一双眼睛的中心”包括判定所述一个或多个包含眼睛的区域是横跨所述人物面部大部分的单一斑点，还是两个尺寸大约相等的斑点，或是比横跨所述人物面部大部分的单一斑点尺寸相对较小，但却比其它确定了位置的包含眼睛的区域大的单一斑点。
42.如权利要求33所述的方法，其特征在于所述方法还包括将代表所述一只或一双眼睛的估算的中心的数据至少应用于面部识别系统。
全文摘要
一种用于检测人的面部的方法与系统包括提供代表从景象中反射回来的光的图像数据，所述反射光处于反射红外射线范围中的至少一个波长范围。将图像数据中有可能对应于某人一条或两条眉毛的景象区域和有可能对应于某人一只或一双眼睛的景象区域从数据中提取出来。再将所提取的有可能对应于某人一条或两条眉毛的景象区域和有可能对应于某人一只或一双眼睛的景象区域合并成一幅组合容貌特征图像。然后再利用代表眼睛区域的模型数据对组合容貌特征图像进行搜索，从而确定人物的一只或一双眼。
文档编号A61B5/117GK1585957SQ02822430
公开日2005年2月23日 申请日期2002年9月13日 优先权日2001年9月13日
发明者I·帕夫利迪斯, J·B·道达尔 申请人:霍尼韦尔国际公司