从眼睛图像获取关注区域和/或认知信息的方法

专利名称：从眼睛图像获取关注区域和/或认知信息的方法
技术领域：
本发明涉及一种从眼睛图像获取关注区域和/或认知信息的方法。该方法包括如下步骤建立要用作关注区域信息或认知信息的库的眼睛图像的集合，以改进虹膜识别率；通过对存储在存储器的库中的各眼睛图像样本进行预处理、标准化和编码，来产生眼睛图像代码(下文中，被称作“眼睛代码”)；对各眼睛图像样本提供其它关注区域信息或认知信息，以建立对其提供了眼睛代码和关于每个眼睛图像样本的其它关注区域或认知信息的眼睛图像的特征眼睛库；将属于特征眼睛库的眼睛图像的眼睛代码分组、分隔或重叠 (cover)成多个组，以获得每个眼睛组的代表性眼睛代码；通过用与上述相同的处理，对未供有关注区域信息或认知信息的新的眼睛图像进行预处理、标准化和编码，来产生测试眼睛图像的测试眼睛代码；在建立的特征眼睛库中搜索测试眼睛图像并将其与最相似眼睛代码匹配；以及将关于匹配的眼睛图像的关注区域信息或认知信息传送到测试眼睛图像，使得该方法可以用于在虹膜识别装置中将关注区域信息或认知信息传送到测试眼睛图像的预处理过程。
背景技术：
在虹膜识别系统中，需要从给定的虹膜图像中正确提取虹膜区域或用户的关注区域(ROI)，以提高性能和效率。另外，如果可以在眼睛图像内确定虹膜区域的诸如形状、位置、旋转角度(即，眼睛从水平移动的角度)等的几何特征，则这些特征还可以用作虹膜识别中的非常重要的信息。另外，关于遮盖虹膜的程度、遮盖虹膜的对象的种类和虹膜图像的拍摄条件的信息在虹膜识别系统中可以是非常有用的。通常，关于眼睛图像的前述信息可以被视为用户的关注区域信息和由人识别的认知信息。虽然可以通过特定算法自动获得这样的信息，但是正确获得该信息或获得期望方向上的眼睛图像是非常难的。例如，在获得虹膜边界信息的情况下，如果由于拍摄虹膜图像时摄像装置周围的照明改变而使虹膜区域的边界模糊，或者如果虹膜区域及其边界被眉毛、眼睑、眼镜等遮盖，则难以设置虹膜区域的边界。诸如数字图像中的对象的内部区域和边界的确定的工作是指图像分割，这是数字图像处理中的最难的操作之一。图像分割是指将给定图像分割成若干区域或对象，其主要目的是区分并完全分离关注区域与给定图像中的其它对象。现有技术中使用各种图像分割技术。作为通用的自动分割方法，在现有技术中使用基于图像内的突然改变的检测的分割方法、基于具有相似特征的区域的逐渐放大的分割方法、基于对要检测的对象建模的分割方法等。然而，大部分常规的分割方法属于试图从单独图像直接确定期望图像的自底向上类型。在这种情况下，然而，在眼睛图像包括严重噪声、虹膜区域由于睫毛的遮盖而具有非限定边界等的情况下，会获得不期望的分割结果。另外，即使从这样的非限定形式正确地确定边界，也难以确定具有期望形式(例如，易于用户操纵的确定形式)的区域和边界，并且因此，难以使用现有自动技术获得满意的结果。
为了解决这个问题，使用用户进行粗略的分割指引并将特定算法应用于其余分割的半自动分割技术。该方法的缺点在于用户必须关于所有图像逐一进行指引。甚至在关于眼睛图像的语义信息或环境信息(circumstantial information)、以及关于前述几何区域的信息的情况下，人也可以从数字图像容易地识别这种信息，但是难以通过算法自动地提取信息。在过去的几十年中，在视觉、机器学习和人工智能的领域提出了各种自底向上技术，但是这些技术在语义信息或环境信息的系统化且正确的提取中是没用的。在近来的网络中，做出了各种尝试，以实现名为语义网(semantic Web)的、基于语义和环境信息进行搜索的智能网。然而，这些尝试仅用于当前搜索定向应用，而不用于从给定介质提取这样的信息。

发明内容
技术问题构思本发明以解决现有技术的这种问题，并且本发明的一个方面提供从眼睛图像获得包含关于用户的关注区域(ROI)及其边界的信息的几何信息的自顶向下的方法。这里，该方法包括建立眼睛图像样本的数据库；关于各眼睛图像样本的认知信息，通过专业人员的帮助(标记(marking))预先提供和存储关于关注区域的几何信息；以及通过检索先前存储的几何信息，从新的输入眼睛图像获得关于关注区域的几何信息。本发明的另一方面提供获得利用常规自动算法难以直接提取或花费很长时间来提取的关于眼睛图像的认知信息的自顶向下的方法。该方法包括将具有各种信息的眼睛图像样本建成要用作存储器中的库的眼睛图像的集合；通过专业人员的离线帮助(贴标签 (tagging))将认知信息预先提供和存储到各样本图像；以及关于新的输入眼睛图像，通过检索先前存储的几何信息，提供来自新的输入眼睛图像的认知信息。本发明的另一方面提供如下方法其通过基于与其它眼睛图像的相似度获得关于眼睛图像的关注区域的几何信息并在虹膜识别装置中的预处理过程中使用该几何信息，来增加虹膜识别率。本发明的又一方面是通过将先前存储的信息分组来减少搜索先前存储的信息所需的时间的方法。技术方案根据本发明的一个方面，一种获得眼睛图像的关注区域或认知信息(将在下面的示例性实施例中定义)的方法包括关于关注区域或认知信息，建立要用作存储器中的库的眼睛图像的集合(下文中，还称作“眼睛图样本的集合”或者“眼睛图像样本数据库”)；通过对属于眼睛图像样本数据库的每个眼睛图像样本进行预处理、标准化和编码产生眼睛代码；将另外的关注区域或认知信息提供给每个眼睛图像样本，并建立包含与每个眼睛图像样本的眼睛代码有关的另外关注区域或认知信息的数据库(下文中，称作“特征眼睛库”)； 将属于特征眼睛库的眼睛图像的眼睛代码分成多个组(下文中，称作“眼睛组”)作为分隔或重叠处理，以获得每个眼睛组的代表性眼睛代码；用与上送相同的过程，通过对尚未供有关注区域或认知信息的新的眼睛图像(下文中，称作“测试眼睛图像”)进行预处理、标准化和编码，来产生测试眼睛图像的眼睛代码(下文中，称作“测试眼睛代码”)；将测试眼睛图像与建立的特征眼睛库中的最相似眼睛代码匹配；以及将提供给匹配的眼睛代码的关注区域或认知信息传送到测试眼睛图像。根据本发明的另一方面，提供获得眼睛图像的关注区域信息或认知信息的自顶向下类型的方法，作为在从眼睛图像获得几何信息时的用于眼睛图像的预处理过程，该几何信息包括关于关注区域及其边界的信息。该方法包括通过专业人员的离线帮助(标记)， 将具有认知信息和关于关注区域的各种几何信息的眼睛图像样本存储在存储器的数据库中；以及通过检索先前存储的几何信息，从新的输入眼睛图像获得关于关注区域的几何信肩、ο根据本发明的另一方面，提供获得眼睛图像的关注区域信息或认知信息的自顶向下类型的方法，作为在获得关于眼睛图像的认知信息时的用于眼睛图像的预处理过程，其中该认知信息是利用常规的自动算法难以直接提取的或花费长时间来提取的。该方法包括通过专业人员的离线帮助(贴标签)，将具有各种几何信息的眼睛图像样本预先存储在存储器的数据库中，并通过检索先前存储的几何信息提供来自新的输入眼睛图像的认知信肩、ο根据本发明的另一方面，提供获得关注区域信息或认知信息的方法，作为眼睛图像的预处理过程。该方法包括通过基于与其它眼睛图像的相似度获得关于眼睛图像的关注区域的几何信息并在虹膜识别装置中的预处理过程中使用该几何信息，来增加虹膜识别率；或者将先前存储的信息分组以减少检索先前存储的信息所花费的时间。有益效果根据本发明的示例性实施例，在从眼睛图像获得包含关于关注区域(ROI)及其边界的信息的几何信息时，建立具有各种信息的眼睛图像样本数据库，并且通过专业人员的离线帮助(标记)预先提供和存储关于关注区域的几何信息，以获得各眼睛图像样本的认知信息，使得可以通过检索先前存储的几何信息、利用自顶向下的方法来获得关于新的输入眼睛图像的新的关注区域的几何信息。另外，根据示例性实施例，在获得利用常规的自动算法难以直接提取的或花费长时间来提取的、关于眼睛图像的认知信息时，将具有各种信息的眼睛图像样本建成要用作存储器中的库的眼睛图像的集合，并且通过专业人员的离线帮助(贴标签)来提供和存储各样本图像的认知信息，使得可以通过检索先前存储的几何信息、利用自顶向下的方法来提供新的输入眼睛图像的认知信息。另外，根据示例性实施例，基于与另一眼睛图像的相似度来获得关于眼睛图像的关注区域的几何信息，并且在虹膜识别装置中的预处理过程中使用该几何信息，从而增加虹膜识别率。另外，根据示例性实施例，通过将认知信息提供给每个眼睛图像样本而将数据库中的信息分组，从而减少检索的时间。


根据以下结合附图做出的详细描述，将更清楚地理解本发明的以上和其它目的、 特征和优点，在附图中图1是根据本发明的示例性实施例的、获取关注区域和/或认知信息的方法的概念图；图2是根据本发明的示例性实施例的、获取关注区域和/或认知信息的方法的流程图；图3是根据本发明的示例性实施例的、说明眼睛图像的尺度标准化的视图；图4是根据本发明的示例性实施例的、说明眼睛图像的直方图、图像中心和缩放标准化的视图；图5是根据本发明的示例性实施例的、说明作为分隔和重叠的处理的将眼睛图像样本分组的处理的视图；图6是根据本发明的示例性实施例的、专业人员在眼睛图像中标记的几何区域信息中的边界信息的视图；图7是根据本发明的示例性实施例的、提供给眼睛图像的语义信息的视图；图8是根据本发明的示例性实施例的、基于分组的特征眼睛库的用于测试眼睛代码的比较方法的框图；图9是根据本发明的示例性实施例的、将关注区域信息传送到测试眼睛图像的方法的框图；以及图10是根据本发明的示例性实施例的、通过将边界信息传送到测试眼睛图像获得的眼睛图像的视图。
具体实施例方式本发明提供一种从包括眼睛和眼睛周围部分的图像的眼睛图像获得关注区域信息和/或认知信息的方法。该方法包括建立由眼睛图像构成的眼睛图像样本数据库；提取眼睛图像样本数据库中的每个眼睛图像样本的眼睛代码；建立特征眼睛库，该特征眼睛库包含提取的各个眼睛图像样本的眼睛代码、以及提供给每个眼睛图像样本的关注区域信息和/或认知信息；提取新的眼睛图像的眼睛代码，其中将提取该新的眼睛图像的关注区域信息和/或认知信息；通过将新的眼睛图像的眼睛代码与存储在特征眼睛库中的各个眼睛代码进行比较，将新的眼睛图像的眼睛代码与最相似眼睛代码匹配；以及将匹配的眼睛代码的关注区域信息和/或认知信息传送到新的眼睛图像。将参照附图详细地描述本发明的示例性实施例。图1是根据示例性实施例的用于获取关注区域和/或认知信息的方法的概念图，并且图2是根据示例性实施例的用于获取关注区域和/或认知信息的方法的流程图。首先，将研究根据示例性实施例的眼睛图像样本数据库的建立。为了得到特征眼睛库，首先配置眼睛图像样本的集合。通常，术语“眼睛图像”是指眼睛和包括眼睛周边的扩展区域的数字图像。可以以各种方式来配置眼睛图像样本的集合，以在关注区域信息或认知信息方面具有大的改变。例如，如果特定眼睛图像的期望关注区域是关于暴露于外部的眼睛区域的信息，则眼睛在睁开状态下的各个图像可被用作眼睛图像样本。眼睛图像样本可以是通过直接拍摄人的眼睛获得的图像，或者是通过对眼睛及其周边建模所产生的人造眼睛图像。在产生特定人造眼睛图像的情况下，对构成眼睛的瞳孔、 虹膜、眼白、眼睑和睫毛的尺寸、形状、颜色、纹理和相关性、以及诸如照明、眼镜等的外部条件进行建模，以随机产生包含眼睛及其周边的图像的多个眼睛图像。接下来，将研究特征眼睛库的配置。特征眼睛库包括针对每个眼睛图像样本产生的眼睛代码(下文中，从眼睛图像样本提取的眼睛代码将被称作“样本眼睛代码”)、以及眼睛图像样本的关注区域或认知信息。 各个眼睛图像样本可以被包括或不包括在特征眼睛库之中。在本实施例中，假定眼睛图像是灰度眼睛图像。替选地，眼睛图像可以是彩色眼睛图像。本领域的普通技术人员应理解眼睛图像的这种改变仅与软件设计改变有关。a.眼睛图像的预处理和标准化由于可以预先使人造眼睛图像标准化，所以可以在不需要任何单独的预处理的情况下产生该人造眼睛图像。然而，针对通过直接拍摄人的眼睛获得的眼睛图像，由于眼睛图像是在不同条件下拍摄的，所以需要预处理眼睛图像以便于信息的提取，或者需要对眼睛图像标准化以用于相互比较。关于眼睛图像的预处理和标准化，假定通过稍后描述的产生眼睛代码的任何方法实现预处理和标准化。由于眼睛图像的预处理和标准化可以基于期望的关注区域或认知信息，所以可以以根据关注区域或认知信息的种类的各种观点，对眼睛图像进行预处理和标准化。在本实施例中，将在图像尺寸、直方图、图像滤波、平移和定向、 重新缩放、不重要部分等方面来描述预处理和标准化。-图像尺寸关于具有相同分辨率的图像，当拍摄眼睛时，拍摄的眼睛的尺寸根据距摄像装置的距离而改变。在此方面，将拍摄图像的尺寸调整到相似的眼睛尺寸。-直方图通过对比度调整，将给定眼睛图像调整成使得其对比度区域在同一范围内或者具有同一对比度分布标准。为此目的，在本实施例中，使用直方图均衡技术。也就是说，变换函数被确定为对所有眼睛图像提供同一对比度分布标准，并且关于每个眼睛图像的对比度值被应用于相对频率分布，从而使眼睛图像的直方图标准化。-图像滤波根据拍摄条件，拍摄的眼睛图像可具有不同噪声水平、模糊水平等。如果噪声水平被控制，即执行平滑化，则这是通过高斯滤波器、中值滤波器等在空间域中执行的。在频域的情况下，可以通过各种低通滤波器去除噪声。另外，为了使对象清楚，可以使用导函数应用锐化技术。为了恢复毁坏的图像，可以使用去卷积技术等。-平移和定向根据拍摄的眼睛图像，眼睛的中心(即，瞳孔的中心)可能偏离眼睛图像的中心。 此时，通过将原始眼睛图像修剪(crop)成特定尺寸来产生新的眼睛图像，使得眼睛的中心与眼睛图像的中心对准。另外，由于眼睛图像从水平方向旋转的角度全部不同，所以它们可以被旋转到同一角度范围内，例如，被旋转为水平的，从而使眼睛图像标准化。-局部重新缩放当拍摄眼睛时，根据周围环境改变瞳孔的尺寸、虹膜的尺寸等。具体地，瞳孔可以响应于亮度的改变而缩小或扩大。在此方面，眼睛图像被调整，使得虹膜的内径(瞳孔的半径)和虹膜的外径(包括全部虹膜区域的圆盘的半径)具有恒定的尺寸。图3示出了在内径和外径的标准被分别设为r0和RO的情况下，半径与标准不同的眼睛图像被转换成具有标准半径的过程。例如，图3(a)示出了比标准小的瞳孔(rl < rO)放大，而虹膜区域缩小， 并且图3(b)示出了比标准大的瞳孔(r2 > rO)缩小，且虹膜区域也缩小。这里，可以使用现有算法来确定瞳孔的边界或虹膜的边界，或者可以使用瞳孔或虹膜的边界作为关注区域信息，通过根据示例性实施例的眼睛图像转变来确定。另外，根据关注区域在眼睛图像中所处的位置，可以局部缩小或放大眼睛图像的关注区域。-不重要部分的去除当获得期望的关注区域信息或认知信息时，眼睛图像可以被划分成重要部分和不重要部分。由于当获得关注区域信息或认知信息时不重要部分会变成阻碍，所以有利的是， 从眼睛图像去除不重要部分以便于获得关注区域信息或认知信息。图4示出了通过许多过程对眼睛图像进行预处理和标准化，以获得暴露于外部的眼睛区域的边界信息。首先，从原始眼睛图像选择对应于特定半径(例如，多达虹膜关于瞳孔中心的外径的1. 5倍)的外部部分，并且使其余部分经过直方图调整和缩放，从而获得新的眼睛图像。由于瞳孔在获得暴露于外部的眼睛区域的边界信息时是不重要的，所以将其去除。在两个最终预处理且标准化后的图像(即，最右侧图像)中，瞳孔的尺寸和虹膜的厚度彼此相似。b.眼睛图像的眼睛代码两个或更多个眼睛代码可以被提供给每个眼睛图像样本。例如，通过在特定角度范围内旋转原始眼睛图像，新产生多个旋转后的眼睛图像，并且针对每个旋转后的眼睛图像产生眼睛代码，从而对原始眼睛图像提供眼睛代码的集合。由于无论是对每个眼睛图像样本提供单个还是多个眼睛代码对本发明的描述都不存在差别，所以为了方便起见，假定对每个眼睛图像样本提供单个眼睛代码。眼睛代码是表示眼睛图像的颜色和纹理特征的代码，并且可以通过在各种域中的各种表示方案来配置。以排列数值的特征向量的形式提供眼睛代码。首先，当可以在不需要关于其它眼睛图像的信息的情况下获得眼睛图像的眼睛代码时，可以通过选择性使用以下向量之一来配置眼睛代码-从包括图像中的每个像素的灰度水平的空间域中的表示提取的向量；-从通过将诸如傅里叶变换、小波变换等的变换应用于空间域中的眼睛图像表示而获得的表示提取的向量；以及-从通过将拉东(Radon)变换等的积分变换应用于空间域中的眼睛图像表示而获得的表示提取的向量。反之，当必须分析个别眼睛图像样本以获得每个眼睛图像的眼睛代码时，可以通过以下向量来实现眼睛代码-通过使用主成分分析(PCA)表示眼睛图像而获得的向量；-通过使用线性判别分析(LDA)表示眼睛图像而获得的向量；以及-通过使用独立成分分析(ICA)表示眼睛图像而获得的向量。此时，当应用这些分析技术中的每一个时，可以选择性使用这三种向量中的一个。在本实施例中，将描述基于要传送的关注区域信息和认知信息产生眼睛代码的两个示例。首先，将描述如下示例其中，针对一般眼睛图像表示，通过将PCA应用于具有像素的灰度水平的空间域中的眼睛图像来配置眼睛代码。为了通过PCA获得眼睛图像的主成分，与眼睛图像样本的集合分开地准备m个预处理且标准化后的眼睛图像。替选地，可以从眼睛图像样本的集合提取m个预处理且标准
化后的眼睛图像。将准备的眼睛图像分别称作J_1、J_2.....J_m。如果各个眼睛图像具有
相同的长度k，则眼睛图像的协方差矩阵(标记为M)是kXk矩阵。获得矩阵MWk个特征向量，即，满足关系表达式ME = aE (其中a是实数)的向
量E，并且这k个特征向量分别称作E_l、E_2.....E_k (假定它们关于特征值是降序的)，
并且这些向量将被称作“特征眼睛(eigen-eye) ”。利用前述特征眼睛来生成给定眼睛图像的眼睛代码。因为k可以是非常高的值， 所以选择和使用关于特征值“a”排序较高的ρ个特征眼睛来生成眼睛代码。如果给定眼睛
图像名为I，并且P个选择的特征眼睛被分别重命名为E_1、E_2.....E_p，则给定眼睛图像
I的眼睛代码变成P维向量(<E_1，1>，<E_2, 1>，...，<Ε_ρ, I (其中，“〈，> ”是指两个向量的点积)。作为另一种方法，眼睛图像可以由基于眼睛图像的每个部分局部具有的统计特性的眼睛代码来表示。例如，存在使用局部二值模式(LBP)的表示技术。在本实施例中，将描述通过与LBP相似的方法产生眼睛代码以传送关注区域的边界信息的另一个示例。首先，使用一般算法来确定眼睛图像的边界。如果眼睛图像的一个像素被认为是边界，则对该像素给出1 ；否则的话，对该像素给出0。对其提供1的像素被称作边界点，而对其提供0的像素被称作非边界点。关于眼睛图像的每个像素，设置具有特定尺寸的圆盘状的区域。假定眼睛图像的尺寸是MXN，并且在位置(1，」)(其中，1 = l，...，M，j = 1，...， N)的像素是p(i，j)。另外，假定具有中心p(i，j)的圆是D(i，j)，并且通过像素p(i，j)并与水平形成χ度的角度的线是L(i，j，x)。在线L(i，j，x)和圆盘D(i，j)相交的像素之中， 对边界上的像素h(i，j，χ)的数目进行计数。如果角度χ从1度变到360度，则获得h(i， j，x)的全部的360个值并获得以下向量。h(i，j，l)，h(i，j，2)，···，h(i，j，360)。这些向量将被称作像素(i，j)的边界签名，并被表示为S(i，j)。如果关于所有像素(i，j)获得边界签名，则获得MXN矩阵。该矩阵被定义为给定眼睛图像的眼睛代码。通过前述各种处理，针对眼睛图像样本数据库中的各个眼睛图像样本，产生所有眼睛代码。c.关注区域信息和认知信息根据示例性实施例，关于眼睛图像的关注区域信息指示关于形成由眼睛图像表示的场景的对象的几何区域(内部区域和边界)的信息，其包括关于用户的目标区域的信息和关于特定对象的信息。换言之，关于眼睛图像的关注区域信息可以包括由形成眼睛图像的对象占据的区域及其边界、和/或眼睛图像中的用户的目标区域及其边界。根据示例性实施例，关于图像的认知信息综合地指包含语义信息和环境信息的信息，语义信息与形成由图像表示的并由人识别的场景的对象的种类以及对象之间的关系等有关，环境信息是诸如形成场景的周边环境、背景等。
作为眼睛图像的关注区域信息，存在虹膜区域及其边界信息、内眼区域及其边界信息、以及由于眼睑、睫毛、眼镜、隐形眼镜、照明、阴影等产生的遮盖区域或遮盖边界。就虹膜识别而言，关于眼睛图像的认知信息可以包括人的面部关于摄像装置镜头的角度、眼睛观看摄像装置镜头的角度、眼睛的旋转角度、虹膜的中心与眼睛图像的中心之间的距离、虹膜的遮盖部分、遮盖虹膜的程度、遮盖虹膜的对象的种类(诸如眼镜、眼睑、照明的位置和亮度、隐形眼镜)等。可以通过诸如图像分割、计算机视觉和人工智能的各种方法获得关于眼睛图像的关注区域和认知信息。然而，通过常规技术难以获得这种高质量的信息。因此，专业人员可以通过贴标签、标记等将关注区域或认知信息直接提供给属于眼睛图像样本数据库的眼睛图像样本。另外，起初可以通过这种常规自动技术获得关注区域和认知信息，并且然后最终通过专业人员的帮助将其提供给眼睛图像样本以便记录在存储在存储器中的数据库之中。在图5中，红色曲线表示专业人员标记了眼睑和除了睫毛之外的内眼边界。分别对不同的眼睛图像应用标记。在这种情况下，关注区域是暴露于外部的眼睛部分。因此，通常会排除睫毛，但是这并不意味着用户想有完全排除了睫毛的非限定的边界(像锯齿那样不平)。参照图5，边界被选择为形成平滑曲线，同时包括充分暴露于外部的眼睛部分，而非完全去除遮盖眼睛的睫毛。将专业人员标记的这种边界信息提供到眼睛图像样本或眼睛代码。图6示出了将认知信息分别提供给两个不同的眼睛图像的示例。接下来，将更详细地研究产生眼睛组和每个眼睛组的代表性眼睛代码的步骤。a.眼睛组执行该步骤，以防止由于过多眼睛图像样本引起的处理速度和存储能力降低。用于模式识别的分类或聚类技术适用于特征眼睛库的眼睛代码或与其对应的眼睛图像，从而产生多个眼睛组。由于在本实施例中单个眼睛代码对应于单个眼睛组，所以眼睛组被认为是相应眼睛图像的组。单个眼睛组可以由单个眼睛代码构成。通过期望的关注区域或认知信息来提供用于将组相互区别的标准。因此，根据期望的关注区域或认知信息的数目，特征眼睛库可以同时具有两个或更多个组。另外，在每个分组中，特征眼睛库可以是分级的或平面(flat)的。在特征眼睛库是分级的情况下，单个眼睛组可以包括若干附属眼睛组。组可以相互交叠。也就是说，关于特征眼睛库的特定眼睛代码还可以同时属于多个组。这里，这种分组将被称作重叠。如果眼睛组之间的交集是空集，换句话说，如果组没有交叠，则将其称作分隔。图7示出了被分成两个组的眼睛图像的集合。第一情况示出了分隔，而第二情况示出了重叠。此外这两个组是平面的。b.代表性眼睛代码的产生每个眼睛组具有代表性代码(还被称作“原型”)。眼睛组包括多个眼睛代码，使得可以从眼睛组中的眼睛代码产生代表性眼睛代码并将其提供到相应眼睛组。如果眼睛组仅包括单个眼睛代码，则该眼睛代码被直接用作该眼睛组的代表性眼睛代码。作为每个组的代表性眼睛代码的示例，可以选择通过平均化眼睛代码获得的平均值。如果一个组的眼睛代码分别是(_1.....C_n，则该组的代表性眼睛代码(用MC标记)是 MC = (C_l+· . . +C_n)/n。中间值、加权平均值、几何平均值等可以被用作该组的代表性眼睛代码。接下来，将研究测试眼睛图像的预处理、标准化和编码步骤。如在配置测试眼睛库时产生眼睛代码的方法中，对测试眼睛库进行预处理、标准化和编码。为了改进与特征眼睛库进行比较的性能，多个眼睛代码可被提供到测试眼睛图像。例如，可以通过在特定范围内逐度地旋转测试眼睛图像以产生眼睛代码而获得新的眼睛图像。如果测试眼睛图像从-30度旋转到+30度，则总共产生了 61个眼睛代码。接下来，将研究基于眼睛代码的比较的匹配操作。在眼睛代码被分组并存储在特征眼睛库中并且代表性眼睛代码被提供到每个组的情况下，匹配操作包括将测试眼睛图像与特征眼睛库中的具有高相似度的适当眼睛组进行匹配的步骤，以及将测试眼睛图像与同测试眼睛图像匹配的眼睛组中的具有高相似度的适当眼睛图像样本匹配的步骤。如果选择的眼睛组仅包括单个眼睛图像，也就是说，特征库没有被分开地分组，则以上两个步骤被合成一个步骤。如此，将测试眼睛图像与眼睛组或眼睛图像匹配包括根据存储在特征眼睛库中的眼睛组(或者未分组情况下为眼睛代码)的类别或标签，对给定的测试眼睛图像分类。为此目的，可以使用各种分类技术。例如，可以使用以下技术之一使用两个代码之间的相似度作为分类器的技术、使用贝叶斯分类器的技术、神经网络技术、支持向量机技术、包括决策树技术的机器学习技术等。在本实施例中，使用以下分类技术其使用两个代码之间的相似度或相关性作为分类器。然而，应当理解，本领域的技术人员还可以选择和使用其它分类技术。由于每个眼睛代码是向量，所以两个眼睛代码之间的相似度可以通过两个向量之间的相似度来不同地测量。两个向量之间的相似度的测量可以包括基于诸如余弦相似度和 Tanimoto相似度的相关性的相似度测量；使用诸如曼哈顿距离、欧几里德距离等的明考夫斯基距离的相似度测量；以及对每个分量提供加权值的相似度测量等。可以选择这样的多种方法之一并用于相似度测量。例如，两个代码之间的相似度是通过与两个代码之间的欧几里德距离成反比的值来测量的。也就是说，如果通过计算欧几里德距离获得的值较小，则确定相似度较高；否则的话，相似度较低。基于相似度测量，将描述将测试眼睛图像与包括在特征眼睛库中的眼睛代码匹配的方法或机制。如果特征眼睛库包括η个眼睛组，则令其代表性眼睛代码分别为G_l、
G_2.....G_n，并且令测试眼睛图像的测试眼睛代码为U。这里使用的每个眼睛代码和每个
代表性眼睛代码是如上所述通过PCA获得的眼睛代码。替选地，可以使用通过另一通用技术获得的眼睛代码。如下计算测试眼睛代码与代表性眼睛代码之间的欧几里德距离。IG_l-uI，IG_2-U|，·· .，| G_n_U|。从以上距离之中确定最小距离，并且选择与其对应的眼睛组。令在该眼睛组中包
含的样本眼睛代码为c_l、C_2.....C_m。现在，如下再次计算测试眼睛代码与代表性眼睛
代码之间的欧几里德距离。IC_l-uI， Ic_2-uI，··. ， IC_m-u|。
从以上距离之中确定最小距离，并令与其对应的样本眼睛代码为C。然后，测试眼睛图像最终与样本眼睛代码C匹配。图8示出了显示前述过程的图。如果特征眼睛库的每个眼睛组仅包括单个眼睛图像，则以上两个步骤被合成一个步骤。如果多个测试眼睛代码被提供给测试眼睛图像，则将所有的测试眼睛代码与特征眼睛库匹配，如上所述，并且然后得到具有最小距离的样本眼睛代码。例如，通过在从-30 度到+30度的范围内一次旋转测试眼睛图像一度，来产生总共61个眼睛代码，并且然后通过与上述相同的方法将测试眼睛代码与特征眼睛库中的眼睛代码匹配。在与61个测试眼睛代码匹配的眼睛代码之中，选择最相似眼睛代码。接下来，将研究传送和应用关注区域和认知信息的步骤。将先前提供给特征眼睛库的与测试眼睛图像匹配的样本眼睛代码C的关注区域或认知信息传送或应用到测试眼睛图像。在认知信息中，一些信息可以直接被传送，但是直接传送认知信息可能提供不期望的结果。具体地，在关注区域信息的情况下，测试眼睛图像在不直接被传送的情况下可以经过逐步缩放、平移、旋转等，然后关注区域信息可以被传送到测试眼睛图像。如下是传送关注区域信息的示例。图9是将关注区域信息传送到测试眼睛图像的方法的框图。假定测试眼睛图像是1_测试，最相似眼睛图像样本是1_样本，并且提供给眼睛图像样本1_样本的关注区域信息是J。如果与标准化(包括旋转、平移、局部缩放等)对应的操作是N，则 N(I_测试)表示关于测试眼睛图像1_测试而标准化的图像。同时，N(I_样本+J) =N(I_ 样本)+N(J)表示通过标准化1_样本+J获得的图像，其中关注区域信息J与眼睛图像样本 1_样本组合。如果关注区域信息可以变成数字图像，并且标准化N与图像的局部化和广泛几何变换有关，则可以理解N (1_样本+J)=则1_样本)+则)。如果标准化N的反向标准化(标准化的反向过程)是M，则M(N(I_测试)+N(J))成为最终图像，其中眼睛图像样本 1_样本的关注区域信息J被传送并与测试眼睛图像1_测试组合。如此，被传送到测试眼睛图像的关注区域信息或认知信息不仅成为关于测试眼睛图像的信息，而且被用作获得更准确信息的指引。图10示出了通过眼睛代码比较将传送的测试眼睛图像与最相似眼睛图像样本匹配，然后将标记在匹配的眼睛图像样本上的边界信息传送到测试眼睛图像。在图10中，由于从不同人获得测试眼睛图像和匹配的眼睛图像样本，所以眼睛周边和虹膜区域具有不同的纹理。然而，两个眼睛图像中的眼睛区域的几何形状彼此相似。因此，即使在上方存在微小的误差，图10中的传送的边界也相对良好地切合测试眼睛图像。另外，基于传送的边界信息，即，当使用传送的边界信息作为指引时，额外地执行局部分析，使得可以提取更准确的边界信息。工业实用性根据示例性实施例，对与关注区域信息或认知信息对应的眼睛图像的集合进行预处理、标准化和编码，以产生眼睛图像代码并配置数据库中的特征眼睛库；对存储在特征眼睛库中的眼睛图像的眼睛代码分组，以将分隔或重叠操作应用于多个组来获得每个眼睛组的代表性眼睛代码；通过相同的处理对未供有关注区域信息或认知信息的新的眼睛图像进行预处理、标准化和编码，从而产生测试眼睛代码；将测试眼睛图像与特征眼睛库中的最相似眼睛图像匹配；以及将提供给匹配的眼睛图像的关注区域信息或认知信息传送到测试眼睛图像，使得关注区域信息或认知信息可以在眼睛图像的预处理过程中被使用，从而改进虹膜识别率和工业实用性。
权利要求
1.一种从眼睛图像获得关注区域信息和/或认知信息的方法，所述眼睛图像包括眼睛和所述眼睛周围的部分的图像，所述方法包括建立由眼睛图像构成的眼睛图像样本数据库；提取存储在所述数据库中的每个所述眼睛图像样本的眼睛代码；建立特征眼睛库，所述特征眼睛库包括所提取的各个眼睛图像样本的眼睛代码、以及提供给每个所述眼睛图像样本的关注区域信息和/或认知信息；提取新的眼睛图像的眼睛代码，其中将提取所述新的眼睛图像的关注区域信息和/或认知信息；通过将所述新的眼睛图像的所述眼睛代码与存储在所述特征眼睛库中的所述眼睛代码进行比较，将所述新的眼睛图像的所述眼睛代码与最相似眼睛代码匹配；以及将匹配的眼睛代码的关注区域信息和/或认知信息传送到所述新的眼睛图像。
2.根据权利要求1所述的方法，其中，所述眼睛图像样本数据库是通过经建模产生人造眼睛图像而配置的，或者是使用通过拍摄真实的眼睛获得的眼睛图像而配置的。
3.根据权利要求2所述的方法，其中，关于所述眼睛图像的所述关注区域信息包括由形成所述眼睛图像的对象占据的区域及其边界、和/或所述眼睛图像中的用户的目标区域及其边界。
4.根据权利要求3所述的方法，其中，关于所述眼睛图像的所述认知信息包括关于形成所述眼睛图像的对象的种类和所述对象之间的关系的语义信息、或关于所述对象的情境和所述对象的周边环境的环境信息。
5.根据权利要求4所述的方法，其中，关于所述眼睛图像的所述认知信息包括选自下述组中的至少一个人的面部关于摄像装置镜头的角度、眼睛观看所述摄像装置镜头的角度、所述眼睛的旋转角度、以及它们的组合。
6.根据权利要求4所述的方法，其中，关于所述眼睛图像的所述认知信息包括选自下述组中的至少一个遮盖眼睛的对象的种类、遮盖位置和遮盖程度、以及它们的组合。
7.根据权利要求4所述的方法，其中，关于所述眼睛图像的所述认知信息是通过改变拍摄所述眼睛图像时的照明的位置或亮度而配置的。
8.根据权利要求3所述的方法，其中，关于所述眼睛图像的所述关注区域信息包括选自下述组中的至少一个瞳孔区域、瞳孔边界、虹膜区域、虹膜边界、遮盖区域、所述遮盖区域的边界、暴露于外部的眼睛区域、暴露于外部的眼睛区域的边界、以及它们的组合。
9.根据权利要求8所述的方法，其中，使用关于所述眼睛图像的所述关注区域信息，以通过选自尺寸调整、直方图调整、图像滤波、平移、旋转和局部缩放、从所述眼睛图像去除不重要部分、以及它们的组合的至少一个来产生眼睛代码，从而当将眼睛代码提供给每个所述眼睛图像样本时执行预处理和标准化。
10.根据权利要求9所述的方法，其中，用于直方图调整的所述标准化包括直方图均衡技术。
11.根据权利要求9所述的方法，其中，所述图像滤波包括包含高斯滤波的平滑化滤波、或者利用导函数的锐化滤波。
12.根据权利要求9所述的方法，其中，所述局部缩放包括将虹膜的内径和该虹膜的外径之间的比率同等地应用于所有的所述眼睛图像。
13.根据权利要求1至12中任一项所述的方法，其中，通过用标签编辑和存储所述特征眼睛库中所存储的各个眼睛代码并根据所述标签对测试眼睛代码分类，来配置通过将所述测试眼睛代码与存储在所述特征眼睛库中的所述各个眼睛代码进行比较来搜索眼睛代码以改进识别率的机制，其中分类技术选择性地使用以下技术之一采用两个代码之间的相似度作为分类器的技术、利用贝叶斯分类器的技术、神经网络技术、支持向量机技术、以及包括决策树技术的机器学习技术。
14.根据权利要求13所述的方法，其中，通过选择空间域中的眼睛图像表示、基于傅里叶变换的眼睛图像表示、基于小波变换的眼睛图像表示、基于拉东变换的眼睛图像表示、以及基于表示所述眼睛图像的每个像素中的局部特征的数值的直方图的眼睛图像表示中的一个眼睛图像表示，来提取所述眼睛图像的所述眼睛代码；或者通过配置眼睛图像的单独集合并选择性地将主成分分析PCA、线性判别分析LDA和独立成分分析ICA技术之一应用于所述单独集合，来提取关于所述眼睛图像的所述眼睛代码。
15.根据权利要求13所述的方法，其中，如果通过两个向量之间的相似度测量的、两个代码之间的相似度被用作用于通过将所述测试眼睛代码与存储在所述特征眼睛库中的所述各个眼睛代码进行比较来搜索所述最相似眼睛代码的分类器，则所述相似度的测量包括选择以下相似度测量之一基于诸如余弦相似度和Tanimoto相似度的相关性的相似度测量；利用诸如曼哈顿距离和欧几里德距离的明考夫斯基距离的相似度测量；以及对每个分量提供加权值的相似度测量。
16.根据权利要求1至12中任一项所述的方法，其中，将关于所述匹配的眼睛图像样本的所述关注区域信息传送到所述测试眼睛图像包括对所述关注区域信息或所述测试眼睛图像逐步地应用局部变换，以及然后将关于所述匹配的眼睛图像样本的所述关注区域信息传送到所述测试眼睛图像。
17.根据权利要求16所述的方法，其中，将关于所述匹配的眼睛图像样本的所述关注区域信息传送到所述测试眼睛图像包括标准化在将所述关注区域信息与所述眼睛图像样本相加时形成的图像，通过与所述眼睛图像样本中相同的处理来标准化所述测试眼睛图像，将标准化的关注区域信息传送并组合到标准化的测试眼睛图像，以及反向标准化组合的图像。
18.根据权利要求16所述的方法，其中，通过基于传送到所述测试眼睛图像的结果的其它局部分析，更准确地提取关于所述匹配的眼睛图像的所述关注区域信息。
19.根据权利要求13所述的方法，其中，提供给所述测试眼睛图像的所述眼睛代码是通过提供两个或更多个眼睛代码来配置的。
20.根据权利要求19所述的方法，其中，关于所有所述测试眼睛代码，将提供给所述测试眼睛图像的所述两个或更多个测试眼睛代码分别与存储在所述特征眼睛库中的所述眼睛代码之中的最相似样本眼睛代码匹配，并且所述最相似眼睛代码是在匹配的样本眼睛代码中检索到的且与所述测试眼睛图像匹配。
21.根据权利要求20所述的方法，其中，提供给所述测试眼睛图像的所述两个或更多个测试眼睛代码通过在特定角度范围内逐渐地改变所述测试眼睛图像的角度来产生新的眼睛图像，并且分别将新的眼睛代码逐一地提供给产生的新的眼睛图像，以将两个或更多个眼睛代码提供到所述测试眼睛图像。
22.根据权利要求13所述的方法，其中，根据关注区域或认知信息，将所述特征眼睛库分隔成或转换成多个眼睛组。
23.根据权利要求22所述的方法，其中，每个眼睛组包括对其提供的代表性眼睛代码。
24.根据权利要求23所述的方法，其中，通过将所述测试眼睛代码与存储在所述特征眼睛库中的所述各个眼睛代码进行比较来搜索所述最相似眼睛代码的机制包括将所述测试眼睛代码与每个代表性眼睛代码进行比较，搜索最相似眼睛组，将属于所述眼睛组的每个所述样本眼睛代码与所述测试眼睛代码进行比较，以及从所述样本眼睛代码之中选择与所述测试眼睛代码最相似的样本眼睛代码。
25.根据权利要求M所述的方法，其中，每个眼睛组的所述代表性眼睛代码包括通过平均化属于所述眼睛组的眼睛代码获得的平均值。
26.根据权利要求M所述的方法，其中，将所述特征眼睛库分组包括分级分组或平面分组。
27.根据权利要求24所述的方法，其中，根据关注区域或认知信息将所述特征眼睛库分组包括将相似眼睛代码分组成聚类的聚类技术。
全文摘要
本发明提供一种从眼睛图像获取关注区域和/或认知信息的方法，该方法包括步骤针对关注区域信息或认知信息，对眼睛图像组进行预处理、标准化和编码，以产生眼睛图像代码和在存储器中构建特征眼睛库，以便改进虹膜识别率；将存储在特征眼睛库中的眼睛图像的眼睛代码分组和分割或重叠成多个组；获得每个眼睛代码组的代表性眼睛代码；以与上述步骤相同的方式对未分配关注区域信息或认知信息的新的眼睛图像进行预处理、标准化和编码；将测试眼睛图像与特征眼睛库中的最相似眼睛图像匹配；以及将分配给匹配的眼睛图像的关注区域信息或认知信息传送到测试眼睛图像。在眼睛图像的预处理中使用传送的信息。
文档编号G06T7/40GK102209975SQ200980144935
公开日2011年10月5日 申请日期2009年10月6日 优先权日2008年10月8日
发明者孙正教, 崔炯仁, 文焕彪, 权圣火, 李成镇, 白胜敏, 金大训 申请人:虹膜技术公司