用于面部识别的装置和方法
【专利摘要】一种用于面部识别的装置的控制方法包括：通过图像获取器获取图像；从所获取的图像中提取面部图像；确定所提取面部图像是否满足预定质量条件，以便判定所提取面部图像的使用/不使用；以及如果所提取面部图像满足预定质量条件，则通过使用所提取面部图像来执行面部识别操作。
【专利说明】用于面部识别的装置和方法
【技术领域】
[0001]以下描述涉及用于面部识别的装置和方法，更具体地，涉及在面部识别中提供改善的准确度的面部识别的装置和方法。
【背景技术】
[0002]与指纹识别、虹膜识别及需要用户特定运动或行为的其它识别技术不同，面部识别技术由于采用了非接触方法来识别用户，所以被认为是方便的并有竞争性的生物特征识别技术。面部识别技术被广泛应用于视频摘要(summary of video)、识别、人机接口(HCI)图像搜索、安全、监控系统和其他多种应用领域。
[0003]然而，面部识别的结果很大程度上依赖于用户条件，例如，用户运动、面部表情的改变、器官特征的准确性，以及外部照明、图像处理和其他条件。
【发明内容】
[0004]其它方面和/或优点部分地将在以下描述中阐述，且部分地将通过以下描述而变得清楚明白，或者可以通过本发明的实践来获知。
[0005]因此，一个或多个示例性实施例提供一种用于面部识别的装置及其控制方法，通过对用于面部识别的图像的质量检查，有选择性地使用适合面部识别的图像，从而提供面部识别的改善的准确度。
[0006]通过提供一种用于面部识别的装置的控制方法，来实现以上和/或其他方面，所述控制方法包括:通过图像获取器获取图像；从所获取的图像中提取面部图像；确定所提取面部图像是否满足预定质量，以便判定所提取面部图像的使用/不使用；并且如果所提取面部图像满足预定质量，则通过使用所提取面部图像来执行面部识别操作。
[0007]此外，确定所提取面部图像是否满足预定质量可以包括:根据所提取面部图像和参考面部图像之间的相似度确定来进行确定。
[0008]此外，如果所提取面部图像不满足预定质量，则可以重复获取图像、提取面部图像以及确定质量，直到获得满足用于面部识别的预定质量的面部图像为止。
[0009]此外，通过使用所提取面部图像来执行面部识别操作可以包括:在存储单元中存储满足预定质量的所提取面部图像。
[0010]此外，通过使用所提取面部图像来执行面部识别操作可以包括:关于满足预定质量的所提取面部图像，执行预定预处理。
[0011]此外，执行预定预处理可以包括:关于所提取面部图像的伽马校正、对比度校正以及噪声去除中的至少一个。
[0012]此外，通过使用所提取面部图像来执行面部识别操作可以包括:基于满足预定质量的所提取面部图像和存储在存储单元中的面部图像之间的相似度确定，来识别面部。
[0013]此外，存储在存储单元中的面部图像可以包括:基于面部图像是否满足质量的确定，满足预定质量的所提取面部图像。[0014]通过提供一种用于面部识别的装置可以实现上述和/或其它方面，所述装置包括:图像获取器，获取图像；面部图像提取器，提取所获取的图像中包括的面部图像；质量确定器，确定所提取面部图像是否满足预定质量，以便判定所提取面部图像的使用/不使用；以及控制器，如果所提取面部图像满足预定质量，则通过使用所提取面部图像来执行面部识别操作。
[0015]此外，质量确定器可以基于在所提取面部图像和参考面部图像之间的相似度确定来确定面部图像的质量。
[0016]此外，如果所提取面部图像不满足预定质量，则控制器可以从图像获取器在所述图像无法满足质量之后获取的图像中提取面部图像，并确定所提取面部图像是否满足质量。
[0017]此外，用于面部识别的装置还可以包括存储单元，其中如果所提取面部图像满足预定质量，则控制器在存储单元中存储所提取面部图像。
[0018]此外，用于面部识别的装置还可以包括预处理器，其中控制器控制预处理器对所提取面部图像进行预处理。
[0019]此外，预处理可以包括:关于所提取面部图像的伽马校正、对比度校正以及噪声去除中的至少一个。
[0020]此外，用于面部识别的装置还可以包括面部识别器，其中如果所提取面部图像满足预定质量，则控制器控制面部识别器执行关于所提取面部图像的面部识别操作。
[0021]此外，面部识别器可以基于在满足预定质量的所提取面部图像和满足预定质量且存储在存储单元中的面部图像之间的相似度确定，来识别面部。
【专利附图】
【附图说明】
[0022]结合附图，根据示例性实施例的以下描述，将更清楚且更容易理解上述和/或其它方面，附图中:
[0023]图1和2是根据实施例的用于面部识别的装置的框图；以及
[0024]图3到5是示出根据实施例的用于面部识别的装置的控制方法的流程图。
【具体实施方式】
[0025]下文将参考附图来详细描述示例性实施例，以便本领域技术人员易于理解。示例性实施例可以实现为多种形式，而不限于这里所述的示例性实施例。为了清楚的目的，可以省略对公知部件的描述，且贯穿附图类似参考标号表示类似组件。
[0026]图1和2是根据实施例的用于面部识别的装置100和200的框图。根据实施例的用于面部识别的装置100和200可以分开提供，或在例如个人数字助理(PDA)、移动电话、个人计算机(PC)或显示装置等设备中提供。
[0027]如所示，用于面部识别的装置100和200包括图像获取器110、面部图像提取器120、质量确定器130以及控制器140。
[0028]图像获取器110获取用户图像，并可以实现为面部识别传感器或摄像机，以便获取用户图像或视频。根据实施例，图像获取器110可以实现为视频摄像机。视频是指多个静态图像。[0029]面部图像提取器120通过控制器140 (下文所述)的控制，从图像获取器110获取的图像中提取面部图像。面部提取处理涉及从通过图像获取器110获取的图像中找到面部区域的处理，且多种提取方法是公知的。面部图像提取器120从所提取面板图像中提取面部特征信息。面部特征信息可以包括与面部的关键部位(例如，眼睛、鼻子和面部轮廓)以及肤色、嘴唇、眼睛、眉毛和鼻子的形状、面部表情等有关的特征信息。面部图像提取器120可以将所提取面部图像大小修改到标准面部图像的正常大小。
[0030]质量确定器130通过控制器140 (下文所述)的控制，确定所提取面部图像是否满足预定质量条件，以便确定由面部图像提取器120提取的面部图像是否足以用于识别面部。
[0031]为了确定所提取面部图像是否满足预定质量条件，质量确定器130确定在所提取面部图像和参考面部图像之间的相似度。
[0032]参考面部图像可以是基于多个人的面部图像的数据库收集的代表面部图像。
[0033]分别形成满足预定质量条件的面部图像，这些面部图像包括在数据库中并且基于参考面部图像。
[0034]针对包括在数据库中的各个面部图像的预定质量条件是清楚示出诸如眼睛、鼻子和嘴唇等每个器官以及形成面部图像的面部轮廓的面部图像。
[0035]针对包括在数据库中的各面部图像的预定质量条件可以是具有特定面部表情的面部图像。例如，这种面部图像可以是其中面部表情的临时改变并不过多的面部图像，例如，用于识别的照片。
[0036]针对包括在数据库中的各个面部图像的预定质量条件可以是正面面部图像，如特定姿势。
[0037]针对包括在数据库中的各个面部图像的预定质量条件可以是为其均匀照明的面部图像，而不是为其提供不一致照明(例如，侧光)的面部图像
[0038]针对包括在数据库中的各个面部图像的预定质量条件可以是面部亮度值落在在预定范围内的面部图像。
[0039]参考面部图像数据可以提前存储在存储单元(未示出)中，所述参考面部图像数据基于满足至少一个预定质量条件的面部图像。
[0040]为了检查所提取面部图像是否满足预定质量条件，质量确定器130将所提取面部图像与参考面部图像进行匹配。匹配算法可以包括例如图像校正算法。也就是说，图像校正算法可以用于产生进行质量确定的面部图像的亮度数据，以及用于比较的参考面部图像，并将进行质量确定的面部图像与参考面部图像的像素进行比较。
[0041]进行质量确定的所提取面部图像和参考面部图像之间的相似度可以用于确定所提取面部图像是否满足预定质量条件。如果所提取面部图像和参考面部图像之间的相似度为预设参考程度或更高，则可以确定所提取面部图像满足预定质量条件。
[0042]确定相似度可以不涉及识别特定面部，因此预设的参考相似度可以低于用于确定面部识别的相似度(下文所述)的参考相似度。
[0043]因此，如果所提取面部图像的面部的每个器官和轮廓不清楚，或该面部图像包括改变巨大的面部表情、偏离正面的姿势、或包括不均匀的侧光的面部图像，则将所提取面部图像确定为与参考面部图像不相似，并不满足预定质量条件。因此，确定所提取面部图像不适合用于识别面部。
[0044]根据实施例的质量确定器130可以确定所提取面部图像的特征信息是否落在预设范围之内，以便判定是否使用所提取面部图像。
[0045]基于满足预定质量条件的参考面部图像来设置基于确定的预定范围。例如，从面部图像中提取的每个器官的坐标和对应像素值是参考面部图像的特征信息，并将其提前设置为在距每个器官(例如，眼睛、鼻子、嘴巴等)的坐标值预定范围之内以及与坐标值相对应的像素值。
[0046]质量确定器130确定作为从面部图像中提取的面部特征信息的每个器官的坐标值和与该坐标值相对应的像素值是否在根据参考面部图像提供的预定范围内，且如果是，则确定所提取面部图像满足质量条件。
[0047]例如，如果与从面部图像中提取的每个器官相对应的像素值不在根据参考面部图像提供的预定范围内，则质量确定器130可以确定该面部图像不满足与每个器官的清晰度或照明状态有关的质量条件。
[0048]例如，如果与从面部图像中提取的每个器官相对应的坐标值不在根据参考面部图像提供的预定范围内，则质量确定器130可以确定该面部图像不满足与特定姿势或特定面部表情(例如，正面)有关的质量条件。
[0049]例如，如果进行质量确定的面部图像的全部像素值不在根据参考面部图像提供的预定范围内，则质量确定器130可以确定该面部图像不满足与亮度有关的质量条件。
[0050]控制器140控制用于面部识别的装置100的所有元件。控制器140控制面部图像提取器120从图像获取器110获取的图像中提取面部图像，并控制质量确定器130确定所提取面部图像是否满足预定质量条件，从而判定所提取面部图像的使用/不使用。如果确定面部图像满足预定质量，则控制器可以通过使用所提取面部图像来执行面部识别操作(稍后要进行描述)。
[0051]下文中，将参考图2来描述使用所提取面部图像的面部识别操作。
[0052]如图所示，用于面部识别的装置200包括图像获取器110、面部图像提取器120、质量确定器130、控制器140、预处理器150、存储单元160和面部识别器170。
[0053]图像获取器110、面部图像提取器120以及质量确定器130具有与根据图1中实施例的那些组件相同的配置，因此将不再进行赘述。
[0054]如果所提取面部图像满足预定质量，则预处理器150通过控制器140的控制，分析所提取面部图像的照明条件，并对与该照明条件相对应的面部图像进行预处理。
[0055]预处理器150可以包括直方图平滑器(未示出)、伽马校正器(未示出)、Wiener滤波器(未示出)、log滤波器(未示出)以及对比度校正器(未示出)。
[0056]直方图平滑器将所提取面部图像的直方图转换为均匀分布。伽马校正器减轻平滑后图像的非均匀照明条件。Wiener滤波器从伽马校正器校正的图像中移除噪声。Log滤波器提取由Wiener滤波器移除了噪声的面部图像的面部特征。对比度校正器提高log滤波器提取的面部特征的对比度。
[0057]因此，可以获得面部图像，从中减轻了照明的效果以便更清晰地示出面部特征。
[0058]控制器140在存储单元160中存储面部特征数据，该面部特征数据包括在预处理器150校正的面部图像中。可以通过控制器140的控制由预定算法提取该面部特征数据。用于提取面部特征数据的多种算法是公知的。
[0059]如果所提取面部图像满足预定质量条件，则控制器140可以提取所提取面部图像的面部特征数据，并将该数据存储在存储单元160中，而不是对所提取面部图像进行预处理。
[0060]面部识别器170参考存储单元160中存储的面部特征数据来识别面部。根据图1的实施例，存储单元160在其中存储参考面部图像数据，作为质量确定的基础。
[0061]如果所提取面部图像满足预定质量条件，则面部识别器170执行关于所提取面部图像的面部识别操作以便识别用户。
[0062]面部识别器170确定从满足预定质量的面部图像中提取的面部特征数据相对于存储在存储单元160中的面部特征数据是否具有预设的参考相似度或更大的相似度，以便识别面部。根据实施例，用于面部识别的参考相似度可以高于用于质量确定的参考相似度。存储在存储单元160中的面部特征数据包括确定为满足预定质量条件的面部图像的特征数据。
[0063]因此，识别满足预定质量的面部图像，并提高面部识别的准确度。
[0064]根据实施例的用于面部识别的装置100和200可以包括在显示装置中。
[0065]包括用于面部识别的装置100和200的显示装置(未示出)包括:信号输入/输出单元(未示出)，输入/输出至少一个图像信号；图像处理器(未示出)，处理通过信号输入/输出单元接收的图像信号；显示单元(未示出)，基于由图像处理器处理过的图像信号在其上显示图像；用户输入单元(未示出)，接收用户选择；以及控制器(未示出)，控制显示装置的所有元件。
[0066]信号输入/输出单元向图像处理器发送所接收的图像信号，并根据所接收信号的标准或图像供给源和显示装置的实施例类型而进行改变。例如，信号输入/输出单元可以根据标准(例如，高清多媒体接口(HDMI)、通用串行总线(USB)或组件)接收信号/数据，并可以包括与上述标准相对应的多个连接端子(未示出)。
[0067]图像处理器根据预设的多种图像处理操作，处理由信号输入/输出单元发送的图像信号，以及由图像供给源(未示出)供给的图像信号。图像处理器向显示单元输出处理过的图像信号，其中可以基于处理过的图像信号在该显示单元上显示图像。
[0068]图像处理器的图像处理操作可以包括，但不限于:解复用操作，用于划分预定信号；解码操作，与图像信号的图像格式相对应；解交织操作，用于将交织图像信号转换为逐行图像信号；缩放操作，用于将图像信号调整到预设分辨率；噪声降低操作，用于提高图像质量；细节增强操作；或帧刷新率转换。
[0069]显示单元基于由图像处理器处理过的图像信号在其上显示图像。显示单元的显示类型包括，但不限于:例如，液晶显示器(IXD)、等离子体显示面板(PDP)、发光二极管(LED)、有机发光二极管(OLED)、表面传导电子发射器、碳纳米管、或纳米晶体。
[0070]用户输入单元通过用户操控和输入，向控制器发送预设的多种控制命令或未限制的信息。用户输入单元可以实现为安装在显示装置的外部的菜单键和输入面板，或与显示装置分开/间隔开的遥控器。
[0071]用户输入单元可以集成地形成在显示单元中。也就是说，如果显示单元是触摸屏，则用户可以通过显示在显示单元上的输入菜单(未示出)来输入预设命令。[0072]根据实施例，用户输入单元可以接收与用于面部识别的装置100和200的面部识别操作相关的用户命令。
[0073]控制器控制显示装置的多个元件。例如，控制器控制图像处理器处理图像，并响应于来自用户输入单元的命令执行控制操作，从而控制显示装置的整体操作。
[0074]控制器可以包括用于面部识别的装置100和200的控制器140，或可以分开提供。
[0075]下文中，将参考图3到5来描述根据实施例的用于面部识别的装置100和200的控制方法。
[0076]如图所示，图像获取器获取包括用户的图像(操作300、400和500)。面部图像提取器从所获取图像中提取面部图像(操作310、410和510)。质量确定器确定所提取面部图像是否满足预定质量条件，以便判定所提取面部图像的使用/不使用(操作320、420和520)。质量的确定可以基于所提取面部图像和参考面部图像之间的相似度确定。另外，质量的确定可以包括确定所提取面部图像的特征信息是否在预设范围内。
[0077]如果确定所提取面部图像不满足预定质量条件，则重复获取新图像、提取面部图像和确定质量的操作以便获取满足质量条件的面部图像。可以通过由实现为视频摄像机的图像获取器连续拍摄静止图像，来获取新图像。将连续拍摄的图像存储在存储单元中。如果先前面部图像不满足质量条件，则连续获取的图像可以用于确定下一图像的质量。
[0078]如果确定面部图像满足预定质量条件，则控制器通过使用所提取的面部图像来执行面部识别操作(操作330)。
[0079]通过使用所提取面部图像来执行面部识别操作的操作(操作330)可以包括，例如，执行关于满足质量条件的面部图像的预定预处理的操作(操作430)。预处理的操作可以包括由预处理器对所提取的面部图像进行校正伽马、校正对比度和移除噪声中的至少一个。
[0080]通过使用所提取面部图像来执行面部识别操作的操作(操作330)可以包括在存储单元中存储由预处理器校正的面部图像的操作(操作440)。将存储在存储单元中的面部图像存储为由预定算法提取的面部特征数据的形式。
[0081]通过使用所提取面部图像来执行面部识别操作的操作(操作330)可以包括在存储单元中存储满足预定质量条件的面部图像，而不是对该面部图像进行预处理。
[0082]在识别面部的操作处面部识别器可以参考存储在存储单元中的面部特征数据(操作530)(稍后进行描述)。
[0083]通过使用所提取面部图像来执行面部识别操作的操作(操作330)可以包括执行关于操作520处确定的满足预定质量的面部图像的面部识别操作的操作(操作530)。
[0084]面部识别器可以基于在操作520处满足预定质量的面部图像和存储在存储单元中的面部图像之间的相似度确定，识别用于用户识别的面部。存储在存储单元中的面部图像包括:与操作420处确定的满足预定质量条件的面部图像有关的操作440处存储在存储单元中的面部图像。
[0085]因此，任何较差面部图像不用于识别面部，并且关于满足预定质量条件的面部图像，执行面部识别操作，从而提高识别面部的准确度。
[0086]如上所述，可以通过对用于面部识别的图像的质量检查来提高识别面部的准确度。[0087]上述实施例可以记录在包括程序指令的计算机可读介质中，所述程序指令实现由计算机具体体现的多种操作。介质还可以以单独或与程序指令组合的形式包括数据文件、数据结构等。记录在所述介质中的程序指令可以是专门设计或构建用于本实施例的目的，或是计算机软件领域的技术人员已知应用的。计算机可读介质的示例包括例如硬盘、软盘或磁带的磁性介质、例如CD-ROM或DVD的光学介质、例如光盘的磁光介质以及例如专门配置为存储和执行程序命令的只读存储器(ROM)、随机存取存储器(RAM)、闪存等的硬件装置。计算机可读介质也可以是分布网络，使得按照分布式形式存储和执行程序指令。可以由一个或多个处理器来执行所述程序指令。计算机可读介质也可以实现在至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)中，执行(如处理器一样处理)程序指令。程序指令的示例包括机器代码(如，由编译器产生的机器代码)以及包含更高级代码的文件，所述更高级代码可以由计算机使用解释器来执行。上述设备可以配置成作为一个或多个软件模块操作以执行上述实施例的操作，反之亦然。
[0088]尽管示出和描述了一些示例性实施例，然而本领域技术人员将理解，在不脱离本发明的原理和精神的前提下，可以在这些示例性实施例中进行修改，其中本发明的范围由所附权利要求及其等同物来限定。
【权利要求】
1.一种用于面部识别的装置的控制方法，包括: 通过图像获取器获取图像； 从所获取图像中提取面部图像； 确定所提取面部图像是否满足预定质量条件，以便判定是否使用所提取面部图像；并且 如果所提取面部图像满足预定质量条件，则通过使用所提取面部图像来执行面部识别操作。
2.根据权利要求1所述的控制方法，其中确定所提取面部图像是否满足预定质量条件包括:基于所提取面部图像和参考面部图像之间的相似度来进行确定。
3.根据权利要求1所述的控制方法，其中如果所提取面部图像不满足预定质量条件，则重复获取图像、提取面部图像以及确定质量条件，直到获得满足用于面部识别的预定质量条件的面部图像为止。
4.根据权利要求1所述的控制方法，其中通过使用所提取面部图像来执行面部识别操作包括:存储满足预定质量条件的所提取面部图像。
5.根据权利要求1所述的控制方法，其中通过使用所提取面部图像来执行面部识别操作包括:关于满足预定质量条件的所提取面部图像，执行预定预处理。
6.根据权利要求5所述的控制方法，其中执行预定预处理包括:关于所提取面部图像的伽马校正、对比度校正以及噪声去除中的至少一个。
7.根据权利要求1所述的控制方法，其中通过使用所提取面部图像来执行面部识别操作包括:基于满足预定质量条件的所提取面部图像和所存储面部图像之间的相似度确定，来识别面部。
8.根据权利要求7所述的控制方法，其中所存储面部图像包括:基于面部图像是否满足质量条件的确定，满足预定质量条件的所提取面部图像。
9.一种用于面部识别的装置，包括: 图像获取器，获取图像； 面部图像提取器，从所获取图像中提取面部图像； 质量确定器，确定所提取面部图像是否满足预定质量条件，以便判定是否使用所提取面部图像；以及 控制器，如果所提取面部图像满足预定质量条件，则通过使用所提取面部图像来执行面部识别操作。
10.根据权利要求9所述的用于面部识别的装置，其中所述质量确定器基于所提取面部图像和参考面部图像之间的相似度来确定面部图像的质量。
11.根据权利要求9所述的用于面部识别的装置，其中如果所提取面部图像不满足预定质量条件，则所述控制器从图像获取器在所述图像不能满足质量条件之后获取的图像中提取面部图像，并确定所提取面部图像是否满足质量条件。
12.根据权利要求9所述的用于面部识别的装置，还包括存储单元，其中如果所提取面部图像满足预定质量条件，则所述控制器在存储单元中存储所提取面部图像。
13.根据权利要求9所述的用于面部识别的装置，还包括预处理器，其中所述控制器控制预处理器对所提取面部图像进行预处理。
14.根据权利要求13所述的用于面部识别的装置，其中所述预处理包括关于所提取面部图像的伽马校正、对比度校正以及噪声去除中的至少一个。
15.根据权利要求9所述的用于面部识别的装置，还包括面部识别器，其中如果所提取面 部图像满足预定质量条件，则所述控制器控制面部识别器关于所提取面部图像执行面部识别操作。
【文档编号】G06K9/00GK103810466SQ201310526208
【公开日】2014年5月21日 申请日期:2013年10月30日 优先权日:2012年11月1日
【发明者】金相润, 柳熙涉, 朴胜权, 李东昊, 崔赞熙 申请人:三星电子株式会社