用于评估图像的装置、方法以及包含程序的计算机可读记录介质的制作方法

专利名称：用于评估图像的装置、方法以及包含程序的计算机可读记录介质的制作方法
技术领域：
本发明涉及根据包含在图像中的多个面部来评估图像的图像评 估装置和图像评估方法，还涉及包含使得计算机执行图像评估方法的 程序的计算机可读记录介质。
背景技术：
随着近些年数码相机的广泛使用以及用于存储图像的记录介质 容量的显著增大，用户可以在单独的介质中存储大量图像。然而，用 户通过视觉上检查图像来从大量图像中选择要被处理(例如打印)的 (多个)图像是很麻烦的。因此，为了有效地选择这些图像，需要以 下功能诸如在用户最终确定要被打印的图像之前利用一定条件来精 选多个候选图像并且/或者根据图像的评估按照用户的喜好来选择适 合被打印的多个图像。例如，日本未审查专利公开No. 2002-10179提出了一种方法， 其中根据图像亮度、来自加速器传感器和AF评估的输出值中任何一 项来评估每个图像，并且根据评估结果自动地排除不适合打印的照 片。日本未审查专利公开No. 2004-361989提出了一种方法，其中确 定包含在每个图像中的人脸的朝向，根据所确定的面部朝向来计算每 个图像的评估值，并且根据所计算出的评估值来从多个图像中选择所 希望的图像。日本未审查专利公开No. 2002-358522提出了一种方法，其中利 用针对多个评估项(例如图像中的面部比例、眼睛是睁开还是闭上、 面部的朝向、焦点、模糊度、亮度等)的总体评估结果来评估每个图 像。日本未审查专利公开No. 2005-129070提出了一种方法，其中针 对包含在图像中的面部区域来计算指示图像品质的特征向量，并且使 用该特征向量来评估面部区域的图像品质。日本未审查专利公开No. 2005-227957提出了一种方法，其中利 用关于面部的朝向、大小等的评估结果和成像条件(诸如亮度条件) 来对面部进行评估。如上所述，已经提出了各种方法来根据包含在图像中的面部来 评估图像。然而，上述专利文献中所述的方法仅仅通过计算关于评估 项的评估值来对图像进行评估。因此，其结果并不总是能反映出图像 的真实观察者的主观评估，并且真实观察者的评估可能与计算出的图 像评估不同。而且，上述专利文献中所述的方法并没有提供对包含多 于一个面部的图像的正确评估。发明内容根据上述情况，本发明的目的是利用有关包含在图像中的面部 的信息来提供更准确的图像评估。根据本发明的图像评估装置的一个方面，包括信息获取装置， 用于从包含至少一个面部的图像中获取至少一种信息，该信息至少包 括所述至少一个面部的数量并且可选择地包括面部大小、图像中的面 部位置、面部朝向、面部的旋转角度和面部的检测分数中任何一项； 以及单个评估值计算单元，用于根据所获得的信息来从统计学上计算指示了每种信息的评估结果的单个评估值。这里的术语"评估值"并不是能够根据图像(诸如特征向量、 信噪比或者分辨率)来定量地计算出来的值，而是表示计算出来以与 需要图像评估的用户的可能的评估水平相关联的估计值。这里的术语"统计学地"表示通过把从很多个样本图像中选择 为"优选的"图像评估值用作校正解决数据来归纳地得到评估值，而 不可能根据某些假设来推断得到评估值。应该注意，可以采取任何方 式来选择校正的解决数据，并且可以使用由评估者通过实际图像选择 而获得的校正的解决数据。求得估计值的样本图像的数量可以是300个或者更多，或者可选择地是iooo个或者更多。应该注意，在本发明的图像评估装置中，信息获取装置还获取 以下信息，该信息包括当图像包含多于一个面部时多个面部之间的位 置关系和至少一个面部的朝前的面部比例中的至少一个。"当图像包含多于一个面部时多个面部之间的位置关系"可以 由图像中的水平线和连接要被评估的面部中心与另一面部中心的线 段所构成的角度所指代。本发明的图像评估装置还可以包括面部估计值计算装置，用于 根据单个的评估值来计算指示面部的评估结果的面部评估值。本发明的图像评估装置还可以包括总体评估值计算装置，用于 根据面部评估值来计算指示图像的总体评估结果的总体评估值。在此情况下，总体评估值计算装置可以从至少一个面部中选择 一个代表面部，并且根据代表面部的面部评估值来计算总体评估值。 如果图像包含多于一个面部，则总体评估值计算装置还通过计算多个 面部的面部评估值的加权和来计算总体评估值。在本发明的图像评估装置中，总体评估值计算装置可以根据至 少一个面部的数量而有差别地计算面部估计值。根据本发明的图像评估方法的一个方面，包括步骤从包含至 少一个面部的图像中获取至少一种信息，该信息至少包括至少一个面 部的数量并且可选地包括面部大小、图像中面部的位置、面部的朝向、 面部的旋转角度和面部的检测分数中的任何一项；以及根据所获取的 信息从统计学上计算指示了每种信息的评估结果的单个评估值。根据本发明的图像评估方法还可以采用计算机可读记录介质的 方法来提供，该计算机可读记录介质包含使得计算机执行该方法的程 序。


图1是示出了根据本发明实施例的图像评估装置的结构的示意 性框图；图2是示出了根据本发明第一实施例的处理的流程图；图3A和3B示出了包含多于一个面部的图像中多个面部之间的 位置关系的示例；图4示出了用于面部数量的评估值表LUT1;图5示出了用于面部大小的评估值表LUT2;图6示出了用于X方向的面部位置的评估值表LUT3;图7示出了用于Y方向的面部位置的评估值表LUT4;图8示出了用于面部朝向的评估值表LUT5;图9示出了用于面部的旋转角度的评估值表LUT6;图10示出了用于面部的检测分数的评估值表LUT7;图ll示出了用于当图像包含多于一个面部时多个面部之间的位 置关系的评估值表LUT8;图12示出了用于朝前的面部比例的评估值表；图13示出了用于面部的大小和(X方向)位置的评估值表；图14示出了用于面部的大小和(Y方向)位置的评估值表；图15是示出了根据本发明第二实施例的处理的流程图；图16示出了面部评估值计算的特定示例；图17示出了根据面部数量而要被使用的特征信息和加权因子的示例；图18是示出了根据本发明第三实施例的处理的流程图；图19是说明了代表面部的选择和总体评估值的确定的表格；图20是示出了根据本发明第四实施例的处理的流程图；图21示出了总体评估值的计算的特定示例；图22示出了用于肖像图像的面部的大小和(X方向)位置的评估值表。
具体实施方式
下文将参考附图来描述本发明的实施例。图1是示出了根据本 发明实施例的图像评估装置的结构的示意性框图。如图l所示，本实施例的图像评估装置l包括CPU 12，其执行各种控制(诸如对图像数据的记录的控制、显示控制以及对形成装置1的各种单元的控制)；系统存储器14，由ROM和RAM形成，ROM存储了使得CPU 12运行的 程序、用于浏览图片和各种常数的浏览器软件的R0M，而R細提供了 用于由CPU12执行的操作的工作区；显示单元16，例如由显示各种 屏幕的液晶显示器形成；显示控制单元18，其控制显示单元16;输 入单元20，例如由使得用户向装置1输入各种指令的键盘、鼠标和 触摸面板形成；以及输入控制单元22，其控制输入单元20。图像评估装置l还包括图像读取单元24，从用于存储表征图 像的图像数据的介质(诸如存储卡)中读出图像数据并且将图像数据 记录在该介质上；图像读取控制单元26，其控制图像读取单元24; 以及硬盘28，其存储了包括(稍后将进行描述的)图像数据、评估 值表等的各种信息。图像评估装置l还包括面部检测单元30，其检测图像中的面 部；信息获取单元32，其从被测面部中获取代表面部特征的特征信 息；单个评估值计算单元34，其根据由信息获取单元32所获得的特 征信息来计算指示了针对每个特征信息的单个评估结果的单个评估 值；面部评估值计算单元36，其计算作为包含在图像中的每个面部 的评估值的面部评估值；以及总体评估值计算单元38，其计算指示 了图像的总体评估结果的总体评估值。现在将结合图像评估装置1所执行的处理来描述面部检测单元 30、信息获取单元32、单个评估值计算单元34、面部评估值计算单 元36和总体评估值计算单元38。图2是示出了根据由图1所述的图像评估装置1所执行的第一 实施例的处理的流程图。在第一实施例中，根据至少一种特征信息来 计算单个评估值，该特征信息至少包括面部数量并且可选地包括面部大小、图像中的面部位置、面部的朝向、面部的旋转角度、面部的检 测分数、当图像包含多于一个面部时多个面部之间的位置关系、以及 朝前的面部比例。因此，在第一实施例的处理中没有使用面部评估值 计算单元36和总体评估值计算单元38，即，在仅执行第一实施例的 处理的情况下，图像评估装置1中不需要面部评估值计算单元36和 总体评估值计算单元38。在下面描述中，单个评估值的计算是针对面部数量、面部大小、图像中的面部位置、面部朝向、面部的旋转角 度、面部的检测分数、当图像包含多于一个面部时多个面部之间的位 置关系以及朝前的面部比例中的每一个来描述的。要被评估的图像已由图像读取单元24读取，并且被存储在硬盘28中。CPU 12随着用户通过输入单元16指示开始图像的评估而开始处 理。首先，从硬盘28中读出要被评估的图像(步骤ST1)，面部检 测单元30检测图像中人脸的区域(步骤ST2)。具体地说，在参考 矩形中包含的平均面部模式与要被评估的图像之间执行模式匹配，使 得对应于与平均面部模式最匹配的矩形区的图像被确定为面部区域。 模式匹配是这样一种技术，其中随着平均面部模式在图像上逐渐移 动、并且平均面部模式的大小和旋转角度在图像平面上以预定量逐渐 变化，来计算平均面部模式和图像上的每个区之间的匹配度。检测面部的技术并不限于上述模式匹配，而是可以使用任何其 他技术，诸如使用利用许多面部样本图像通过机器学习所产生的面部 分类器，检测包含面部的轮廓外形和图像上的皮肤颜色的矩形区作为 面部区域，或者检测具有面部的轮廓外形的区作为面部区域。如果要 被评估的图像包含多于一个面部，则检测所有的面部区域。随后，信息获取单元32从被检测的面部区域中获取包含在图像 中的面部的特征信息(步骤ST3)。具体地说，至少包含面部数量并 且可选择地包括面部大小、图像中的面部位置、面部朝向、面部的旋 转位置、面部的检测分数、当图像包含多于一个面部时多个面部之间 的位置关系和朝前的面部比例的信息中的至少一种被获取作为特征^f曰息。有关面部数量的信息是由面部检测单元30所检测的图像中所包 含的面部区域的数量。有关面部大小的信息可以是例如面部区域中的像素数、面部区 域与整个图像的比例或者面部区域与图像宽度的比例。在本实施例 中，面部区域与图像宽度的比例被获取作为有关面部大小的信息。有关面部位置的信息是由面部区域中心的坐标值(例如，如果 面部区域是矩形，则是两个对角线的交点)与图像的横向和纵向长度的比例所指代。在此情况下，坐标原点设置在风景画图像的左下角， 横向沿X轴设置，纵向沿y轴设置。假设图像在X方向上的长度为 100，图像在y方向上的长度为50，面部区域中心处的坐标为(45, 15)， 则有关面部位置的信息表示为(0.45,0.30)。如果面部位置位于图 像中心，则有关面部位置的信息表示为(0.50,0.50)。有关面部朝向的信息可以是指示包含在面部区域中的面部是朝 前或者朝向侧面的信息。面部朝向可以通过在面部区域中检测眼睛来 确定，从而如果从面部区域检测到两只眼睛，则面部是朝前的，而如 果从面部区域检测到一只眼睛，则面部是朝向侧面的。可选择地，可 以根据指示了从面部区域获取的面部朝向的特征量来确定面部的朝 前或朝向侧方。面部的旋转角度是包含在图像平面中面部区域内的面部的旋转 角度。由面部捡测单元30捡测面部时平均面部模式的旋转角度可以 用作面部的旋转角度。有关旋转角度的信息表示为360度内以45度 作为增量的角度。因此，有关面部旋转角度的信息可以取自0、 45、 90、 135、 180、 225、 270、 315度中的一个值。如果由面部检测单元 30检测的面部的真实旋转角度取在介于这些值之间的一个值，则使 用这些值中更接近真实值中的一个值。例如，如果由面部检测单元 30检测的面部的真实旋转角度为30度，则面部的旋转角度表示为45 度。有关面部的检测分数的信息表示为由面部检测单元30所计算的 匹配程度的值。有关当图像包含多于一个面部时多个面部之间的位置关系的信 息可以表示为图像的水平线与连接了要被评估的面部的中心与包含 在图像中的另一面部的中心的线段之间的角度。例如，如果图像包含 两个面部F1和F2，如图3A所示，图像的水平线与连接面部中心01 和02的线段之间所形成的角度60可以用作有关两个面部Fl和F2 的位置关系的信息。而且，如果图像包含三个面部F3到F5，如图3B 所示，则得到在水平线与连接面部F3和F4中心03和04的线段之间 所形成的角度61，在水平线与连接面部F3和F5的中心03和05的线段之间所形成的角度02，以及在水平线与面部F4和F5的中心04 和05的线段之间所形成的角度93。随后，如果面部F3被设为要被评估的面部，则角度ei和e2被用来指示要被评估的面部与其他面部之间的位置关系。如果面部F4被设为要被评估的面部，则使用角度 ei和93。如果面部F5被设置要被评估的面部，则使用角度02和93。有关朝前的面部比例的信息是(多个)朝前的面部与包含在图 像中的所有面部的比例。例如，如果图像包含四张脸并且他们中的一人的脸朝前，则朝前的面部比例为25%。以这种方式，信息获取单元32可以获取包含以下各个值的特征 信息，例如，"2"表示面部数量，对于第一面部，"0.30"表示面 部大小，"(0.45,0.30)"表示图像中的面部位置，"朝前"表示 面部的朝向，"0度"表示面部的旋转角度，"500"表示面部的检 测分数，"30度"表示当图像包含多于一个面部时多个面部之间的 位置关系，以及"50%"表示为朝前的面部比例。另外，用于第二面 部的特征信息可以包括"0. 35"表示面部大小，"(0.85,0.40)" 表示图像中的面部位置，"朝向侧面"表示面部的朝向，"0度"表 示面部的旋转角度，"400"表示面部的检测分数，"30度"表示当 图像包含多于一个面部时多个面部之间的位置关系，以及"50%"表 示为朝前的面部比例。在本实施例中，用于计算评估值的评估值表被存储在硬盘28上， 该评估值己经根据各个面部的各个特征信息从统计学上被事先确定。 图4示出了用于面部数量的评估值表LUT1，图5示出了用于面部大 小的评估值表LUT2，图6示出了用于X方向的面部位置的评估值表 LUT3，图7示出了用于Y方向的面部位置的评估值表LUT4，图8示 出了用于面部朝向的评估值表LUT5，图9示出了用于面部的旋转角 度的评估值表LUT6，图10示出了用于面部的检测分数的评估值表 LUT7，图11示出了用于多个面部之间的位置关系的评估值表LUT8， 以及图12示出了用于朝前的面部比例的评估值表LUT9-1。对于朝前 的面部比例，对应于包含在图像中的面部数量来准备多个评估值表。根据多个样本图像的评估值来确定这些评估值表，该样本图像包含由多个评估器所评估的具有各个朝向的图像中的各个位置处的 各个大小的各个面部数量、各个旋转角度、各个检测分数、包含多于 一个面部的图像中多个面部之间的各个位置关系、以及各个朝前的面 部比例。每个评估值表是通过描绘面部数量、面部大小、图像中的面 部位置、面部的朝向、面部的旋转角度、面部的检测分数、当图像包 含多于一个面部时多个面部之间的位置关系或者样本图像的朝前的 面部比例的各个值与由所有评估器的评估结果的平均值之间的关系 得到的。在这些评估值表中，用于面部数量、当图像包含多于一个面部 时多个面部之间的位置关系以及朝前的面部比例的最佳分数为0.6， 用于面部大小、图像中的面部位置、面部朝向以及面部的旋转角度的最佳分数为0.5，用于面部的检查分数的最佳分数为0.7。随后，单个评估值计算单元34从硬盘28中读出对应于面部的 每个特征信息的评估值表(步骤ST4)，并且根据读出的评估值表和 面部的特征信息来计算指示了特征信息评估结果的单个评估值。艮口，如果面部的特征信息为面部数量，则读出评估值表LUT1， 并计算出单个评估值El。应该注意，由于"面部数量"特征总是被 包括在本实施例的面部特征中，所以总是计算单个评估值E1。如果面部的特征信息为面部大小，则读出评估值，并且计算单 个评估值E2。如果面部的特征信息为图像中的面部位置，读出评估 值表LUT3和LUT4，并且计算单个评估值E3和E4。用于面部位置的 最终评估值可以为单个评估值E3和E4之和。如果面部的特征信息为 面部朝向，则读出评估值表LUT5，并且计算单个评估值E5。如果面 部的特征信息为面部旋转角度，则读出评估值表LUT6，并且计算单 个评估值E6。如果面部的特征信息为面部的检测分数，则读出评估 值表LUT7，并且计算单个评估值E7。如果面部的特征信息为图像包 含多于一个面部时多个面部之间的位置关系，则读出评估值表LUT8， 并且计算评估值E8。如果面部的特征信息为朝前的面部比例，则读 出评估值表LUT9-1到LUT9-4，并且计算单个评估值E9。随后，单个评估值计算单元34确定要被评估的值是否包含另一面部区域(步骤ST6)。如果在步骤ST6确定为否，则处理结束。如 果在步骤ST6确定为是，则把下一个面部区域设为要被评估的面部 (步骤ST7)。随后，处理返回到步骤ST3，重复步骤ST3中的操作 以及下面的步骤。依此方式，针对包含在图像中的每个面部计算了至 少单个评估值E1以及可选地单个评估值E2到E9中的任何一个。通过计算针对要被评估的面部区域和其他(多个)面部区域的单个评估值并且对这些单个评估值求平均可以计算针对当图像包含 多于一个面部时多个面部之间位置关系的单个评估值E8。例如，在 图3A所示图像的情况下，面部F2相对于面部F1的位置在上述位置 关系中表示为45度，因此，针对关于面部F1的位置关系的单个评估 值E8为0. 45。另外，面部F1相对于面部F2的位置表示为-45度， 因此针对关于面部F2的位置关系的单个评估值E8为0. 45。在图3B所示图像的情况下，面部F4相对于面部F3的位置表示 为85度，因此评估值为O. 35。面部F5相对于面部F3的位置表示为 60度，因此评估值为O. 51。因此，针对关于面部F3的位置关系的单 个评估值E8为0.43 (是0.35和0.51的平均值)。另外，面部F3 相对于面部F4的位置表示为-85度，因此评估值为0.35。面部F5 相对于面部F4的位置表示为25度，因此评估值为O. 32。因此，针 对关于面部F4的位置关系的单个评估值E8为0. 335(是0. 35和0. 32 的平均值)。而且，面部F3相对于面部F5的位置表示为-60度，因 此评估值为0. 51。面部F4相对于面部F5的位置表示为-25度，因此 评估值为0. 32。因此，针对关于面部F5的位置关系的单个评估值E8 为0. 415 (是0. 51和0. 32的平均值)。如上所述，根据第一实施例，从图像中获取了至少一种特征信 息，该特征信息至少包括面部数量并且可选地包括面部大小、图像中 的面部位置、面部的朝向、面部的旋转角度、面部的检测分数、当图 像包含多于一个面部时多个面部之间的位置关系和朝前的面部比例 中的任何一项，并且根据所获取的特征信息来从统计学上来计算指示 了针对每个特征信息的评估结果的单个评估值。由此，普通浏览者的爱好可以反映在单个评估值上，从而可以利用单个评估值得到更准确的图像评估。应该注意，在上述第一实施例中，可以获得面部数量、面部大 小、图像中的面部位置、面部的朝向、面部的旋转角度、面部的检测 分数、当图像包含多于一个面部时多个面部之间的位置关系、以及朝 前的面部比例中两种或多种彼此相关的信息，并且可以根据两种或多 种彼此相关的信息来计算评估结果作为单个评估值。例如，面部大小和面部位置可以设为彼此相关的信息，可以根 据面部大小和位置来计算单个评估值。在此情况下，根据各个面部的 大小和位置从统计学上来事先确定用于计算该评估值的评估值表，并 且存储在硬盘28中。图13示出了用于X方向的面部大小和面部位置的评估值表LUT10-1到LUT10-6，图14示出了用于y方向的面部大 小和面部位置的评估值表LUT11-1到LUT11-6。如图13所示，针对 百分比表示为13.3%、 26.7%、 53.3%、 66.7%、 73. 3%和86. 7%的不同 的面部大小，通过沿横轴绘制x方向上的位置信息的值和沿纵轴绘制 由多个评估器评估的平均值来获得评估值表LIT10-1到LUT10-6。另 外，如图14所示，针对百分比表示为13%、 25%、 50%、 63%、 75%和 88%的不同的面部大小，通过沿横轴绘制y方向上的位置信息的值和 沿纵轴绘制由多个评估器评估的平均值来得到评估值表LUT11-1到 LUT11-6。应该注意，如果面部大小的值位于与评估值表LUT10-1到 LUT10-6和LUT11-1到LUT11-6相对应的面部大小之间，则可以利用 图表中具有最接近值的两个值通过内插来计算面部评估值。例如，如果面部大小的值位于与评估值表LUT10-1和LUT10-2相对应的面部 大小之间，则可以利用评估值表LIT10-1和LIT10-2通过内插计算面 部评估值。依此方式，单个评估值计算单元34根据评估值表LIT10-1到 LIT10-6和LIT11-1到LIT11-6以及有关面部大小和面部位置的信息 来计算指示了图像评估结果的单个评估值E10和Ell，并且可以计算 单个评估值E10和Ell之和或者加权和来获得最终的单独评估值。应该注意，两种或多种彼此相关的信息并不限于有关面部大小和面部位置的信息，可以根据关于面部大小、图像中的面部位置、面 部的朝向、面部的旋转角度、当图像包含多于一个面部时多个面部之 间的位置关系、和面部的检测分数的信息的任意组合来计算评估值， 这些信息彼此相关，诸如有关面部的旋转角度和面部位置的信息或者 有关面部大小、面部位置和面部的旋转角度的信息。在此情况下，事 先准备好与将要使用的两种或多种信息的组合相对应的评估值表，并 且存储在硬盘28中。接下来，将描述根据由图1所示图像评估装置1所执行的第二 实施例的处理。在第二实施例中，根据至少一种特征信息来计算作为 包含在图像中的每个面部的评估值的面部评估值，该特征信息至少包 括面部数量并且可选地包括面部大小、图像中的面部位置、面部的朝 向、面部的旋转角度、面部的检测分数、当图像包含多于一个面部时 多个面部的位置关系、以及朝前的面部比例中的任何一项。因此，在 第二实施例的处理中并不使用总体评估值计算单元38，即，在仅执 行第二实施例的处理的情况下，在图像评估装置1中是不需要总体评估值计算单元38的。由于采用如上所述第一实施例的相同方式执行第二实施例中的单个评估值的计算，所以在下面描述中仅仅描述了在 针对包含在图像中的多个面部计算了单个评估值之后所执行的操作，即，图2所示流程图的步骤ST5之后所执行的操作。在下面描述中假 设已经计算了全部的单个评估值El到E9。图15是示出了由图l所示的图像评估装置l所执行的第二实施 例的处理的流程图。在图2所示步骤ST5之后，面部评估值计算单元 36利用单个评估值El到E9来计算作为面部的评估值的面部评估值 (步骤ST21)。具体地说，根据如下所示的式(1)来计算针对面部数量、面部 大小、图像中的面部位置、面部的朝向、面部的旋转角度、面部的检 测分数、当图像包含多于一个面部时多个面部之间的位置关系、以及 朝前的面部比例的全部的单个评估值E1到E9的加权和来获得面部评 估值EfO:Ef0=2aiEi (Pl到9) (1)其中，CCi为加权因子。图16示出了面部评估值EfO的计算的特定示例。如果单个评估值和加权因子的值如图16所示，则计算出的面部评估值为0.369。随后，面部评估值计算单元36确定要被评估的图像是否包含另 一面部区域(步骤ST22)。如果在步骤ST22做出否定判定，则处理 结束。如果在步骤ST22作出肯定判定，则下一个面部区域被设为要 被评估的面部(步骤ST23)。随后，处理返回到步骤图2所示流程 图的步骤ST3，重复步骤ST3以及以后步骤的操作。如上所述，在第二实施例中，根据多个单个评估值计算作为每 个面部的评估值的面部评估值，从而以较高准确度来对面部进行评 估。应该注意，尽管根据上述的第二实施例中的面部数量、面部大 小、图像中的面部位置、面部的朝向、面部的旋转角度、面部的检测 分数、当图像包含多于一个面部时多个面部之间的位置关系、以及朝 前的面部比例来计算面部评估值，还可以额外利用两种或者多种彼此 相关的信息来计算面部评估值。可选择地，可以利用至少一种信息来 计算面部评估值，该信息至少包括面部数量并且可选地包括面部大小、图像中的面部位置、面部的朝向、面部的旋转角度、面部的检测 分数、当图像包含多于一个面部时多个面部之间的位置关系、以及朝 前的面部比例中的任何一个。另外，在上述第二实施例中，可以根据包含在图像中的面部的 数量来改变要被获取的特征信息的种类和要被使用的加权因子。图 17示出了根据面部数量而要被使用的特征信息的种类和加权因子。 如图17所示，如果面部数量为1，可以只计算针对面部数量、面部 大小、图像中的面部位置、面部的朝向、面部的旋转角度、以及面部 的检测分数的单个评估值，从而减小用于计算面部评估值的计算量。 如果图像中包含多于一个面部，则计算针对面部数量、面部大小、图 像中的面部位置、面部的朝向、面部的旋转角度、面部的检测分数、 当图像包含多于一个面部时多个面部之间的位置关系、以及朝前的面 部比例的单个评估值，并且根据面部数量而改变加权因子。依此方式，可以根据面部数量准确地计算面部评估值。接下来，将描述由图1所示的图像评估装置1所执行的第三实 施例的处理。在第三实施例中，根据在第二实施例中计算出的面部评 估值来计算作为图像的总体评估值的总体评估值。由于在第三实施例 中的面部评估值的计算是与如上所述第二实施例以相同的方式执行 的，所以在下面描述中仅描述针对包含在图像中的全部面部而计算出的面部评估值之后所执行的操作，即，在图15所示流程图的步骤ST22中作出否定判定之后所执行的操作。图18是示出由图l所示的图像评估装置l所执行的第三实施例 的处理的流程图。在图15所示的步骤ST22中做出否定判定时，总体 评估值计算单元38从包含在图像中的多个面部中选择一个代表面部 (步骤ST31)。具体地说，如果图像包含多于一个面部，则具有最 大面部评估值的面部、具有最大尺寸的面部、最靠近图像中心的面部、 最朝前的面部、最竖直的面部、或者具有最高检测分数的面部被选为 代表面部。可选择地是，满足这些条件的一个以上的面部可以被选为 代表面部。如果图像包含一个面部，则该面部被选为代表面部。随后，总体评估值计算单元38把代表面部的面部评估值确定为 图像的总体评估值(步骤ST32)，并且结束处理。使用图19来说明代表面部的选择和总体评估值的确定。在该示 例中假设图像包含三个面部F1到F3，各个面部的面部评估值为0.38、 0. 45和0.40。如果具有最大面部评估值的面部被选为代表面部，则 代表面部为面部F2，总体评估值为0.45。如果具有最大尺寸的面部 被选为代表面部，则代表面部为面部F3，总体评估值为O. 40。如果 在x方向上最靠近图像中心的面部被选为代表图像，则代表图像为面 部F2，其在x方向上针对位置信息具有最接近0. 5的值，总体评估 值为0.45。如果在y方向上最接近图像中心的面部被选为代表图像， 则代表图像为面部Fl，其在y方向上针对位置信息具有最接近0.5 的值，总体评估值为0.38。如果最朝前的面部被选为代表面部，则 代表面部为F2，总体评估值为0.45。如果最竖直的面部被选为代表 面部，则代表面部为F2，总体评估值为0.45。如果具有最大检测分数的面部被选为代表面部，则代表面部为面部Fl，总体评估值为0. 38。如上所述，在第三实施例中，根据面部评估值来计算作为图像 总体评估值的总体评估值，从而更准确地对图像进行评估。接下来将描述根据由图1所示的图像评估装置1所执行的第四 实施例的处理。在第四实施例中，根据在第二实施例中计算出的面部 评估值来计算作为图像总体评估值的总体评估值。由于第四实施例中 的面部评估值的计算是与如上所述第二实施例相同的方式执行的，所 以在下面描述中仅描述针对包含在图像中的全部面部而计算出面部 评估值之后所执行的操作，即，图15所示流程图的步骤ST22中的否 定判定之后所执行的操作。图20是示出了由图1所示的图像评估装置1所执行的第四实施 例的处理的流程图。在图15所示的步骤ST22中做出否定判定后，总 体评估值计算单元38设置加权因子以计算包含在图像中的多个面部 的面部评估值的加权和，如式(2)所示(步骤ST41)，并且根据下 面的式(2)利用已设置的加权因子来计算总体评估值(步骤ST42):Es,jEfj (2) 其中，j为面部评估值的编号，(3j为加权因子，S(3j=l。随后处理结束。这样设置加权因子，使得较大的加权因子用于最接近图像中心 的面部，或者较大的加权因子用于具有较大尺寸的面部。图21示出了总体评估值Es的计算的特定示例。如果图像包含 三个面部Fl到F3，面部评估值和加权因子选取图21中所示的值， 则计算出的总体评估值为0.361。如上所述，在第四实施例中，根据面部评估值来计算作为图像 总体评估值的总体评估值，从而更准确地对图像进行评估。应该注意，在根据关于上述第一到第四实施例中的面部的大小 和位置的信息来计算评估值的情况下，如果图像是人物像，则图像的 评估应该采取不同于风景图像的方式来评估。因此，如果图像是人物 像，优选地是使用评估值表LUT12-1到LUT12-4，这些图表针对各种 面部大小定义了 x方向上的多个面部位置的关系以及评估值，如图22所示。以上描述了根据本发明多个实施例的装置1。然而，本发明还可 以作为程序来实现，该程序使得计算机起到对应于上述面部检测单元30、信息获取单元32、单个评估值计算单元34、面部评估值计算单 元36和总体评估值计算单元38的装置的功能，来执行如图2、 15、 18和20中的各种操作。在这些情况下，这些评估值表可以包含在程 序中，或者包含在带有程序的相同的记录介质中，或者可以从外部装 置或其他介质提供。根据本发明，从至少包含一个面部的图像中获取至少一种信息， 该信息至少包括面部数量并且有选择地包括面部大小、图像中的面部 位置、面部的朝向、面部的旋转角度、和面部的检测分数中的任何一 项，并且根据所获得的信息来计算指示了针对每种信息的评估结果的 单个评估值，由此，普通浏览者的爱好可以反映在单个评估值上，从 而利用单个评估值能够得到对图像中所包含面部的更准确的评估以及图像的更准确的评估。
权利要求
1.一种图像评估装置，包括信息获取装置，用于从包含至少一个面部的图像中获取至少一种信息，该信息至少包括至少一个面部的数量并且可选地包括面部大小、图像中的面部位置、面部朝向、面部的旋转角度和面部的检测分数中的任何一项；以及单个评估值计算装置，用于根据所获得的信息来从统计学上计算指示了针对每种信息的评估结果的单个评估值。
2. 如权利要求l所述的图像评估装置，其中，信息获取装置还 获取以下信息，该信息包括当图像包含多于一个面部时多个面部之间 的位置关系和至少一个面部的朝前的面部比例中的至少一个。
3. 如权利要求l所述的图像评估装置，还包括 面部估计值计算装置，用于根据单个的评估值来计算指示了面部的评估结果的面部评估值。
4. 如权利要求3所述的图像评估装置，还包括 总体评估值计算装置，用于根据面部评估值来计算指示了图像的总体评估结果的总体评估值。
5. 如权利要求4所述的图像评估装置，其中所述总体评估值计 算装置从至少一个面部中选择一个代表面部，并且根据代表面部的面 部评估值来计算总体评估值。
6. 如权利要求4所述的图像评估装置，其中，如果图像包含多 于一个面部，则总体评估值计算装置通过计算多个面部的面部评估值 的加权和来计算总体评估值。
7. 如权利要求3-6中任一所述的图像评估装置，其中，总体评 估值计算装置根据至少一个面部的数量而有差别地计算面部估计值。
8. —种图像评估方法，包括步骤从包含至少一个面部的图像中获取至少一种信息，该信息至少 包括至少一个面部的数量并且可选地包括面部大小、图像中面部的位 置、面部的朝向、面部的旋转角度和面部的检测分数中的任何一项； 以及根据所获取的信息从统计学上计算指示了针对每种信息的评估 结果的单个评估值。
全文摘要
一种图像评估装置，包括信息获取单元，用于从包含至少一个面部的图像中获取至少一种信息，该信息至少包括至少一个面部的数量并且可选地包括面部大小、图像中的面部位置、面部朝向、面部的旋转角度和面部的检测分数中的任何一项；以及单个评估值计算单元，用于根据所获得的信息来从统计学上计算指示了每种信息的评估结果的单个评估值。
文档编号G06T7/00GK101271569SQ20081008477
公开日2008年9月24日 申请日期2008年3月21日 优先权日2007年3月23日
发明者白畑阳介, 野中俊一郎 申请人:富士胶片株式会社