专利名称：笑容检测系统及方法
笑容检测系统及方法
背景技术：
数字图像中的对象识别用于跟踪面部(例如为了安全目的)和医疗成像。可以用于对象识别的示例性形状检测算法包括主动外观模型(AAM)和主动形状模型(ASM)。AAM算法将在训练阶段提供的对象形状的统计模型与当前图像中的对象形状相匹配。在训练过程中，提供并存储一组图像和图像中的对象的相应坐标。然后，在使用过程中，该算法将当前图像与所存储的对象识别数据相比较。最小均方统计技术用来匹配当前图像中的对象。然而，ASM仅使用形状约束来进行对象识别，而不利用其它信息，例如目标对象的纹理。ASM算法使用对象形状的统计模型，对象形状的统计模型迭代地变形以符合新图像中的对象示例。对象的形状由一组受形状模型控制的点表示。然后，通过交替地在图像中在每个点附近进行搜索来寻找该点的更佳位置，以及更新模型参数来最佳地匹配新发现的位置，将模型与当前图像相匹配。通过查找显著的边缘或者通过与该点处预期的统计模型相匹配，可以定位每个点的更佳位置。然而，AAM算法和ASM算法需要大量计算，因此会很慢，除非在大型计算系统上(例如那些可能与大型视频监控系统和医疗成像系统结合使用的系统)使用。AAM算法和ASM算法还被发现易于出错。
图1是可以用于图像中的笑容检测的示例性相机系统的框图。图2是示例性笑容检测应用程序的功能模块的示意图。图3a_图3b示出可以根据本发明中描述的用于笑容检测的系统和方法分析的包括面部的示例性图像。图4a_图4b示出关于图3a_图3b中示出的图像分别可能产生的示例性搜索图。图5是图示用于图像中的笑容检测的示例性操作的流程图。
具体实施例方式可以实施本发明中描述的系统和方法来进行图像中的笑容检测。简要地说，可以使用比上面描述的AAM算法和ASM算法需要更少计算量的操作，快速地检测笑容(或不悦)。笑容(或不悦)是通过根据至少三个输入点(左角、右角和中间点)将上嘴唇和/或下嘴唇建模为抛物线来检测的。还可以使用其它输入点。沿抛物线轨迹分析灰度值。通常，选择具有更宽、更暗和/或更一致轨迹的抛物线作为代表嘴的最佳。然后，可以针对笑容(或不悦)来分析所选择的抛物线的曲率。在示例性实施例中，图像转换器被配置成产生图像子集的搜索图。可操作地与图像转换器关联的图像分析器被配置成:在搜索图中辨别代表嘴角的多个候选者；在一对或多对候选者之间产生抛物线；并且根据抛物线轨迹确定嘴大致向上弯曲成形成笑容还是大致向下弯曲成形成不悦(或者不形成笑容也不形成不悦)。
图1是可以用于图像中的笑容检测的示例性相机系统的框图。示例性相机系统100可以是包括透镜110的数码相机(例如静态相机、摄影机、照相手机或其它)，镜头110被放置成在快门135为图像曝光开启时将从场景125中的一个或多个对象122反射到图像捕获设备或图像传感器130上的光120进行聚焦。快门135可以以机械方式实现或者在电路中实现，并且不在所有相机中实现。示例性透镜110可以是对从场景125反射到图像传感器130上的光120进行聚焦的任何适合的透镜。示例性图像传感器130可以包括多个光敏单元，每个光敏单元响应于暴露于光增加或累积电荷。任何特定像素的累积电荷正比于光暴露的强度和持续时间。示例性图像传感器130可以包括但不限于电荷耦合器件(CXD)或者互补金属氧化物半导体(CMOS)传感器。相机系统100还可以包括图像处理逻辑140。在数码相机中，图像处理逻辑140从图像传感器130接收代表曝光期间由图像传感器130捕获的光120的电信号，来产生场景125的数字图像。数字图像可以存储在相机的存储器150 (例如可移除的存储卡冲。在另一实施例中，数字图像可以在例如显示器170上向用户“实时(这通常称为实时观看)”显示。如图1中图示的那些快门、图像传感器、存储器和图像处理逻辑是相机和照相领域众所周知的。本领域的技术人员在熟悉本发明的教导以后，可以容易地向数码相机100提供这些组件，因此不必要做进一步的描述。数码相机100还可以包括照片分析子系统160。在示例性实施例中，照片分析子系统160被实现在驻留在数码相机100的存储器中的且可由数码相机100的处理器，例如可商业获得的数码相机通常具有的存储器和处理器，运行的程序代码(例如固件和/或软件)。可以提供显示器170，如液晶显示器(IXD)，来呈现实时观看和/或其它用户交互。还可以提供一个或多个相机控制器75 (例如箭头按键和缩放操纵杆)来接收用户对数码相机100的输入。照片分析子系统160可以包括用户接口引擎162和逻辑164。逻辑164可以可操作地与存储器150关联来访问数字图像(例如由图像处理逻辑140读取存储器150中存储的和/或实时查看所显示的图像)。逻辑164可以包括用于为进行图像中的笑容检测而分析数字图像(或所选的数字图像)的程序代码，例如下面关于图2更详细地描述的应用程序200。逻辑164还可以可操作地与用户接口引擎162和/或与快门触发机构180关联。在一个实施例中，当检测到笑容时，逻辑164可以通知相机的用户，使得用户能够操作快门触发结构180来拍摄图片。在另一实施例中，当检测到不悦时，逻辑164可以通知相机的用户，使得用户可以指示照片中的主体122去微笑。在另一实施例中，当检测到笑容时，逻辑164可以通过操作快门触发机构180来自动地拍摄图片，而用户不需要向相机提供任何输入。这可能是特别想要的，例如当用户正在拍摄视频且还想在不停止摄像来捕获照片的条件下捕获微笑中的人物的照片时。在继续描述以前，应注意，上面关于图1示出和描述的数码相机100仅仅例示了可以实施于图像中的笑容检测的相机系统。然而，本发明中描述的方法和系统不旨在局限于仅与相机系统100—起使用。还可预见可以实施于图像的笑容检测的电子图像系统的其它实施例。图2是用于笑容检测的示例性图像检测应用程序200的功能模块的示意图。示例性应用程序200可以在相机系统(例如图1的相机系统100)上以可由一个或多个计算系统运行的计算机可读程序代码的形式实现，计算机可读程序代码例如但不限于固件、应用程序(例如所谓的基于移动的“应用(app)”)或其它适合的软件。例如，应用程序200可以是在智能电话上运行的且运行本发明中描述的各个功能模块的基于移动的“app”。可替代地，应用程序200可以实现在单独的环境中，例如实现为用于个人计算机的软件产品。应用程序200可以实现为如图2所示的一个或多个功能模块。然而应注意，功能模块不旨在是限制性的。可以提供其它功能模块和/或不同模块的功能可以合并到一个或多个不同模块内。图2中未示出全部功能，但是本领域的技术人员在熟悉本发明的教导以后能够容易地将全部功能实现在程序代码中。在示例性实施例中，应用程序200可以包括被配置成接收一个或多个图像201 (例如“实时观看”的图像)的输入引擎210，在实时观看时，图像可以包括大致实时地存在于图像传感器内或者从图像传感器中读出的数据。可替代地，图像201可以以适合的原始电子格式(例如jpg、bmp、gif、pdf或mpeg格式)从存储器中接收。在任何情况下，图像201可以包括代表一个或多个人(例如全身图像)或者人的一部分(例如图像中的一个或多个脸)的数据。应注意，应用程序200还可以从用户接收附加信息(例如元数据)或从相机系统组件接收附加信息(例如GPS、相机设置、场景中检测到的光等级)。无论如何接收图像201，其至少被存储在临时的计算机可读存储器205内，以在被应用程序200访问时能够支持本发明中描述的操作。图像201可以被存储预定的持续时间和/或在预定的时间以后被清除，来例如释放存储器。图像处理可以包括一个或多个预处理操作，例如执行图像识别或面部检测来辨别特定图像内与图像中的主体的面部对应的像素。例如，如果图像201在图像数据内包括其它对象或者是包括主体的面部或身体的图像，那么面部检测步骤定位图像201内仅与面部对应的像素。预处理还可以包括定位图像数据内与其它对象数据(例如图像内主体的眼睛、鼻子或耳朵)对应的像素。在实施例中，预处理可以使用运行面部检测算法的图像识别模块220来执行。例如，图像识别模块220可以向图像201 (或者通过实时查看呈现的图像)应用图像识别技术并且将关注的区域缩小至图像201的一个或多个子集202。在实施例中，图像识别模块220辨别图像中的面部区。图像识别模块220可以进一步用来辨别一个或多个嘴部搜索区。面部区和/或嘴部搜索区可以被认为是图像201的子集202。嘴部搜索区可以是相对于面部区固定的区域。或者，嘴部搜索区可以更准确地确定，例如根据面部区域中已知的其它面部特征(例如眼睛、鼻子、下颚)的位置来确定。应注意，图像识别模块220可以用来仅辨别嘴部搜索区，而不必首先辨别面部区。可替代地，面部区可以被认为是在本发明描述的操作中使用的子集202，而不单独地辨别面部区中的嘴部搜索区。在其它实施例中，子集202可以包括整个图像(即未使用图像识别220 的)。此外，可以在所有情况下或仅在一些情况中使用实施图像识别模块220。例如，触发图像识别可以至少部分地取决于用户的愿望。其它实现将至少某种程度地取决于设计考虑(例如期望的性能(速度))以及取决于对执行本发明中描述的操作的子集202进行辨别的愿望(与分析整个图像相反)。应注意，图像识别模块220还可以用来辨别其它面部特征、面部特征的位置和距离信息(例如像素坐标数据)、特征大小、特征整齐性(例如当图像中有多个面部时具有类似距离、大小和相对位置的面部特征)等等。示例性面部特征可以包括眼睛、鼻子、嘴、耳朵、面部颜色、面部纹理和面部轮廓。例如，颜色和纹理数据可以用来将牙齿与嘴唇区分开。示例性特征距离包括眼睛间的距离、嘴和鼻子间的距离、面部的宽度或长度、从嘴的一角到另一角的距离、从眼睛到上嘴唇的距离、面部底部的位置等等。还可预见在本领域的技术人员在熟悉本发明的教导以后对本领域的技术人员显而易见的其它示例。应注意，可以在执行本发明中描述的操作以前，获得和存储来自于图像识别模块220的一些面部信息或全部面部信息，以例如减少处理时间。其它预处理还可以包括旋转至少与所检测的面部对应的像素值的坐标位置，使得眼睛相对于彼此是水平放置的，然而这不是在所有情况下都必须的。应注意，嘴唇的抛物线模型通常在眼睛水平对齐时最佳匹配，而一般在+/-90度旋转时匹配失败。预处理还可以包括将面部大小缩放(通过增加或减少图像像素)至预限定的相对面部大小。最接近地辨别主体面部(或多个主体的面部)和/或嘴部搜索区的子集202被提供至处理模块。处理模块可以包括图像转换器230和图像分析器240，并且可以用来在(例如从预处理提供的)子集202中执行笑容检测操作。图像转换器230和图像分析器240可以可操作地与多个不同的程序代码模块以及设备硬件相关联，以便执行本发明中描述的操作。图像转换器230被配置成产生图像子集的搜索图。图像分析器240被配置成在搜索图中辨别代表嘴角的多个候选者。图像分析器240还被配置成在一对或多对候选者之间产生抛物线。例如，每对候选者通过抛物线轨迹连接，以符合嘴唇的轮廓(或者被认为是嘴唇的其它特征)。根据抛物线轨迹的曲率，图像分析器240确定嘴大致向上弯曲成形成笑容，还是大致向下弯曲成形成不悦。图像转换器230和图像分析器240的操作可以关于下面更详细地介绍的图3a-图3b和图4a-图4b更好地理解。然而，在继续描述以前，应注意，所示出和所描述的示例性应用程序200仅用作说明用途，而不旨在是限制性的。例如，图2中示出的功能组件不需要被概括为单独的模块。此外，还可以提供其它功能组件(未示出)且其它功能组件不局限于本发明中示出和描述的那些功能组件。还应注意，应用程序200可以在成像操作(例如使用实时观看图像)期间“在过程中(on the fly)”执行。在这样的实施例中，相机设备可以被配置成根据应用程序200的输出在主体露出笑容时自动捕获和记录图像。使用应用程序200分析的图像的实际数量可以不同并且将依赖于多种设计考虑(包括处理要求)。图3a_图3b是可以根据本发明中描述的用于笑容检测的系统和方法分析的包括面部301的图像300。应注意，在图3a和图3b中使用相同的附图标记来对应类似的特征，同时在图3b中使用上标C )符号。本发明中不重复对在图3a-图3b中的每个图中的相应特征的描述。图3a呈现为具有胡须305且不悦的人的线条图示，图3b呈现为女人笑容的图示。在该第一示例中，可能已运行图像识别来辨别图像中的面部301。也就是说，图像300可能已经是被分析过的较大图像300的一部分。或者例如，图像300可以包括整个图像(例如在实时观看时在相机设备上示出的和/或在存储器中存储的整个图像)。可以进一步运行图像识别来辨别图像的至少一个子集。在该示例中，由框302a-302c示出三个子集。图像识别可以进一步将由框302c辨别的子集辨别为关注的子集(即包括嘴部区的子集)。这进一步的辨别可以基于例如辨别图像300中的眼睛和嘴部区的相对位置使用面部识别技术来完成。在任何情况下，子集302c(以及如果可行，则其它子集(如图像中的其它面部))可以用来根据子集302c产生搜索图。图4a_图4b示出关于图3a_图3b中示出的图像分别可能产生的示例性搜索图400。再次应注意，在图4a和图4b中使用相同的附图标记来对应类似的特征，同时在图4b中使用上标C )符号。本发明中不重复对在图4a-图4b中的每个图中的相应特征的描述。图4a呈现为关于图3a所示的胡须305和不悦可以产生的位图的图示，并且图4b呈现为关于图3b所示的笑容可以产生的位图的图示。在图4a-图4b所示的实施例中，搜索图400是分别与图3a_图3b中由框302c表示的嘴部区的原始图像数据对应的搜索位图。位图可以在YcbCr图像空间中产生。因此，图像可以首先从原本的RGB颜色空间转换至YCbCr图像空间。虽然本发明中为了说明将位图描述为YCbCr图像空间中的位图，但是应注意，作为YCbCr图像空间中的位图的替代或除YCbCr图像空间中的位图以外，还可以使用其它搜索图和/或其它颜色空间。位图可以由图像转换器产生。由于YCbCr颜色空间一般是24位，所以在该示例中YCbCr颜色空间可以被转换成8位位图。在实施例中，亮度(Y)通道被规范化在大约预定的Yfflin (最暗)值到大约255个单位(最亮)的范围内，该范围使图像变亮和伸展。还可以使中间调变亮(例如变亮50%)，使得最暗的像素保持比所有其它像素值暗，如在图4a-图4b中能看到的。接下来，合并蓝色色度通道和红色色度通道(例如通过CbXCr)。将结果反转并且规范化成位于大约CbCrmin值到大约255个单位的范围内。还可以使中间调变暗50%，使得仅具有最品红色内容(例如嘴唇)的像素保持比所有其它像素值暗，如在图4a-图4b中能看到的。在一个示例中，Ymin值可以被预选择为50个单位，并且CbCrmin值可以被选择为85个单位。选择这些值导致大约3倍(3x)的CbCr加权以及大约5倍(5x)的Y加权。然而，还可以选择其它值。然后，合并被规范化的Y和CbCr (例如通过将这些平面相乘)，并且将被规范化的Y和CbCr右移8位来保持8位空间。因此，每个平面的相对加权是:Y 权重=255/YminCbCrM=255/CbCrmin应注意，可以对位图进行降采样。在实施例中，使用平均处理将位图水平地降采样成16列。降采样可以帮助减少在较高分辨率位图中需要分析的数据量，同时保持足够的分辨率来准确地辨别嘴唇边界。还应注意，可以实施低通滤波器。在实施例中，在竖直方向应用低通滤波器来减少噪声和平滑位图。然后可以实施高通滤波器来在竖直方向锐化位图并且增强较低频率的边缘(例如使用低通滤波器的至少两倍(2x)的核)。
在产生搜索图400以后，图像分析器可以辨别嘴角的候选位置或点(在本发明中，被表示为左侧的“候选者” 400a-400c和右侧的“候选者” 400d_400f )。在该示例中，从位图左侧和位图右侧的位图较外面部分的每个列(例如列中的较外面的25%-40%)中选择三个最暗峰值的点(由于在位图中嘴角容易相对暗)。当选择候选者时，可以在位图中的点之间插入阈值，例如最小竖直间隔。这种阈值可以帮助确保所选的候选者不太紧密地簇集在一起。可以向候选者分配分数。分数可以是单独的候选者的分数或成组的候选者的分数的“加权和”。可以选择具有最高分数的候选者对或多个候选者对来拟合抛物线。在该示例中，根据分数，左侧的候选者400a-400b被选择并且与右侧的候选者400d-400e配成对。还应注意，还可以使用其它辨别候选者的方法并且不局限于上面的描述。然后，图像分析器可以关于根据左候选者和右候选者的分数选择的每对左候选者和右候选者，辨别中间点405a-405b。在实施例中，图像分析器定位在搜索区顶部开始在搜索区底部结束的且被水平地放置在候选者对中间的竖直线段。下面，可以以规则的间隔选择从线段的顶部开始并延续至底部的点，以产生从左角经过中间点至右角的抛物线轨迹410a、410b。当存在不止一条抛物线时，可以对抛物线410a — IOb打分。在实施例中，可以根据抛物线轨迹中的图像像素的暗度、宽度和/或均匀度向抛物线410a-410b分配分数。分数可以与其它抛物线的对应分数一起保存在例如数组中。最高的抛物线分数通常对应于合并的上嘴唇和下嘴唇401、上嘴唇(图4b中的405a')、下嘴唇(图4b中的405b')或者可能牙齿间的缝隙。最低的分数通常对应于牙齿(在图4b中嘴唇之间看到的)或者除嘴唇以外的皮肤特征或面部特征。在实施例中，抛物线轨迹的分数可以分配如下。首先，将所有灰度值(每列一个)反转(从255中减去)，然后沿抛物线轨迹将所有灰度值相加。被反转的大约O的值是最不可能的候选者，并被反转的大于O且接近255的值更可能是嘴唇。接下来，在每个相邻的灰度值对之间减去德尔塔(delta)的一半。这导致较低的分数并“惩罚”具有不一致灰度值的抛物线轨迹。然后，将最后的分数平方，然后除以抛物线的宽度。该示例向较宽的抛物线的分数提供较高权重。应注意，+/_符号应当保留，这将在下文中变得清楚。现在可以确定角候选者对的合成的张开嘴唇的分数。假设最高分数的抛物线(例如图4b中的410b')是第一嘴唇。进一步假设在与牙齿对应的嘴唇之间将存在至少一个较低分数(淡)的抛物线(未示出)。为了查找与第二嘴唇(例如图4b中的410a')对应的抛物线，通过将每条抛物线的分数添加至第一嘴唇的分数以及然后减去这两条抛物线之间最低分数的抛物线(牙齿)，可以关于每条抛物线确定合成分数。最高的合成分数是张开嘴唇的分数。可以采用阈值来确定嘴是张开还是闭合。在实施例中，第二嘴唇的分数减去牙齿的分数是第二嘴唇的与预定的阈值(例如第一嘴唇分数的30%)相比的相对暗度。在闭合嘴唇的情况(如图3a中的图像所示冲，所有角候选者的最佳合成分数大致等于峰值抛物线分数。在此情况下，即使存在两条似乎是适宜的拟合(例如图4a中的与图3a中的胡子305对应的410a)的抛物线，合成的分数也不符合阈值，这表示嘴是闭合的。如果嘴是闭合的，那么拒绝合成分数，并且具有最高分数单个峰值的候选者被选择作为与闭合的嘴唇之间的最暗线(笑容或不悦)对应的唯一的抛物线。如果合成分数超过阈值，那么牙齿是露出的且嘴是张开的。在张嘴的情况(如图3b的图像所示)中，所选择的抛物线的形状看上去被定型为“足球”或“瓜片”。为了进一步确认牙齿抛物线穿过牙齿，可以进一步分析原始Y位图中的抛物线轨迹，来查看是否能够检测到牙齿之间的暗竖线。在任何情况下(即无论嘴是张开还是闭合)，都可以根据下面的公式使用三个点(即左候选者、右候选者和中间点)限定抛物线。(等式I) y=Ax2+Bx+C在等式I中，参数“A”表示抛物线向上弯曲或向下弯曲的程度。负的“A”值表示抛物线向上弯曲(例如形成笑容)。正的“A”值表示抛物线向下弯曲(例如形成不悦)。应注意，上面介绍的示例仅用于说明用途且不旨在是限制性的。如本领域的技术人员在熟悉本发明的教导以后容易理解的，还可以实施与上面描述的过程有关的现在已知或以后开发的其它操作和变形。为了说明目的提供上面介绍的示例性系统。还可预见其它实现。例如，本发明中描述的系统还可以支持单个图像中的多张脸的笑容检测。作为另一示例，元数据可以在被存储以前与图像关联。元数据可以根据笑容的数量和/或笑容的程度辨别图像。因此，元数据使得能够根据多种搜索标准快速地定位图像和向用户显示图像。图5是图示用于图像中的笑容检测的示例性操作的流程图。操作500可以实现为一个或多个计算机可读介质上的逻辑指令。当在处理器上运行逻辑指令时，逻辑指令导致通用计算设备被编程为实现所描述的操作的专用机器。在示例性实现中，可以使用在附图中绘出的组件和连接。在操作510中，关于图像的子集产生搜索图。在操作520中，辨别代表嘴角的多个候选者。在操作530中，在代表嘴角的每对候选者之间产生一个或多条抛物线。在操作540中，分析抛物线中的至少一条抛物线的轮廓，以确定嘴大致向上弯曲成形成笑容还是大致向下弯曲成形成不悦。提供本发明中示出和描述的操作来说明笑容检测方法的示例性实现。应注意，操作不局限于所示出的顺序。还可以实现其它操作。作为说明，方法还可以包括:首先使用图像识别来辨别面部区，然后从面部区中选择图像的子集。作为进一步的说明，该方法还可以包括对每条抛物线打分。然后，根据分数选择最佳代表嘴的抛物线。此外，作为示例且如上文更详细地描述的，方法还可以包括产生搜索图，产生搜索图可以包括在图像的子集中对亮度通道进行规范化并且合并图像的子集中的色度通道。然后，如上面更详细地描述的，将规范化的亮度通道与所合并的色度通道合并。方法还可以包括对搜索图进行降采样以减少用于分析的数据，同时保持分辨率来辨别代表嘴角的多个候选者。方法还可以包括对搜索图进行滤波，以减少噪声和平滑待分析的数据。方法还可以包括锐化搜索图以增强较低频率的边缘。除本发明中明确阐述的特定实现以外，其它方面和实现将对本领域的技术人员而言从本发明中公开的说明书的考虑中显而易见。希望本说明书和所图示的实现在下面的权利要求的真正范围和精神的条件下仅被认为是示例。
权利要求
1.一种在电子图像设备(100)中进行笑容检测的方法，包括: 产生图像(300)的子集的搜索图(400)； 辨别代表嘴角的多个候选者(400a-400f)； 在每对代表嘴角的候选者之间产生抛物线(410);以及 分析所述抛物线中的至少一条抛物线的轮廓，以确定嘴大致向上弯曲成形成笑容还是大致向下弯曲成形成不悦。
2.根据权利要求1所述的方法，进一步包括: 使用图像识别(220)来辨别面部区；以及 从所述面部区选择所述图像的子集。
3.根据权利要求1所述的方法，进一步包括:对每条抛物线(410)打分。
4.根据权利要求3所述的方法，进一步包括: 在分析所述抛物线中的至少一条抛物线以前，根据分数选择最佳代表嘴的抛物线(410)。
5.根据权利要求1所述的方法，其中产生搜索图(400)包括: 对所述图像(300)的子集中的亮度 通道进行规范化； 合并所述图像(300)的子集中的色度通道；以及 将所规范化的亮度通道与所合并的色度通道合并。
6.根据权利要求5所述的方法，进一步包括:对所述搜索图(400)进行降采样，来减少待分析的数据，同时保持分辨率来辨别代表嘴角的多个候选者(400a-400f)。
7.根据权利要求5所述的方法，进一步包括:对所述搜索图(400)进行滤波，以减少噪声和平滑待分析的数据。
8.根据权利要求5所述的方法，进一步包括:对所述搜索图(400)进行锐化，以增强较低频率的边缘。
9.一种用于笑容检测的系统，包括: 用于存储图像(300)的计算机可读存储器； 图像转换器(230)，可操作地与所述计算机可读存储器关联，所述图像转换器被配置成产生所述图像的子集的搜索图(400)； 图像分析器(240)，可操作地与所述图像转换器关联，所述图像分析器被配置成: 在所述搜索图中辨别代表嘴角的多个候选者(400a-400f)； 在一对或多对候选者之间产生抛物线(410);以及 根据抛物线的轨迹，确定嘴大致向上弯曲成形成笑容还是大致向下弯曲成形成不悦。
10.根据权利要求9所述的系统，进一步包括: 打分模块，可操作地与所述图像分析器(240)关联，所述打分模块根据图像像素的暗度、宽度和均匀度中的至少一种对抛物线(410)打分；以及其中最佳代表嘴的抛物线基于分数。
11.根据权利要求9所述的系统，其中所述图像分析器(240)进一步配置成确定嘴是张开的还是闭合的。
12.根据权利要求9所述的系统，其中所述图像分析器(240)进一步配置成:通过在所述搜索图的每个较外面的列中查找峰值点，辨别代表嘴角的多个候选者。
13.一种电子图像分析器，包括计算机可读程序代码，所述计算机可读程序代码存储在计算机可读存储器中且可由处理器运行，以便: 在图像的子集的搜索图(400)中，辨别代表嘴角的多个候选者(400a-400f)； 在代表嘴角的成对的候选者之间产生抛物线(410);以及 确定嘴大致向上弯曲成形成笑容还是大致向下弯曲成形成不悦。
14.根据权利要求13所述的图像分析器，其中所述计算机可读程序代码进一步可运行来辨别唇边界。
15.根据权利要求13所述的图像分析器，其中所述计算机可读程序代码进一步可运行来辨 别牙齿。
全文摘要
本发明公开笑容检测系统和方法。示例性方法包括产生图像子集的搜索图。该方法还包括辨别代表嘴角的多个候选者。该方法还包括在代表嘴角的每对候选者之间产生抛物线。该方法还包括分析抛物线中的至少一条抛物线的轮廓，以确定嘴大致向上弯曲成形成笑容还是大致向下弯曲成形成不悦。
文档编号G06K9/52GK103098078SQ201080069079
公开日2013年5月8日 申请日期2010年9月13日 优先权日2010年9月13日
发明者丹·L·道尔顿, 丹尼尔·布卢姆, 大卫·施陶达赫尔 申请人:惠普发展公司，有限责任合伙企业