图像处理装置、图像捕获装置、图像处理方法及记录媒介的制作方法

专利名称：图像处理装置、图像捕获装置、图像处理方法及记录媒介的制作方法
技术领域：
本发明涉及一种图像处理装置、图像捕获装置、图像处理方法以 及图像处理程序，并且尤其是涉及一种用于存储最佳拍摄图像的技术。
背景技术：
在现有技术中提出了一种脸部图像处理方法。该方法包括连续 地输入包括有脸部图像的人的图像、从该图像判断对象脸部的状态(例 如瞳孔的状态)、并且自动选择包括有与用户期望相匹配的适当脸部
图像(日本专利申请特开No. 2000 — 259833)。该方法可，例如通过 在某个时间长度将照相机指向对象而获得包括其中对象睁开眼睛的适 当脸部图像的图像。
在现有技术中还提出了一种图像辟理装置。所提粗的图像处理装 置找到包含在输入图像之中的脸部的预定局部(与眼、嘴、以及鼻子 相对应)中的特征点，并且找到预定局部的特征量(例如眼睛(特性 点)的终端与嘴的终端(特性点)之间的距离)。图像处理装置还找 到包含预定脸部表情的脸的另一图像中的预定局部的特征量。图像处 理装置进一步计算对于每个预定局部而言输入图像的特征量与其他图 像的特征量之间的差，并且根据该差来计算用于每个预定局部的分数。 通过将为输入图像所计算的分数的分布与为各种脸部表情的脸中的预 定局部所计算的分数的已知分布进行比较，图像处理装置判断在输入 图像的脸上是哪种脸部表情(日本专利申请特开No. 2005 — 56388)。
此外，根据日本专利申请特开No. 2005 — 56388的图像捕获装置， 当用户希望捕获包括有期望脸部表情(诸如笑)的图像时，捕获包括 该脸部的时间序列图像，并且将为每个图像所计算的分数的分布与为笑脸中的预定局部所计算的分数的分布进行比较。通过仅存储具有最 接近笑脸分布的分布的图像，图像捕获设备可存储包括期望表情的图 像
发明内容
—
然而，日本专利申请特开No. 2000 —259833的发明的问题在于因 为判断连续输入图像的每个图像是否包括用户期望的适,脸部图像 (例如其中对象眼睛睁开的图像)，因此需要大量图像处理。
另外，日本专利申请特开No. 2005 — 56388的发明也具有相似问 题，该问题在于因为图像处理装置判断图像序列的每个图像中的脸部 表情，因此需要大量图像处理。
此外，日本专利申请特开No. 2000—259833和No. 2005—56388 均具有进一步的问题，该问题在于如果连续地输入包含适当脸部图像 或者期望表情的脸部图像的图像，那么存储所有输入图像(例如包含 具有相同表情的脸部的同样图像)，并且无用地消耗了存储媒介的存 储器容量。 '
在考虑了上述问题之后构思了本发明并且目的是提供一种能够从 连续捕获的图像中仅存储用户希望存储的图像(以下称为"最佳拍摄图 像")并且能够有效地提取最佳摄图像的图像处理装置、图像捕获装 置、图像处理方法、以及图像处理程序。
为了实现该目的，根据本发明第一方面的图像处理装置包括图 像获取设备，其用于顺序地获取按照连续方式所捕获的图像；脸部检 测设备，其用于对所获取的图像中的脸部进行检测；表情变化量计算 设备，其用于对每个目标帧计算表情变化量，该表情变化量表示在当 前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到 的脸部之间的表情变化，目标帧是获取帧中的每个或者是获取帧中规则间隔的帧；提取设备，其用于提取所计算的表情变化量大于或等于 预定值的目标帧的图像；以及存储设备，其用于将所提取的目标帧的 图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
因此，从按照连续方式所捕获的图像当中提取具有大脸部表情变 化的脸部的目标帧的图像，并且将所提取的目标帧的图像或者位于所 提取的目标帧附近的帧的图像存储在存储媒介中。
应该注意的是存在大脸部表情变化的脸部很有可能是期望的图像 (即，用户希望存储的脸的图像(最佳拍摄))。此外，对两个图像 之间的表情变化量进行计算所需的图像处理负荷低于对脸部表情本身 进行分析所需的图像处理负荷。此外，当在连续图像中捕获表情不变 的脸部时，不存储包含这种脸部的图像。因此，可避免浪费使用存储 媒介上的存储器容量。
根据本发明第二方面的图像处理装置包括图像获取设备，其用 于顺序地获取按照连续方式所捕获的图像；脸部检测设备，其用于对 所获取图像中的脸部进行检测；表情变化量计算设备，其用于对每个 目标帧计算表情变化量，该表情变化量表示在每个目标帧的图像中所 检测到的脸部与参考模板脸部之间的表情变化，该目标帧是获取帧中 的每个或者是获取帧中规则间隔的帧；提取设备，其用于提取所计算
的表情变化量是预定值以及之上的目标帧的图像；以及存储设备，其 用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图 像存储在存储媒介中。
根据本发明的第一方面计算在当前目标帧图像中所检测到的脸部 与在连续捕获的图像的之前目标帧图像中所检测到的脸部之间的表情 变化。另一方面，根据本发明的第二方面与第一方面的不同之处在于 计算连续捕获的目标帧的图像与参考模板之间的表情变化量。根据本发明的第三方面，在根据第二方面的图像处理装置中，根 据与一个或多个人的平常脸的脸部局部相对应的多个特征点的坐标位 置来创建参考模板。
应该注意的是之前与之后帧的脸部之间的表情变化量至多是预定 值的连续捕获的任何帧的图像中的脸部可用作平常脸。
根据本发明的第四方面，在根据第三方面的图像处理装置中，预 先创建与人的属性相对应的多个参考模板并且将其存储在存储器中， 并且通过图像获取设备从存储器读取相应于所获取的图像中与人的属 性的参考模板并使用。所考虑的人的属性的示例包括性别、年龄、成 熟度(孩子或者成人)、以及种族。
根据本发明的第五方面，根据第一至第四方面任何一个的图像处 理装置进一步包括典型脸部选择设备，该典型脸部选择设备用于当脸 部检测设备对多个脸部进行检测时，根据以亮度、位置、大小、以及 脸部清晰度中的至少一个为条件来选择典型脸部以作为目标帧图像中 检测到的脸部。换句话说，当所捕获的图像中存在不止一个人时，选 择单个人作为目标。利用该安排，可将被选择为目标的人的最佳拍摄 图像进行存储，并且可使对要存储的图像的选择简单化。
根据本发明的第六方面，在根据第一至第五方面任何一个的图像 处理装置中，表情变化量检测设备包括特征点提取设备，其用于提 取与每个脸部局部相对应的多个特征点；标准化设备，其用于使所提 取的特征点的坐标位置标准化；以及计算设备，其用于根据每个脸部 中的相应特征点的标准化坐标位置之间的距离总和或者其之间的距离 的平方和来对两个比较的脸部计算表情变化量。该安排可利用简单操 作来计算表情变化量。
根据本发明的第七方面，根据第一至第六方面任何一个的图像处理装置进一步包括最佳图像候选者提取设备，其用于提取已提取的 目标帧的图像以及多个连续帧的图像以作为最佳图像候选者，所述多 个连续帧的图像是目标帧的之前和之后图像中的至少一个；以及最佳 图像选择设备，其用于从所提取的最佳图像候选者组中选择最佳图像， 其中存储设备将所选的最佳图像存储在存储媒介中。
根据本发明的第八方面，在根据第七方面的图像处理装置中，最 佳图像选择设备包括至少一个第一估计设备，其用于将最佳图像 候选者的脸部与表示预定表情的表情模板进行比较并且根据比较结果 而判给每个最佳图像候选者分数；第二估计设备，其用于对最佳图像 候选者中的脸部方向进行检测并且根据所检测到的脸部方向判给每个 最佳图像候选者分数；以及第三估计设备，其用于对最佳图像候选者 中对象眼睛的方向进行检测并且根据所检测到的对象眼睛的方向判给 每个最佳图像候选者分数；以及选择设备，其用于根据由至少一个估 计设备所判给的一个或多个分数来从最佳图像候选者当中选择最佳图 像。
当例如，最佳图像候选者的脸部局部的特征点与表示预定表情的 表情模板之间的匹配程度增大时，第一估计设备判给更高的分数。应 该注意的是匹配程度可以是通过计算各自的特征点集合之间的距离的 平均值或者总和而获得的。此外，表情模板可以是包括笑脸模板的多 个模板中的任何一个。
当最佳图像候选者的脸部更接近正面的脸时(也就是说，当脸部 方向接近面向前方时)，第二估计设备判给更高的分数。当最佳图像 的对象眼睛更直接地看向图像捕获设备时(也就是说，当最佳图像候 选者的对象眼睛的方向接近图像捕获设备时)，第三估计设备判给更 高的分数。此后选择设备根据由第一至第三估计设备所判给的三个分 数(包括使用两个或更多个分数的总和)中的至少一个从最佳图像候 选者当中选择最佳图像。根据本发明的第九方面，在根据第八方面的图像处理装置中，选 择设备选择具有最高分数的图像作为最佳图像或者从其分数大于或等 于预定值的最佳图像候选者当中选择具有由表情变化量计算设备所计 算的最大表情变化量的图像作为最佳图像。
根据本发明第十方面的图像捕获装置包括图像捕获设备，该图 像捕获设备是可操作的以按照连续方式捕获对象的图像；以及根据第 一至第九方面中任何一个的图像处理装置，其中图像获取设备顺序地 获取由图像捕获设备按照连续方式所捕获的图像。
利用这个安排，在按照连续方式捕获对象的同时，该设备将脸部 表情变化较大的图像作为图像候选者存储在存储媒介中。
根据本发明的第十一方面，根据第十方面的图像捕获装置进一步 包括图像捕获指示设备；以及存储数目设置设备，其用于设置为响 应图像捕获指示设备的单个图像捕获指令而将要被存储在存储媒介中 的图像的数目，其中当图像捕获指示设备发出了图像捕获的指令时， 重复图像捕获设备的图像捕获操作以及图像处理装置的图像处理，直 至已存储的图像数目到达了所设置的要存储的图像的数目。
例如，当从诸如快门按钮等等的图像捕获指示设备输入了用于图 像捕获的单个指令时，顺序地存储包括有更大表情变化的脸部的图像，
直至到达了要存储的图像的预置数目。
根据本发明的第十二方面，根据第十一方面的图像捕获装置进一 步包括捕获结束指示设备，其中在图像捕获指示设备已发出了图像捕 获的指令之后，当捕获结束指示设备发出捕获结束的指令时，在所存 储的图像数目达到所设置的要存储的图像的数目之前结束图像捕获设 备的图像捕获操作以及图像处理装置的图像处理。因此，即使已预置了为响应图像捕获的指令而一次要存储的图像 数目，用户也可在捕获了期望的脸部表情(最佳拍摄图像)之后通过 捕获结束指示设备上的操作而结束图像捕获操作。
根据本发明的第十三方面，根据第十方面的图像捕获装置进一步 包括图像捕获指示设备，其中当图像捕获指示设备发出图像捕获的指 令时，重复图像捕获设备的图像捕获操作以及图像处理装置的图像处 理，直到存储媒介中没有剩余空间。
根据本发明的第十四方面，根据第十三方面的图像捕获装置进一 步包括捕获结束指示设备，其中在图像捕获指示设备已发出了图像捕 获的指令之后，当捕获结束指示设备发出捕获结束的指令时，在存储 媒介中没有剩余空间之前，结束图像捕获设备的图像捕获操作以及图 像处理装置的图像处理。
在第十二和第十四方面的图像捕获装置中，捕获结束指示设备可 利用相同的操作设备(即快门按钮)作为图像捕获指示设备。例如， 一旦按下快门按钮则指示开始图像捕获并且第二次按下快门按钮则指 示结束图像捕获。
根据本发明的第十五方面，根据第十至第十四方面任何一个的图 像捕获装置进一步包括声音产生设备，该声音产生设备在每次将图像 存储在存储媒介中时产生声音以通知用户存储定时。利用该安排，用 户可检査存储图像的定时，并且知道在所存储图像中的脸部上是什么 类型的表情。
根据本发明的第十六方面，根据第十至第十五方面任何一个的图 像捕获装置进一步包括图像显示设备，其用于显示图像捕获设备按 照连续方式所捕获的图像；以及显示控制设备，其用于使图像显示设备显示最近存储在存储媒介上的一个或多个图像作为尺寸减小的图 像，所述尺寸减小的图像具有小于图像显示设备的整个显示区的区域。 利用该安排，用户可对所存储的图像进行检査并且根据对所存储图像 的表情和组成的变化的评估而提出画面。
根据本发明的第十七方面，第十至第十六方面的任何一个的图像 捕获装置进一步包括显示设备，其用于显示可存储在存储媒介上的 图像的最大数目以及己存储图像的当前数目，每当将图像存储在存储 媒介中时更新已存储图像的当前数目。利用这个安排，用户可在执行 图像捕获时，考虑到仍可记录在存储媒介中的图像数目。
根据本发明的第十八方面，根据第十至第十七方面任何一个的图 像捕获装置进一步包括显示设备，该显示设备显示每当将图像存储在 存储媒介中时所更新的已存储图像的当前数目，并且至少当已存储在 存储媒介上的图像数目接近可储存在存储媒介中的图像的最大数目时 改变已存储图像的当前数目的显示形式。利用该安排，用户可在执行 图像捕获时，考虑到仍可存储在存储媒介中的图像数目。应该注意的 是通过改变用于已存储图像的当前数目的指示器的颜色、通过使用于 已存储图像的当前数目的指示器闪烁，或者通过其它方法可改变用于 已存储图像的当前数目的指示器的形式。
根据本发明第十九方面的图像处理方法包括步骤顺序地获取按 照连续方式所捕获的图像；对所获取图像中的脸部进行检测；对每个 目标帧计算表情变化量，该表情变化量表示在当前目标帧的图像中所 检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的 变化，该目标帧可以是获取帧中的每个或者是获取帧中规则间隔的帧； 提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及将 所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储 在存储媒介中。根据本发明第二十方面的图像处理方法包括步骤顺序地获取按 照连续方式所捕获的图像；对所获取的图像中的脸部进行检测；对每 个目标帧计算表情变化量，该表情变化量表示在每个目标帧的图像中 所检测到的脸部与参考模板脸部之间的表情的变化，该目标帧可以是 获取帧的每个或者是获取帧中规则间隔的帧；提取所计算的表情变化 量是预定值以及之上的目标帧的图像；以及将所提取的目标帧的图像 或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
根据本发明的第二十一方面，根据第十九或者第二十方面的图像 处理方法，进一步包括步骤提取所提取的目标帧的图像以及多个连 续帧的图像作为最佳图像候选者，所述多个连续帧的图像是目标帧的 之前和之后图像中的至少一个；以及从所提取的最佳图像候选者组中 选择最佳图像以将其存储在存储媒介中。
根据本发明的第二十二方面，提供了一种存储图像处理程序的记 录媒介。根据第二十二方面的记录媒介上的图像处理程序可使计算机 实现下述功能顺序地获取按照连续方式所捕获的图像；对所获取的 图像中的脸部进行检测；对每个目标帧计算表情变化量，该表情变化 量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧中所检 测到的脸部之间的表情的变化，该目标帧可以是获取帧的每个或者是 获取帧中规则间隔的帧；提取所计算的表情变化量大于或等于预定值 的目标帧的图像；以及将所提取的目标帧的图像或者位于所提取的目 标帧附近的帧的图像存储在存储媒介中。
根据本发明第二十三方面，提供了一种存储图像处理程序的记录 媒介。根据根据第二十三方面的记录媒介上的图像处理程序可使计算 机实现下述功能顺序地获取按照连续方式所捕获的图像；对所获取 的图像中的脸部进行检测；对每个目标帧计算表情变化量，该表情变 化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间 的表情的变化，该目标帧可以是获取帧的每个或者是获取帧中规则间隔的帧；提取所计算的表情变化量是预定值以及之上的目标帧的图像； 以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图 像存储在存储媒介中。
根据本发明的二十四方面，根据第二十二或者第二十三方面的记 录在记录媒介上的图像处理程序，进一步可使计算机起下述功能提 取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选 者，所述多个连续帧的图像是目标帧的之前和之后图像中的至少一个； 以及从所提取的最佳图像候选者组中选择最佳图像以将其存储在存储 媒介中。
根据本发明的方面，从按照连续方式所捕获的图像中提取具有较 大脸部表情变化的目标帧的图像，并且将所提取的目标帧的图像或者 位于所提取目标帧附近的帧的图像存储在存储媒介上。因此，用户可 在连续捕获的图像当中存储他们希望记录的脸部的图像(最佳拍摄图 像)。此外，可有效地提取最佳拍摄图像。


图1是示出了根据本发明的图像捕获装置(数字照相机)的实施 例的框图2是示出了与脸部部分的位置相关的脸部特征点的示例的示意
图3是示出了根据本发明的第一实施例的处理的整个流程的流程
图4A、 4B、以及4C是用于对目标帧和笑脸模板的脸部特征点的 标准化进行描述的示意图5A、 5B、以及5C是示出了平常脸的特征点以及笑脸1和2的 特征点的示意图6是示出了根据本发明的第二实施例的处理的整个流程的流程
图；图7是示出了用于创建平常脸模板的处理程序的流程图8是示出了根据本发明的第三实施例的处理的整个流程的流程
图9是用于对脸部的方向(脸方向)进行检测的方法进行描述的 示意图10示出了根据本发明的第四实施例的处理的整个流程的流程
图ll是示出了当在最佳拍摄图像捕获模式下捕获图像时在显示单 元上所显示的屏幕的第一示例的示意图12A和12B是示出了当在最佳拍摄图像捕获模式下捕获图像时 在显示单元上所显示的屏幕的第二示例的示意图；以及
图13A和13B是示出了当在最佳拍摄图像捕获模式下捕获图像时 在显示单元上所显示的屏幕的第三示例的示意图。
具体实施例方式
下面参考附图对根据本发明的图像处理装置、图像捕获装置、图 像处理方法、以及图像处理程序的优选实施例进行描述。
图1是示出了根据本发明的图像捕获装置(数字照相机)10的实 施例的框图。
数字照相机IO具有用于对静止图像和活动图像进行存储并且对该 图像进行回放的功能。操作单元12包括电源按钮、快门按钮、模式手 柄、变焦键、回放按钮、由上，下，左、右键所组成的多功能十字键、 菜单/OK按钮、显示/返回按钮等等。
通过转动模式手柄，可选择包括有自动图像捕获模式、手动图像 捕获模式、人图像捕获模式、风景图像捕获模式和夜景图像捕获模式 的许多情形位置的任何一个。还可选择本发明的活动图像模式或者最佳拍摄图像捕获模式。快门按钮包括当半按下快门按钮时接通并且使 数字照相机10通过使用自动曝光调节(AE)和自动聚焦调节(AF)
来准备图像捕获的开关Sl，以及当当完全按下快门按钮时接通并且使 数字照相机10捕获图像的开关S2。
显示单元(液晶监控器)14显示活动图像(通过图像)并且因此 用作电子取景器。显示单元14还可在存储之前显示所捕获的图像(预 览图像)并且显示从加载到照相机中的诸如存储卡这样的存储媒介16 所读取的图像等等。显示单元14还显示当手动设置照相机的操作模式、 白平衡、图像中的像素数目、以及灵敏度时所使用的各种形式的菜单 屏幕以响应对菜单/OK按钮的操作。显示单元14进一步显示可经由对 十字键和菜单/ OK按钮的操作而从其中设置手动设置的图形用户界面 (GUI)。
当从操作单元12输入了操作信号时，中央处理单元(CPU) 18 通过根据照相机控制程序执行处理来执行数字照相机10中的单元的综 合控制。CPU18与控制总线20和数据总线22相连。
除了 CPU18之外，控制总线20和数据总线22还与SDRAM (同 步动态RAM) 24、表情判断单元26、特征点跟踪单元28、脸部检测 单元30、 EEPROM 32、数字信号处理单元34、压縮/解压縮单元36、 音频控制单元38、显示控制单元40、以及外部介质控制单元41相连。 进一步并且A/D转换电路54与数据总线22相连。
CPU 18从SDRAM 24和EEPROM 32接收所需数据。EEPROM 32 将诸如用于固态成像设备的照相机控制程序和故障信息这样的与照相 机控制有关的各种参数存储在其中。EEPROM进一步包含根据本发明 的图像处理程序、参考模板、表情模板等等。
CPU 18将存储在EEPROM 32中的照相机控制程序调配到SDRAM 24中，并且利用作为工作存储器的SDRAM 24执行各种处理。
在数字照相机10中，当将操作单元12的电源按钮切换到ON时， CPU18对该切换进行检测、接通内部电源、并且将数字照相机10置于 图像捕获模式的图像捕获等待状态。在图像捕获等待状态下，CPU 18 总是在显示单元14上显示活动图像(通过图像)。
用户(摄影师)框定要拍摄的对象并对其进行检査，同时在显示 单元14上显示通过图像。用户还可观看所捕获的图像并且设置图像捕 获条件。
当照相机处于普通静止图像捕获模式的图像捕获等待状态下半按 下快门按钮时，CPU 18对半按进行检测并且执行AE光测量和AF控 制。在AE测量期间，数字照相机IO根据通过固态图像捕获设备(CCD) 50所获取的图像信号的总和或者相似值来测量对象的亮度。通过光测 量所获得的值(所测量的光值)用于确定光圈44的光圈值以及图像捕 获的快门速度。当捕获图像时，CPU18根据由所测量的光值确定的光 圈值通过光圈驱动单元58来驱动光圈44并且通过图像捕获设备驱动 单元60来对CCD 50上的电荷存储时段(所谓的"电子快门")进行控 制以提供利用所测量的光值所确定的快门速度。
当使用AF控制时，CPU 18还可通过使聚焦透镜位置在近景与无 限远之间一点一点地移动、对每个透镜位置的通过CCD 50而在AF区 域中所获得的图像信号的频率分量求和以获得估计值、找到估计值到 达最高点的透镜位置、并且使聚焦透镜移动到该透镜位置来执行对比 AF。应该注意的是在活动图像模式下，CPU18利用聚焦透镜的位置受 到控制的所谓"波峰跟踪控制"来执行连续AF，以便保持该波峰估计值。
来自对象的光在穿过包括有聚焦透镜和变焦透镜的成象透镜42之 后并且此后穿过光圈44、红外线截止滤波器46、以及光学低通滤波器48而入射到CCD 50的光接收面上。
CCD 50是利用提供有预定安排(如Beyer或者蜂窝式安排)的R、 G、 B颜色滤波器阵列的彩色CCD构造而成的。将入射到CCD 50的光 接收面上的光转换成其量取决于通过光接收面中的光电二极管的入射 光量的信号电荷。根据图像捕获设备驱动单元60所应用的定时信号来 读取存储在光电二极管中的信号电荷，并且使其从CCD50顺序输出以 作为电压信号(图像信号)。
模拟信号处理单元52包括CDS(相关双采样)电路和模拟放大器。 CDS电路根据CDS脉冲对CCD输出信号执行相关双采样。模拟放大 器根据CPU 18所应用的图像捕获灵敏度增益来对CDS电路所输出的 图像信号进行放大。A/D转换电路54将模拟信号处理单元52所输出 的模拟图像信号转换成数字图像信号。通过数据总线22将因而发生的 图像信号(R、 G、以及BRAW数据)发送到SDRAM 24并且将其临 时存储在其中。
脸部检测单元30对通过图像或者活动图像中的人脸进行检测并且 将与该脸的位置和大小有关的信息输出到CPU18。更具体地说，脸部 检测单元30包括图像比较电路和脸部图像模板(脸部词典)。图像比 较电路在示出了通过图像等等的屏幕上对目标区域进行定位，并且将 该目标区域中的图像与脸部词典进行比较以寻找相关性。当相关性分 数超过预定门限值时，图像比较电路将目标区域指定为脸部区域。脸 部检测单元30还通过将脸部区域中的脸部局部与脸部局部词典进行比 较来对脸部局部(诸如眼睛、鼻子、嘴、以及眉毛)进行检测。
在从脸部检测单元30获取脸部区域的位置和大小时，CPU 18可 使显示单元14显示叠加在通过图像上的环绕所获取的人类对象的脸的 脸部检测框。按照上述方式所检测到的脸部区域的位置和大小还可用作AF区 域以使照相机聚焦于对象脸上或者还可用作AE区域以便对象脸部的 亮度是合适的。
当在根据本发明的最佳拍摄图像捕获模式下捕获图像时表情判断
单元26和特征点跟踪单元28进行操作。最佳拍摄图像捕获模式是其 中按照活动图像或者连续画面的方式连续捕获帧图像、提取被判断为 最佳拍摄图像的帧图像、并且将其存储在存储媒介16上的模式。
特征点跟踪单元28对每个连续捕获的帧图像的脸部图像的特征点 进行检测，并且对脸部检测单元30所检测到的脸部局部中的特征点进 行检测。
如图2所示，在该实施例中，特征点跟踪单元对由眉毛上的4个 点、眼睛上的8个点、鼻尖上的1个点、以及嘴上的4个点所组成的 总共17个特征点的Pi (Xi， y,) (1=1至17)进行检测。特征点跟踪 单元28对该序列的每个帧图像中的每个特征点Pi (Xi， yi)进行跟踪。
表情判断单元26计算表示被用作比较的目标的之前与当前帧图像 中所检测到的脸部表情变化的表情变化量，并且对该脸部表情进行判 断以选择最佳图像。
为了得到表情变化量，使不强烈地取决于脸部表情(例如眼睛的 外边缘以及鼻尖)的当前帧的特征点与之前帧的相应特征点对准(匹 配)(位置调节)。或者，通过利用诸如KLT算法(Kanade—Lucas 一Tomasi的特征点跟踪算法)的相应点检测技术来跟踪帧之间的特征 点以执行位置调节。此后利用以下公式来计算表情变化量以作为相应 特征点之间的差(距离)的总和。
表情变化量^V(x厂x")2+(yi棚yw)2
应该注意的是虽然通过对相应特征点之间的距离求和来得到公式 1中所描述的表情变化量，但是也可使用相应特征点之间的距离的平方 之和。
当按照上面的方式所计算的表情变化量大于或等于预定门限值 时，表情判断单元26从目标帧之前和之后获取m帧图像以作为最佳图 像候选者。此后表情判断单元26计算，例如，该图像组中的每帧图像 的笑容相似度分数并且从该组中提取其笑容相似度分数最高的帧图像 以作为最佳图像(最佳拍摄图像)。随后对与最佳拍摄图像的选择有 关的详情进行描述。
数字信号处理单元34起图像处理设备的作用，该图像处理设备包 括白平衡调节电路、伽玛校正电路、同步电路、色度/亮度数据产生电 路、边缘校正电路、用于插入图像的图像转换电路、以及叠加处理电 路。数字信号处理单元34利用SDRAM 24根据来自CPU 18的命令执 行处理。具体地说，从SDRAM 24所读取的R、 G和B图像信号由白 平衡调节电路将数字增益施加到每个R、 G和B图像信号上而经历白 平衡调节、根据伽玛特性通过伽玛校正电路而经历灰度转换处理、并 且通过同步电路而经历同步。在同步过程中，对与单个CCD上的颜色 滤波器的安排相关的彩色信号中的时间滞后进行校正以提供同步格式 的彩色信号。此后通过色度/亮度数据产生电路将同步的R、 G、以及B 图像信号转换成亮度信号Y和色度信号Cr和Cb (即YC信号)。Y 信号通过边缘校正电路而经历边缘增强处理。数字信号处理单元34将 数字信号处理单元34的处理所产生的YC信号返回到SDRAM 24。
在由数字信号处理单元34的处理并且存储在SDRAM 24中之后， 压縮/解压缩单元36对YC信号进行压縮并且通过外部介质控制单元41 将其存储在存储媒介16中以作为预定格式(诸如JPEG (联合图像专家组)格式)的图像文件。存储媒介16可以是诸如可移动的xD — Pk:ture Card (商标)或者SmartMedia (商标)这样的半导体存储器卡、便携 式压縮硬盘、磁盘、光盘、光磁盘片等等。
:当对操作单元12的回放按钮进行操作以选择回放模式时，通过外 部介质控制单元41来读取存储在存储媒介16中的最后帧的图像文件。 对所读取的图像文件的压缩数据进行解压縮以通过压縮/解压縮单元36 形成非压缩的YC信号。
将解压缩的YC信号存储在SDRAM 24中(或者附图中未示出的 VRAM中)、将其转换成用于通过显示控制单元40来显示的信号格式、 并且将其输出到显示单元14。因此，显示单元14显示存储在存储媒介 16上的图像文件的最后帧。
此后，用户按下帧正序导航开关(十字键的右部)以使帧按照正 序移动并且按下帧反序导航开关(十字键的左部)以使帧按照反序移 动。在帧导航所确定的帧位置上从存储媒介16读取图像文件并且按照 上述方式来在显示单元14上对相应应图像进行回放。
音频控制单元38既可使扬声器39对于照相机的各种操作产生声 音且在回放活动图像时产生声音，还可使扬声器39产生声音(诸如快 门的滴答声这样的耳朵捕获声音)以表示存储每个最佳拍摄图像的定 时。
<第一实施例〉
下面对用于捕获/存储n个最佳拍摄图像的第一实施例进行描述， 其中预先设置为响应单个图像捕获指令而要存储的最佳拍摄图像数目 "n"。
图3是给出了根据本发明第一实施例的处理的整个流程的流程图。当已选择最佳拍摄图像捕获模式作为图像捕获模式并且按下快门 按钮时，图像捕获开始(步骤SIO)。应该注意的是为响应单个图像捕 获指令而要存储的最佳拍摄图像数目"n"可以由默认数目确定或者由用 户设置'为适当数目(可以是l)。此外，当在最佳拍摄图像捕获模式下 捕获图像时，与为活动图像和连续画面一样按照连续方式捕获帧图像。
该处理将所捕获的帧图像临时存储在SDRAM 24中(步骤S12)。 接下来，该处理从临时存储在特征点跟踪单元28中的帧图像当中的目 标帧图像中的对象脸部提取特征点(步骤S14)。目标帧包括连续捕获 的帧图像的每个帧或者是以若干帧为间隔的所选帧。应该注意的是以 若干帧为间隔选择目标框幅可比较容易地发现表情变化并且可降低处 理负荷。
此后参考图2所述，该处理提取与的脸部局部的各个位置相对应 的特征点Pi (Xi， yi)。
接下来，表情判断单元26通过将从当前目标帧图像所提取的脸部 特征点Pi(Xi， yi)以及从存储在SDRAM 24中的之前目标帧图像所提 取的脸部特征点Pw (x卜,，yi—,)代入到上述公式1来计算表情变化量 (步骤S16)。
表情判断单元26此后判断所计算的表情变化量是否大于或等于预 定门限值(步骤S18)。当表情判断单元26判断为否定时，该处理回 到步骤S12。当判断为肯定时，认为对象脸部上的表情已经经历了很大 变化，并且该处理转到步骤S20。
在步骤S20中，该处理提取包括当前目标帧以及当前目标帧之前 和之后的m个帧的图像组以作为最佳图像候选者，对于所述当前目标 帧表情变化量已被判断为等于或者超过门限值。接下来，该处理从在步骤S20所提取的图像组(最佳图像候选者)
的2m+l个帧中选择单个最佳图像(最佳拍摄图像)(步骤S22)。 以下被认为是用于选择最佳拍摄图像的可能方法。
(1) 该处理将最佳图像候选者的脸部与预定表情的模板进行比 较，例如将最佳图像候选者的脸部与笑容的笑脸模板进行比较，并且 根据比较结果判给最佳图像候选者笑容相似度分数。
首先，该处理将其分数要被估计的目标帧的脸部和笑脸模板的特 征点执行标准化处理。如图4A、 4B、以及4C所示，利用鼻尖作为参 考点，该处理为包含在每个笑脸模板和目标帧脸部的17个特征点的每 个特征点计算至各自参考点的距离(Dli， D2》。该处理为每个特征点 计算至参考点(DVD2i)的距离比，并且计算所有特征点上的平均比。 此后该处理利用该平均比通过按比例縮放目标帧中的脸部的特征点来 对目标帧(参见图4A和4B)脸部的特征点的坐标执行标准化处理(即 按比例縮放以适合笑脸模板)。
此后该处理计算标准化目标帧的特征点与笑脸模板的相应特征点 之间的距离的平均差，并且判给笑容相似度分数(参见图4B和4C)。 应该注意的是目标帧具有的平均差值越小，判给该帧的笑容相似度分 数越大。
该处理按照这种方式判给所有最佳图像候选者笑容相似度分数， 并且选择具有最高笑容相似度分数的最佳图像候选者作为最佳拍摄图 像。
(2) 该处理将最佳图像候选者的脸部与笑脸模板进行比较并且根据该比较结果判给每个最佳图像候选者笑容相似度分数。此后该处理 选择其中笑容相似度分数大于或等于预定值(缺省值)的最佳图像候
选者当中的表情变化量最大的图像以作为最佳拍摄图像。
如图3所示，当步骤S22的处理选择最佳拍摄图像时，将所选的
最佳拍摄图像存储在存储媒介16中。
接下来，该处理对所存储的最佳拍摄图像进行计数(步骤S24)， 并且判断所存储的最佳拍摄图像的数目是否到达n (步骤S26)。当该 数目没有到达n时，该处理回到步骤S12。当该数目到达n时，该处理 结束最佳拍摄图像的捕获。
应该注意的是需要SDRAM 24临时存储计算了其表情变化量的当 前目标帧之前和之后的至少m个帧。
当在步骤S16中计算表情变化量时，优选按照上述方式使之前和 之后帧的特征点Pi (Xi， yi)和Pi-, (Xi-,， y卜)标准化。该标准化可 以与诸如脸部大小这样的因素无关地计算表情变化量。
应该注意的还有笑容相似度分数并不局限于按照上述方式来计 算，而是可以替代为利用平常脸之间的特征量的差来计算。
该特征量可以是利用特征点的位置、特征点之间的距离、或者脸 部中存在/不存在线(铍纹)来表示的。
图5A给出了平常脸的特征点。图5B和5C分别示出了笑脸1和 2的特征点。
參笑脸1
如图5B所示，与图5A所示的平常脸相比嘴唇的两端提高了，并且在鼻子和嘴唇出现了线(皱纹)以给出具有比平常脸更多笑容的脸 部。例如，如果"嘴唇的两端都提高了"和"在脸上出现了线或者线加深 了"的每一个被判给1点，那么判给笑脸1的笑容相似度分数是2点。
參笑脸2
在图5C所示的笑脸2中，由于嘴张大了，因此与图5A所示的平 常脸相比，该嘴的纵向宽度远大于笑脸1的宽度。同时，由于面颊上 升了，因此眼睛的纵向宽度更小。如果"嘴张开"和"眼睛变窄"的每一个 被判给1点，那么判给笑脸2的笑容相似度分数是4点。
通过利用表示重要程度的加权而判给每个特征量加权点，而不是 利用统一加权判给点数，分数系统的可靠性增大了。
<第一实施例的修改>
在上面所描述的第一实施例中，重复图像捕获和存储直到已存储 的最佳拍摄图像达到预置数目"n"。然而，本发明并不局限于被重复的 该安排。当指示捕获图像时，也可以重复图像捕获和存储直到存储媒 介16的剩余容量耗尽。
此外，通过提供捕获结束指示设备，可以允许用户在他们选择时 结束图像捕获操作。
例如，利用对捕获结束指示设备的操作，在已捕获了期望表情的 脸部(最佳拍摄图像)但是在到达最佳拍摄的记录的设置数目"n"之前 或者在存储媒介16的剩余容量耗尽之前，用户可结束图像捕获及其他 操作。应该注意的是捕获结束指示设备可以利用相同控制设备作为图 像捕获指示设备(即快门按钮)。在这种情况下， 一旦按下快门按钮 则指示将执行图像捕获并且在捕获图像的同时再次按下按钮则指示将 结束图像捕获。在上述第一实施例中，提取其表情变化量大于或等于预定值的目 标帧之前的m个帧以及之后的m个帧作为最佳图像候选者。然而，本 发明并不局限于这种安排，并且仅包括目标帧之前的m个帧或者目标 帧之后的m个帧以及目标帧图像来作为最佳图像候选者也是可接受 的。 -
此外，在第一实施例中，当从最佳图像候选者中选择最佳拍摄图 像时，计算每个最佳图像候选者的笑容相似度分数。然而，可以通过 选择具有最大表情变化量的最佳图像候选者作为最佳拍摄图像来选择 最佳拍摄图像而无需计算笑容相似度分数。
<第二实施例〉
图6是给出了根据本发明第二实施例的处理的整个流程的流程图。 应该注意的是与图3所示的第一实施例相同的方法的部分被分配给相 同的步骤号码，并且省略对这些部分的详细说明。
在图3所示的第一实施例中，计算目标帧之前和之后的帧中的脸 部的表情变化量。图6所示的第二实施例不同之处在于计算连续捕获 的目标帧中的脸部的表情变化量，所述目标帧与平常脸模板(参考模 板)的脸部相关。
当通过第一图像捕获指令开始捕获/存储n个最佳拍摄图像(其中 "n"是预先设置的)时(步骤SIO)，创建平常脸模板(步骤S30)。
图7是示出了用于创建平常脸模板的处理程序的流程图。应该注 意的是与图3所示的第一实施例相同的程序的部分被分配给相同的步 骤号码，并且省略对这些部分的详细说明。
在用于创建平常脸模板的流程图中，提取包括表情变化量较小的 脸部的预定数目"k"的帧图像，并且从对于所提取的帧图像的脸部局部的特征点的平均值来创建平常脸模板。
如图7所示，当用于创建平常脸模板的处理开始时，该处理判断 根据从之前和当前帧图像所提取的脸部的特征点所计算的表情变化量 是否小于或等于预定门限值X步骤S32)。当表情变化量大于门限值时， 该处理重新设置计数到预定数目k的计数器的计数值、清除临时存储
在SDRAM 24中的帧图像(步骤S34)、并且回到步骤S12。应该注意 的是预定数目k可以，例如通过使不变脸部表情必须维持以被指定为 平常脸的预定时段除以帧时段而得到的。
当在步骤S32中判断出表情变化量小于或等于预定门限值时，该 处理使计数器的计数加l (步骤S36)，并且此后判断当前计数是否大 于或等于预定数目k。当当前计数小于预定数目k时，该处理回到步骤 S12。当当前计数大于或等于预定数目k时，该处理移动到步骤S39。
在步骤S39中，该处理计算存储在SDRAM 24中的预定数目k(也 就是说，k个帧图像)的帧图像中的脸部局部的特征点的平均值，并且 将该平均特征点的位置坐标设置为平常脸模板。
如图6所示，在按照上述方式完成了创建平常脸模板之后，处理 开始图像捕获/存储实际最佳拍摄图像。
在第一实施例(图2)的步骤S16中，处理计算之前和之后帧中 的表情变化量。然而，在第二实施例的步骤S16'中，处理计算从输入 的目标帧所提取的脸部特征点Pi (x,， y,)与平常脸模板的特征点之间 的表情变化量。应该注意的是当在步骤S16'中计算表情变化量时，优 选预先使这两个特征点集标准化。
利用这个安排，可计算相对平常脸的脸部的表情变化量。此后根 据表情变化量最大的目标帧从提取的2m+l个帧图像(最佳图像候选者)当中选择单个最佳图像(最佳拍摄图像)，并且将其存储在存储 媒介16中。按照与第一实施例相同的方式来执行最佳拍摄图像选择等 等。
<第二实施例的修改〉 〃
在上述第二实施例中，在开始捕获和记录实际最佳拍摄图像之前 创建平常脸模板。然而，也可以预先创建平常脸模板并且将其存储在
EEPROM32中。当预先创建平常脸模板时，在创建处理中使用无表情 的脸部数据库。
或者，为每个要捕获的人类对象记录平常脸模板，并且在开始捕 获最佳拍摄图像之前读出给定拍摄的对象的平常脸模板。
另一可能性是从多个对象的平常脸创建平均平常脸模板并且将其 存储在EEPROM 32上。
更进一步的可能性是根据各种对象属性创建平常脸模板并且将其 存储在EEPROM 32中。考虑用作对象属性的特征包括性别、年龄、成 熟度(孩子或者成人)、以及种族。
应该注意的是平常脸模板不必是利用数字照相机IO创建的，并且 可以在运送之前将其存储在EEPROM 32中或者根据外部源的输入而 存储。
<第三实施例>
图8是给出了根据本发明第三实施例的处理的整个流程的流程图。 应该注意的是与图3所示的第一实施例共享的过程的部分被分配给相 同的步骤号码，并且省略对这些部分的详细说明。
在图8所示的第三实施例中，第一实施例的处理补充有步骤S40的处理。此外，步骤S22'提供了与步骤S22的最佳拍摄图像选择方法
不同的处理程序。
在步骤S40中，处理判断每个最佳图像候选者中的脸部方向(脸 部的方向)。 一
如图9所示，右眼的内端点表示为"a"并且左眼的内端点表示为 "b"。线ab与平行于鼻子的鼻梁且垂直于线ab而延伸的线之间的交叉 点表示c。
通过将距离ac与距离bc进行比较来执行评分。
该处理根据距离之间的比率或者根据距离差来计算分数(脸部方 向分数)。当距离ac和距离bc的值彼此接近(接近相等)时，判断出 脸部接近正面的脸(脸部差不多面向前方)并且向该脸部判给较高分 数。当仅可提取一个眼睛时，该处理判断出脸部处于侧面并且判给分 数"O"。
另外，该处理使用包括有与0。相对应的面向正面的脸部、与卯° 相对应的侧面脸部、以及以10°为间隔的这两者之间的脸部的脸部词 典，判断每个帧中的脸部与角度词典中的脸部之间的匹配程度是否很 高，并且根据匹配程度判给分数。
回到图8，可知在步骤S22'中处理从在步骤S20所提取的2m+l个 帧图像(最佳图像候选者)选择单个最佳图像(最佳拍摄图像)。在 图3所示的第一实施例中，只根据笑容相似度分数或者根据笑容相似 度分数连同表情变化量来选择最佳拍摄图像。然而，在步骤S22'中， 处理判给的分数是每个最佳图像候选者的笑容相似度分数与脸部方向 分数的总和，并且选择具有最高结果分数的最佳图像候选者作为最佳拍摄图像。
或者，处理从具有大于或等于预定值的结果分数的最佳图像候选 者当中选择最佳拍摄图像。
在步骤S22'中，处理此后将所选最佳拍摄图像存储在如上所述的 存储媒介16中。
<第三实施例的修改〉
在上述第三实施例中，使用脸部方向分数来选择最佳拍摄图像。 然而，取代脸部方向分数或者除了脸部方向分数之外，可判断对象眼 睛的方向。在这种情况下，当对象眼睛更直接地看向照相机时，在评 分中分数变得较高，并且该分数(对象眼睛方向分数)可用于选择最 佳拍摄图像。
为了判断对象眼睛的方向，该处理对在眼睛区域中瞳孔的位置进 行检测。例如，当脸部面向前并且瞳孔位置位于眼睛区域中心时，判 断出对象眼睛看向照相机。因此，该处理可根据脸部方向和瞳孔在眼 睛区域中的位置判断对象眼睛的方向。
笑容相似度分数、脸部方向分数、对象眼睛方向分数、以及表情 变化量中的任何一个可用于从最佳图像候选者当中选择最佳拍摄图 像。或者，可适当结合两个或更多个分数并且用于选择。
除了笑脸模板之外，可制备其他脸部表情模板。处理此后选择最 接近最佳图像候选者的表情模板并且根据所选表情模板的脸部表情的 相似程度来判给每个最佳候选者图像分数。
<第四实施例〉
图10是示出了根据本发明第四实施例的处理的整个流程的流程图。应该注意的是与图3所示的第一实施例相同的程序的部分被分配 给相同的步骤号码，并且省略对这些部分的详细说明。
在图IO所示的第四实施例中，第一实施例的处理补充有步骤S50
的处理。此外，步骤S22"提供了与步骤S22-的最佳拍摄图像选择方法 不同的处理程序。
在步骤S50中，当在帧图像中检测到多个面部时，处理选择典型 脸部。该处理从由脸部检测单元30所检测到的多个脸部当中选择最大 的脸部作为典型脸部。或者，该处理判给每个面部区域点数来确定每 个条件的重要性并且使用具有最大点数总和的脸部作为典型脸部，所 述条件是从脸部亮度、位置、大小、以及脸部清晰度当中选择的一个 或多个。
仅对在步骤S50所选的典型脸部执行步骤S14至S18的处理。
在步骤S22"中，处理利用下述之一从在步骤S20所提取的2m+l 个帧图像(最佳图像候选者)当中选择单个最佳图像(最佳拍摄图像)。
(1 )该处理挑选包含有最大数目的具有笑容相似度分数至少为门 限值的脸部的帧作为最佳拍摄图像。当多个帧具有相同数目的笑脸时， 该处理挑选其中典型脸部具有最高笑容相似度分数的帧作为最佳拍摄 图像。
(2)该处理也可以利用来挑选包含有最大数目的具有笑容相似度 分数至少为门限值的脸部的帧作为最佳拍摄图像。当多个帧具有相同 数目的笑脸时，该处理挑选其中典型脸部具有最大表情变化量的帧作 为最佳拍摄图像。
在上面所描述的(1)和(2)中，除了各自的脸部之外，还必须计算除了典型脸部之外的脸部的笑容相似度分数。
(3) 该处理挑选其中典型脸部具有最高笑容相似度分数的帧作为 最佳拍摄图像。
(4) 该处理挑选其中典型脸部具有至少为门限值的笑容相似度分 数的帧，并且从这些帧当中挑选具有典型脸部中的最大表情变化量的 帧作为最佳拍摄图像。
在上面所描述的(3)和(4)中，不必计算除了典型脸部之外的
脸部的笑容相似度分数，并且该处理类似于第一实施例的步骤S22。
应该注意的是在按照第三实施例和第三实施例的修改示例中所描 述的方式考虑了脸部方向分数和对象眼睛方向分数之后选择最佳拍摄 图像。
<第五实施例>
下面描述了当在最佳拍摄图像捕获模式下捕获图像时的用户界面。
因为在照相机侧确定最佳拍摄图像捕获模式下的最佳拍摄图像的 存储定时，因此利用声音或者显示指示器向用户通知已存储了图像。
图ll示出了在最佳拍摄图像捕获模式下进行图像捕获期间在显示
单元14上所显示的屏幕的示例。除了显示通过图像之外，显示单元14 还显示可存储的最佳拍摄(BS)的最大数目(100)和已存储的最佳拍 摄的当前数目(8)。
该安排可使用户看到仍可存储多少最佳拍摄图像。此外，当获得 新的最佳拍摄时对已存储的最佳拍摄的当前数目的计数可使用户看到当存储最佳拍摄时的定时。
图12A和12B示出了在最佳拍摄图像捕获模式下进行图像捕获期 间在显示单元14上所显示的屏幕的第二示例。
图12A和12B所示的显示单元14显示的屏幕显示了最佳拍摄的 当前数目以及直通图像(pass-through image)。此外，指示器的颜色根 据已存储的最佳拍摄的当前数目而变化。
具体地说，指示器的颜色逐步变化，当已存储的最佳拍摄的当前 数目是最佳拍摄(BS)的最大数目的很小比例时指示器颜色是绿色， 当当前数目大约是最大数目的一半时是黄色，并且当当前数目接近最 大数目时是红色。
在图12A所示的示例中，因为假如最佳拍摄(BS)的最大数目是 "100"，那么当已存储了八个最佳拍摄时以绿色显示数字"8"(参见图 12A)并且当已存储了 98个最佳拍摄时以红色显示"98"(参见图12B)。
应该注意的是，本发明并不局限于根据由已存储的最佳拍摄的当 前数目所构成的最佳拍摄的最大数目的比例而为已存储的最佳拍摄的 数目改变指示器的颜色。可以仅当已存储的最佳拍摄的当前数目接近 最大数目时使指示器改变颜色。此外，本发明并不局限于改变指示器 的颜色。例如，已存储的最佳拍摄的当前数目可以断续地闪烁。只要 当当前数目接近最大数目时以显示已存储的最佳拍摄的当前数目的方 式存在变化，则提供任何指示器都是可接受的。
图13A和13B示出了在最佳拍摄图像捕获模式下进行图像捕获期 间在显示单元14上所显示的屏幕的第三示例。
图13A所示的显示单元14的显示屏在小窗口中显示存储在存储媒介16中的最近的最佳拍摄的尺寸减小的图像以及通过图像。
图13B所示的显示单元14的显示屏在小窗口中显示存储在存储媒 介16中的最近五个最佳拍摄的尺寸减小的图像以及通过图像。当记录 了新的最佳拍摄图像时，更新在显示单元14的显示屏上所显示的尺寸 减小的最佳拍摄图像。
应该注意的是在显示单元14的显示屏上所显示的尺寸减小的最佳 拍摄图像的数目并不局限于当前实施例的数目。
每当存储最佳拍摄图像时，音频控制单元38通过扬声器39产生 声音(诸如快门的滴答声的耳朵捕获声音)以表示存储最佳拍摄图像 的时刻。
可以将已存储的最佳拍摄图像的数目、已存储图像的显示、以及 在存储时刻的耳朵捕获声音进行组合可以改善可用性。
<修改示例>
在该实施例中，虽然数字照相机IO用作示例，但是本发明可适用 于监控照相机和移动电话中的照相机。此外可根据本实施例，制备用 于使个人计算机等等起到图像处理设备的作用的图像处理程序、可将 该图像处理程序安装在计算机上、并可使该计算机执行程序。当将该 程序安装在计算机上时，可使用记录该程序的记录媒介。
例如，可使用诸如被捕获为视频、TV图像等等的活动图像的连续 拍摄的图像作为输入图像，从该输入图像中提取最佳拍摄图像，并且 将该最佳拍摄存储为静止图像。
此外，本发明还可是上述实施例的适当组合。应该注意的是虽然已根据本发明对图像处理装置、图像捕获装置、 图像处理方法、图像处理程序、以及记录媒介进行了详细的描述，但 是本发明并不局限于这些示例并且在不脱离本发明的范围或者精神的 情况下可按照多种方式对这些示例进行改善和修改。
权利要求
1. 一种图像处理装置，包括图像获取设备，所述图像获取设备用于顺序地获取按照连续方式所捕获的图像；脸部检测设备，所述脸部检测设备用于对所获取的图像中的脸部进行检测；表情变化量计算设备，所述表情变化量计算设备用于对每个目标帧计算表情变化量，所述表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧；提取设备，所述提取设备用于提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及存储设备，所述存储设备用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
2. —种图像处理装置，包括图像获取设备，所述图像获取设备用于顺序地获取按照连续方式 所捕获的图像；脸部检测设备，所述脸部检测设备用于对所获取图像中的脸部进 行检测；表情变化量计算设备，所述表情变化量计算设备用于对每个目标 帧计算表情变化量，所述表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，所述目标帧是获取帧 中的每个或者是所述获取帧中规则间隔的帧；提取设备，所述提取设备用于提取所计算的表情变化量是预定值 以及之上的目标帧的图像；以及存储设备，所述存储设备用于将所提取的目标帧的图像或者位于 所提取的目标帧附近的帧的图像存储在存储媒介中。
3. 根据权利要求2所述的图像处理装置，其中所述参考模板是根据与一个或多个人的平常脸的脸部局部相对应 的多个特征点的坐标位置而创建的。
4. 根据权利要求3所述的图像处理装置，其中 预先创建与人的属性相对应的多个参考模板并且将所述多个参考模板存储在存储器中，以及，从所述存储器读取并使用与通过所述图像获取设备获取的图像中 的人的属性相对应的参考模板。
5. 根据权利要求l所述的图像处理装置，还包括典型脸部选择设备，所述典型脸部选择设备用于当所述脸部检测 设备检测到多个脸部时，根据以亮度、位置、大小以及脸部清晰度中 的至少一个为条件来选择典型脸部以作为所述目标帧的图像中检测到 的脸部。
6. 根据权利要求l所述的图像处理装置，其中所述表情变化量检测设备包括特征点提取设备，所述特征点提取设备用于提取与每个脸部局部 相对应的多个特征点；标准化设备，所述标准化设备用于使所提取的特征点的坐标位置 标准化；以及计算设备，所述计算设备用于根据每个脸部中的相应特征点的标 准化坐标位置之间的距离总和或者标准化坐标位置之间的距离的平方 和来为两个比较的脸部计算表情变化量。
7.根据权利要求1所述的图像处理装置，还包括 最佳图像候选者提取设备，所述最佳图像候选者提取设备用于提 取所提取的目标帧的图像以及多个连续帧的图像以作为最佳图像候选 者，所述多个连续帧的图像是所述目标帧的图像之前和之后的至少一个；以及最佳图像选择设备，所述最佳图像选择设备用于从所提取的最佳 图像候选者组中选择最佳图像，其中所述存储设备将所选择的最佳图像存储在所述存储媒介中。
8. 根据权利要求7所述的图像处理装置，其中 所述最佳图像选择设备包括、 下述至少一个第一估计设备，所述第一估计设备用于将所述最佳图像候选者的 脸部与表示预定表情的表情模板进行比较，并且根据比较结果而判给 每个最佳图像候选者分数；第二估计设备，所述第二估计设备用于对所述最佳图像候选者中 的脸部方向进行检测，并且根据所检测到的脸部方向判给每个最佳图 像候选者分数；以及第三估计设备，所述第三估计设备用于对所述最佳图像候选者中 的对象眼睛的方向进行检测，并且根据所检测到的对象眼睛的方向判 给每个最佳图像候选者分数；以及选择设备，所述选择设备用于根据由所述估计设备中的至少一个 所判给的一个或多个分数来从所述最佳图像候选者当中选择最佳图 像。
9. 根据权利要求8所述的图像处理装置，其中 所述选择设备选择具有最高分数的图像以作为最佳图像，或者从其分数大于或等于预定值的最佳图像候选者当中选择具有由所述表情 变化量计算设备所计算的最大表情变化量的图像作为最佳图像。
10. —种图像捕获装置，包括图像捕获设备，所述图像捕获设备可操作用于按照连续方式捕获对象的图像；以及根据权利要求l所述的图像处理装置，其中所述图像获取设备顺序地获取由所述图像捕获设备按照连续方式 所捕获的图像。
11. 根据权利要求IO所述的图像捕获装置，还包括 图像捕获指示设备；以及存储数目设置设备，所述存储数目设置设备用于设置响应所述图 像捕获指示设备的单个图像捕获指令p将要存储在存储媒介中的图像 的数目，其中当所述图像捕获指示设备发出了图像捕获的指令时，重复所述图 像捕获设备的图像捕获操作以及所述图像处理装置的图像处理，直至 已存储的图像数目达到了所设置的要存储的图像的数目。
12. 根据权利要求ll所述的图像处理装置，还包括 捕获结束指示设备，其中在所述图像捕获指示设备已发出了图像捕获的指令之后，当所述 捕获结束指示设备发出捕获结束的指令时，在已存储的图像数目达到 所设置的要存储的图像的数目之前结束所述图像捕获设备的图像捕获 操作以及所述图像处理装置的图像处理。
13. 根据权利要求IO所述的图像处理装置，还包括 图像捕获指示设备，其中当所述图像捕获指示设备发出图像捕获的指令时，重复所述图像 捕获设备的图像捕获操作以及所述图像处理装置的图像处理，直至所 述存储媒介中没有剩余空间。
14. 根据权利要求3所述的图像处理装置，还包括 捕获结束指示设备，其中在所述图像捕获指示设备已发出了图像捕获的指令之后，当所述 捕获结束指示设备发出捕获结束的指令时，在所述存储媒介中没有剩 余空间之前结束所述图像捕获设备的图像捕获操作以及所述图像处理装置的图像处理。
15. 根据权利要求IO所述的图像捕获装置，还包括 声音产生设备，所述声音产生设备在每次将图像存储在所述存储媒介中时产生声音以通知用户存储定时。—
16. 根据权利要求10的图像捕获装g，还包括图像显示设备，所述图像显示设备用于显示由所述图像捕获设备 按照连续方式所捕获的图像；以及显示控制设备，所述显示控制设备用于使所述图像显示设备将最 近存储在所述存储媒介上的一个或多个图像显示为尺寸减小的图像， 所述尺寸减小的图像具有小于所述图像显示设备的整个显示区的面 积。
17. 根据权利要求IO所述的图像处理装置，还包括 显示设备，所述显示设备用于显示可存储在存储媒介上的图像的最大数目以及已存储图像的当前数目，每当将图像存储在所述存储媒 介中时更新所述已存储图像的当前数目。
18. 根据权利要求IO所述的图像处理装置，还包括 显示设备，所述显示设备显示每当将图像存储在所述存储媒介中时所更新的所述已存储图像的当前数目，并且至少当存储在所述存储 媒介上的图像数目接近可储存在所述存储媒介中的图像的最大数目 时，改变所述已存储图像的当前数目的显示形式。
19. 一种图像处理方法，包括步骤 顺序地获取按照连续方式所捕获的图像； 对所获取图像中的脸部进行检测；对每个目标帧计算表情变化量，所述表情变化量表示在当前目标 帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧 中规则间隔的帧；提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图 像存储在存储媒介中。
20. —种图像处理方法，包括步骤 顺序地获取按照连续方式所捕获的图像； 对所获取的图像中的脸部进行检测；对每个目标帧计算表情变化量，所述表情变化量表示在每个目标 帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，所述 目标帧可以是获取帧中的每个或者是所述获取帧中规则间隔的帧；提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图 像存储在存储媒介中。
21. 根据权利要求19所述的图像处理方法，进一步包括步骤 提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选者，所述多个连续帧的图像是所述目标帧的图像之前和之后的至 少一个；以及从所提取的最佳图像候选者组中选择最佳图像以将所述最佳图像 存储在所述存储媒介中。
22. —种存储图像处理程序的记录媒介，所述图像处理程序使计 算机实现下述功能顺序地获取按照连续方式所捕获的图像； 对所述获取的图像中的脸部进行检测；计算每个目标帧的表情变化量，所述表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部 之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧 中规则间隔的帧；提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及 -将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图 像存储在存储媒介中。
23. —种存储图像处理程序的记录媒介，所述图像处理程序使计 算机实现下述功能顺序地获取按照连续方式所捕获的图像； 对所获取的图像中的脸部进行检测；对每个目标帧计算表情变化量，所述表情变化量表示在每个目标 帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，所述 目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧；提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图 像存储在存储媒介中。
24. 根据权利要求22所述的记录媒介，所述图像处理程序进一步 使计算机实现下述功能提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像 候选者，所述多个连续帧的图像是所述目标帧的图像之前和之后的至 少一个；以及从所提取的最佳图像候选者组中选择最佳图像以将所述最佳图像 存储在所述存储媒介中。
全文摘要
图像处理装置、图像捕获装置、图像处理方法及记录媒介。获取按照连续方式所捕获的图像并对其进行临时存储。提取所获取的帧图像中的脸部的特征点。计算在当前帧中的脸部(脸部部分)的特征点与在之前帧的特征点之间的距离总和(表情变化量)。提取其中表情变化量最大的目标帧图像以及其中表情变化量最大的目标帧图像之前和之后的m个帧图像以作为最佳图像候选者。从最佳图像候选者中提取最佳拍摄图像并将其存储到存储媒介中。因此，可有效地从按照连续方式所捕获的图像当中仅提取包含用户期望记录的脸部的图像(最佳拍摄图像)并对其进行存储。
文档编号G06K9/00GK101419666SQ20081016815
公开日2009年4月29日 申请日期2008年9月28日 优先权日2007年9月28日
发明者中村友和 申请人:富士胶片株式会社