信息处理设备和信息处理方法与流程

本公开涉及信息处理设备和信息处理方法。

背景技术：

近年来，诸如电子设备等的设备的功能已经变得更复杂以及在数量上增加，且用户必须给用户的设备的指令正变得更加多样和复杂。如此，许多设备使用gui(图形用户界面)作为用户界面，由此可以比在使用利用cui(字符用户界面)的设备的情况下更容易地向设备给出指令。

但是，例如，对于不习惯于使用诸如鼠标的指向设备的用户，gui不一定是具有良好的可操作性的界面。因此，存在对用户可以通过其更直观地向设备给出指令的用户界面的需求。这已导致开发用户界面以改善用户可操作性。日本未审查专利申请公开no.2005-31799是用于检测用户的身体的部分或者由用户操作的物体的形状和动作、并根据所检测的结果来进行处理的技术的一个例子。

技术实现要素：

已经应用了涉及用于改进可操作性的用户界面的现有技术(此后简称为"现有技术")的信息处理设备(此后简称为"根据现有技术的信息处理设备")通过对成像图像(运动图像，此后称为"成像图像")进行图像处理来检测用户使用手臂、手掌、手指等在空间中的姿势动作。在已经检测到用户的姿势动作的情况下，根据现有技术的信息处理设备进行对应于所检测的用户的姿势动作的处理。因此，根据现有技术的信息处理设备的用户可以以比使用gui的情况更直观的方式向根据现有技术的信息处理设备提供指令，且因此，使用现有技术可以改善用户可操作性。

但是，通过现有技术，检测在空间上用户的身体的至少一部分比如胳膊、手掌、手指等的或者由用户操作的物体的形状或动作，来检测用户的姿势动作，因此必须对整个成像图像进行图像处理。因此，要检测的姿势动作的类型越多以及姿势动作越复杂，要求的进行图像处理的根据现有技术的信息处理设备的处理能力越高。现在，即使近年来随着更高的功能性诸如pc(个人计算机)等的信息处理设备的处理能力已经改善，但是将大量计算资源转移到用户界面可能导致实现诸如例如用于控制通信的功能的其他功能的计算资源不足。此外，在用于实现其他功能的计算资源已变得不足的情况下，直到计算资源的不充足性已经解决才执行与该功能有关的处理，因此通过根据现有技术的信息处理设备，可能出现其中使得用户等待不合理的时间量或不实现功能的不期望的情况。因此，对于使用现有技术的情况，必定不能改进用户可操作性方面的改进，因为可能在处理中牺牲用户便捷性。

已经发现期望提供一种新的且改进的信息处理设备和信息处理方法，从而可以改善用户可操作性。鉴于以上，提供本设备和方法。根据图示实施例，通过以下来实现该设备和方法：检测图像的面部区域，根据面部区域的位置来设置至少一个动作区域，为了确定是否已经进行了预定动作的目的，将对应于至少一个动作区域的图像数据与检测信息相比较，以及当确定已经进行了预定动作时，生成通知。

附图说明

图1是图示根据本公开的实施例的信息处理设备设置的动作区域的例子的说明图；

图2是图示根据本公开的实施例的信息处理设备设置的动作区域的例子的说明图；

图3是图示通过根据本公开的实施例的信息处理设备的动作区域设置处理的例子的说明图；

图4是图示由于进行根据本公开的实施例的通知处理而向用户的通知的例子的说明图；

图5是图示由于进行根据本公开的实施例的通知处理而改变成像图像的例子的说明图；

图6是图示由于进行根据本公开的实施例的通知处理而改变成像图像的另一例子的说明图；

图7是图示由于进行根据本公开的实施例的通知处理而向用户的通知的另一例子的说明图；

图8是图示由于进行根据本公开的实施例的通知处理而向用户的通知的另一例子的说明图；

图9是图示根据本公开的实施例的信息处理设备的与可操作性改善方法有关的处理的例子的流程图；

图10是图示根据本公开的实施例的信息处理设备的动作确定处理的例子的流程图；

图11是用于描述通过根据本公开的实施例的信息处理设备使用个体检测信息检测已经进行预定动作的优点的说明图；

图12是用于描述通过根据本公开的实施例的信息处理设备使用个体检测信息检测已经进行预定动作的优点的说明图；

图13是图示根据本公开的实施例的信息处理设备的与可操作性改善方法有关的处理的另一例子的流程图；

图14是图示根据本公开的第一实施例的信息处理设备的配置的例子的方框图；

图15是图示根据本公开的实施例的信息处理设备的硬件配置的例子的说明图；

图16是图示根据本公开的第二实施例的信息处理设备的配置的例子的方框图；以及

图17是图示根据本公开的第三实施例的信息处理设备的配置的例子的方框图。

具体实施方式

将参考附图描述本公开的优选实施例。注意，在本说明书和附图中，用相同附图标记来标示具有实质上相同功能配置的组件，且将省略冗余的描述。

此外，下面将根据以下顺序来进行描述。

1.根据本公开的实施例的方法

1-1.用于可操作性改善方法的第一处理

1-2.用于可操作性改善方法的第二处理

2.根据本公开的实施例的信息处理设备

3.根据本公开的实施例的程序

1.根据本公开的实施例的方法

在描述根据本公开的实施例的信息处理设备(此后，可以称为"信息处理设备100")的配置之前，将描述根据本公开的实施例的可操作性改善方法。以下，将通过配置的主要例子进行描述，其中已经在信息处理设备100的外部设备处成像的成像图像被输入到信息处理设备100，且信息处理设备100处理成像图像。注意，根据本公开的实施例的信息处理设备100的配置不限于上述，且可以进行布置，其中，例如，信息处理设备100具有成像功能，且已经使用该成像功能成像的成像图像被处理。此外，根据本公开的实施例的成像图像是通过成像而获得的运动图像(在时间轴上连续成像的静态图像的组)。此外，以下所述的根据本公开的实施例的与可操作性改善方法有关的处理可以被理解为涉及根据本公开的实施例的信息处理方法的处理。

可操作性改善方法的概述

如上所述，在检测用户的姿势动作(此后可以简称为"动作")并进行对应于检测的动作的处理的情况下，用户可以比使用gui的情况更直观地向信息处理设备给出指令。因此，信息处理设备100通过进行成像图像的图像处理并进行对应于所检测的动作的处理来检测用户动作，由此改善用户操作。

现在，在像根据现有技术的信息处理设备那样对整个成像图像进行图像处理的情况下，高处理能力是进行图像处理的先决条件。因此，将大量计算资源转移到用户界面可能像根据现有技术的信息处理设备那样导致用于实现其他功能的计算资源不足。此外，在用于实现其他功能的计算资源已经变得不足的情况下，可能出现其中使得用户等待不合理的时间量或不实现功能的不期望的情况。

因此，通过信息处理设备100，从成像图像检测包括用户的面部的区域(此后称为"面部区域")，且在通过检测标识的面部区域(此后可以称为"标识的面部区域")附近设置用于检测用户动作的成像图像中的动作区域。信息处理设备100在设置的动作区域中检测用户的预定动作，并进行关于已经检测到的预定动作的处理。现在，根据本公开的实施例的预定用户动作是作为确定的对象的用户动作，其中，在信息处理设备100处进行关于是否已经进行了动作的确定。信息处理设备100基于例如成像图像和稍后描述的参考检测信息或个体确定信息来进行上述确定。

通过如上所述设置动作区域，信息处理设备100可以通过对作为成像图像的一部分的区域进行图像处理，而不是像根据现有技术的信息处理设备那样对整个成像图像进行图像处理，来检测用户动作。现在，通过信息处理设备100，相比于根据现有技术的信息处理设备，涉及用户界面的计算负荷可以显著降低，因此不担心像根据现有技术的信息处理设备那样实现其他功能的技术资源不足。此外，信息处理设备100通过进行面部识别处理从成像图像中标识面部区域，该面部识别处理是在诸如例如蜂窝电话的数字相机的不具有很高的处理能力的设备中实现的相对较轻的处理，并且信息处理设备100在该面部区域附近设置动作区域，因此在设置动作区域时的计算负荷也不大。从而，信息处理设备100可以防止发生如上所述像根据现有技术的信息处理设备那样可能发生的不希望的情况，因此不像根据现有技术的信息处理设备那样牺牲用户便利性。因此，信息处理设备100可以改善用户可操作性。

此外，信息处理设备100进行与在面部区域附近设置的动作区域中检测的预定动作对应的处理，因此，与取整个成像图像作为处理的对象的根据现有技术的信息处理设备相比，可以减少由于例如除了与面部区域对应的用户之外的人或物体进行的动作引起的预定动作的错误检测。从而，与根据现有技术的信息处理设备相比，信息处理设备100可以进一步改善用户可操作性。

此外，信息处理设备100进行与预定动作的含义相关的处理，作为与在面部区域附近设置的动作区域中检测的预定动作对应的处理。例如，在已经检测到用户在面部附近侧向来回移动手的动作(通常，意味着"再见"或"bye-bye"的动作，下文中可以称为"bye-bye动作")作为预定动作的情况下，信息处理设备100进行与所检测的动作的含义相关的处理，比如例如关闭要控制的设备(信息处理设备或外部设备)的电源、使从该设备输出的音频(包括音乐)静音等的处理。此外，在已经检测到用户在动作区域中垂直地来回移动手的动作作为预定动作的情况下，信息处理设备100进行与检测的动作的含义相关的处理，比如例如升高从要控制的设备输出的音频的音量等。

如上所述，通过信息处理设备100进行与检测的动作的含义相关的处理(考虑到功能可见性(affordance)的处理)，用户将感觉到用户自身的动作和信息处理设备100进行的处理(或信息处理设备100致使外部设备进行的处理)之间的不一致性的机会可以进一步减小。从而，信息处理设备100可以进一步改善用户可操作性。

另外，在确定已经进行预定动作的情况下(在已经检测到预定动作的情况下)，信息处理设备100可以进一步进行通知处理，其中，通知用户已经在信息处理设备100处进行了已经进行预定动作的确定。此外，在进行通知处理的情况下，在已经确定从已做出的已经进行预定动作的确定开始已经连续进行预定动作达预定时间段的情况下，信息处理设备100进行与已经确定的预定动作对应的处理。

现在，根据本公开的实施例的通知处理的例子包括改变在该设备本身具有的显示单元的显示屏幕上显示的图像(稍后描述)，或改变被提供给显示单元的照明设备的点亮状态，由此视觉上进行对用户的通知。也就是说，根据本公开的实施例的通知处理可以被理解为向用户的反馈处理。注意，根据本公开的实施例的通知处理不限制于上述。例如，信息处理设备100可以进行用于音频上进行对用户的通知的处理，比如从该设备本身具有的音频输出设备(例如，稍后描述的音频输出单元)或外部音频输出设备等输出指示确定了已经进行了预定动作的音频，作为通知处理。此外，信息处理设备100可以经由网络(或直接地)向外部设备传输处理执行命令以通知外部设备已经在信息处理设备100处确定了已经进行预定动作，作为通知处理。通过上述，信息处理设备100可以致使致外部设备进行对用户的通知。

通过信息处理设备100进行通知处理，可以使得用户理解用户进行的动作已经被信息处理设备100识别。另外，在确定已经持续进行预定动作达预定时间段的情况下，信息处理设备100进行对应于所确定的预定动作的处理，因此，用户可以通过停止他/她自己的动作来取消与在信息处理设备100处的该动作对应的处理的执行。因此，在用户进行了预定动作且信息处理设备100已经识别到此之后用户期望取消在信息处理设备100处的与该动作对应的处理的执行的情况下，或甚至在信息处理设备100碰巧错误地检测了用户已经进行的动作的情况下，用户可以通过他/她自己的动作来控制在信息处理设备100处的对应于该动作的处理的执行。

因此，通过进行通知处理且进一步选择性地进行与在确定了已经持续进行预定动作达预定时间段的情况下确定的预定动作对应的处理，信息处理设备100可以防止用户不想要的处理由于错误检测而被执行，且因此还可以改善用户方便性和可操作性。

例如，信息处理设备100通过进行诸如上述处理来改善用户可操作性。更具体地，例如，信息处理设备100进行

1-1.可操作性改善方法的第一处理以及

1-2.可操作性改善方法的第二处理，

由此改善用户可操作性。

1-1.可操作性改善方法的第一处理

首先，将描述根据本公开的实施例的可操作性改善方法的第一处理。信息处理设备100进行以下处理(1)到处理(4)，由此改善用户可操作性。

(1)面部区域检测处理

信息处理设备100从成像图像中检测用户(被摄体)的面部，并标识面部区域。现在，标识面部区域可以通过检测例如用户的眼睛、鼻子、嘴巴、结构(structure)等的特征点并检测面部亮度分布和类似于结构样式的区域来进行。注意，在根据本公开的实施例的信息处理设备100处的面部区域检测处理不限于以上。例如，信息处理设备100可以检测要处理的当前帧和退后的一帧之间的差来检测移动体，并通过从该移动体标识头部来检测面部区域。

此外，与在信息处理设备100处标识面部区域有关的数据、比如面部亮度分布和结构样式(structurepattern)等的数据被存储在信息处理设备100具有的存储单元(稍后描述)中。注意，信息处理设备100可以经由例如信息处理设备100具有的通信单元(稍后描述)与诸如服务器的外部设备通信，并从外部设备获得与标识面部区域有关的数据。

此外，例如，如图1所示，信息处理设备100标识比面部大并包括检测的面部的区域，但是在信息处理设备100处的面部区域标识方法不限于以上。例如，信息处理设备100可以标识包括检测的面部的区域的最小区域(例如最紧密地包含检测的面部的区域，比如图3所示)，作为面部区域。

例如，信息处理设备100如上所述标识面部区域。现在，信息处理设备100处理的成像图像是运动图像，可能存在在某帧中标识的面部区域在成像图像中的位置在下一帧中改变的情况。从而，信息处理设备100例如对每帧进行面部区域检测处理。注意，根据本公开的实施例进行面部区域检测处理的频率不限于以上，并且例如信息处理设备100可以每隔预定帧或每隔预定时间进行面部区域检测处理。

(2)动作区域设置处理

在上述处理(1)(面部区域检测处理)中检测到面部区域时，信息处理设备100基于面部区域来在面部区域附近设置动作区域。

图1和2是图示根据本公开的实施例的信息处理设备100设置的动作区域的例子的说明图。图1和2中的fa表示信息处理设备100检测的用户的面部区域，且图1中的ma1和ma2和图2中的ma1到ma4图示了信息处理设备100已经设置的动作区域的例子。此后，面部区域可以称为"面部区域fa"，且动作区域可以统称为"动作区域ma"。现在已经为了方便描述例示了图1和2所示的面部区域fa和动作区域ma，且例如在要在诸如显示设备300的外部设备的显示屏幕上或在信息处理设备100具有的显示单元(稍后描述)的显示屏幕上显示成像图像的情况下，面部区域fa和动作区域ma不需要明确示出(这在以下描述通篇都成立)。不用说，根据本公开的实施例的信息处理设备100可以显示其中明确示出了面部区域fa和动作区域ma的成像图像。

现在，虽然图1图示了信息处理设备100已经设置了圆形动作区域的例子，但是由根据本公开的实施例的信息处理设备100设置的动作区域ma不限于图1所示的例子。例如，信息处理设备100可以设置各种形状的动作区域，比如图2所示的矩形动作区域、椭圆动作区域等。此外，虽然图1示出了信息处理设备100已经在面部区域fa的左侧附近和面部区域fa的右侧附近设置了动作区域ma的情况，但是根据本公开的实施例的信息处理设备100设置的动作区域ma不限于上述。例如，信息处理设备100可以将动作区域ma设置为在面部区域fa左侧附近或面部区域fa右侧附近之一。此外，如图2所示，例如，信息处理设备100还可以将一个或多个动作区域ma设置到面部区域fa以下附近。此外，信息处理设备100可以将一个或多个动作区域ma设置到面部区域fa以下附近或面部区域fa以上附近之一、或面部区域fa以下附近和面部区域fa以上附近两者。不用说，信息处理设备100在面部区域附近设置的动作区域ma不限于上述。

通过设置诸如图1和2所示的动作区域ma，信息处理设备100不检测在动作区域ma之外进行的比如图1中的a所示的动作作为预定动作。因此，信息处理设备100可以比取整个成像图像作为处理对象的现有技术的信息处理设备更多地降低错误地检测预定动作的可能性。

此外，例如，通过将多个动作区域ma设置在面部区域fa附近，比如图2所示，信息处理设备100可以检测在多个动作区域ma的每个中的预定动作，且例如对对应于检测的预定动作的每个动作区域ma进行处理。

现在，例如，在增加要设置的动作区域ma的数量的情况下，如图2所示，计算负荷大于图1中所示的情况，但是与对整个成像图像进行图像处理的根据现有技术的信息处理设备相比，计算负荷显著降低。从而，即使在例如如图2所示增加要设置的动作区域的数量的情况下，也不担心像根据现有技术的信息处理设备那样的不足够的计算资源，因此在用户便利性方面没有变坏。

此外，通过如上所述对于每个动作区域ma进行与预定动作对应的处理，例如即使在用户已经进行了相同的预定动作的情况下，信息处理设备100也可以进行对每个检测的动作区域ma不同的处理。也就是说，信息处理设备100可以适应化对于一个预定动作的多个处理。不用说，在多个动作区域ma的每个处检测到一个预定动作的情况下信息处理设备100进行的处理可以相同。

此外，通过如上述对每个动作区域ma进行对应于预定动作的处理，信息处理设备100可以进行与检测到预定动作的位置(更具体地，检测到其的区域)相联系的与检测的动作的含义相关的处理(考虑到功能可见性的处理)。因此，信息处理设备100可以进一步改善用户可操作性。

动作区域设置处理的具体例子

现在，将更详细地描述信息处理设备100的动作区域设置处理的例子。图3是用于描述在根据本公开的实施例的信息处理设备100处的动作区域设置处理的例子的说明图。现在，图3示出在将动作区域ma设置到面部区域fa的左侧附近和右侧附近的情况下的处理的例子，如图1所示。

信息处理设备100基于所标识的面部区域fa的宽度(水平方向的长度)w和高度(在垂直方向上的长度)h来设置动作区域ma。现在，图3图示了其中信息处理设备100已经设置了宽度2w和高度2h的矩形动作区域ma1和ma2的例子。注意，例如，信息处理设备100也可以设置动作区域ma以便为其中2w和2h是短轴和长轴的椭圆形(当w＝h时是圆形)。

此外，例如，信息处理设备100设置动作区域ma以便变得与所标识的面部区域fa接触，如图3所示，但是，信息处理设备100的动作区域ma的设置方法不限于上述。例如，信息处理设备100可以将动作区域ma设置在距离标识的面部区域fa预定数量像素的位置处。也就是说，根据本公开的实施例“将动作区域设置在面部区域附近”包括与面部区域fa接触地设置动作区域ma和在靠近面部区域fa附近的位置处设置动作区域ma

如上所述，例如，信息处理设备100基于所标识的面部区域fa的宽度w和高度h来设置动作区域ma。

注意，根据本公开的实施例的信息处理设备100的动作区域ma的设置处理不限于上述。例如，信息处理设备100可以对成像图像中的面部区域fa内的图像进行面部识别处理，以评估关于该面部区域fa的诸如用户的年龄和性别等的用户属性，并基于评估结果来调整动作区域ma的区域大小和位置。通过如上所述基于评估结果来调整动作区域ma的区域大小和位置，可以设置与用户的年龄和性别对应的动作区域ma，比如设置图2中所示的动作区域ma的位置以便例如对于年纪大的用户更低。注意，虽然信息处理设备100通过从面部区域fa提取诸如结构、皱纹、松弛皮肤等的属性信息并分析它来评估用户属性，但是根据本公开的实施例的用于评估用户属性的方法不限于上述。例如，信息处理设备10可以使用能够评估对应于面部区域fa的用户的诸如年龄和性别等的用户属性的可选技术来评估用户属性。

此外，信息处理设备100可以通过对面部区域fa中的图像进行面部识别处理来提取指示用户的面部的特征的面部信息，并通过基于提取的面部信息来标识对应于面部区域fa的用户来调整动作区域ma。更具体地，在已经基于面部信息标识了用户的情况下，信息处理设备100为所标识的用户设置动作区域ma。与为用户设置动作区域ma有关的信息的例子包括其中记录了面部信息和与动作区域ma的调整有关的信息的数据库。此外，与设置用户的动作区域ma有关的信息可以被包括在稍后描述的在个体检测信息中。信息处理设备100可以通过进行例如面部区域fa的图像处理来提取用户的面部特征(例如结构信息、指示眼睛、鼻子和嘴巴的位置关系的信息等)，来获得指示已经提取的用户的面部的特征的面部信息。此外，信息处理设备100例如基于用户操作获得诸如动作区域ma的区域大小的调整量、动作区域ma的位置调整量等的与动作区域ma的调整有关的信息。注意，与调整动作区域ma有关的信息可以包括指示设置的动作区域ma的数量的信息。通过如上所述为用户设置动作区域ma，可以设置用户自己可以调整的动作区域ma，因此信息处理设备100还可以增加用户的自由度，并改善方便性。

例如，通过进行诸如以上所述的处理，信息处理设备100基于面部区域fa在面部区域fa附近设置动作区域ma。现在，如上所述，信息处理设备100处理的成像图像是运动图像，因此面部区域在某帧中标识的成像图像中的位置可能在下一帧中改变。信息处理设备100在每次通过以上处理(1)标识面部区域fa时基于面部区域fa进行动作区域ma的设置，但是根据本公开的实施例的信息处理设备100的动作区域设置处理不限于以上所述。例如，信息处理设备100可以检测当前帧中的面部区域fa关于先前帧中的面部区域fa的移动量，并在移动量等于或小于预定阈值(或小于阈值)的情况下，设置在先前帧中设置的动作区域ma以便与该移动量对应地移动。不用说，先前帧中的面部区域fa不限于从当前帧退回的一帧(例如，在要每隔预定帧进行处理(1)的情况下，在预定帧之前的帧是先前帧)。

(3)动作确定处理

在以上处理(2)(动作区域设置处理)中设置动作区域ma时，信息处理设备100基于成像图像和参考检测信息或个体检测信息来确定用户已经在动作区域ma中进行预定动作。

现在，根据本公开的实施例的参考检测信息是用作用户(检测的对象)的预定动作的检测的参考的数据。在此，信息处理设备100通过在信息处理设备100的制造者制造时将参考检测信息记录在信息处理设备100中来预先存储参考检测信息，但是信息处理设备100不限于预先存储参考检测信息的配置。例如，信息处理设备100可以从外部设备获得由诸如服务器等的外部设备生成的参考检测信息。参考检测信息的例子包括数据和数据库，在其中预定动作和用于检测周期性动作的周期性分量信息相关联。此外，根据本公开的实施例的周期性分量信息的例子包括在成像图像中的亮度改变的频率信息，但根据本公开的实施例的周期性分量信息不限于上述。注意，根据本公开的实施例的参考检测信息不限于上述，且可以是数据和数据库，在其中，预定动作和用于区分不是周期性动作的用户的姿势的信息(例如，用于确定用户的手的形状是预定形状的数据)相关联。此后，将参考其中参考检测信息是预定动作和周期性分量信息对于每个预定动作相关联并被记录的数据库的例子进行描述。注意，尽管根据本公开的实施例的数据库的例子包括关系数据库，但根据本公开的实施例的数据库不限于上述。

此外，根据本公开的实施例的个体检测信息是用作对具体用户进行的预定动作的检测的参考的数据。例如，通过学习单元(稍后描述)生成和更新个体检测信息。注意，根据本公开的实施例的个体检测信息可以由诸如服务器的外部设备生成，信息处理设备100从外部设备获得该个体检测信息。现在，个体检测信息的例子包括预定动作、数据和数据库，在该数据库中用于检测用户的周期性动作的周期性分量信息和指示用户的面部特征的面部信息(用于标识用户的信息)相关联。注意，根据本公开的实施例的个体检测信息不限于上述，且可以是数据和其中预定动作、用于区分不是周期性动作的用户姿势的信息和面部信息相关联的数据库。此后，将参考其中参考检测信息是预定动作、周期性分量信息和面部信息对于每个预定动作相关联并被记录的数据库的例子进行描述。

(3-1)动作确定处理的第一例子

将描述基于参考检测信息的处理作为根据本公开的实施例的动作确定处理的第一例子。信息处理设备100在基于成像图像设置的动作区域ma中检测周期性分量。然后，信息处理设备100基于在动作区域ma处的检测结果和参考检测信息的周期性分量信息来确定是否已经进行了预定动作。现在，信息处理设备100使用例如fischer的方法等，通过分析动作区域ma内的具体点(具体像素)的特性来确定是否已经进行了预定动作，但根据本公开的实施例的确定方法不限于上述。此外，例如，虽然信息处理设备100使用每预定时间的成像图像或者按预定数量帧的增量的成像图像来检测动作区域ma中的周期性分量，但根据本公开的实施例的在动作区域ma中的周期性分量的检测方法不限于上述。

(3-2)动作确定处理的第二例子

接下来，将描述选择性地使用参考检测信息或个体检测信息的处理，作为根据本公开的实施例的动作确定处理的第二例子。信息处理设备100从由上述处理(1)标识的面部区域fa提取面部信息。此外，信息处理设备100基于提取的面部信息和个体检测信息，来确定是否存在与从个体检测信息提取的面部信息对应的面部信息。现在，例如，在根据本公开的实施例的面部信息是诸如结构信息和指示眼睛、鼻子和嘴巴的位置关系的信息的多个信息的组的情况下，信息处理设备100在个体检测信息中存在与提取的面部信息匹配的面部信息的情况下确定存在与提取的面部信息对应的面部信息。注意，关于在根据本公开的实施例的信息处理设备100处进行的在个体检测信息中是否存在与提取的面部信息对应的面部信息的确定方法不限于以上所述。例如，信息处理设备100可以在存在与关于其已经提取了预定数量或更多组的多个信息的面部信息匹配的情况下确定存在与提取的面部信息对应的面部信息。

在确定了存在对应于提取的面部信息的个体检测信息的情况下，信息处理设备100基于动作区域ma中的周期性分量的检测结果和在个体检测信息中包括的周期性分量信息，来确定是否进行了与周期性分量信息相关的预定动作。

此外，在不确定存在对应于提取的面部信息的个体检测信息的情况下，信息处理设备100以与通过上述动作确定处理的第一例子相同的方式，基于检测结果和参考检测信息的周期性分量信息，来确定是否进行了预定动作。

例如，如上述，信息处理设备100基于成像图像和参考检测信息或个体检测信息来确定用户已经在动作区域ma中进行了预定动作，例如如上所述。注意，在根据本公开的实施例的信息处理设备100处的动作确定处理不限于上述。例如，在使用不是周期性分量的用于区分用户的姿势的信息来进行确定的情况下，信息处理设备100可以基于动作区域ma中的用户的手的形状是否是参考检测信息或个体检测信息中的用于区分姿势的信息中规定的预定形状，来确定用户已经在动作区域ma中进行预定动作。

此外，在确定已经进行了预定动作的情况下，信息处理设备100还可以更新个体检测信息(所谓的学习)。更具体地，例如，在确定进行了预定动作的情况下，信息处理设备100采用基于成像图像检测的周期性分量信息，作为与确定的预定动作和从成像图像提取的面部信息对应的个体检测信息中的周期性分量信息。此外，在确定进行了预定动作的情况下，信息处理设备100可以采用表示已经检测的用户的手的形状的信息(即，关节的位置的信息等)，作为在个体检测信息中的用于区分姿势的信息。通过如上述更新个体检测信息，信息处理设备100可以进一步改善从个体检测信息确定其预定动作的具体用户的预定动作的确定精确度，因此进一步降低错误确定的可能性。

现在，信息处理设备100例如在每次确定已经进行了预定动作时进行与个体检测信息的更新有关的上述处理(与学习有关的处理)，但在信息处理设备100处的处理不限于上述。例如，信息处理设备100可以基于用户操作，选择性地进行与更新个体检测信息有关的处理(与学习有关的处理)。

此外，在使用周期性分量信息确定是否已经进行了预定动作的情况下，例如，信息处理设备100在每次在动作区域ma中检测到周期性分量时确定是否已经进行了预定动作，但根据本公开的实施例的确定处理不限于上述。例如，信息处理设备100可以检测在基于每隔预定时间的成像图像或者以预定数量帧的增量的成像图像设置的动作区域ma中是否存在运动体，并选择性地确定在检测到运动体的情况下是否已经进行了预定动作。现在，当使用周期性分量信息确定是否已经进行了预定动作时，在动作区域ma中没有检测到运动体的情况下，用户还未在动作区域ma中进行动作的可能性高。从而，如上所述，通过在检测到运动体的情况下选择性地检测是否已经进行了预定动作，信息处理设备100可以降低信息处理设备100上的计算负荷，同时防止对用户的预定动作的错过检测和错误检测。

(4)执行处理

在以上处理(3)(动作确定处理)中确定已经进行了预定动作时，信息处理设备100进行与确定的预定动作对应的处理。

更具体地，信息处理设备100存储例如其中已经以相关联的方式记录了预定动作和要执行的处理的处理信息，并基于以上处理(3)的处理结果和该处理信息进行与在以上处理(3)中的确定的预定动作相关的处理。注意，根据本公开的实施例的处理信息不限于以上所述。例如，信息处理设备100可以存储其中以相关联的方式记录了指示动作区域ma的信息(例如区域号等)、预定动作和要执行的处理的处理信息。在以上所述的情况下，信息处理设备100可以进行与对于每个动作区域ma的预定动作对应的处理，其中关于该每个动作区域ma已经确定已经进行了预定动作。此外，根据本公开的实施例的处理信息可以是例如对于每个预定动作的数据或者可以是其中记录了与多个预定动作有关的信息的数据库。

此外，尽管信息处理设备100进行的与预定动作对应的处理的例子包括与设备本是具有的功能有关的处理，但是与根据本公开的实施例的信息处理设备100进行的预定动作对应的处理不限于以上。例如，作为与预定动作对应的处理，信息处理设备100可以将用于致使外部设备进行与预定动作对应的处理的处理执行命令经由网络(或直接)传输到外部设备。因此，信息处理设备100可以致使外部设备执行与用户的预定动作对应的处理。

信息处理设备100进行以上所述的处理(1)(面部区域检测处理)到处理(4)(执行处理)，作为与可操作性改善方法有关的第一处理，由此确定用户进行了预定动作，且进行对应于确定的预定动作的处理。

现在，信息处理设备100将动作区域ma设置在基于成像图像标识的面部区域fa附近，在设置的动作区域ma中检测(确定)用户的预定动作，并进行对应于所检测的预定动作的处理。通过如上所述设置动作区域ma，信息处理设备100可以通过关于成像图像的部分区域进行图像处理，而不是像根据现有技术的信息处理设备那样对整个成像图像进行图像处理，来检测用户的预定动作。因此，与根据现有技术的信息处理设备相比，信息处理设备100可以降低与对用户的预定动作的检测有关的计算负担，因此，通过信息处理设备100，可以防止可能伴随根据现有技术的信息处理设备而发生的这种不期望的情形的出现。因此，信息处理设备100可以防止在使用现有技术的情况下可能发生的用户便利性方面的变差，并且还可以改善用户可操作性。

1-2.可操作性改善方法的第二处理

信息处理设备100可以通过进行上述可操作性改善方法的第一处理来改善用户可操作性。但是，可操作性改善方法的处理不限于上述。例如，如上所述，信息处理设备100可以进行与在已经进行了通知处理在此之上确定已持续进行预定动作达预定时间段的情况下确定的预定动作对应的处理。因此，接下来，将描述在进行通知处理的情况下的处理作为根据本公开的实施例的可操作性改善方法的第二处理。信息处理设备100进行以下处理(i)到处理(v)，由此防止进行由于错误检测而导致的用户不意图的处理，且进一步改善用户便利性和可操作性。

(i)面部区域检测处理

以与上述处理(1)(面部区域检测处理)相同的方式，信息处理设备100从成像图像中检测用户的面部，且确定面部区域fa。

(ii)动作区域设置处理

在上述处理(1)(面部区域检测处理)中检测到面部区域时，信息处理设备100以与上述处理(2)(动作区域设置处理)相同的方式，基于面部区域fa将动作区域ma设置在面部区域fa附近。

(iii)动作确定处理

在上述处理(ii)(动作区域检测处理)中设置了动作区域ma时，信息处理设备100以与上述处理(3)(动作确定处理)相同的方式，基于成像图像和参考检测信息或个体检测信息来确定用户已在在动作区域ma中进行了预定动作。

此外，信息处理设备100中确定从确定已经进行了预定动作开始是否已经持续进行预定动作达预定时间段。现在，从已经进行的确定开始的预定时间段的例子包括用于进行稍后所述的处理(iv)的时间，但是根据本公开的实施例的从已经进行的确定开始的预定时间段不限于上述。例如，根据本公开的实施例的从已经进行的确定开始的预定时间段可以由信息处理设备100的制造者等任意设置，比如例如用于进行稍后所述的处理(iv)的时间加上余地(leeway)时间的时间。

(iv)通知处理

在上述处理(iii)(动作确定处理)中确定在动作区域ma中进行了预定动作时，信息处理设备100进行通知处理。

向用户的通知的具体例子

现在，将描述通过已经进行的根据本公开的实施例的通知处理向用户通知的具体例子。以下，将参考进行通知处理用于视觉上通知用户的情况的例子进行描述。

图4是图示通过进行根据本公开的实施例的通知处理而向用户通知的例子的说明图。在此，图4图示了在显示屏幕上显示成像图像(例如，诸如显示设备300的外部设备的或信息处理设备100具有的显示单元(稍后描述)的显示屏幕)并通过改变显示的成像图像来进行已确定进行了预定动作的视觉通知的例子，如图4中的b所示。也就是说，图4图示了通过改变在显示屏幕上显示的图像来视觉上通知信息处理设备100已确定进行了预定动作的情况的例子。

图5是图示通过进行根据本公开的实施例的通知处理而改变成像图像的例子的说明图。图5图示由信息处理设备100在成像图像的动作区域ma1(关于其已确定用户进行了预定动作的动作区域)上叠加通知对象来改变成像图像的例子。在此，在图5中，图示了其中信息处理设备100将多个闪光星星叠加在成像图像上的例子，但根据本公开的实施例的通知对象不限于上述。用户通过看到在显示屏幕上显示的成像图像的改变可以在视觉上理解信息处理设备100已确定用户在动作区域ma中进行了预定动作。

注意，由于进行根据本公开的实施例的通知处理而引起的成像图像中的改变不限于被叠加的图5所示的通知对象。图6是图示由于进行根据本公开的实施例的通知处理而改变成像图像的另一例子的说明图。如图6所示，可以通过向与如下动作区域对应的面部区域fa进行使用圆周遮蔽(roundmask)等的高亮处理来改变成像图像：关于该动作区域，已经确定用户在成像图像中进行了预定动作。同样在该情况下，用户通过看到在显示屏幕上显示的成像图像中的改变，可以在视觉上理解信息处理设备100已经确定用户在动作区域ma中进行了预定动作。

例如，信息处理设备100通过如上所述改变在显示屏幕上显示的成像图像来在视觉上通知已确定进行了预定动作。因此，用户可以通过停止他/她自己的动作，来取消与在信息处理设备100处的动作对应的处理的执行，因此，信息处理设备100可以防止执行由于错误检测而导致的用户不意图的处理，且可以进一步改善用户便利性和可操作性。

注意，通过进行根据本公开的实施例的通知处理的向用户的通知不限于如图4到6所示的改变在显示屏幕上显示的成像图像。图7和8是图示通过进行根据本公开的实施例的通知处理对用户的通知的其他例子的说明图。

如图7中的c所指示，信息处理设备100可以通过将图标叠加在诸如例如图示内容的图像的在显示屏幕上显示的图像来改变图像。注意，根据本公开的实施例的用于改变在显示屏幕上显示的图像的方法不局限于图7所示的叠加图标。例如，信息处理设备100可以在显示屏幕上显示的图像上叠加各种对象，比如显示从检测到用户的预定动作直到开始对应于预定动作的处理的阶段中的时间的指示符等。此外，信息处理设备100可以在显示屏幕上的显示指示内容的图像的显示区域之外显示诸如图标或指示符的对象，而不在显示屏幕上显示的图像上叠加对象。同样在该情况下，用户通过看到在显示屏幕上显示的成像图像的改变可以在视觉上理解信息处理设备100已确定用户在动作区域ma中进行了预定动作。

此外，如图8中的d所指示，可以通过选择性地点亮(或熄灭)在显示屏幕的外侧部分上提供的诸如led(发光二极管)的发光设备来做出已确定进行了预定动作的视觉通知。此外，信息处理设备100可以通过改变从发光设备发出的光的颜色来做出已确定进行了预定动作的视觉通知。如上所述，通过信息处理设备100改变作为诸如显示设备300的外部设备或信息处理设备100具有的显示单元(稍后描述)的发光设备的点亮状态，用户可以在视觉上理解信息处理设备100已确定用户在动作区域ma中进行了预定动作。

例如，如上所述，信息处理设备100可以通过改变在显示屏幕上显示的图像或改变发光设备的点亮状态，在视觉上通知已确定进行了预定动作。注意，虽然在以上描述中分别例示了改变在显示屏幕上显示的图像(包括成像图像)和改变发光设备的点亮状态，但不用说，根据本公开的实施例的信息处理设备100可以通过组合它们来进行视觉通知。

信息处理设备100如上所述通过进行通知处理来在视觉上通知用户(或向外部设备通知)信息处理设备100已确定用户在动作区域ma中进行了预定动作。此外，在从已确定进行了预定动作起的预定时间段开始持续进行预定动作的情况下，信息处理设备100进行与稍后描述的处理(v)(执行处理)中的预定动作对应的处理。因此，用户可以通过停止他/她自己的动作来取消与在信息处理设备100处的动作对应的处理的执行，因此，信息处理设备100可以防止执行由于错误检测而导致的用户不意图的处理，且可以进一步改善用户便利性和可操作性。注意，虽然以上例示了信息处理设备100通过进行通知处理来视觉上通知用户的例子，但是不用说，即使在通过其他方法进行通知的情况下、比如信息处理设备100通过进行通知处理在听觉上进行通知的情况下，可以获得相同的优点。

(v)执行处理

在以上处理(iii)(动作确定处理)中确定自从确定进行了预定动作起已持续进行预定动作达预定时间段时，信息处理设备100进行对应于确定的预定动作的处理。现在，信息处理设备100以与上述处理(4)(执行处理)相同的方式进行对应于确定的预定动作的处理。

作为与可操作性改善方法有关的第二处理，信息处理设备100进行上述处理(i)(面部区域检测处理)到处理(v)(执行处理)，由此确定用户进行了预定动作，且进行对应于该预定动作的处理。

现在，与可操作性改善方法有关的第二处理基本上具有与第一可操作性改善方法有关的第一处理相同的处理。因此，以与进行与第一可操作性改善方法有关的处理相同的方式，通过进行与可操作性改善方法有关的第二处理，信息处理设备100防止在使用现有技术的情况下可能发生的用户便利性的变差，而且可以提高用户可操作性的改善。

此外，通过与可操作性改善方法有关的第二处理，信息处理设备100通过处理(iv)通知用户(或向外部设备通知)信息处理设备100已确定用户在动作区域ma中进行了预定动作。此外，在从已确定进行了预定动作起的预定时间段开始持续进行预定动作的情况下，信息处理设备100在处理(v)(执行处理)中进行对应于预定动作的处理。因此，用户可以通过停止他/她自己的动作来取消在信息处理设备100处的对应于该动作的处理的执行，因此，用户可以通过他/她自己的动作来控制在信息处理设备100处的对应于预定动作的处理的执行。因此，信息处理设备100可以防止执行由于错误检测而导致的用户不意图的处理，且可以进一步改善用户便利性和可操作性。

与可操作性改善方法有关的处理的具体例子

接下来，将描述上述根据本公开的实施例的用于实现可操作性改善方法的处理的例子。

1-1-1.与可操作性改善方法有关的第一处理的具体例子

图9是图示在根据本公开的实施例的信息处理设备处的与可操作性改善方式有关的处理的例子的流程图，且图示对应于与可操作性改变方法一个的第一处理的处理的例子。以下，将参考在信息处理设备100基于关于成像图像设置的动作区域ma中的周期性分量来确定用户进行的预定动作的情况下的处理的例子来描述。

信息处理设备100确定是否进行用户的动作检测(s100)。现在，在提供了基于用户操作等选择性地在例如其中信息处理设备100进行动作检测的第一处理模式和其中不进行动作检测的第二处理模式之间切换的功能的情况下，在步骤s100中的处理等效于确定处理模式是否是第一处理模式。也就是说，在信息处理设备100不具有用于在第一处理模式和第二处理模式之间切换的功能的情况下，信息处理设备100不需要进行步骤s100的处理。

在步骤s100中没有确定进行用户的动作检测的情况下，信息处理设备100结束与可操作性改善方法有关的处理。注意，图9中的与可操作性改善方法有关的处理不是一旦结束就不再次进行的类型的处理，而是信息处理设备100可以周期性地/非周期性地重复图9所示的与第一可操作性改善方法一个的处理，即使该处理暂时结束。

此外，在步骤s100中确定进行用户的动作检测的情况下，信息处理设备100基于输入的成像图像来进行面部检测，且标识面部区域fa(s102)。现在，在步骤s102中的处理对应于上述处理(1)(面部区域检测处理)。此外，信息处理设备100通过检测诸如例如用户的眼睛、鼻子、嘴巴、结构等的特征点并检测与面部亮度分布和结构样式类似的区域来标识面部区域fa；但是，用于标识面部区域fa的方法不限于上述。

此外，在从成像图像中标识多个面部区域fa的情况下，比如在成像图像中存在多个用户的情况下，信息处理设备100对于所标识的多个面部区域fa的每个进行稍后描述的步骤s104到s112的处理。

在进行步骤s102的处理后，信息处理设备100确定是否标识了面部区域fa(s104)。在步骤s104中没有确定标识了面部区域fa的情况下，信息处理设备100从步骤s100重复该处理。

此外，在步骤s104中确定标识了面部区域fa的情况下，信息处理设备100基于面部区域fa来设置动作区域ma(s106)。现在，在步骤s106中的处理对应于上述处理(2)(动作区域设置处理)。此外，信息处理设备100将动作区域ma设置在面部区域fa附近，如图1和2所示，但是，由信息处理设备100设置的动作区域ma不限于图1和2所示的例子。

在步骤s106中设置(或重设)动作区域ma后，信息处理设备100在设置的动作区域ma中检测预定动作(s108)。然后，信息处理设备100确定是否在设置的动作区域ma内检测到预定动作(s110)。在此，在步骤s108和s110的处理对应于上述处理(3)(动作确定处理)。

更具体地，在步骤s108中，例如，信息处理设备100基于在基于成像图像设置的动作区域ma中的周期性分量的检测结果和参考检测信息的周期性分量信息，检测是否进行了预定动作(等效于上述动作确定处理的第一例子)。现在，例如，参考检测信息被存储在信息处理设备100具有的存储单元(稍后描述)中，信息处理设备100从该存储单元中读出该参考检测信息以进行上述检测，但在根据本公开的实施例的信息处理设备100处的处理不限于上述。例如，信息处理设备100可以与诸如存储参考检测信息的服务器的外部设备进行通信，并从外部设备获得参考检测信息，以便使用所获得的参考检测信息来进行该检测。

注意，根据本公开的实施例的信息处理设备100处的步骤s108的处理不限于使用参考检测信息的处理。例如，信息处理设备100可以使用参考检测信息或个体检测信息进行处理，作为步骤s108的处理，如在上述动作确定处理的第二例子中所示。

图10是图示在根据本公开的实施例的信息处理设备100处的动作确定处理的例子的流程图。在此，图10图示等效于上述动作确定处理的第二例子的处理的例子。

信息处理设备100从面部区域fa提取面部信息(s200)。然后，信息处理设备100确定在个体检测信息中是否存在对应于提取的面部信息的面部信息(s202)。

现在，例如，个体检测信息被存储在信息处理设备100具有的存储单元(稍后描述)中，信息处理设备100从该存储单元中读出个体检测信息且进行上述确定处理，但在根据本公开的实施例的信息处理设备100处的处理不限于上述。例如，信息处理设备100可以与诸如存储个体检测信息的服务器的外部设备进行通信，并从外部设备获得个体检测信息，以便使用所获得的个体检测信息来进行该检测。此外，信息处理设备100可以向存储个体检测信息的外部设备发送在步骤s200中提取的面部信息，以便使得该外部设备进行关于在个体检测信息中是否存在与提取的面部信息对应的面部信息的实际确定，且从该外部设备获得确定结果。同样在上述情况下，信息处理设备100可以基于从外部设备获得的确定结果来进行步骤s202的处理。

在步骤s202中确定了在个体检测信息中存在与提取的面部信息对应的面部信息的情况下，信息处理设备100基于在基于成像图像设置的动作区域ma中的周期性分量的检测结果和包括与提取的面部信息对应的面部信息的个体检测信息中的周期性分量信息来检测已经进行预定动作。

此外，在步骤s202中没有确定在个体检测信息中存在与提取的面部信息对应的面部信息的情况下，信息处理设备100基于在基于成像图像设置的动作区域ma中的周期性分量的检测结果和参考检测信息的周期性分量信息来检测已经进行预定动作。

通过进行例如图10所示的处理，信息处理设备100可以使用参考检测信息或个体检测信息来检测已经进行预定动作。

此外，通过信息处理设备100使用个体检测信息检测已经进行预定动作，信息处理设备100可以防止对与在个体检测信息中包括的面部信息对应的用户的预定动作的错误检测或过度检测。

图11和12是用于描述根据本公开的实施例的信息处理设备100使用个体检测信息来检测进行预定动作的优点的说明图。

在如图11所示的成像图像中存在用户a和用户b的情况下，每个用户的动作区域ma的部分或全部可以与另一用户的动作区域ma重叠。在该情况下，在一个用户(在图11中的用户b)已在重叠的动作区域ma中进行了再见动作的情况下，可能不能够明确检测哪个用户进行了此动作。现在，在使用个体检测信息进行确定的情况下，信息处理设备100可以明确确定已进行的动作是用户a的动作还是用户b的动作。因此，即使在如图11所示的成像图像中存在用户a和用户b的情况下，信息处理设备100也可以通过使用个体检测信息检测已经进行预定动作，来防止对与在个体检测信息中包括的面部信息对应的用户的预定动作的错误检测或过度检测。

此外，通过使用个体检测信息进行确定，信息处理设备100检测具有对用户唯一的检测参考的预定动作，因此，如图12所示，即使在由不是用户的对象在设置的动作区域ma内进行周期性动作的情况下，信息处理设备100也可以比使用参考检测信息的情况更好地防止对用户的预定动作的错误检测或过度检测。

再次参考图9，将描述在根据本公开的实施例的信息处理设备100处的与可操作性改进方法有关的处理的例子。在进行步骤s108的处理时，信息处理设备100确定是否已经在设置的动作区域ma中检测到预定动作(s110)。在步骤s110中在设置的动作区域ma中未检测预定动作的情况下，信息处理设备100从步骤s102重复该处理。

此外，在步骤s110中确定已经在设置的动作区域ma中检测到预定动作的情况下，信息处理设备100进行与检测的动作对应的处理(s112)。在此，步骤s112的处理对应于以上处理(4)(执行处理)。

通过进行例如图9所示的处理，信息处理设备100可以实现与第一可操作性改进方法有关的以上所述的处理(1)(面部区域检测处理)到处理(4)(执行处理)。从而，信息处理设备100可以通过进行例如图9所示的处理来改善用户可操作性。

1-2-2.与可操作性改善方法有关的第二处理的具体例子

图3是图示在根据本公开的实施例的信息处理设备处的与可操作性改善方法有关的处理的另一例子的流程图，且图示对应于与上述可操作性改变方法有关的第二处理的处理的例子。以下，将参考在信息处理设备100基于关于成像图像设置的动作区域ma中的周期性分量来确定用户进行的预定动作的情况下的处理的例子来描述。

以与图9中的步骤s100相同的方式，信息处理设备100确定是否进行用户的动作检测(s300)。在步骤s300中没有确定进行用户的动作检测的情况下，信息处理设备100结束与可操作性改善方法有关的处理。注意，在图13中的与可操作性改善方法有关的处理不是一旦结束就不再次进行的类型的处理，而是信息处理设备100可以周期性地/非周期性地重复图13所示的与可操作性改善方法有关的处理，即使该处理暂时结束。

此外，在步骤s300中确定进行用户的动作检测的情况下，以与图9中的步骤s102相同的方式，信息处理设备100基于输入的成像图像来进行面部检测，且标识面部区域fa(s302)。现在，在步骤s302中的处理对应于上述处理(i)(面部区域检测处理)。此外，在从成像图像中标识多个面部区域fa的情况下，比如在成像图像中包括多个用户的情况下，信息处理设备100对于所标识的多个面部区域fa的每个进行稍后描述的步骤s304到s316的处理。

在进行步骤s302的处理后，以与图9中的步骤s204相同的方式，信息处理设备100确定是否标识了面部区域fa(s304)。在步骤s304中没有确定标识了面部区域fa的情况下，信息处理设备100从步骤s300重复该处理。

此外，在步骤s304中确定标识了面部区域fa的情况下，以与图9中的步骤s106相同的方式，信息处理设备100基于面部区域fa来设置动作区域ma(s306)。现在，在步骤s306中的处理对应于上述处理(ii)(动作区域设置处理)。

在步骤s306中设置(或重设)动作区域ma后，以与图9中的步骤s108相同的方式，信息处理设备100在设置的动作区域ma中检测预定动作(s308)。然后，信息处理设备100确定是否在设置的动作区域ma内检测到预定动作(s310)。在步骤s310中没有确定在设置的动作区域ma中检测到预定动作的情况下，信息处理设备100从步骤s302重复该处理。

此外，在步骤s310中确定在设置的动作区域ma中检测到了预定动作的情况下，信息处理设备100通知用户已经检测到预定动作(s412)。在此，步骤s312的处理对应于上述处理(iv)(通知处理)。

更具体地，例如，如图4到8所示，信息处理设备100视觉上通知用户已经确定用户在动作区域ma中进行了预定动作(或使得外部设备进行通知)。注意，信息处理设备100还可以通过例如从该设备自己的音频输出设备(例如，稍后描述的音频输出单元)或外部音频输出设备输出指示已确定用户进行了预定动作的音频在听觉上通知用户(或使得外部设备进行通知)。

此外，在步骤s310中确定在设置的动作区域ma中检测到了预定动作的情况下，信息处理设备100确定是否从确定进行了预定动作起已经持续进行预定动作达预定时间段(s314)。现在，步骤s308、s310和s314的处理等效于上述处理(iii)(动作确定处理)。

注意，虽然图13示出了在步骤s312的处理之后进行步骤s314的处理的例子，但是信息处理设备可以独立地进行步骤s413的处理和步骤s312的处理，在步骤s310中在设置的动作区域ma中已检测到的预定动作作为触发。

在步骤s414中没有确定已经持续进行预定动作达预定时间段的情况下，信息处理设备100从步骤s300重复该处理。现在，没有已经持续进行预定动作达预定时间段的情况的例子是由于来自步骤s312中的处理的通知、用户停止了他/她自己的动作的情况。

此外，在在步骤s314中确定已经持续进行预定动作达预定时间段的情况下，信息处理设备100以与图9中的步骤s112相同的方式进行对应于所检测的动作的处理(s316)。在此，步骤s316的处理对应于上述处理(v)(执行处理)。

通过进行例如图13所示的处理，信息处理设备100可以实现与可操作性改善方法有关的上述处理(i)(面部区域检测处理)到处理(v)(执行处理)。因此，信息处理设备100可以通过进行例如图13所示的处理来改善用户可操作性。

例如，通过进行图9和13所示的处理，信息处理设备100实现上述根据本公开的实施例的可操作性改善方法。不用说，通过根据本公开的实施例的信息处理设备100的与可操作性改善方法有关的处理不限于图9和13所示的处理。

2.根据本公开的实施例的信息处理设备

接下来，将描述根据本公开的实施例的信息处理设备100的配置的例子，该信息处理设备100能够进行与上述根据本公开的实施例的可操作性改进方法有关的处理。

以下将参考能够执行上述与可操作性改善方法有关的第二处理的信息处理设备100的例子来描述根据本公开的实施例的信息处理设备100的配置。注意，例如，根据本公开的实施例的信息处理设备100可以通过用没有稍后描述的通知处理单元的配置或包括通知处理单元但通知处理不起作用的配置，来实现上述根据可操作性改善方法的第一处理。此外，根据本公开的实施例的信息处理设备100可以通过具有其中使得稍后描述的通信处理单元基于用户操作等选择性地起作用的配置，来选择性地进行根据可操作性改善方法的第一处理以及根据可操作性改善方法的第二处理。

第一实施例

图14是图示根据本公开的第一实施例的信息处理设备100的配置的例子的方框图。现在，图14也示出了在显示屏幕上进行图像(静止图像或运动图像)的显示并通过在显示屏幕的显示方向上成像来生成成像图像的显示系统200。此外，虽然图14示出了其中显示系统200由进行显示的显示设备300和进行成像的成像装置400构成的例子，但根据本公开的实施例的显示系统200的配置不限于上述。例如，显示系统200可以是其中显示设备300和成像装置400已经被集成的设备(例如，具有成像功能的显示设备)。

现在，通过显示系统200在显示屏幕的显示方向上拍摄图像生成成像图像来获得已经对观看显示屏幕的用户成像的成像图像。因此，通过信息处理设备100处理由显示系统200生成的成像图像，信息处理设备100可以容易地进行诸如标识面部区域fa和设置动作区域ma、检测用户的预定动作、提取面部表达等的处理。

参考图14，信息处理设备100具有存储单元102、通信单元104、检测单元108、动作区域设置单元110、动作确定单元112、通知处理单元114和处理单元116。

例如，信息处理设备10还可以具有控制单元(未示出)、rom(只读存储器(未示出))、ram(随机存取存储器(未示出))等。例如，信息处理设备100具有由用作数据传输路径的总线互连的组件。在此，例如，控制单元(未示出)用于控制整个信息处理设备100。注意，通过信息处理设备100，例如，处理单元116可以用作控制单元(未示出)。此外rom(未示出)存储例如控制单元(未示出)使用的程序和诸如计算参数等的用于处理的数据。例如，ram(未示出)暂时存储由控制单元(未示出)执行的数据和程序。

信息处理设备100的硬件配置例子

图15是图示根据本公开的实施例的信息处理设备100的硬件配置的例子的说明图。参考图15，信息处理设备100包括例如mpu150、rom152、ram154、记录介质156、输入/输出接口158、操作输入设备160、显示设备162、和通信接口164。此外，例如，信息处理设备100具有与用作数据传输路径的总线166互连的组件。

mpu150是其中集成了用于实现诸如图像处理等的各种类型功能的多个电路的集成电路，并起着控制整个信息处理设备100的控制单元(未示出)的作用。此外，mpu150用作在信息处理设备100中的检测单元108、动作区域设置单元110、动作确定单元112、通知处理单元114和处理单元116。此外，mpu150可以用作稍后描述的学习单元。

rom152控制数据比如存储mpu150使用的程序和计算参数等。例如，ram154暂时存储要由mpu150执行的程序等。

记录介质156起着存储单元102的作用，并存储例如诸如参考检测信息、个体检测信息、处理信息等的各种数据(或数据库)、应用等等。记录介质156的例子包括诸如硬盘等的磁性存储介质和诸如eeprom(电可擦除可编程只读存储器)、闪存、mram(磁阻随机存取存储器)、feram(铁电随机存取存储器)和pram(相位改变随机存取存储器)的非易失性存储器。此外，信息处理设备100可以具有可从信息处理设备100拆卸的记录介质156。

此外，输入/输出接口158连接例如操作输入设备160和显示设备162。此外，输入/输出接口158可以用作输入单元106。操作输入设备160用作操作单元(未示出)，且显示设备162用作显示单元(稍后描述)。现在，输入/输出接口158的例子包括usb(通用串行总线)端、dvi(数字视觉接口)端、hdmi(高清多媒体接口)端、各种电路等。此外，操作输入设备160被提供在例如信息处理设备100上，并且与信息处理设备100内部的输入/输出接口159连接。操作输入设备160的例子包括按钮、方向键、诸如转动拨盘的旋转选择器、其组合等等。此外，例如，显示设备162被提供在例如信息处理设备100上，并且与信息处理设备100内部的输入/输出接口158连接。显示设备162的例子包括lcd(液晶显示器)和有机电致发光显示器(也称为oled(有机发光二极管)显示器)。不用说，输入/输出接口158可以与用作信息处理设备100的外部设备的诸如操作输入设备(例如键盘、鼠标)、显示设备(例如诸如显示设备300的外部显示设备)、成像设备(例如成像装置400等)等的外部设备连接。此外，显示设备162可以是能够显示用户操作的设备，例如比如触摸屏。

信息处理设备100的通信接口164起着通信单元104的作用，用于通过无线/电缆经由网络(或直接)与诸如显示设备300或服务器(未示出)等的外部设备进行通信。通信接口164的例子包括通信天线和rf电路(无线通信)、ieee802.15.1端口和发送/接收电路(无线通信)、ieee802.11b端口和发送/接收电路(无线通信)、或lan端子和发送/接收电路(电缆通信)等。

信息处理设备100利用例如图15所示的配置进行与根据本公开的实施例的可操作性改进方法有关的处理。注意，根据本公开的实施例的信息处理设备100处的硬件配置不限于图15所示的配置。

例如，信息处理设备100可以具有由dsp(数字信号处理器)和放大器(amp)和扬声器等配置的、用作音频输出单元(稍后描述)的音频输出设备。在上述情况下，例如，信息处理设备100可以进行音频静音和音量调整，作为对应于用户的预定动作的处理。

此外，信息处理设备100可以具有例如由镜头/成像设备和信号处理电路配置的、用作成像单元(稍后描述)的成像设备。在上述情况下，信息处理设备100可以处理其本身已经生成的成像图像。现在，例如，镜头/成像设备由光学镜头和使用多个诸如ccd(电荷耦合器件)或cmos(互补金属氧化物半导体)等的成像设备的图像传感器配置。例如，信号处理单元具有agc(自动增益控制)电路或adc(模拟到数字转换器)，将由成像设备生成的模拟信号转换为数字信号(图像数据)，且进行各种类型的信号处理。信号处理电路进行的信号处理的例子包括白平衡校正处理、插值处理、颜色校正处理、伽马校正处理、ycbcr转换处理、边缘增强处理、编码处理等。

此外，例如，信息处理设备100可以是不具有如图15所示的操作设备160或显示设备162的配置。

返回图14，将描述根据本公开的实施例的信息处理设备100的配置的第一例子。存储单元102是信息处理设备100具有的存储器。现在，存储单元102的例子包括诸如硬盘等的磁性记录介质和诸如闪存等的非易失性存储器。

此外，例如，存储单元102存储诸如参考检测信息、个体检测信息、处理信息等的各种数据(或数据库)、应用等。图14图示其中在存储单元102中存储参考检测信息170、处理信息172和识别信息174的例子。现在，根据本公开的实施例的识别信息是从成像图像检测的与用户有关的信息。识别信息的例子包括在成像图像中包括的用户的数量、表示用户的特征的表达、指示已经评估的用户情感的信息、身体移动的存在或不存在等，这是由信息处理设备100分析成像图像获得的数据。

例如，信息处理设备100具有的通信单元104通过无线/电缆经由网络(或直接)与诸如显示设备300或服务器(未示出)等的外部设备进行通信。此外，例如，通信单元104具有由控制单元(未示出)和处理单元116控制的其通信。通信单元104的例子在此包括通信天线和rf电路、lan端子和端口以及发送/接收电路等，但通信单元104不限于上述。例如，通信单元104可以具有可选的配置，以便可经由网络与外部设备通信。

输入单元106接收成像装置400通过成像生成的成像图像。然后，输入单元106将接收的(输入的)成像图像交给检测单元108。现在，输入单元106的例子包括usb端、dvi端、hdmi端、各种处理电路等，但输入单元106不限于上述。例如，可以具有可选的配置，以便能够通过电缆或无线地从外部设备接收成像图像。

注意，输入单元106不限于接收成像图像，并且可以接收例如提供给显示设备300的由距离传感器等产生的数据(例如指示显示屏幕和用户之间的距离的距离数据)。在接收上述数据的情况下，输入单元106将该数据交给处理单元116。在上述情况下，信息处理设备100可以进一步基于在稍后描述的处理单元116处交付的距离数据等进行与预定动作对应的处理。

检测单元108在上述处理(i)(面部区域检测处理)中具有主导角色。更具体地，例如，检测单元108从成像图像中检测包括用户的面部的面部区域fa，并将指示检测的(标识的)面部区域fa和成像图像的信息交给动作区域设置单元110。

此外，检测单元108可以进一步检测在用动作区域设置单元110设置的动作区域ma中的移动体，且通知动作确定单元112是否检测到了移动体。在上述情况下，在检测到移动体的情况下，动作确定单元112可以选择性地进行稍后描述的处理。因此，通过信息处理设备100，可以实现在信息处理设备100处的计算负荷的降低，且防止不检测或错误检测用户的预定动作。

动作区域设置单元110在上述处理(ii)(动作区域设置处理)中具有主导角色。更具体地，例如，在检测单元108处检测到面部区域fa的情况下，动作区域设置单元110基于面部区域fa将动作区域ma设置在面部区域fa附近。然后，例如，动作区域设置单元110将设置的动作区域ma的信息交给检测单元108和动作确定单元112。此外，动作区域设置单元110将从检测单元108交付的成像图像交给动作确定单元112。注意，在该配置是输入单元106和检测单元108将成像图像交给动作确定单元112的情况下，动作区域设置单元110不需要将成像图像交给动作确定单元112。

此外，动作区域设置单元110可以从面部区域fa提取指示用户的面部的特征的面部信息，且基于该面部信息来重设基于面部区域fa设置的动作区域ma(即，调整动作区域ma)。

动作确定单元112在上述处理(iii)(动作确定处理)中具有主导角色。更具体地，动作确定单元112基于成像图像和参考检测信息170，确定用户已在动作区域设置单元110设置的动作区域ma中进行了预定动作。现在，例如，动作区域设置单元110在动作区域ma中检测周期性分量，并基于在动作区域ma中的周期性分量的检测结果和在参考检测信息170中的周期性分量信息来确定已经进行预定动作，但在动作区域设置单元110处的处理不限于上述。

在确定在动作区域ma内检测到了预定动作的情况下，然后，动作确定单元112将确定结果交给通知处理单元114。现在，例如，在已确定在动作区域ma内检测到了预定动作的情况下，动作确定单元112选择性地将指示已检测到预定动作的确定结果交给通知处理单元114，但在动作确定单元112处的处理不限于上述。例如，动作确定单元112可以在每次进行与确定有关的处理时将确定结果交给通知处理单元114，而不管确定的结果。在上述情况下，当交付的确定结果指示已在动作区域ma内检测到预定动作时，通知处理单元114将选择性地进行稍后描述的处理。

此外，在确定已在由动作区域设置单元110设置的动作区域ma内检测到预定动作的情况下，动作确定单元112确定是否已经从确定已进行预定动作起已持续进行预定动作经过了预定时间段。然后，例如，在确定已持续进行预定动作达预定时间段的情况下，动作确定单元112将指示已持续进行预定动作达预定时间段的确定结果交给处理单元116。

虽然未在图14中所示，但在个体检测信息被存储在存储单元102中的情况下，或在与存储个体检测信息的诸如服务器的外部设备合作地进行处理的情况下，动作确定单元112可以选择性地使用参考检测信息170或个体检测信息，来确定用户已在动作区域ma中进行了预定动作。

此外，在动作区域ma中检测到周期性分量且确定进行了预定动作的情况下，动作确定单元112不需要除了动作区域ma中的以外的检测周期性分量。由于上述，信息处理设备100可以进一步降低根据本公开的实施例的与可操作性改善方法有关的处理的负荷(计算负荷)。

通知处理单元114在上述处理(iv)(通知处理)中具有主导角色。更具体地，在动作确定单元112处已确定进行了预定动作的情况下，进行通知处理以通知用户已确定进行了预定动作。

现在，例如，通知处理单元114经由通信单元104向外部设备传输处理执行命令，用于通知外部设备已确定进行了预定动作，作为通知处理。通过上述，例如，信息处理设备100可以致使作为显示设备的显示设备300等进行诸如图4到8所示的视觉通知或听觉通知。

在通知处理单元114处的通知处理不限于经由通信单元104向外部设备传输处理执行命令用于通知外部设备已确定进行了预定动作。例如，在信息处理设备100具有显示单元(稍后描述)的情况下，该显示单元可以用于进行视觉通知，且在信息处理设备100具有音频输出单元(稍后描述)的情况下，该音频输出单元可以用于进行听觉通知。将在稍后描述的第三实施例中描述上述形式。

处理单元116在上述处理(v)(合作确定处理)中具有主导角色。更具体地，在动作确定单元112处已确定已持续进行预定动作达预定时间段的情况下，例如，处理单元116基于处理信息172进行与在动作确定单元112处确定的预定动作对应的处理。现在，例如，预定动作和要执行的处理以相关的方式被记录在处理信息172中。因此，通过使用其中记录了与预定动作的含义相关的处理的处理信息172，信息处理设备100可以进行与检测的动作的含义相关的处理(考虑到功能可见性的处理)。

此外，处理单元116可以经由通信单元104传输处理执行命令以使得外部设备进行对应于预定动作的处理，作为对应于预定动作的处理。因此，信息处理设备100可以致使作为外部设备的外部设备300等进行对应于检测的预定动作的处理。

此外，例如，处理单元116可以进行诸如在存储单元102中记录识别信息、经由通信单元104向诸如服务器(未示出)的外部设备传输在存储单元102处存储的识别信息174等的处理。

通过图14所示的配置，根据第一实施例的信息处理设备100可以实现根据第二可操作性改善方法的上述处理(i)(面部区域检测处理)到处理(v)(执行处理)。因此，例如，通过图14所示的配置，信息处理设备100可以防止通信系统1000中的用户便利性的变差，并改善用户可操作性。

根据第一实施例的信号处理设备100的修改

注意，根据本公开的第一实施例的信息处理设备100的配置不限于图14所示的配置。例如，根据第一实施例的信息处理设备100还可以具有：用于实现与用户进行的预定动作的含义相关的处理的设备，比如音频输出设备等；涉及与通信对象设备300的合作处理的设备；等等。此外，根据第一实施例的信息处理设备100可以被布置为不具有存储单元102，而是适当时从外部设备获得用于处理的信息、比如参考检测信息170和处理信息172，以便进行处理。

第二实施例

图16是图示根据本公开的第二实施例的信息处理设备的配置的例子的方框图。在图16中，如像图14那样，一起示出了显示系统200。

图16所示的根据第二实施例的信息处理设备100基本上具有与图14所示的根据第一实施例的信息处理设备100相同的配置，但相比于根据图14所示的第一实施例的信息处理设备100，根据第二实施例的信息处理设备100进一步提供有学习单元118。

学习单元118用于管理个体检测信息。例如，在动作确定单元112处确定进行了预定动作的情况下，学习单元118更新与确定的预定动作和从动作区域设置单元110提取的面部信息对应的个体检测信息。更具体地，例如，学习单元118采取在动作确定单元112处检测的周期性分量的信息，作为在与确定的预定动作和由动作区域设置单元110提取的面部信息对应的个体检测信息中的周期性分量信息。

注意，学习单元118不限于在动作确定单元112处确定进行了预定动作的情况下进行个体检测信息的更新，并且例如，可以在动作确定单元112处确定已持续进行预定动作达预定时间段的情况下进行个体检测信息的更新。此外，在检测单元108具有在动作区域ma中检测周期性分量的功能的情况下，学习单元118可以采取从检测单元108交付的周期性分量信息，作为在该个体检测信息中的周期性分量信息。

现在，在动作确定单元112处确定进行了预定动作的情况下(或在确定已持续进行预定动作达预定时间段的情况下)，学习单元118可以自动更新个体检测信息，但在学习单元118处的处理不限于上述。例如，学习单元118可以基于从操作单元(未示出)发送的对应于用户操作的操作信号或从诸如远程控制器等的外部操作设备发送的外部操作信号，来选择性地更新个体检测信息。

注意，在学习单元118处的个体检测信息的管理不限于上述的更新在个体检测信息中的周期性分量信息。例如，学习单元118可以管理对用户唯一的信息，比如与调整动作区域ma的区域大小和调整其位置有关的信息、用于确定用户的预定动作的时间段的信息等，作为个体检测信息。此外，例如，学习单元118可以通过用于学习的用户界面，根据用户操作，基于从操作单元(未示出)发送的操作信号来生成或更新个体检测信息，而不管来自动作确定单元112的确定结果。

根据第二实施例的信息处理设备100基本上具有与根据图14所示的第一实施例的信息处理设备100相同的配置。因此，例如，根据第二实施例的信息处理设备100可以以与根据第一实施例的信息处理设备100相同的方式，根据通过图16所示的配置的可操作性改善方法，实现上述处理(i)(面部区域检测处理)到处理(v)(执行处理)。因此，例如，根据第二实施例的信息处理设备100可以利用图16所示的配置来改善用户可操作性。

此外，通过具有学习单元118，根据第二实施例的信息处理设备100可以管理根据用户的唯一状况、比如例如年龄、性别、体格特征等的信息，作为个体检测信息。现在，如参考图11和12所描述的，信息处理设备100通过使用个体检测信息检测已经进行预定动作，来防止对与在该个体检测信息中包括的面部信息对应的具体用户的动作的错误检测和过度检测。因此，由于学习单元118管理个体检测信息，因此信息处理设备100可以在确定对应于个体检测信息的具体用户的动作的情况下改善确定的精度。

根据第二实施例的信息处理设备100的修改

注意，根据本公开的第二实施例的信息处理设备100的配置不限于图16所示的配置。例如，根据第二实施例的信息处理设备100还可以具有用于实现与由用户进行的预定动作的含义相关的处理的设备，像根据第一实施例的信息处理设备的修改的情况那样。此外，根据第二实施例的信息处理设备100可以以与根据第一实施例的信息处理设备100相同的方式适当地从诸如服务器的外部设备获得用于处理的信息，比如参考检测信息170和处理信息172，以便进行处理。

第三实施例

在上述描述中，已经例示了作为根据第一实施例的信息处理设备100和根据第二实施例的信息处理设备100的配置，显示系统200的成像装置400(例如外部设备)处理生成的成像图像。但是，根据本公开的实施例的信息处理设备100的配置不限于其中外部设备处理生成的成像图像的配置。

图17是图示根据本公开的第三实施例的信息处理设备100的配置的例子的方框图。

图17所示的根据第三实施例的信息处理设备100基本上具有与图14所示的根据第一实施例的信息处理设备100相同的配置，但相比于图14所示的根据第一实施例的信息处理设备100，根据第三实施例的信息处理设备100进一步提供有成像单元120、显示单元122和音频输出单元124。

信息处理设备100具有的成像单元120通过在显示单元122上显示的显示屏幕的显示方向上成像来生成成像图像。成像单元120向检测单元108发送成像图像。通过成像单元120在显示屏幕的显示方向上成像生成成像图像，获得成像观看显示屏幕的用户的成像图像。因此，例如，信息处理设备100可以容易地进行上述(i)(面部区域检测处理)到(v)(执行处理)的处理，比如标识面部区域fa、设置动作区域ma、检测用户的预定动作、提取面部表达等。

此外，例如，成像单元120由一个或两个或更多成像设备配置，该成像设备由例如镜头/成像设备和信号处理电路配置，但成像单元120的配置不限于上述。

信息处理设备100具有的显示单元122在显示屏幕上显示各种信息和图像。在显示单元122的显示屏幕上显示的屏幕的例子包括用于显示内容的内容显示屏幕、用于显示由成像单元120生成的成像图像(可以与内容叠加)的屏幕、用于允许关于信息处理设备100进行期望动作的操作屏幕等。

例如，信息处理设备100具有的音频输出单元124输出诸如由内容指示的音频或者在信息处理设备100处的系统音频的各种音频。通过具有音频输出单元124，信息处理设备100可以进行例如从音频输出单元124输出的音频的音频静音和音量调整，作为处理单元116进行的对应于用户的预定动作的处理。

此外，音频输出单元124的例子包括由dsp和放大器(amp)和扬声器等配置的音频输出设备，但音频输出单元124的配置不限于上述。

根据本公开的第三实施例的信息处理设备100基本上具有与图14所示的根据第一实施例的信息处理设备100相同的配置。因此，根据第三实施例的信息处理设备100可以以与根据第一实施例的信息处理设备100相同的方式，利用图17所示的配置实现与第二可操作性改善方法有关的上述处理(i)(面部区域检测处理)到处理(v)(执行处理)。因此，例如，根据第三实施例的信息处理设备100可以利用图17所示的配置来改善用户可操作性。

根据第三实施例的信息处理设备100的修改

根据本公开的第三实施例的信息处理设备100的配置不限于图17所示的配置。例如，根据第三实施例的信息处理设备100可以以与根据第二实施例的信息处理设备100相同的方式，具有学习单元118。此外，根据第三实施例的信息处理设备100可是例如不具有音频输出单元124的配置，或还可以具有实现与用户的预定动作的含义相关的处理的设备。另外，根据第三实施例的信息处理设备100可以是以与根据第一实施例的信息处理设备100的修改相同的方式在适当时从诸如服务器的外部设备获得诸如参考检测信息170和处理信息172的用于处理的信息并进行处理的配置。

如上所述，例如，根据本公开的实施例的信息处理设备100进行上述处理(1)(面部区域检测处理)到处理(4)(执行处理)、或上述处理(i)(面部区域检测处理)到处理(v)(执行处理)，由此确定用户进行了预定动作，且进行对应于确定的预定动作的处理。现在，信息处理设备100将动作区域ma设置在基于成像图像标识的面部区域fa附近，在设置的动作区域ma中检测(确定)用户的预定动作，并进行对应于所检测的预定动作的处理。通过以此方式设置动作区域ma，信息处理设备100可以通过对成像图像中的一部分区域进行图像处理，而不是像根据现有技术的信息处理设备那样对整个成像图像进行图像处理，来检测用户的动作。因此，相比于根据现有技术的信息处理设备，信息处理设备100可以减小与用户的预定动作的检测有关的计算负担，因此，通过信息处理设备100，可以防止发生可能通过上述根据现有技术的信息处理设备发生的不期望的情况。因此，信息处理设备100可以防止可能在使用现有技术的情况下发生的用户便利性的变差，并且还可以改善用户可操作性。

此外，信息处理设备100进行与在面部区域fa附近设置的在动作区域ma中检测的预定动作对应的处理，因此，相比于拍摄整个成像图像和处理的对象的根据现有技术的信息处理设备，可以降低例如由除了与面部区域fa对应的用户以外的人或物体进行的预定动作的错误检测。因此，相比于根据现有技术的信息处理设备，信息处理设备100可以进一步改善用户可操作性。

信息处理设备100进行与预定动作的含义相关的处理，作为对应于在面部区域fa附近设置的动作区域ma处检测的预定动作的处理。如上所述，由于信息处理设备100进行与所检测的动作的含义相关的处理(考虑到功能可见性的处理)，因此用户将感觉到在用户自己的动作和信息处理设备100进行的处理(或信息处理设备100使得外部设备进行的处理)之间的不一致性的机会将进一步减小。因此，信息处理设备100可以进一步改善用户可操作性。

另外，在确定已经进行了预定操作的情况下(在已经检测到预定动作的情况下)，信息处理设备100可以进一步进行通知处理，其中，通知用户已经在信息处理设备100处确定已经进行了预定动作。此外，在进行通知处理的情况下，在确定了从已确定进行了预定动作起已经持续进行预定动作达预定时间段的情况下，信息处理设备100进行与已经确定的预定动作对应的处理。现在，通过信息处理设备100进行通知处理，可以使得用户理解用户进行的动作已经被信息处理设备100识别，因此用户可以通过停止他/她自己的动作来取消在信息处理设备100处的对应于该动作的处理的执行。因此，例如，在用户进行了预定动作且信息处理设备100已经识别到此之后用户期望取消在信息处理设备100处的对应于该动作的处理的执行的情况下，或甚至在信息处理设备100恰巧错误地检测用户进行的动作的情况下，用户可以通过他/她自己的动作来控制对应于该动作的在信息处理设备100处的处理的执行。

因此，通过进行通知处理且进一步选择性地进行与在确定了已经持续进行预定动作达预定时间段的情况下确定的预定动作对应的处理，信息处理设备100可以防止用户不意图的处理由于错误检测而被执行，且因此可以进一步改善用户便利性和可操作性。

虽然以信息处理设备100作为本公开的实施例进行了描述，但本公开的实施例不限于该形式。本公开的实施例可以应用于各种设备，比如例如诸如pc和服务器的计算机、诸如电视接收机和标志设备的显示设备、诸如蜂窝电话的便携式通信设备、视频/音频播放器(或视频/音频记录器-播放器)、游戏设备等。

此外，虽然以显示系统200作为本公开的实施例进行了描述，但本公开的实施例不限于该形式。本公开的实施例可以应用于能够显示和成像的各种设备，比如例如诸如pc的计算机、诸如电视接收机和标志设备的显示设备、诸如蜂窝电话的便携式通信设备等。注意，根据本公开的实施例的显示系统200可以是进行显示的设备和进行成像的设备的组合。

3.根据本公开的实施例的程序

可以通过用于使得计算机起着根据本公开的实施例的信息处理设备的作用的程序(用于实现例如上述处理(1)(面部区域检测处理)到处理(4)(执行处理)的程序、或用于实现上述处理(i)(面部区域检测处理)到处理(v)(执行处理)的程序)来改善用户可操作性。

已经参考附图详细地说明了本发明的优选实施例，但不用说，本公开不局限于这些例子。对本领域技术人员将显而易见的是，可以在权利要求的范围内进行各种替换和修改，这自然被本公开的技术范围所包括。

例如，在图14、16和17中，示出了其中根据本公开的第一到第三实施例的信息处理设备100(包括修改)分别具有检测单元108、动作区域设置单元110、动作确定单元112、通知处理单元114和处理单元116的例子，但根据本公开的实施例的信息处理设备的配置不限于上述。例如，根据本公开的实施例的信息处理设备可以具有被形成为单个组件(例如，用单个处理电路实现)的检测单元108、动作区域设置单元110、动作确定单元112、通知处理单元114和处理单元116。此外，信息处理设备可以具有集成的可选组件，比如例如被形成为单个组件(例如，用单个图像处理电路实现的图像处理单元)的检测单元108和动作区域设置单元110等。另外，例如，信息处理设备可以分别具有用于进行识别信息的记录的信息存储单元(未示出)。

此外，虽然在以上描述中，已经例示了用于使得计算机起着提供的根据本公开的实施例的信息处理设备的作用的程序(计算机程序)，但是本公开的实施例还可以提供其中存储了上述程序的存储介质。

上述配置是本公开的实施例的例子的例示，且自然属于本公开的技术范围。

本公开包含涉及在2010年9月7日在日本专利局提交的日本优先权专利申请jp2010-200264中公开的主题，其全部内容被引用附于此。

本领域技术人员应该理解，可以取决于设计需求或其他因素，进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等效物的范围内。