专利名称：信息处理设备和方法
技术领域：
本公开涉及包括成像单元和显示器的信息处理设备、方法以及用于信息处理设备的程序。
背景技术：
在诸如PC (个人计算机)等信息处理设备中，用户利用手和手指来操作诸如键盘和鼠标等输入装置以执行输入操作。此外，在近年来已被广泛使用的平板型个人计算机、个人数字助理等中，利用手指或操作器在触摸面板的屏幕上进行输入占主导地位。此外，近年来已经研发了允许在不接触的情况下进行输入操作的信息处理设备。例如，日本专利申请特开第2010-79662号(第
段，图I)公开了一种信息处理设备， 该信息处理设备包括范围传感器，并且允许通过用户的手的手势来执行输入操作。
发明内容
但是，在使用手和手指执行输入操作的情况下，存在对能够同时执行的操作的限制。例如，在用户想要在输入文本的同时滚动屏幕的情况下，用户必须在至少短时间段内暂停输入文本。特别地，在诸如平板型个人计算机和个人数字助理等手持信息处理设备中，在许多情况下用户要利用一只手握住该信息处理设备，因此，如果存在不需要使用手和手指进行处理的输入装置，则方便程度会得以增强。鉴于上述情况，期望提供一种信息处理设备和程序，其能够执行输入操作，其中用户不使用手。根据本公开的实施例，提供了一种信息处理设备，该信息处理设备包括成像单元、显示器、检测单元和控制器。成像单元被配置用于捕获图像以获得捕获图像。显示器具有朝向与成像单元的成像方向相同的方向的显示表面。检测单元被配置用于对捕获图像执行图像处理，以检测捕获图像中的用户的眼睛睁开程度。控制器被配置用于基于检测单元的检测结果来控制显示器的表示。利用该配置，当用户想要观看显示器时，通过成像单元对用户的面部进行成像(该成像单元具有作为显示表面朝向的方向的成像方向)。检测单元检测捕获图像中所包括的用户的眼睛的睁开程度，并且控制器基于检测单元检测到的眼睛的睁开程度来控制显示器的表示，结果，用户的眼睛的睁开程度被反映在该信息处理设备的控制上。换言之，用户可以基于眼睛睁开程度来操作该信息处理设备。检测单元可以检测作为捕获图像中的用户面部的区域的面部区域，并设置该面部区域中的被预测为包括用户的眼睛的眼睛搜索区域，以对该眼睛搜索区域执行图像处理。利用该配置，检测单元可以通过对眼睛搜索区域执行图像处理来检测用户的眼睛，并以高精确度和高速度执行对眼睛睁开程度的检测。应当注意，检测单元可以通过用于检测人脸的算法来检测面部区域，并基于面部区域中的位置关系来设置被预测为包括眼睛的眼睛搜索区域。控制器可以基于眼睛睁开程度随时间的变化来控制显示器的表示。利用该配置，用户可以通过随时间改变眼睛睁开程度来控制显示器。控制器可以基于用户的左眼和右眼之间的眼睛睁开程度的差别来控制显示器的表不。利用该配置，用户可以基于右眼和左眼的睁开程度来控制显示器。检测单元可以检测作为用户的眼睛的区域的眼睛区域的面积，作为眼睛睁开程度，并且控制器可以根据面积变化量和眼睛区域的高度变化量之一来控制显示器的表示。利用该配置，用户可以通过随时间改变眼睛睁开程度来控制显示器。 检测单元可以检测作为用户的眼睛的区域的眼睛区域的面积，作为眼睛睁开程度，并且控制器可以根据该眼睛区域中的用户的左眼和右眼之间的面积比和高度比之一来控制显示器的表示。利用该配置，用户可以基于右眼和左眼的睁开程度来控制显示器。控制器可以根据该面积变化量和该高度变化量之一来改变显示目标图像的显示放大倍数，以使显示器显示所述显示目标图像。利用该配置，用户可以通过随时间改变用户的眼睛睁开程度来改变显示目标图像的显示放大倍数。当用户执行输入操作时，控制器可以固定显示放大倍数。利用该配置，当用户改变显示目标图像的显示放大倍数时，显示放大倍数可以被固定为任意的显示放大倍数值。控制器可以使得显示器在该面积变化量和该高度变化量之一大于或等于预定值时显示所述显示目标图像的特定布局区域。利用该配置，在包括多个布局区域(包括图像和文本的布局的单位区域)的显示目标图像中，用户可以基于眼睛睁开程度而使显示器的表示在整个显示目标图像和仅其特定布局区域之间切换。控制器可以使得显示器显示所述显示目标图像的布局区域作为该特定布局区域，该布局区域位于显示器的中心。利用该配置，用户可以通过改变眼睛睁开程度而使得显示器仅显示位于显示器的中心的显示区域。当面积比和高度比之一大于或等于预定值时，控制器可以改变用于生成要显示在显示器上的显示图像的应用。利用该配置，用户可以基于右眼和左眼的眼睛睁开程度而切换到用于生成显示图像的应用，例如在以多任务方式的操作下的应用中的用于生成显示图像的应用。当用户执行输入操作时，控制器可以固定用于生成显示图像的应用，而不管此后获得的面积比和高度比如何。利用该配置，用户操作用于生成在该时间点处的显示图像的应用，相应地，可以防止由于此后获得的眼睛睁开程度的变化而发生不想要的应用切换。当检测单元检测到眼睛睁开程度时，控制器可以使得显示器显示指示该眼睛睁开程度被检测到的表示。利用该配置，在确认眼睛睁开程度有效之后，用户可以基于该眼睛睁开程度来执行信息处理设备的操作。
控制器可以基于预定时间段内的眼睛睁开程度的最大值来执行对用户的眼睛大小的校准。利用该配置，控制器可以确定在一定时间点处的眼睛睁开程度相对于用户正常状态下的眼睛睁开程度的比率。根据本公开的另一实施例，提供了一种包括检测单元和控制器的信息处理设备。检测单元被配置用于对成像单元捕获的捕获图像执行图像处理，以检测捕获图像中的用户的眼睛睁开程度。控制器被配置用于基于检测单元的检测结果来控制显示器的表示，该显示器具有朝向与成像单元的成像方向相同的方向的显示表面。如上所述，根据本公开，可以提供一种信息处理设备和程序，其能够执行其中用户不使用手的输入操作。如附图所示，从下面对本公开的最佳方式的实施例的详细描述来看，本公开的上述的和其它的目的、特征和优点将变得更加明显。
图I是示出根据本公开的实施例的信息处理设备的功能配置的框图；图2是示出该信息处理设备的硬件配置的框图；图3是示出该信息处理设备的外观的透视图；图4是示出该信息处理设备的操作的流程图；图5A到5C是示出该信息处理设备的操作的示意图；图6A到6B是示出该信息处理设备的操作的示意图；图7A到7B是示出该信息处理设备的操作的示意图；图8A到8D是示出根据该信息处理设备的控制示例的操作的示意图；图9A到9D是示出根据该信息处理设备的控制示例的操作的示意图；图IOA到IOD是示出根据该信息处理设备的控制示例的操作的示意图；以及图11是示出该信息处理设备中的用于检测眼睛睁开程度的亮度分布的图示。
具体实施例方式将描述根据本公开的实施例的信息处理设备。<信息处理设备的配置>图I是示出信息处理设备I的功能配置的框图，图2是示出信息处理设备I的硬件配置的框图。图3是示出信息处理设备I的外观的透视图。在下文中，将使用平板型个人计算机(PC)作为信息处理设备I的特定示例来给出描述，但是信息处理设备I并不限于此。例如，信息处理设备I可以是个人数字助理或者固定型个人计算机。如图I所示，信息处理设备I包括相机11、检测单元12、控制器13和显示器14，并且这些组件相互连接。
相机11是能够捕获数字图像的相机。相机11可以是能够捕获作为连续的静止图像的运动图像的相机，例如，可以是使用诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)等成像装置的相机。在下文中，将利用相机11捕获的图像称为“捕获图像”。检测单元12对捕获图像执行图像处理，并检测捕获图像中的用户的“眼睛睁开程度”。稍后将描述检测单元12的特定检测操作。检测单元12将检测到的“眼睛睁开程度”输出到控制器13。控制器13基于检测单元12中检测到的眼睛睁开程度来控制显示器14的表示。具体地，控制器13控制用于生成要显示在显示器14上的显示图像的软件。应当注意，该软件的示例包括诸如操作系统(OS)等系统软件和在系统软件上操作的应用软件。稍后将描述控制器13对显示器14的表示的具体控制。显示器14是能够显示图像的装置。显示器14可以是诸如电致发光(EL)显示器 或液晶显示器等直视型显示器(direct-view display)，或者可以是诸如投影仪等投影显不器(projection display)。显示器14具有朝向与相机11的成像方向相同的方向的显示表面(显示屏幕、投影仪的投影表面等等)(见图3)。具体地，显示器14具有与相机11之间的位置关系，其中在用户面对该显示表面的情况下用户的面部落入相机11的成像范围内。可通过图2所示的硬件配置来实现上述的信息处理设备I的功能配置。如图2所示，除了相机11和显示器14之外，信息处理设备I还包括存储装置15、存储器16、中央处理单元(CPU) 17和输入接口(IF) 18。上述这些组件通过总线19相互连接。应当注意，这里描述的信息处理设备I的硬件配置为一个示例，并且可以采用能够实现上述信息处理设备I的功能配置的各种配置。存储装置15是诸如硬盘驱动器(HDD)或固态驱动器(SSD)等存储装置，并存储要经受CPU 17的计算处理的程序、用作稍后将描述“显示图像”的数据等等。存储器16是诸如动态随机存取存储器(DRAM)等主存储装置，并存储从CPU 17的存储装置15读取的程序、计算处理的结果等等。CPU 17从存储器16读取程序，并执行计算处理。换言之，信息处理设备I利用作为操作目标的CPU 17来起作用。输入接口 18是信息处理设备I的输入接口，并且可以是诸如触摸面板、键盘和鼠标等输入装置。特别地，在显示器14是直视型显示器的情况下，输入接口 18可以是触摸面板。图3所示的信息处理设备I包括被设置于壳体20的显示器14和相机11。存储装置15、存储器16、CPU 17、输入接口 18和总线19被容纳在壳体20中。<信息处理设备的操作>现在将给出对信息处理设备I的操作的描述。图4是示出信息处理设备I的操作的流程图。图5和图6是示出信息处理设备I的操作的示意图。在下文中，将针对图4中所示的流程图的每个步骤(St)来描述信息处理设备I的操作。首先，相机11在其成像方向上捕获图像，并获取捕获图像(Stl)。利用相机11进行的成像可以是连续的(可以捕获作为运动图像的图像)，或者可以是间断的(例如每秒可以捕获数个图像)。这里，假设利用相机11捕获了图5A所示的捕获图像S。应当注意，捕获图像S是将在信息处理设备I中内部处理的图像，而不是要在显示器14上显示的图像。相机11将捕获图像S输出至检测单元12。这里，如上文所示，信息处理设备I的显示器14和相机11具有如下位置关系其中显示器14的显示表面朝向与相机11的成像方向相同的方向。因此，在用户正在观看显示器14的情况下，除用户正在以严重倾斜的角度来观看显示表面的情况之外，用户的面部落在相机11的成像范围之内，即，捕获图像S中包括用户的面部。检测单元12执行对捕获图像S中的用户的眼睛的检测处理(St2)。具体地，检测单元12首先检测捕获图像S中的“面部区域”。“面部区域”指的是被检测作为捕获图像S中的用户面部的区域。图5B具体示出了由检测单元12针对图5A中例示的捕获图像S设置的面部区域R1。检测单元12可以通过使用人脸的特征模式(模板)而进行的模板匹配来检测面部区域R1。此外，检测单元12还可以通过除模板匹配之外的其他算法来检测面部区域R1。
接下来，检测单元12设置面部区域Rl中的“眼睛搜索区域”。图5B示出了眼睛搜索区域R2。眼睛搜索区域是面部区域Rl中的被检测单元12预测为包括眼睛的区域。检测单元12可以基于面部区域Rl的尺寸、方位、纵横比等来设置眼睛搜索区域。这是因为，人脸中眼睛的位置通常落在一定的范围内，尽管存在个人之间的差别。随后，检测单元12对眼睛搜索区域R2中包括的图像区域执行对“特征点”的检测处理。图5C是示出对特征点P的检测结果的示意图。特征点P是关于图像区域中的像素的亮度的特征点。例如，检测单元12可以设置通过边缘检测而检测到的两个边缘的交点作为特征点P。此外，检测单元12可以通过除边缘检测之外的其他各种算法来检测特征点P。由于检测单元12仅需执行对眼睛搜索区域中所包括的图像区域上的特征点的检测处理，因此，与针对整个图像执行同样的处理的情况相比，检测单元12能够以高精确度和高速度检测到特征点P。检测单元12可以将被这样检测到的特征点P所包围的区域确定为用户的眼睛区域(在下文中称为“眼区”)。图6A是示出由检测单元12在捕获图像S中检测到的眼区R3的示意图。图6B是示出由检测单元12在与捕获图像S不相同的捕获图像(其中用户闭合一只眼睛)中检测到的眼区R3的示意图。检测单元12从眼区R3中提取“眼睛睁开程度”。可以基于眼区R3的面积、眼区R3的高度或其组合来定义眼睛睁开程度。图6A和图6B各自示出了眼区R3的高度(右眼区的高度hK和左眼区的高度K)。检测单元12将眼区R3中的眼睛睁开程度输出至控制器13。控制器13基于眼睛睁开程度来控制显示器14的表示(St3)。控制器13可以基于用户的眼睛睁开程度，特别是基于眼睛睁开程度随时间的变化以及用户的右眼和左眼之间的眼睛睁开程度的差别，来控制显示器14的表示。眼睛睁开程度随时间的变化可以被获得为眼区R3的面积变化量或高度变化量。此外，用户的右眼和左眼之间的眼睛睁开程度的差别可以被获得为右眼区和左眼区R3的面积比或其高度比。稍后将描述通过控制器13的根据用户的眼睛睁开程度进行控制的特定示例。在上述处理中，该处理从获取捕获图像(StI)起被再次重复。信息处理设备I如上述地进行操作。应当注意，控制器13可以在上述处理中附加地执行以下操作。[去除眨眼]如上文所述，控制器13基于在一定瞬间捕获的捕获图像中检测到的用户的眼睛睁开程度来控制显示器14的表示。然而，存在用户眨眼而并不想要操作信息处理设备I的情况，如果基于在此瞬间捕获的捕获图像中的眼睛睁开程度来控制显示器14的表示，则是不利的。在此点上，信息处理设备I可以去除这种由用户的眨眼所导致的影响。具体地，在从检测单元12输出的用户的双眼的睁开程度在一定时间段内均按照睁开状态、闭合状态、睁开状态的顺序而变化的情况下，控制器13忽略“闭合”状态，这样，控制器13可以避免将用户的眨眼反映到对显示器14的表示的控制上。[眼睛尺寸的校准] 尽管在信息处理设备I中根据用户的眼睛睁开程度来执行对显示器14的表示的控制，但是个人之间的眼睛尺寸是不相同的。换言之，在一定的捕获图像中检测到的眼睛睁开程度包括在正常状态下的用户的眼睛睁开程度和在用户眯起他/她的眼睛的状态下的用户的眼睛睁开程度。相应地，需将正常状态下的用户的眼睛尺寸设置为基准。在此点上，信息处理设备I可以基于正常状态下的用户的眼睛尺寸来执行校准。具体地，控制器13可以保持在预定的时间段期间的表示用户的眼睛尺寸的值，并将其最大值设置为正常状态下用户的眼睛尺寸。此外，在信息处理设备I被多个用户使用的情况下，控制器13可以通过任意的面部识别算法来识别在捕获图像中包括的个体用户，并将该个体用户与眼睛尺寸的最大值相关联。[眼睛睁开程度的导航]在上述的对眼睛尺寸的校准中，信息处理设备I可以为用户执行眼睛睁开程度的导航。具体地，信息处理设备I可以在显示器14上显示诸如“将你的眼睛睁开到最大程度”和“眯起你的眼睛”等消息，并且可以使用在此时由此获得的眼睛尺寸用于上述的校准。[指示利用眼睛的操作有效的表示]在从检测单元12输出眼睛睁开程度的情况下，即，在用户的面部落入相机11的成像范围内的情况下，控制器13可以在显示器14上显示指示能够利用眼睛进行操作的表示。图7示出了该表示的特定示例。图7A示出了当检测单元12未检测到用户的眼睛时要在显示器14上显示的显示图像的示例，图7B示出了当检测单元12检测到用户的眼睛时要在显示器14上显示的显示图像的示例。如图7B所示，控制器13可以在显示器的状态条等上显示指示已检测到眼睛的图标C。利用该表示，用户一眼看到显示器14，既可理解信息处理设备I被允许基于眼睛睁开程度来操作。[控制器的控制示例]将描述控制器13根据用户的眼睛睁开程度对显示器14的表示的控制示例。[控制示例I:切换要显示的应用]图8是示出了根据控制示例I的信息处理设备I的操作的示意图。假设用户观看显示器14并且捕获图像SI (图8A)被相机11捕获，则如上文所述地，检测单元12将眼睛睁开程度输出到控制器13。控制器13使得显示器14显示正在执行中的第一应用(例如音频文件再现应用)的图像作为显示图像Gl (图8B)。接下来，假设用户闭合一只眼睛并且捕获图像S2 (图Sc)被相机11捕获，则控制器13基于眼睛睁开程度而确定用户闭合一只眼睛，并使得显示器14显示正在以多任务方式执行的第二应用(例如用于聊天的应用)的图像作为显示图像G2 (图8D)。例如，在右眼区和左眼区R3的面积比和高度比大于或等于预定值的情况下，控制器13可以将用于生成显示图像的应用从第一应用切换为第二应用。换言之，通过在显示器14上正在显示第一应用的情况下闭 合一只眼睛，用户可以在不用他/她的手和手指操作信息处理设备I的情况下使得显示器14显示第二应用。例如，用户可以检查聊天中的新消息的有无。当用户再次睁开眼睛时，控制器13基于从检测单元12输出的眼睛睁开程度而确定用户的双眼均睁开了，并使得显示器14显示显示图像Gl。应当注意，在用户的一只眼睛正闭合的情况下，S卩，正在显示显示图像G2的情况下，当用户操作触摸面板等时(当用户想要操作第二应用时)，控制器13可以固定第二应用而不管此后获得的眼睛睁开程度如何，其中通过该第二应用生成显示图像G2。在该控制示例中，通过用户闭合一只眼睛，控制器13在第一应用和第二应用之间切换表示。然而，但是控制示例并不限于此，例如，通过用户闭合双眼，控制器13在这些应用之间切换表示。此外，控制器13可以基于用户闭合的是右眼和左眼中的哪一个来切换要显示的应用。此外，在该控制示例中，控制器13基于眼睛睁开程度而在两个应用之间切换表示，但是控制示例并不限于此。控制器13可以基于眼睛睁开程度而在单个应用中在主要内容和次要内容(例如文档和其书签、或者运动图像和其操作接口)之间切换。此外，控制器13可以基于眼睛睁开程度来控制启动或退出应用。[控制示例2:显示放大倍数缩放]图9是示出了根据控制示例2的信息处理设备I的操作的示意图。假设用户观看显示器14并且捕获图像S3 (图9A)被相机11捕获，则如上文所述地，检测单元12将捕获图像S3中的眼睛睁开程度输出到控制器13。控制器13使得显示器14以预定的显示放大倍数来显示特定图像(显示目标图像)，作为显示图像G3 (图9B)。接下来，假设用户眯起他/她的眼睛并且捕获图像S4 (图9c)被相机11捕获，则控制器13使得显示器14显示通过根据眼睛睁开程度来增大显示目标图像的显示放大倍数而获得的图像，作为显示图像G4 (图9D)。控制器13可以根据眼睛睁开程度而逐步地或无缝地改变显示目标图像的显示放大倍数。控制器13可以根据例如右眼区和左眼区R3的面积变化量或高度变化量来改变显示放大倍数。换言之，通过在显示器14上显示任意图像的情况下眯起眼睛，用户可以在不用他/她的手和手指操作信息处理设备I的情况下放大显示图像。当用户再次将眼睛睁开到较大程度时，控制器13根据从检测单元12输出的眼睛睁开程度而使得显示目标图像的放大倍数返回到初始的放大倍数，并使得显示器14显示显示图像G3。应当注意，当以预定的显示放大倍数来显示显示图像并且用户操作触摸面板等时，控制器13可以将显示放大倍数固定到该放大倍数，并使得此后将以该放大倍数显示显示图像，而不管眼睛睁开程度如何。在该控制示例中，当用户眯起他/她的眼睛时，控制器13增大显示放大倍数。然而，另一方面，当用户眯起他/她的眼睛时，控制器13也可以减小显示放大倍数。[控制示例3:布局区域的放大]图10是示出了根据控制示例3的信息处理设备I的操作的示意图。假设用户观看显示器14并且捕获图像S5 (图10A)被相机11捕获，则如上文所述地，检测单元12将捕获图像S5中的眼睛睁开程度输出到控制器13。控制器13使得显示器14显示“包括多个布局区域的图像”(显示目标图像)，作为显示图像G5 (图10B)。布局区域指的是包括图像和文本的布局的单位区域。包括多个布局区域的图像例如是网站上的图像。典型地，新闻站点上的图像对应于包括多个布局区域的图像，并且新闻站点的一篇文章对应于该布局区域。在图IOB所示的显示图像G5中，由 虚线表示一个布局区域A。接下来，假设用户眯起他/她的眼睛并且捕获图像S6 (图10C)被相机11捕获，则控制器13基于捕获图像S5中的眼睛睁开程度以及捕获图像S6中的眼睛睁开程度而使得显示器14仅显示显示目标图像的特定布局区域作为显示图像G6 (图10D)。被设置为显示图像G6的布局区域可以是例如位于最接近显示图像G5中的图像中心并占据该图像的最大部分的布局区域。例如，在右眼区和左眼区R3的面积变化量和高度变化量大于或等于预定值的情况下，控制器13可以使得显示器14显示上述的特定布局区域。换言之，通过在观看诸如网站等包括多个布局区域的图像的同时眯起眼睛，用户可以在不用他/她的手和手指操作信息处理设备I的情况下使得仅显示预定的布局区域。当用户再次睁开眼睛到较大程度时，控制器13使得显示器14显示包括多个布局区域的显示目标图像，作为显示图像G5。如在上述控制示例中描述地，控制器13可以基于从检测单元12输出的眼睛睁开程度来控制显示器14的表示。〈变型例1>在上述描述中，检测单元12设置特征点以检测眼睛睁开程度。然而，检测单元12也可以利用“亮度分布”来检测眼睛睁开程度。具体地，检测单元12如下操作。首先，检测单元12通过上述的模板匹配等检测面部区域R1，并基于面部区域Rl的尺寸、方位、纵横比等来设置眼睛搜索区域R2 (参见图5B)。随后，检测单元12获取眼睛搜索区域R2中所包括的像素的亮度分布。图11是示出了眼睛搜索区域R2中包括的像素的亮度分布的概念图。如图11所示，当用户睁开他/她的眼睛时，由于眼睛中存在白色和黑色，因此，该亮度分布在“高”部分和“低”部分中具有其峰值。另一方面，当用户闭合他/她的眼睛时，眼睛的白色和黑色不存在，因此该亮度分布在所述“高”部分和所述“低”部分的中点处具有其峰值。此外，在用户眯起他/她的眼睛的情况下，得到两条曲线之间的中间曲线。换言之，检测单元12可以基于峰值的位置来确定眼睛睁开程度。因此，检测单元12能够利用该亮度分布来检测包括于捕获图像中的用户的眼睛睁开程度，而控制器13能够基于所述眼睛睁开程度来控制显示器14的表示。〈变型例2>
在上面的描述中，检测单元12设置特征点以检测眼睛睁开程度。但是，检测单元12也可以使用“模板匹配”来检测眼睛睁开程度。具体地，检测单元12如下操作。首先，检测单元12通过上述的模板匹配等检测面部区域R1，并基于面部区域Rl的尺寸、方位、纵横比等来设置眼睛搜索区域R2 (参见图5B)。应当注意，在该变型例中，对眼睛搜索区域R2的设置并不是必须执行的，但该设置能够缩短用于进行模板匹配的时间。随后，检测单元12针对眼睛搜索区域R2或整个捕获图像、使用眼睛的模板来执行模板匹配。例如，检测单元12使用具有不同的眼睛睁开程度的多个模板以由此确定眼睛睁开程度。因此，检测单元12可以利用模板匹配来检测捕获图像中包括的用户的眼睛睁开程度，并且控制器13可以基于该眼睛睁开程度来控制显示器14的表示。
本公开不限于上述实施例，并且可以对本公开进行各种变型，而不背离本公开的要点。应当注意，本公开可以采用以下配置。(I) 一种信息处理设备，包括成像单元，被配置用于捕获图像以获取捕获图像；显示器，具有显示表面，该显示表面朝向与成像单元的成像方向相同的方向；检测单元，被配置用于对捕获图像执行图像处理以检测捕获图像中的用户的眼睛睁开程度；以及控制器，被配置用于基于检测单元的检测结果来控制显示器的表示。(2)根据第(I)项的信息处理设备，其中检测单元检测捕获图像中的作为用户的面部的区域的面部区域，并设置该面部区域中的被预测为包括用户的眼睛的眼睛搜索区域，以对该眼睛搜索区域执行图像处理。(3)根据第(I)项或第(2)项的信息处理设备，其中控制器基于眼睛睁开程度随时间的变换来控制显示器的表示。(4)根据第(I)至(3)项中任一项的信息处理设备，其中控制器基于用户的左眼和右眼之间的眼睛睁开程度的差别来控制显示器的表示。(5)根据第(I)至(4)项中任一项的信息处理设备，其中检测单元检测作为用户的眼睛的区域的眼睛区域的面积，作为该眼睛睁开程度，以及控制器根据眼睛区域的面积变化量和高度变化量之一来控制显示器的表示。(6)根据第(I)至(5)项中任一项的信息处理设备，其中检测单元检测作为用户的眼睛的区域的眼睛区域的面积，作为该眼睛睁开程度，以及控制器根据该眼睛区域中的用户的左眼和右眼之间的面积比和高度比之一来控制显示器的表示。(7)根据第(I)至(6)项中任一项的信息处理设备，其中控制器根据该面积变化量和该高度变化量之一来改变显示目标图像的显示放大倍数，以使得显示器显示显示目标图像。(8)根据第(I)至(7)项中任一项的信息处理设备，其中
当用户执行输入操作时，控制器固定显示放大倍数。(9)根据第(I)至(8)项中任一项的信息处理设备，其中当该面积变化量和该高度变化量之一大于或等于预定值时，控制器使得显示器显示显示目标图像的特定布局区域。(10)根据第(I)至(9)项中任一项的信息处理设备，其中控制器控制显示器显示显示目标图像的位于显示器中心处的布局区域作为该特定布局区域。(11)根据第(I)至(10)项中任一项的信息处理设备，其中
当该面积比和该高度比之一大于或等于预定值时，控制器改变用于生成要显示在显示器上的显示图像的应用。(12)根据第(I)至(11)项中任一项的信息处理设备，其中当用户执行输入操作时，控制器固定用于生成显示器图像的应用，而不管此后将获得的面积比和高度比如何。(13)根据第(I)至(12)项中任一项的信息处理设备，其中当检测单元检测到眼睛睁开程度时，控制器使得显示器显示指示眼睛睁开程度已被检测到的表示。(14)根据第(I)至(13)项中任一项的信息处理设备,其中控制器基于预定时间段内眼睛睁开程度的最大值来执行对用户的眼睛尺寸的校准。(15) 一种程序，使得计算机用作检测单元，被配置用于对成像单元所捕获的捕获图像执行图像处理，以检测该捕获图像中的用户的眼睛睁开程度；以及控制器，被配置用于基于检测单元的检测结果来控制显示器的表示，该显示器具有朝向与成像单元的成像方向相同的方向的显示表面。本公开包含与2011年6月13日在日本专利局递交的日本在先专利申请JP2011-131120中公开的主题相关的主题，该日本申请的全部内容通过引用合并在此。本领域的技术人员应当理解，可以根据设计需求和其它因素进行各种变型、组合、子组合和变更，只要所述变型、组合、子组合和变更在所附权利要求或其等同内容的范围之内即可。
权利要求
1.ー种信息处理设备,包括 成像単元，被配置用于捕获图像以获取捕获图像； 显示器，具有显示表面，所述显示表面朝向与所述成像単元的成像方向相同的方向； 检测单元，被配置用于对所述捕获图像执行图像处理，以检测所述捕获图像中的用户的眼睛睁开程度；以及 控制器，被配置用于基于所述检测単元的检测结果来控制所述显示器的表示。
2.根据权利要求I所述的信息处理设备，其中 所述检测単元检测作为所述捕获图像中的所述用户的面部的区域的面部区域，并设置所述面部区域中的被预测为包括所述用户的眼睛的眼睛搜索区域，以对所述眼睛捜索区域执行所述图像处理。
3.根据权利要求I所述的信息处理设备，其中 所述控制器基于所述眼睛睁开程度随时间的变化来控制所述显示的表示。
4.根据权利要求I所述的信息处理设备，其中 所述控制器基于所述用户的左眼和右眼之间的眼睛睁开程度的差别来控制所述显示器的表不。
5.根据权利要求3所述的信息处理设备，其中 所述检测单元检测作为所述用户的眼睛的区域的眼睛区域的面积，作为所述眼睛睁开程度；以及 所述控制器根据所述眼睛区域的面积变化量和高度变化量之一来控制所述显示器的表不。
6.根据权利要求4所述的信息处理设备，其中 所述检测单元检测作为所述用户的眼睛的区域的眼睛区域的面积，作为所述眼睛睁开程度；以及 所述控制器根据所述眼睛区域中的所述用户的左眼和右眼之间的面积比和高度比之一来控制所述显示器的表示。
7.根据权利要求5所述的信息处理设备，其中 所述控制器根据所述面积变化量和所述高度变化量之一来改变显示目标图像的显示放大倍数，以使得所述显示器显示所述显示目标图像。
8.根据权利要求7所述的信息处理设备，其中 所述控制器在所述用户执行输入操作时固定所述显示放大倍数。
9.根据权利要求5所述的信息处理设备，其中 所述控制器在所述面积变化量和所述高度变化量之一大于或等于预定值时使得所述显示器显示显示目标图像的特定布局区域。
10.根据权利要求9所述的信息处理设备，其中 所述控制器使得所述显示器显示所述显示目标图像的位于所述显示器中心处的布局区域作为所述特定布局区域。
11.根据权利要求6所述的信息处理设备，其中 所述控制器在所述面积比和所述高度比之一大于或等于预定值时改变用于生成要显示在所述显示器上的显示图像的应用。
12.根据权利要求11所述的信息处理设备，其中 所述控制器在所述用户执行输入操作时固定所述用于生成显示图像的应用，而不管此后获得的所述面积比和所述高度比如何。
13.根据权利要求I所述的信息处理设备，其中 所述控制器在所述检测単元检测到所述眼睛睁开程度时使得所述显示器显示指示所述眼睛睁开程度被检测到的表示。
14.根据权利要求I所述的信息处理设备，其中 所述控制器基于预定时间段内所述眼睛睁开程度的最大值执行对用户眼睛的尺寸的校准。
15.—种信息处理方法,包括 对成像単元所捕获的捕获图像执行图像处理，以检测所述捕获图像中的用户的眼睛睁开程度；以及 基于所述检测的结果来控制具有朝向与所述成像単元的成像方向相同的方向的显示表面的显不器的表不。
全文摘要
公开了信息处理设备和方法。一种信息处理设备包括成像单元、显示器、检测单元和控制器。成像单元被配置用于捕获图像以获取捕获图像。显示器具有朝向与成像单元的成像方向相同的方向的显示表面。检测单元被配置用于对该捕获图像执行图像处理以检测该捕获图像中的用户的眼睛睁开程度。控制器被配置用于基于检测单元的检测结果来控制显示器的表示。
文档编号G06F3/01GK102854979SQ201210185110
公开日2013年1月2日 申请日期2012年6月6日 优先权日2011年6月13日
发明者笠原俊一, 梨子田辰志 申请人:索尼公司