信息处理装置和信息处理方法

专利名称：信息处理装置和信息处理方法
技术领域：
本发明涉及信息处理装置和信息处理方法，并且更具体地涉及用于提供数字标牌 (digital signage)的信息处理装置和信息处理方法。
背景技术：
近年来，随着网络技术和显示性能的改进，开始关注数字标牌在显示装置上显示 视频和信息并将信息发送给对象的方法。数字标牌比现有的海报、广告显示装置等具有更 好的表达能力，并且可以根据时间的地点来显示内容。这种数字标牌的使用可以给对象极 深刻的印象并且直接传播信息。为了有效地将内容分发给对象，获得关于对象的信息是有效的。例如，设想感兴趣 的内容取决于对象的性别和年龄。作为获得对象信息的方法，例如日本专利申请早期公开 No. 2008-282089公开了一种用于通过分析对象的脸部图像来确定诸如性别、年龄、种族等 之类的对象的脸部属性的方法。此外，日本专利申请早期公开No. 2006-092396公开了一种 用于基于对象的行为来从各个对象的诸如性别、年龄等之类的属性信息确定对象的群组类 型的方法。日本专利申请早期公开No. 2007-080057公开了一种通过获得对象的脸部属性信 息并使用其结果来向对象提供信息或内容的系统。例如，这种系统可以应用于使如下的顺 序处理具有娱乐性的娱乐设备对对象的脸部进行图像摄取，确定脸部的属性并且显示其结果。

发明内容
然而，在JP 2007-080057中公开的系统是这样的系统基于对对象脸部图像的分 析结果提供适合于对象的内容，但是不基于对象的状态在较好的定时下来提供内容。例如， 对象的状态根据对象的结构以及与显示装置的位置关系而每秒都在变化。如果根据这种变 化来提供内容，则所提供的内容对于对象可能更有效。鉴于上面的问题，希望提供能够根据对象的状态改变并且在较好的定时下来提供 适合于对象的内容的信息处理装置和信息处理方法。根据本发明的一个实施例，提供了一种信息处理装置，该信息处理装置包括图像 摄取部件，该图像摄取部件摄取图像；显示部件，该显示部件显示图像；位置检测部件，该 位置检测部件检测对象相对于显示部件的位置；脸部检测部件，该脸部检测部件从由图像 摄取部件摄得的图像中检测脸部；属性获取部件，该属性获取部件基于由脸部检测部件检 测到的检测结果来获取对象的属性信息；群组确定部件，该群组确定部件至少基于由脸部 检测部件检测到的对象的属性信息来确定对象所属的群组；内容确定部件，该内容确定部 件基于表示对象所属群组的群组信息以及对象的属性信息中的至少一个，来确定将要提供 给对象的一个或多个内容；以及显示处理部件，该显示处理部件以根据对象位置的显示样 式来将要提供给对象的内容的内容信息显示在显示部件上。
根据本发明，脸部检测部件检测到其脸部的对象的属性信息被获得，并且位置检 测部件获取对象的位置信息。然后，至少将对象的属性信息用作基础来确定被检测到脸部 的对象所属的群组。内容确定部件将对象的群组信息或属性信息用作基础来确定适合于对 象的内容。然后，显示处理部件以根据对象的位置信息而变化的形式来将内容信息显示在 显示装置上。这使得能够根据对象的状态变化并且在较好的定时下提供适合于对象的内 容。这里，当对象与显示部件之间的距离等于或小于第一距离时，显示处理部件可以 基于被识别出脸部的对象的属性信息来将包含多条内容信息的项目集合显示在显示部件 上。此外，当对象与显示部件之间的距离等于或小于第二距离并且第二距离小于第一距离时，群组确定部件可以确定被识别出脸部的对象的群组。并且内容确定部件基于群组 信息来确定要提供给对象的内容。此外，当对象与显示部件之间的距离等于或小于第三距离并且第三距离小于第二距离时，显示处理部件可以以对象可以操作内容信息的方式来将内容信息显示在显示部件 上。此外，当对象与显示部件之间的距离等于或小于第一距离并且大于第三距离时，显示处理部件可以以内容信息移动着的方式来将内容信息显示在显示部件上。当对象与 显示部件之间的距离等于或小于第三距离时，显示处理部件可以将内容信息显示为停止移 动。此外，显示处理部件可以剪切出由脸部检测部件检测到的脸部的脸部图像，并且 将脸部图像显示在显示部件上。显示处理部件可以在脸部图像周围显示脸部框架，并且脸 部框架示出对象的属性信息以及群组信息中的至少一种。此外，显示处理部件可以在脸部 图像的预定最大大小与最小大小之间的区域中将剪切出的脸部图像放大显示。此外，显示 处理部件可以将脸部图像显示在显示部件的上面部分，并且将内容信息显示在显示部件的 下面部分。此外，群组确定部件可以基于从脸部检测部件检测到的对象的属性信息中获得的 对象的性别和年龄类别以及当对象包括多个对象时检测到的对象的数目，来确定对象所属 的群组。这里，群组确定部件可以基于由位置检测部件检测到的对象之间的距离来确定对 象所属的群组。此外，信息处理装置还可以包括模式切换部件，该模式切换部件在第一模式与第 二模式之间切换，第一模式呈现一条或多条内容信息，第二模式呈现与从所呈现内容信息 中选出的一条内容信息相对应的内容。模式切换部件根据由位置检测部件检测到的对象的 位置信息确定对象的操作，以从第一模式切换到第二模式，并且模式切换部件基于第二模 式的预设终止条件从第二模式切换到第一模式。根据本发明的另一实施例，提供了一种信息处理方法，包括以下步骤摄取图像； 将图像显示在显示部件上；由位置检测部件检测对象相对于显示部件的位置；从所摄得的 图像中检测脸部；基于检测到的脸部的信息获取对象的属性信息；至少基于被检测到脸部 的对象的属性信息来确定对象所属的群组；基于指示对象所属群组的群组信息以及对象的 属性信息中的至少一个来确定要提供给对象的内容；以及以根据对象位置的显示样式来将要提供给对象的内容的内容信息显示在显示部件上。根据上述本发明的实施例，可以提供能够根据对象的状态改变并且在较好的定时 下提供适合于对象的内容的信息处理装置和信息处理方法。



图1是图示出根据本发明第一示例性实施例的信息处理装置的概略结构的说明 图；图2是图示出根据示例性实施例的控制器的硬件配置的框图；图3是图示出根据示例性实施例的信息处理装置的功能框图；图4是示意性地图示出了根据示例性实施例的信息处理装置的功能的说明图；图5A是图示出根据示例性实施例的内容提供功能的处理的流程图；图5B是图示出根据示例性实施例的内容提供功能的处理的流程图；图5C是图示出根据示例性实施例的内容提供功能的处理的流程图；图5D是图示出根据示例性实施例的内容提供功能的处理的流程图；图6是图示出显示在显示部件上的图像的画面结构的说明图；图7是图示出群组属性确定处理的流程图；图8A是图示出根据示例性实施例的内容提供功能的处理的示例的说明图；图8B是图示出根据示例性实施例的内容提供功能的处理的示例的说明图；图8C是图示出根据示例性实施例的内容提供功能的处理的示例的说明图；图8D是图示出根据示例性实施例的内容提供功能的处理的示例的说明图；图8E是图示出根据示例性实施例的内容提供功能的处理的示例的说明图；图8F是图示出根据示例性实施例的内容提供功能的处理的示例的说明图；图8G是图示出根据示例性实施例的内容提供功能的处理的示例的说明图；图8H是图示出根据示例性实施例的内容提供功能的处理的示例的说明图；以及图9是图示出基于微笑程度(smile level)的项目显示的一个示例的说明图。
具体实施例方式下面，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，用 相同的标号来表示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的 重复描述。将以下面的顺序来进行描述。1.信息处理装置的结构(信息处理装置的概略结构、控制器的硬件配置、信息处 理装置的功能结构)2.信息处理装置进行的内容提供处理(内容提供功能的基本结构、内容提供功能 的一个处理示例、群组属性确定处理、优点、基于微笑程度的项目显示、内容提供处理的扩 展)<1.信息处理装置的结构〉[信息处理装置的概略结构]首先，参考图1描述根据本发明示例性实施例的信息处理装置100的概略结构。在下面的描述中，信息处理装置100是能够向对象提供内容的信息处理装置。该信息处理装 置100具有如图1所示的控制器110、图像摄取部件120、显示部件130以及操作器140。 控制器110是执行控制以根据对象的状态和属性提供内容的功能部件，并且例如 可由可以执行控制处理的计算机构成。控制器110控制基于从操作器140获得的操作信 息以及从图像摄取部件120获得视频来提供内容的信息处理装置，并且对显示在显示部件 130上的图像执行图像构造处理。图像摄取部件120是用于获取视频的功能部件。例如，图像摄取部件120具有图 像摄取传感器以及用于将物体的图像引入图像摄取传感器的光学构件。图像摄取传感器例 如是CCD (电荷耦合器件)图像传感器、CMOS (互补金属氧化物半导体)图像传感器等。显示部件130将诸如内容之类的信息提供给对象。显示部件130例如是液晶显示 面板显示装置等，并且显示由控制器110生成的图像。操作器140是用于获取对象的操作信息的功能部件。操作器140例如是非接触型 传感器面板。利用这种结构，操作器140可以以三维坐标(x，y，z)的形式检测操作体位置， 例如对象是与操作器140接触还是与操作器140接近。另外，操作器140被布置在显示部 件130的表面侧处的显示部件130上。利用这种布置，操作器140可以向对象提供对显示 在显示部件130上的图像进行直接操作的感觉。控制器110、图像摄取部件120、显示部件130以及操作器140例如通过线缆150 相连，以使得它们可以彼此通信。然而，它们也可以无线地连接。此外，根据示例性实施例 的信息处理装置100具有用于输出声音的输出部件(未示出)，例如扬声器等。到此为止，已描述了根据本示例性实施例的信息处理装置100的概略结构。接下 来，将参考图2更详细地描述根据示例性实施例的信息处理装置100的控制器110的硬件 配置。图2是图示出根据示例性实施例的控制器110的硬件配置的框图。[控制器的硬件配置]本示例性实施例的控制器110包括CPU(中央处理单元)101、ROM(只读存储 器)102、RAM(随机存取存储器)103以及主机总线104a。另外，控制器110包括桥接器104、 外部总线104b、接口 105、输入设备106、输出设备107、存储设备(HDD) 108、驱动器109、连 接端口 111以及通信设备112。CPU 101用作算术处理单元和控制器，并且根据各种程序控制控制器110内部的 全部操作。另外，CPU 101可以是微处理器。ROM 102存储在CPU 101中使用的程序、计算 参数等。RAM 103临时存储CPU 101运行时所使用的程序，在程序运行时适当变化的参数 等。这些通过主机总线104a彼此相连，主机总线104a由CPU总线等构成。主机总线104a经由桥接器104连接到诸如PCI (外围组件互连/接口 )总线之类 的外部总线104b。顺便提及，主机总线104a、桥接器104以及外部总线104b不一定是分开 的组件，而可以由一条总线构成。输入设备106具有供用户输入信息的诸如鼠标、键盘、触摸面板、按钮、麦克风、开 关和操作杆之类的输入装置，以及用于基于用户的输入生成输入信号并将信号输出到CPU 101的输入控制电路。控制器110的用户操作输入设备106，从而能够将各种数据和指示处 理操作输入到控制器110中。输出设备107包括显示设备，例如CRT(阴极射线管)显示装置、液晶显示装置(IXD)、OLED(有机发光二极管)设备以及灯。此外，输出设备107包括诸如扬声器和耳机 之类的声音输出设备。该输出设备107是与信息处理装置100的显示部件130相分离的设 备，并且用于显示用于操作控制器110的信息。
存储设备108是用于存储数据的设备，其被配置作为控制器110的存储器设备的 一个示例。存储设备108可以包括存储介质、用于将数据记录在存储介质中的记录设备、用 于从存储介质读取数据的读取设备、用于删除记录在存储介质中的数据的删除设备等。存 储设备108例如可以具有HDD (硬盘驱动器)。存储设备108启动硬盘以存储各种数据以及 由CPUlOl执行的程序。驱动器109是用于存储介质的读写器，并且安装在控制器110的内部或外部。驱 动器109读取存储在诸如磁盘、光盘、磁光盘、半导体存储器等之类的可移除记录介质中的 信息，并且将信息输出到RAM 103。连接端口 111是连接到外部设备的接口，并且是能够向外部设备发送数据的诸如 USB(通用串行总线)之类的连接端口。此外，通信设备112例如是由用于连接到通信网络 等的通信设备构成的通信接口。此外，通信设备112可以是用于无线LAN(局域网)的通信 设备、用于无线USB的通信设备或者用于有线或线缆通信的有线通信设备。到此为止，描述了根据示例性实施例的控制器110的硬件配置。该控制器110用 于根据示例性实施例的信息处理装置100，以根据对象的状态和属性向对象提供内容。下面 将参考图3和图4描述根据本示例性实施例的信息处理装置100的功能。这里，图3是图 示出根据示例性实施例的信息处理装置100的功能框图。图4是示意性地图示出根据示例 性实施例的信息处理装置100的功能的说明图。[图像处理装置的功能结构]首先，参考图3描述根据本示例性实施例的图像处理装置的功能结构。根据本示 例性实施例的信息处理装置100包括如图3所示的如下功能部件输入/输出部件210、图 像摄取部件220、图像处理部件230、属性获取部件240、内容确定部件250、显示处理部件 260、回放处理部件270、选择确定部件280、模式切换部件290等。输入/输出部件210是用于获取对象的信息并且向对象提供信息的功能部件。输 入/输出部件210可以包括位置检测部件212、显示部件214和声音输出部件216。位置检 测部件212对应于图1的操作器140，并且检测操作器140与对象之间的距离(ζ)以及操作 部件在操作器140中的位置(X，y)，作为对象的位置信息。位置检测部件212将检测到的 位置信息输出到属性获取部件240、群组确定部件242、选择确定部件280以及模式切换部 件290。显示部件214对应于图1的显示部件130，并且显示由作为控制器110的一种功能 的显示处理部件260生成的图像。声音输出部件216是诸如扬声器之类的输出设备，并且 被配置为输出由作为控制器110的一种功能的回放处理部件270回放的音乐等。图像摄取部件220是用于获取图像的功能部件，并且对应于图1的图像摄取部件 120。如上所述，图像摄取部件220具有诸如镜头之类的光学构件以及图像摄取传感器。图 像摄取部件220接收光学构件获得的对象的光学图像，并且对由图像摄取传感器获得的图 像执行光电转换，从而生成图像摄取信号。图像摄取部件220将生成的图像摄取信号输出 到图像处理部件230。图像处理部件230是用于处理从图像摄取部件220输入的图像摄取信号的功能部件。图像处理部件230以使得信号变得适合于下面的处理的方式来处理图像摄取信号，并 且将图像摄取信号输出给显示处理部件260和脸部检测部件232。脸部检测部件232是用于从由图像摄取信号表达的图像中检测脸部的功能部件。 脸部检测部件232执行脸部检测以便从由图像摄取部件220摄取的图像中检测出人。可以 由相关技术中的装置来执行脸部检测处理。一旦脸部检测部件232从图像中检测到人的 脸部，则其将检测到的脸部的信息(脸部信息)输出到脸部跟踪部件234和显示处理部件 260。脸部跟踪部件234是用于基于从图像检测到的人的脸部信息来跟踪脸部的功能 部件。脸部跟踪部件234将所跟踪的脸部的脸部信息输出给属性获取部件240。属性获取部件240是用于从图像获取检测到的人的属性的功能部件。属性获取部 件240获取诸如性别、年龄和种族之类的信息，作为人的属性。此外，属性获取部件240可 以获取其它信息，例如诸如微笑之类的人的表情、佩戴或未佩戴眼镜等。属性获取部件240 将所获得的属性信息输出到群组确定部件242和内容确定部件250。群组确定部件242是用于对从图像检测到的人进行分组的功能部件。群组确定部 件242基于人的属性信息将人分类到给定群组中。群组例如包括情侣、家庭、朋友等。群组 确定部件242确定图像中的人所属的群组，并且将确定结果作为群组信息输出到内容确定 部件250。内容确定部件250是用于确定提供给对象的内容的功能部件。内容确定部件250 确定作为对象的人，并且基于人的属性信息和群组信息来确定提供给对象的内容。下面将 描述用于确定内容的详细处理。一旦内容确定部件250确定了要提供的内容，其就向内容 获取部件252输出获取内容的指令。内容获取部件252是用于从内容存储部件254获取内容信息的功能部件。内容获 取部件252从内容确定部件250和选择确定部件280接收获取内容的指令，并且从内容存 储部件254获取内容以及与内容有关的信息。内容获取部件252将获得的信息输出给显示 处理部件260和回放处理部件270。内容存储部件254是用于存储可由信息处理装置100提供的内容的存储部件。内 容存储部件254存储各种内容，包括音乐信息、诸如电影和戏剧之类的视频信息、诸如书和 杂志之类的书志目录(biblio)信息等。内容存储部件254可以经由接口(未示出)和网 络连接到外部内容提供服务器，并且更新所存储的内容。显示处理部件260是用于生成显示在显示部件214上的图像的功能部件。显示处 理部件260将从图像处理部件230、脸部检测部件232以及内容获取部件252输入的信息用 作基础来生成要显示的图像。显示处理部件260将所生成的图像输出给显示部件214。回放处理部件270是用于生成将从声音输出部件216输出的声音的功能部件。回 放处理部件270处理将要重放的、从内容获取部件252输入的内容中的声音，并且将其输出 给声音输出部件216。选择确定部件280是用于确定由对象选择的内容的处理部件。选择确定部件280 将由位置检测部件212获得的对象的位置信息用作基础，来确定显示在显示部件214上的 内容中由对象选出的内容。然后，选择确定部件280将确定结果输出给内容获取部件252。模式切换部件290是用于在信息处理装置100中切换处理模式的功能部件。模式切换部件290基于预定条件来控制对信息处理装置100中的处理模式的切换。在此示例性 实施例中，模式切换部件290将从位置检测部件212输入的位置信息、从回放处理部件270 输入的内容的回放信息、定时器292的处理时间等用作基础，来确定对处理模式的切换。然 后，模式切换部件290将确定结果用作基础，来向显示处理部件260和回放处理部件270给 出指令。定时器292是用于对时间进行计时的功能部件。在本示例性实施例中，定时器292 对时间进行计时，以作为用于由模式切换部件290确定对处理模式的切换的信息。例如，定 时器292对预定功能部件中的预定处理开始之后所经过的时间进行计时，并将时间输出给 模式切换部件290。<2.由信息处理装置进行的内容提供处理〉
[内容提供功能的基本结构]上面已描述了根据本示例性实施例的信息处理装置100的功能结构。根据本示例 性实施例的这种信息处理装置100具有如图4所示的两种处理模式，即，用于检测对象以搜 索要提供的内容的操作模式302，以及用于提供内容的海报模式(poster mode)304。操作 模式302是这样的模式，该模式用于检测对象以从由图像摄取部件220所摄得的图像中提 供内容，并且在基于对象的位置信息改变内容的呈现状态的同时提供内容。另一方面，海报 模式304是用于提供由对象选择的内容的模式。信息处理装置100将操作模式302作为基本模式来执行，并且当对象在操作模式 302中选择了内容(项目)时，信息处理装置100从操作模式302切换到海报模式304。当 信息处理装置100执行海报模式304时，其判断海报模式304是否终止。当判定满足了终 止条件时，其返回操作模式302。海报模式304的终止条件例如包括对象是否与操作器140 接触、在将模式切换到海报模式304之后是否经过了预定时间、所播放的内容是否结束，等 等。当未满足终止条件时，信息处理装置100继续执行海报模式304。接下来，参考图5A至图8H详细描述根据本示例性实施例的信息处理装置100的 内容提供功能的示例。图5A至图5D是图示出根据本示例性实施例的内容提供功能的处理 的流程图。图6是图示出显示在显示部件130上的图像的画面结构的说明图。图7是图示 出群组属性确定处理的流程图。图8A至图8H的每个是图示出根据本示例性实施例的内容 提供功能的一个处理示例的流程图。在图8A至图8H中，上面的视示出了从侧面看见 的显示部件130与对象之间的距离，而下面的视示出了显示在显示部件130上的图像。 此外，下面将“内容”解释为“项目”。[内容提供功能的一个处理示例]如上所述，根据本示例性实施例的信息处理装置100首先启动操作模式 302(S100)。在操作模式302中，由图像摄取部件120 (图像摄取部件220)摄得的当前图像 显示在显示部件130 (显示部件214)上。显示在显示部件130上的图像具有四层，如图6所示。它们是背景层132、相机层 134、人物层136以及项目层138。在背景层132中，显示了与当前所选项目有关的信息。在 相机层134中，显示了由图像摄取部件120所摄得的当前图像。在本示例性实施例中，由图 像摄取部件120所摄得的图像在经过透化(permeabilization)之前，图像被水平翻转，并 且然后图像被显示在相机层134上。在人物层136中，显示了从图像摄取部件120所摄得的图像中检测到的人。然后，在项目层138中，显示了要提供给对象的诸如内容之类的项目的信息。当操作模式302被启动时，仅显示其中显示了图像摄取部件120所摄得的当前图 像的背景层132的图像。因此，当图像摄取部件120的图像显示在显示部件130上时，能够 引起对象的兴趣，并且存在显示部件130识别出对象的效果。然后，脸部检测部件232从图像摄取部件120所摄得的图像中检测人的脸部 (S102)。重复处理，直到脸部检测部件232从图像中检测到人的脸部为止。此时，例如如图 8A的下面的视图所示，图像摄取部件120所摄得的当前图像被水平翻转，并且经受透化，然 后被显示在显示部件130上。这种显示状态与操作模式302被启动时的显示状态相同。此 时，人的脸部未被检测到，并且如图8A的上面的视图所示，对象常常不在位置检测部件212 可以检测到对象的区域。然后，当脸部检测部件232在S102中从图像中检测到人的脸部后，检测识别出的 人的属性信息(S104)。此时，脸部跟踪部件234对由脸部检测部件232检测到的脸部执行 跟踪处理。通过由脸部跟踪部件234跟踪检测到的脸部并且获取预定定时的脸部信息，可 以获得平均脸部信息。这可以防止因视角引起的、利用临时检测到的脸部信息进行的不适 当处理。在S104中，属性获取部件240获取作为检测到的人的脸部信息的信息，诸如性别、 年龄和种族之类。在本示例性实施例中，例如从人的脸部信息中获取人的属性信息，即男性 (成年男性)、女性(成年女性)或孩子。人的属性信息可以基于脸部信息的类型和应用目 的而表示出年龄、种族等中的更详细差异。将在S104中获得的人的属性信息用作基础来表示识别出的人的脸部框架 (S106)。在S106中，识别出的人的脸部图像被从摄取图像剪切出，并且显示在背景层132 中所显示的相对应的人附近的上部。例如，剪切出的脸部图像被剪成圆形，其中，约为检测 到的脸部的1.6倍大的区域被剪切出，并且由双线表示的脸部框架位于脸部图像周围。在 脸部框架中，内框以根据人属性信息的颜色来显示。例如，对于男性，以黑色显示框架，对于 女性，以白色显示框架，而对于孩子，以黄色显示框架。另一方面，脸部框架的外框以根据人 所属群组的颜色来显示。下面将详细描述群组属性。剪切出的脸部图像的大小和形状不限 于上述示例，而是可以根据画面的大小和形状、人属性信息等而适当地改变。例如，如图8B的上面的视图所示，假设男性M和女性F靠近显示部件130。此时， 当从图像摄取部件120所摄得的图像中检测到他们的脸部时，如图8B的下面的视图所示， 男性M和女性F的脸部图像310a、310b被剪切出，并且剪切出的图像显示在他们头部附近。 然后，男性M的脸部图像310a的内框312a例如以黑色显示，并且女性F的脸部图像310b 的内框以白色来显示。这里，由于尚未确定他们的群组属性，因此，未显示外框。这些脸部 图像310a和310b显示在人物层134上。此外，在每个脸部图像的下侧，显示了项目集合(item set)(下面将描述)。因此， 脸部图像被显示在画面上部约三分之一的区域内。项目集合的显示位置不限于脸部图像的 下侧，而是，项目集合还可以显示在脸部图像的上侧或脸部图像附近。在这些情况中，优选 地，项目集合以对象可以容易地操作以选择项目的方式而被显示。此外，对于脸部图像的大 小，可以设定其最大大小和最小大小，以防止脸部图像太大或太小。脸部图像的大小可以根 据距离适当地改变，以使得对象可以在视觉上容易地识别出脸部图像。
然后，判断对象与显示部件130之间的距离是否等于或小于第一距离(S108)。即， 在S108中，判断对象是否靠近显示部件130。可以利用对由图像摄取部件120摄得的图像 的分析结果或位置检测部件212来检测对象与显示部件130之间的距离。在此示例性实施 例中，当距离可能不由位置检测部件212来检测时，在脸部检测中检测到的脸部的大小用 来获取距离的近似值，并且将此近似值用于简单的处理。然后，对于脸部大小，可以用相同 阈值来确定距离，而不管对象的年龄如何，然而，如果将取决于年龄的脸部大小考虑在内， 则可以提高距离计算的准确度。此外，为了获得更准确的距离，可由多个图像摄取部件来测 量离对象的距离。
当对象与显示部件130之间的距离大于第一距离时，如图8B所示的图像显示在显 示部件130上。另一方面，当对象与显示部件130之间的距离等于或小于第一距离时，项目 集合显示在显示部件130上(SllO)。当对象靠近显示部件130时，则根据对象的人属性信 息来显示项目集合以引起对象的兴趣。项目集合包含推荐给每个个体或群组的多个项目的 图像。例如，假设项目是音乐。然后，如图8C所示，项目集合320a和320b显示在男性M和 女性F的脸部图像310a和310b的各自的下侧。项目集合320a包含推荐给男性M的音乐 的CD封套，而项目集合320b包含推荐给女性F的音乐的CD封套。项目集合320a和320b的项目可以显示为根据各个脸部图像310a和310b的位置 而摆动(oscillating)。由于项目显示为在预定区域内可活动地移动，因此，可以表现出每 个项目的浮动状态。项目集合的这种显示方法可以更多地引起对象的兴趣。此外，一个框 架可以显示在一个项目集合的周围，就像脸部图像310a和310b的框架那样。在此情况中， 如果以与脸部框架相同的颜色来显示框架，则能够容易地知道所显示的项目是推荐给哪个 对象的。接下来，如图5B所示，判断对象与显示部件130之间的距离是否等于或小于第二 距离(S112)。第二距离短于第一距离，并且对象需要更靠近显示部件130以便与显示部件 130接触。此距离是可识别显示在显示部件130上的信息的距离。图8C所示的图像显示在 显示部件130上，直到对象与显示部件130之间的距离变得等于或小于第二距离为止。另一方面，当对象与显示部件130之间的距离等于或小于第二距离时，群组确定 部件242执行群组属性确定处理(S114)。群组属性确定处理例如可通过图7所示的方法来 执行。[群组属性确定处理]在图7所示的群组属性确定处理中，对象被分类为三组，即情侣、家庭和其它，以 及一个作为判断他们是否为情侣的一种中间状态的情侣判定组。在该群组属性确定处理 中，首先判断是否检测到了一个男性和一个女性的脸部并且未检测到孩子(S210)。在S210 中，当判定检测到一个男性和一个女性的脸部并且未检测到孩子时，则判断男性与女性之 间的距离(S220)。当男性与女性之间的距离等于或小于预定距离时，他们被判定为“情 侣”(S230)。另一方面，当男性与女性之间的距离大于预定距离时，他们被判定为属于“情 侣判定”组(S240)。当可能需要时，可以根据男性与女性之间的距离来进行“情侶”状态与“情侣判定” 状态之间的转变。即，当男性与女性之间的距离从“情侣判定”状态变得更短时，则他们被 确定为“情侣”。另一方面，当男性与女性之间的距离与“情侶”状态相比变得成长时，则他们被确定为属于“情侣判定”状态。顺便提及，S220的判断处理不仅可以基于男性与女性之 间的距离来进行，而且可以基于可从脸部信息获得的人的微笑程度来进行。例如，当男性与 女性之间的距离等于或小于预定距离并且他们的微笑程度等于或大于预定值时，则该男性 与女性可被确定为情侣。
返回图7的流程图，当在S210中确定的状态不是检测到男性与女性的脸部并且 未检测到孩子时，则判断是否检测到一个或多个男性或女性的脸部并且是否存在任何孩 子(S250)。在S250中，判断他们是否是包括至少一个成人(男性或女性)和至少一个孩 子的群组。当在S250中判定检测到至少一个成人的脸部并且存在至少一个孩子时，群组 确定部件242判定他们是“家庭”(S260)。另一方面，当在S250中确定的状态不是检测到 至少一个成人的脸部并且存在至少一个孩子时，群组确定部件242判定他们属于“其它群 组”(S270)。其它群组例如包括朋友群组。返回图5B，当在S114中确定了群组属性时，则根据群组属性显示项目集合 (S116)。例如，当在S114中他们被确定为“情侶”时，则显示包含推荐给情侣的项目的项目 集合，而当他们被确定为“家庭”时，则显示包含推荐给家庭的项目的项目集合。这里，对于 显示在显示部件130上的项目集合，可以使基于群组属性的项目集合优先于基于个人属性 信息的项目集合。例如，检测到一个男性和一个女性的脸部并且不存在孩子的状态被确定为“情侣” 状态，并且如图8D的下面的视图所示，显示出包含推荐给情侣的项目的项目集合320c。此 时，可以显示将属于同一群组的人的脸部图像围起来的群组框架330。该群组框架330对应 于上述脸部框架的外框。与脸部框架类似，群组框架330可以根据群组属性改变颜色，以便 清晰地示出对象所属的群组。另外，当检测到一个男性和一个女性的脸部时，“情侣”状态中的群组框架330分别 将男性和女性的脸部框架310a和310b围起来。另一方面，在“情侣判定”状态中，可以以 将他们绘制为彼此相对的形状来显示男性和女性的脸部框架310a和310b的外框。然后， 当男性和女性从“情侣判定”状态中靠近彼此并且他们被确定为“情侶”状态时，可以以将 他们粘在一起的形状来显示男性和女性的脸部框架310a和310b的外框。然后，判断对象与显示部件130之间的距离是否等于或小于第三距离(S118)。这 里，第三距离可以是对象可与显示部件130接触的距离。当对象与显示部件130之间的距 离大于第三距离时，如图8D所示的图像显示在显示部件130中。另一方面，当对象与显示 部件130之间的距离等于或小于第三距离时，对项目集合的操作停止(S120)。组成项目集 合的项目根据脸部图像不断地移动，如上所述。当对象试图操作它时，项目操作被停止以使 得对象可以容易地进行操作。当项目正在移动时，如图8C所示，它们显示为彼此重叠，而当 项目操作被停止以进入操作状态时，如图8E所示，项目可以显示为减少重叠项目。通过这 种显示，可以更清晰地显示项目，并且对象可以容易地选择项目。此时，可以放大与对象最接近的项目的图像，以使得可以显示出该项目的说明 (S122)。通过这种显示，对象可以容易地选择该项目。例如，如图8E的上面的视图所示，假设男性M使他的手指接近显示部件130。贝丨J， 显示处理部件260停止项目移动。位置检测部件212检测男性的手指的位置，并且放大显 示与手指的位置340相对应的项目322c。然后，作为项目322c的说明，可由回放处理部件270回放与项目322c相对应的曲子的诱人歌词(hook-line)。以这种方式，由于关于项目 的信息提供给了对象，因此可以辅助项目选择。接下来，判断 对象是否与显示部件130接触(S124)。这里，对象实际上接触的是 设置在显示部件130前面的操作器140，然而，在下面的描述中，假设当检测到与操作器140 的接触时，对象与显示部件130接触。当在S124中判定对象未与显示部件130接触时，则 重复该处理。另一方面，当判定对象与显示部件130接触时，则改变背景层132的画面，并 且显示对象所接触的项目的详细信息(S126)。例如，如图8F的上面的视图所示的，假设男性M使手指与显示部件130接触。此 时，显示处理部件260将与男性M所接触的位置340相对应的项目324c的放大图像350显 示在项目层138上，并且将项目324c的说明显示在说明区域352上。因此，可以将与项目 有关的更详细的信息提供给对象。此外，判断对象是否脱离了与显示部件130的接触(S 128)。当在S124的操作序 列中来看该操作时，在S128中判断对象是否敲击了显示在显示部件130上的项目。当在 S128中判定对象持续与显示部件130接触时，则重复处理。另一方面，在S128中判定对象 脱离了显示部件130的接触时，则模式切换部件290将处理模式从操作模式302切换到海 报模式 304 (S 130)。在S130，当对象与显示部件130接触并且离开它时，判定选择了一个项目。即，基 于对象的操作执行从操作模式302到海报模式304的切换。当处理模式从操作模式302切 换到海报模式304后，显示处理部件260进行操作以不显示背景层132的图像。然后，回放 处理部件270从开始起回放所选项目的曲子(S132)。如上所述，由于模式从操作模式302切换到海报模式304，因此，例如如图8G的下 面的视图所示，由图像摄取部件120摄得的当前图像变得不显示。然后，在显示部件130上， 显示人物层135的脸部图像310a和310b、项目层138的项目的放大图像350以及说明区域 352。然后，所选项目的曲子从开始起被播放。然后，判断是否满足海报模式304的终止条件(S134)。海报模式304的终止条件 例如是对象与显示部件130接触、完成对项目的曲子的回放、转换到海报模式304后经过了 预定时间，等等。终止条件可以是单个条件或多个条件。当设置了多个终止条件时，例如，可 以在满足了终止条件中的任一条件的状况下来终止海报模式304。当满足了海报模式304 的终止条件时，重复这种处理。然后，当在S134中判定满足了海报模式304的终止条件时， 模式从海报模式304改变为操作模式302 (S136)。当在S136中将模式切换到操作模式302后，可以根据显示部件130与对象之间的 距离来确定下面的处理。换言之，当显示部件130与对象之间的距离等于或小于第二距离 时，过程返回到S114以进行下面处理(S138)。当显示部件130与对象之间的距离等于或小 于第一距离时，过程返回到SllO以进行下面处理(S140)。然后，当在S140中判定对象与显 示部件130之间的距离大于第一距离时，过程返回S102并且仅显示背景层132的图像，直 到检测到另一人的脸部为止。例如，如图8H所示，当对象远离显示部件130时，处理状态变 得与图8A所示的状态相同，并且在显示部件130上仅显示由图像摄取部件120摄得的当前 图像。[根据本示例性实施例的内容提供处理的效果]
如上所述，已描述了根据本示例性实施例的内容提供处理的示例。在根据本示例 性实施例的内容提供处理中，由图像摄取部件120获得的对象的脸部信息用来使对象进行 分组。此外，位置检测部件212获取显示部件130与对象之间的位置关系。然后，将对象属 性信息、群组信息和位置信息用作基础，来根据状态并且在好的定时下向对象提供内容。换言之，通过根据对象的脸部信息来对对象进行分组可以较好地理解对象的属 性，从而能够向对象提供适当内容。此外，关于显示部件130与对象之间的位置关系，识别 出了三种状态，即，对象离显示部件130足够远的第一状态、对象接近显示部件130以使得 对象可以操作操作器140的第三状态，以及位于第一和第三状态之间的第二状态。通过识 别这三种状态，内容显示样式被改变。内容显示样式包括所提供的内容本身、所提供的内容 信息的量、信息的显示方式等。在显示部件130与对象之间的距离大于第一距离的第一状态中，在显示部件130 上仅显示由图像摄取部件120摄得的图像或者当脸部被检测到时的脸部图像。当显示部件 130与对象之间的距离变得等于或小于第一距离时，与对象的人的属性相对应的项目集合 显示在显示部件130上。然后，当显示部件130与对象之间的距离等于或小于第二距离时， 执行群组属性确定处理并且将与群组属性相对应的项目集合显示在显示部件130上。当显 示部件130与对象之间的距离等于或小于第一距离并且大于第三距离时，为显示内容的第 二状态。此外，当显示部件130与对象之间的距离等于或小于第三距离时，为第三状态，在 第三状态中，显示为摆动的项目停止它们的移动并且显示被改变，以使得对象可以容易地 选择项目。简言之，根据显示部件130与对象之间的位置关系提供了三种状态，即，用于显示 由图像摄取部件120摄得的背景图像或者对象的脸部图像的第一状态、用于显示将要提供 给对象的项目集合的第二状态以及供对象选择项目的第三状态。以这种方式，由于根据对 象与显示部件130之间的距离、对象之间的距离、脸部表情等来交互式地改变内容，因此， 能够引起每个对象的兴趣。此外，这种内容提供方法的使用使得能够告知对象信息处理装置100识别出了该 对象。此外，由于图像摄取部件120用来摄取对象的图像，因此，可以预期到将注意力集中 到标牌上的效果。以这种方式，能够有效地向对象提供内容。[基于微笑程度的项目显示]在如上所述根据本示例性实施例的内容提供处理的一个示例中，如图8C和8D所 示，取决于对象与显示部件130之间的距离来显示或不显示项目集合。在项目集合的这种 显示中，还可以考虑到其它信息来改变包含在项目集合中的项数。例如，如图9所示，可以使用对象的微笑程度。项目集合320包含多个项322、 324...。顺便提及，项目集合320的显示位置可以如上述示例的情况中那样在对象的脸部 图像之下，或者如图9所示在脸部图像之上。当图像摄取部件120检测到对象脸部时，属性 获取部件240获取对象的微笑程度作为属性信息。然后，内容确定部件250根据所获得的 对象的微笑程度来改变包含在项目集合320中的项目322、324...的数目。例如，当表示微笑程度的值为小时，项目集合320的项目322、324...的数目减少， 而随着微笑程度的值变大，项目集合320的项目322、324...的数目增大。以这种方式，由 于将要显示的项目322、324...的数目随着微笑程度改变，因此，能够引起对象对内容或装置的更多兴趣。[内容提供处理的扩展]在根据本示例性实施例的图像处理装置100的内容提供处理中，将音乐用作项目。然而，这不意图限制本发明，并且内容提供处理还可以用于提供任何其它项目。例如， 项目可以是将推荐给个体或群组的项目，例如时装、书籍、饭店、娱乐场所等。如在上述示例 中，所推荐的项目是基于可从脸部检测部件232获得的脸部信息来确定的，然而这种处理 不意欲限制本发明。例如，对于对象的服装，可以将颜色直方图分布等用来获得服装潮流， 并且可以基于该服装潮流来确定所推荐的项。此外，可获得作为脸部信息的种族信息可以 优先用来向外国人推荐外国音乐。此外，在根据本示例性实施例的信息处理装置100中，能够从由图像摄取部件120 摄得的图像中确定对象的属性信息以及群组属性信息，并且识别出对象利用操作器140选 择的内容。就此而言，对于人的属性以及他们希望观看或收听的内容类型，操作记录可以被 累积起来并且影响将推荐给对象的内容。此外，通过经由网络将操作记录发送给服务器，可 以收集每种属性或群组的内容的优先信息。当从实际上所提供的图像摄取部件120或显示 部件130获得这种信息时，可以基于时间、日期或区域来分析信息。此外，当由图像摄取部 件120所摄得的图像用来能够识别出脸部时，可以对未接近显示部件130的人、未表现出兴 趣的人的类型进行分析。本领域的技术人员应当明白，可以根据设计要求和其它因素进行各种修改、组合、 子组合和变更，只要它们在所附权利要求或其等同物的范围之内。例如，在上述示例性实施例中，群组框架是以包括属于同一群组的对象的脸部框 架的方式来显示的；然而，这不意图限制本发明。例如，属于同一群组的对象的脸部框架可 以显示为通过线条等彼此链接在一起。这使得能够更清晰地显示属于同一群组的对象。例如，在上述示例性实施例中，当在S126中对象与显示部件130接触时，背景画面 改变，并且当在S128中撤销接触状态时，从开始起回放音乐。然而，这不意图限制本发明。 例如，可以在对象将他的/她的手放在显示部件130之上时改变将要播放的音乐或者背景 画面。本申请包含与2009年2月13日向日本专利局提交的日本优先专利申请JP 2009-032027中公开的主题有关的主题，该申请的全部内容通过引用结合于此。
权利要求
一种信息处理装置，包括图像摄取部件，该图像摄取部件摄取图像；显示部件，该显示部件显示所述图像；位置检测部件，该位置检测部件检测对象相对于所述显示部件的位置；脸部检测部件，该脸部检测部件从由所述图像摄取部件摄得的图像中检测脸部；属性获取部件，该属性获取部件基于由所述脸部检测部件检测到的检测结果来获取对象的属性信息；群组确定部件，该群组确定部件至少基于由所述脸部检测部件检测到的对象的属性信息来确定对象所属的群组；内容确定部件，该内容确定部件基于表示对象所属群组的群组信息以及对象的属性信息中的至少一个，来确定将要提供给对象的一个或多个内容；以及显示处理部件，该显示处理部件以根据对象位置的显示样式来将要提供给对象的内容的内容信息显示在所述显示部件上。
2.根据权利要求1所述的信息处理装置，其中，当对象与所述显示部件之间的距离等 于或小于第一距离时，所述显示处理部件基于被识别出脸部的对象的属性信息来将包含多 条内容信息的项目集合显示在所述显示部件上。
3.根据权利要求2所述的信息处理装置，其中，当对象与所述显示部件之间的距离等于或小于第二距离并且所述第二距离小于所述 第一距离时，所述群组确定部件确定被识别出脸部的对象的群组，并且所述内容确定部件基于群组信息来确定要提供给对象的内容。
4.根据权利要求3所述的信息处理装置，其中，当对象与所述显示部件之间的距离等 于或小于第三距离并且所述第三距离小于所述第二距离时，所述显示处理部件以对象可以 操作内容信息的方式来将内容信息显示在所述显示部件上。
5.根据权利要求4所述的信息处理装置，其中，当对象与所述显示部件之间的距离等于或小于所述第一距离并且大于所述第三距离 时，所述显示处理部件以所述内容信息移动着的方式将所述内容信息显示在所述显示部件 上，当对象与所述显示部件之间的距离等于或小于所述第三距离时，所述显示处理部件将 所述内容信息显示为停止移动。
6.根据权利要求1所述的信息处理装置，其中，所述显示处理部件剪切出由所述脸部 检测部件检测到的脸部的脸部图像，并且将所述脸部图像显示在所述显示部件上。
7.根据权利要求6所述的信息处理装置，其中，所述显示处理部件在所述脸部图像周 围显示脸部框架，并且所述脸部框架示出对象的属性信息以及群组信息中的至少一种。
8.根据权利要求6所述的信息处理装置，其中，所述显示处理部件在脸部图像的预定 最大大小与最小大小之间的区域中将剪切出的脸部图像放大显示。
9.根据权利要求6所述的信息处理装置，其中，所述显示处理部件将所述脸部图像显 示在所述显示部件的上面部分，并且将所述内容信息显示在所述显示部件的下面部分。
10.根据权利要求1所述的信息处理装置，其中，所述群组确定部件基于从所述脸部检 测部件检测到的对象的属性信息中获得的对象的性别和年龄类别以及当对象包括多个对象时检测到的对象的数目，来确定对象所属的群组。
11.根据权利要求10所述的信息处理装置，其中，所述群组确定部件基于由所述位置 检测部件检测到的对象之间的距离来确定对象所属的群组。
12.根据权利要求1所述的信息处理装置，还包括模式切换部件，该模式切换部件在第一模式与第二模式之间切换，所述第一模式呈现 一条或多条内容信息，所述第二模式呈现与从所呈现内容信息中选出的一条内容信息相对 应的内容，所述模式切换部件根据由所述位置检测部件检测到的对象的位置信息确定对象的操 作，以从所述第一模式切换到所述第二模式，并且所述模式切换部件基于所述第二模式的预设终止条件从所述第二模式切换到所 述第一模式。
13. 一种信息处理方法，包括以下步骤 摄取图像；将所述图像显示在显示部件上； 由位置检测部件检测对象相对于所述显示部件的位置； 从所摄得的图像中检测脸部； 基于检测到的脸部的信息获取对象的属性信息； 至少基于被检测到脸部的对象的属性信息来确定对象所属的群组； 基于指示对象所属群组的群组信息以及对象的属性信息中的至少一个来确定要提供 给对象的内容；以及以根据对象位置的显示样式来将要提供给对象的内容的内容信息显示在所述显示部 件上。
全文摘要
本发明公开了信息处理装置和信息处理方法。信息处理装置包括图像摄取部件；显示部件；用于检测对象相对于显示部件的位置的位置检测部件；用于从所摄得的图像中检测脸部的脸部检测部件；用于获取对象的属性信息的属性获取部件；用于至少基于检测到的对象的属性信息来确定对象所属的群组的群组确定部件；用于基于对象的群组信息以及对象的属性信息中的至少一个来确定要提供给对象的内容的内容确定部件；以及用于以根据对象位置的显示样式来将要提供给对象的内容的内容信息显示在显示部件上的显示处理部件。
文档编号G06Q50/00GK101807370SQ201010112238
公开日2010年8月18日 申请日期2010年2月8日 优先权日2009年2月13日
发明者冈田宪一, 寺山晶子, 森荣二郎, 越山笃, 野田卓郎, 鹤见辰吾 申请人:索尼公司