信息处理设备和信息处理方法
【技术领域】
[0001]本发明涉及用于处理拾取图像的信息处理技术
【背景技术】
[0002]在这之前已经有人建议了响应用户的当前情况选择内容并且自动再现内容的各种技术。例如，PTLl公开了一种再现设备，该再现设备由用户的生物信息确定用户的心理状态并且根据心理状态选择音乐。
[0003]同时，被称为增强现实(AR)的技术受到关注，这种增强现实的技术以真实空间上的叠加关系对用户呈现附加信息，并且能够呈现具有深度的立体图像的头戴显示单元(下面称为“HMD”)变得流行。尽管对于HMD有各种类型可用，但是一种HMD是光透型HMD，这种光透型HMD利用全息装置、半反射镜等对用户呈现虚拟立体图像，并且使用户通过HMD以透明(see-through)方式观看HMD外的事物。
[0004][引用列表]
[0005][专利文献]
[0006][专利文献I]
[0007]日本专利公开N0.2006-146630
【发明内容】
[0008][技术问题]
[0009]尽管专利文献I采用利用用户的心理状态选择要再现的音乐的新颖方法，实际情况是，不容易以高准确性确定用户的心理状态。因此，希望开发一种正确判定用户当前的状况并且在适当时间对用户提供服务的技术。本发明的发明人已经发现有可能特别是通过将如上所述的技术并入可穿戴式计算机，例如，并入包含光透型HMD的计算机，能够正确判定用户当前的状况并且可以提供正确服务。此外，本发明的发明人已经构想了一种用户界面，利用诸如HMD的穿戴型显示单元的特性，用户能够容易地处理该用户界面。
[0010]鉴于如上所述的问题，做出了本发明，并且本发明的目的是提供一种能够对用户提供正确服务的信息处理技术以及用户能够容易地处理的一种用户界面应用。
[0011][问题的解决方案]
[0012]为了解决上面描述的问题，根据本发明的一个方案的信息处理设备包含:记录单元，配置该记录单元，以记录时间信息和物理实体图像信息与事件关联的事件列表；图像拾取单元，配置该图像拾取单元，以拾取真实空间的图像；控制部分，配置该控制部分，以确定是否满足事件开始条件；以及执行单元，配置该执行单元，以处理应用。控制部分包含:图像处理部，配置该图像处理部，以确定对应于记录在记录单元中的物理实体图像信息的图像是否包括在在记录在记录单元中的时间信息指定的时间段内拾取的拾取图像中；条件确定部，配置该条件确定器，以当确定对应于该物理实体图像信息的图像包括在拾取图像中时，确定满足事件开始条件；以及指令部，配置该指令部，以指令执行单元执行应用的处理。执行单元开始处理与满足开始条件的事件关联的应用。
[0013]本发明的另一个方案是一种应用执行方法。该方法包含:获取通过拾取真实空间获得的拾取图像的步骤；参考时间信息和物理实体图像信息与事件关联的事件列表，来确定对应于包括在事件列表中的物理实体图像信息的图像是否包括在在包括在事件列表中的时间信息指定的时间段内拾取的拾取图像中的步骤；当确定对应于物理实体图像信息的图像包括在拾取图像中时，确定满足事件开始条件的步骤；以及开始处理与满足开始条件的事件关联的应用的步骤。
[0014]本发明的又一个方案是一种信息处理设备。该设备是一种以与真实空间具有重叠关系呈现虚拟物体的信息处理设备，并且该信息处理设备包含:穿戴型显示单元，配置该穿戴型显示单元，以显示虚拟物体，从而使用户在真实空间中观看；图像拾取单元，配置该图像拾取单元，以拾取真实空间的图像；图像处理部，配置该图像处理部，以指定包括在拾取图像中的真实物理实体图像；记录单元，配置该记录单元，以将指定的真实物理实体图像或者对应于该真实物理实体图像的标记图像记录为物理实体图像；以及显示处理部，配置该显示处理部，以使物理实体图像显示于穿戴型显示单元上。
[0015]还请注意，将上面描述的部件和通过在方法、设备、系统、计算机程序、数据结构、记录介质等等之间转换本发明的代表形式获得的获得物有效用作本发明的不同模式。
[0016][本发明的有益效果]
[0017]利用本发明，能够提供一种能够对用户提供正确服务的信息处理技术以及用户能够容易地处理的一种用户界面应用。
【附图说明】
[0018]图1是示出根据实施例的信息处理设备的外表的例子的原理图。
[0019]图2是示出根据实施例的信息处理系统的原理图。
[0020]图3是示出用于实现信息处理设备的用户界面提供功能的功能块的示意图。
[0021]图4是示出图像拾取单元拾取的拾取图像的例子的示意图。
[0022]图5的(a)和图5的(b)是示出开始手势输入模式的检测过程的示意图。
[0023]图6是示出菜单屏幕图像的布置位置的示意图。
[0024]图7的(a)和图7的(b)是示出用户做手势时的方式的示意图。
[0025]图8的(a)和图8的(b)是示出用户做手势时的方式的示意图。
[0026]图9的(a)和图9的(b)是示出结束手势输入模式的检测过程的示意图。
[0027]图10是示出下层的菜单屏幕图像的例子的示意图。
[0028]图11是示出下层的菜单屏幕图像的另一个例子的示意图。
[0029]图12是示出用户通过显示设备能够观看的场景的示意图。
[0030]图13是示出包围时钟的轨迹的示意图。
[0031]图14是示出真实物理实体指定部分指定的真实物理实体图像的示意图。
[0032]图15是示出用户的平常行为表的示意图。
[0033]图16是示出事件候选对象的示意图。
[0034]图17是示出日程安排表创建屏幕图像的示意图。
[0035]图18是示出利用拖动操作将事件名称置于表区中的行为的示意图。
[0036]图19是示出对表区分配事件名称的状态的示意图。
[0037]图20是示出另一个日程安排表创建屏幕图像的示意图。
[0038]图21是示出使物理实体图像与通过拖动操作布置于表区中的事件名称关联的行为的不意图。
[0039]图22是示出对事件分配物理实体图像的状态的示意图。
[0040]图23是不出日程安排表的例子的不意图。
[0041]图24是示出事件的选择屏幕图像的示意图。
[0042]图25是示出用于实现信息处理设备的应用处理功能的功能框图的示意图。
[0043]图26是示出事件列表的示意图。
[0044]图27是示出事件列表的例子的示意图。
[0045]图28是示出使事件和内容互相关联的内容表的示意图。
【具体实施方式】
[0046]以增强现实技术对用户呈现的信息被称为注释，并且利用诸如文本、图标或者动画的各种形式的虚拟物体为肉眼可见。然而，如果将AR技术用于广告，则广告的虚拟物体以重叠关系显示于真实空间中的建筑墙面、招牌等上。同时，如果AR技术用于指路牌，则用于指路牌的虚拟物体、地图等以重叠关系显示于物理实体上或者在真实世界中用作标记的公路上。
[0047]在上面描述的这种AR应用中，首先注册标记，并且然后，拾取对应于该标记的真实物理实体的图像，以开始与该标记关联的处理(服务)。本发明的发明人已经注意到，如果用户单独注册标记，则能够定制应用，并且由用户处理，并且已经开始开发使用户迅速并且简单地注册标记的用户界面。此外，本发明的发明人还注意到，在将注册标记与真实物理实体互相比较后，通过对用户提供不同类型的应用以及可见注释，能够扩展AR技术的潜力。下面将结合其实施例描述本发明。
[0048]图1是示出根据实施例的信息处理设备的外表的例子的原理图。信息处理设备10包括外壳18，该外壳18容纳:显示设备12，该显示设备12用于呈现诸如虚拟用户界面的虚拟物体；图像拾取单元14 ;耳机16 ;麦克风(未示出)以及各种模块。本实施例的信息处理设备10是可穿戴式计算机，并且可以将该信息处理设备10配置为具有光透型HMD的视频观看装置。然而，可以信息处理设备10配置为包括诸如例如便携式电话机或者个人数字助理(PDA)的图像拾取设备的终端设备。信息处理设备10具有使用户观看以与真实空间的重叠关系表示虚拟物体的视频的功能。图像拾取单元14周期性地拾取穿戴该信息处理设备10的用户周围的图像(例如，以30图像/秒或者60图像/秒)。耳机16输出声音，并且麦克风获取用户发出的语言或者真实空间内存在的环境声。
[0049]在本实施例中，显示设备12是由半反射镜配置的光透型HMD，并且用户通过显示设备12能够以透明方式观看真实空间，并且还能够观看信息处理设备10产生的视频(虚拟物体)。信息处理设备10还可以产生立体图像。显示设备12可以是利用全息元件将视频投影到光导板上的显示设备，也可以是形成虚拟图像，从而可以观看视频的投影型显示设备。请注意，显示设备12还可以是视频透射型HMD，并且可以在显示图像拾取单元14拾取的真实空间图像时，以与真实空间图像的重叠关系显示信息处理设备10产生的虚拟物体。这样，信息处理设备10可以是将真实空间对用户呈现为用户环境并且在真实空间的周围环境中显示虚拟物体的穿戴型信息处理设备。
[0050]在本实施例中，“真实网络实体”指真实空间中存在的物质，并且“虚拟物体”指信息处理设备10产生的物体。如果显示设备12是光透型HMD，则用户通过光透型HMD能够以透明方式观看真实物理实体。请注意，如果从拾取图像上剪切真实物理实体的图像并且信息处理设备10将该剪切图像显示于显示设备12的任意位置，则将真实物理实体图像处理为虚拟物体。
[0051]显示设备12具有一副眼镜的形式，并且将右眼图像显示于右镜上，而将左眼图像显示于左镜上。因此，用户能够观看立体图像。请注意，该实施例中的显示设备12可以不一定具有提供立体图像的机构，但是可以仅对一个眼睛具有一个镜片。
[0052]图像拾取单元14设置于两个镜片型显示元件之间，以当信息处理设备10穿戴在用户上时置于前额中部，并且图像拾取单元14拾取包括在用户的视野内的真实空间的图像。尽管图像拾取单元14的视角优选地与人的视角一致或者等同，但是图1所示类型的信息处理设备10中的图像拾取单元14的视角有时小于人的视角。利用诸如例如电荷耦合器件(CCD)图像传感器或者互补金属氧化物半导体(CMOS)图像传感器的众所周知的固态图像拾取器件，能够实现图像拾取单元14。
[0053]外壳18起眼镜形式的信息处理设备10的眼镜架的作用，并且在内部容纳信息处理设备10采用的各种模块。信息处理设备10采用的模块包括:用于实现光透型HMD的模块、用于产生三维视频(虚拟物体)的模块、用于利用蓝牙(注册商标)协议、IEEE802.11协议或者移动通信协议执行图像处理的通信模块、用于声输出的模块、电子罗盘、加速度传感器、倾斜传感器、全球定位系统(GPS)传感器、亮度传感器等等。提到的模块是示例性的，并且信息处理设备10不需要一定包括提到的所有模块。可以根据假定信息处理设备10使用的场景确定要并入模块中的一个或者多个。
[0054]尽管图1所示的信息处理设备10具有眼镜的形式，但是可以具有各种变型，诸如帽子形式、使信息处理设备10围绕用户的头部并且固定到头部的带子形式、或者覆盖用户的整个头部的头盔形式的。本实施例的信息处理设备10可以具有任何一种形式。请注意，尽管提到的形式是穿戴型可穿戴式计算机的形式的例子，但是作为信息处理设备10的形式，还能够列出便携式电话机、便携式游戏机等等。
[0055]在本实施例中，信息处理设备10提供用户能够容易地处理的并且具有根据用户的行为提供内容的用户界面。请注意，送到用户的内容可以是保存在信息处理设备10的记录单元内的内容，也可以由诸如内容服务器或者终端设备的外部设备分配。下面描述外部设备将内容分配到信息处理设备10的环境。
[0056]图2是示出根据实施例的信息处理系统的原理图。信息处理系统I包括:具有通信功能的终端设备2、用于分配数字内容的内容服务器4、具有无线接入点和路由器的功能的接入点(下面称为“AP”)、以及用于移动电话通信的基站6。内容服务器4、AP 5和基站6连接到诸如因特网的网络3。信息处理设备10具有通信功能，并且从终端设备2和/或者内容服务器4获取内容。信息处理设备10可以利用蓝牙(注册商标)协议通信从终端设备2接收内容。作为一种选择，信息处理设备10可以利用IEEE 02.11协议与AP 5建立连接并且通过AP 5从内容服务器4接收内容。作为一种选择，信息处理设备10可以利用移动通信协议与基站建立连接并且通过基站6从内容服务器4接收内容。这样，信息处理设备10能够从外部设备获取内容。
[0057]描述了信息处理设备10的功能的概况。请注意，下面的描述以显示设备12是用户利用其能够以透明方式观看真实空间的光透型HMD为例给出的。信息处理设备10并入了 AR应用，并且具有将虚拟物体显示于显示设备12上的功能。
[0058]信息处理设备10能够根据用户的状况处理应用。在此，应用的处理包括根据用户的状况起动并执行应用以及在特定应用中根据用户的状况执行内容。例如，前者包括起动并执行用于在