信息处理装置、信息处理方法以及程序与流程

文档序号:20362040发布日期:2020-04-10 23:45阅读:173来源:国知局
信息处理装置、信息处理方法以及程序与流程

本公开涉及信息处理装置、信息处理方法以及程序。



背景技术:

近年来,随着信息处理技术以及显示技术的发展,提供了显示有现实感的影像的技术。作为这样的技术,有增强现实(ar:augmentedreality)技术。ar技术是在真实世界中叠加附加的信息并提示给用户的技术,通过ar技术提示给用户的信息也被称为注释,被可视化为文本、图标或者动画等各种形态的虚拟对象。

上述那样的ar技术例如通过佩戴于用户的头部等的头戴式显示器(headmounteddisplay:以下称为“hmd”)等来体现。详细而言,hmd具有在佩戴于用户时位于用户的眼前的显示器,在用户的眼前显示上述的虚拟对象。这样的hmd有上述显示器是非透射的非透射式、和上述显示器透射的透射式。在显示器是透射式的情况下,上述的虚拟对象被实时显示,以便被叠加在用户经由显示器视觉确认的真实空间中。根据ar技术,通过这样显示虚拟对象,从而能够使用户将虚拟对象感知为好像存在于真实空间中的现实物体。例如,这样的使用了透射式的显示器的hmd在下述的专利文献1以及2中公开。并且,由于这些hmd被佩戴在用户的头部等,所以具有紧凑的形态。

专利文献1:日本特开2016-208380号公报

专利文献2:日本特开2016-157458号公报

一般搭载在信息处理装置上的蓄电池的容量有限制,伴随于此,处理器等的处理能力也有限制。因此,在信息处理装置中,虚拟对象的显示处理量增加,处理器的处理能力没有富余的情况下,虚拟对象的显示帧率等有时会降低。此外,上述的虚拟对象的显示处理量意味着在显示虚拟对象时,在cpu(centralprocessingunit:中央处理器)、gpu(graphicsprocessingunit:图形处理器)中进行的处理的量。



技术实现要素:

因此,在本公开中,提出能够避免虚拟对象的显示帧率的降低的、新颖且改进的信息处理装置、信息处理方法以及程序。

根据本公开,提供具备控制部的信息处理装置,该控制部对产生提示给用户的虚拟对象的显示帧率的降低的状态进行检测,并根据检测出的结果使上述虚拟对象的显示详细度动态地变化。

另外,根据本公开,提供信息处理方法,该信息处理方包括对产生提示给用户的虚拟对象的显示帧率的降低的状态进行检测,并根据检测出的结果使上述虚拟对象的显示详细度动态地变化。

并且,根据本公开,提供程序,该程序使计算机作为控制部发挥作用,该控制部对产生提示给用户的虚拟对象的显示帧率的降低的状态进行检测,并根据检测出的结果使上述虚拟对象的显示详细度动态地变化。

如以上说明那样,根据本公开,可以提供能够避免虚拟对象的显示帧率的降低的信息处理装置、信息处理方法以及程序。

此外,上述效果不一定是限制性的。与上述效果一起或代替上述效果,可以实现本说明书中所示的任何一种效果或可以从本说明书中掌握的其它效果。

附图说明

图1是用于说明本公开的第一实施方式所涉及的信息处理装置1的概要结构的图。

图2是表示该实施方式所涉及的信息处理装置1的详细结构的一个例子的框图。

图3是用于说明该实施方式所涉及的虚拟对象800的显示例子的说明图(其1)。

图4是用于说明该实施方式所涉及的虚拟对象800的显示例子的说明图(其2)。

图5是用于说明该实施方式所涉及的虚拟对象800的显示例子的说明图(其3)。

图6a是表示该实施方式所涉及的处理流程的流程图(其1)。

图6b是表示该实施方式所涉及的处理流程的流程图(其2)。

图7是用于说明该实施方式所涉及的处理的一个例子的说明图(其1)。

图8是用于说明该实施方式所涉及的处理的一个例子的说明图(其2)。

图9a是表示本公开的第一实施方式所涉及的处理流程的流程图(其1)。

图9b是表示该实施方式所涉及的处理流程的流程图(其2)。

图10是用于说明该实施方式所涉及的处理的一个例子的说明图。

图11是用于说明该实施方式所涉及的变形例的处理的一个例子的说明图。

图12是用于说明本公开的第三实施方式所涉及的虚拟对象810的显示例子的说明图。

图13是表示该实施方式所涉及的处理流程的流程图。

图14是用于说该实施方式所涉及的处理的一个例子的说明图。

图15是用于说该实施方式的变形例1所涉及的处理的一个例子的说明图。

图16是用于说该实施方式的变形例2所涉及的处理的一个例子的说明图。

图17是用于说该实施方式的变形例3所涉及的处理的一个例子的说明图。

图18是表示本公开的一个实施方式所涉及的信息处理装置900的硬件构成的一个例子的框图。

具体实施方式

以下参照附图,详细地对本公开的优选的实施方式进行说明。此外,在本说明书以及附图中,对实际具有相同的功能构成的构成要素附加同一附图标记,从而省略重复说明。

另外,在本说明书以及附图中存在具有实际相同或者类似的功能构成的多个构成要素通过在相同的附图标记的后面附加不同的数字而进行区别的情况。但是,在不需要特别区别具有实际相同或者类似的功能构成的多个构成要素的各个的情况下,仅附加同一附图标记。另外,对于不同的实施方式的类似的构成要素,存在在相同的附图标记的后面附加不同英文字母进行区别的情况。但是,在不需要特别区别类似的构成要素的各个的情况下,仅附加同一附图标记。

此外,在以下的说明中,“显示帧率”意味着在虚拟对象的显示中,每单位时间被处理的帧数(片段数)。另外,“识别帧率”意味着在识别规定的信息的处理中,每单位时间检测该信息的取样次数。

此外,说明按以下的顺序进行。

1.本公开的实施方式所涉及的信息处理装置的概要结构

2.本公开的技术的背景

3.第一实施方式

3.1.第一实施方式所涉及的信息处理装置的详细结构

3.2.第一实施方式所涉及的虚拟对象的显示例子

3.3.第一实施方式所涉及的信息处理方法

4.第二实施方式

4.1.第二实施方式所涉及的信息处理方法

4.2.第二实施方式的变形例

5.第三实施方式

5.1.第三实施方式所涉及的信息处理方法

5.2.第三实施方式的变形例

6.总结

7.硬件构成

8.补充

<<1.本公开的实施方式所涉及的信息处理装置的概要结构>>

首先,参照图1,对本公开的实施方式所涉及的信息处理装置的概要进行说明。图1是用于说明本实施方式所涉及的信息处理装置1的概要结构的图。如图1所示,本实施方式所涉及的信息处理装置1例如通过佩戴于用户700的头部的眼镜型的hmd来实现。即,信息处理装置1是佩戴于用户700的可穿戴的装置。与在佩戴时位于用户700的眼前的眼镜镜片部分相当的显示部16可以是能够视觉确认眼镜镜片部分的外侧的透射式,或者,不能够视觉确认眼镜镜片部分的外侧的非透射式显示器。此外,在以下的说明中,将具有透射式显示器的显示部16的hmd称为“智能眼镜”。

本实施方式所涉及的信息处理装置1能够通过在显示部16显示虚拟对象而在用户700的眼前提示虚拟对象。此外,在以下的说明中,虚拟对象意味着能够被用户700感知为存在于真实空间的现实物体的虚拟物体。并且,在本实施方式中,作为信息处理装置1的一个例子的hmd并不限于针对用户700的两眼显示虚拟对象的方式,也可以具有仅对用户700的单眼显示虚拟对象的方式。

例如,若以信息处理装置1为智能眼镜的情况为例进行说明,则如图1所示,佩戴在用户700的头部的信息处理装置1具有在用户700的眼前配置左眼用和右眼用的一对显示部16a以及显示部16b的结构。这些显示部16a、16b例如使用透射式显示器,信息处理装置1通过控制该透射式显示器的透射率,而能够使显示成为透过状态,即透明或者半透明的状态。另外,通过显示部16a、16b成为透过状态,从而即使在如眼镜那样总是佩戴信息处理装置1的情况下,用户700也能够感知周围的真实空间,所以不会打扰用户700的通常的生活。并且,显示部16a以及16b能够在透过状态下显示文本、图等图像,即,作为增强现实(ar),能够在真实空间中叠加显示虚拟对象。这样的透射式显示器例如使用半透半反镜、透明的导光板,将由透明的导光部等构成的虚像光学系统保持在用户700的眼前,使虚拟对象显示于该虚像光学系统的内侧。

此外,在本实施方式中,使用非透射式显示器的情况下,显示部16可以对由设置在信息处理装置1中的向外相机120(详细,后述)拍摄到的真实空间的拍摄图像进行显示,并在该真实空间的拍摄图像中叠加显示虚拟对象。

并且,在本实施方式中,显示部16也可以实现为在用户700的视网膜上直接投影影像的led(lightemittingdiode:发光二极管)光源等。即,信息处理装置1也可以实现为投影型的hmd。

另外,在显示部16中,各种的内容可以被显示为虚拟对象。虚拟对象例如可以是示意性地表示向用户700提示的信息的标记(标志等)、地图、示意性地表示现实物体的形状(人物、电话、广告牌等)等。并且,虚拟对象也可以是电影、视频剪辑等动态图像内容、由数码相机等拍摄到的静止图像内容、电子书籍等数据等。即,作为可以显示为虚拟对象的内容,能够假设可以成为显示对象的所有的内容。

在信息处理装置1设置有拍摄用户700的周围的真实空间的向外相机120。详细而言,该向外相机120以在用户700佩戴信息处理装置1的状态下,将用户700视觉确认的方向的真实空间作为拍摄范围进行拍摄的方式设置在信息处理装置1中。此外,在设置有多个向外相机120的情况下,能够从由这些向外相机120获得的视差信息获得深度图像(距离图像),所以信息处理装置1能够识别周围的环境的信息,例如存在于真实空间中的真实物体的形状以及位置关系等。

并且,虽然在图1中没有图示,但也可以在信息处理装置1设置有在佩戴时拍摄用户700的表情等的向内相机122(参照图2)。详细而言,向内相机122以在用户700佩戴信息处理装置1的状态下,将用户700的表情或用户700的两眼作为拍摄范围进行拍摄的方式设置在信息处理装置1中。此外,在设置有多个向内相机122的情况下,信息处理装置1能够从由这些向内相机122得到的视差信息精度良好地识别用户700的眼球的位置、瞳孔的位置、视线的方向以及动作等。

另外,虽然在图1中没有图示,但也可以在信息处理装置1设置有获取声音等的麦克风124(以下,表示为“麦克风”。)(参照图2)等各种传感器。并且,虽然在图1中没有图示,但也可以在信息处理装置1中设置有扬声器18(参照图2)。例如,扬声器18可以通过与用户700的左右耳对应的一对耳机扬声器来实现。另外,这样可以在信息处理装置1中设置有多个同种的传感器。

虽然在图1中没有图示,但也可以在信息处理装置1设置有用于用户700进行输入操作的按钮、开关等(操作输入部的一个例子)。并且,作为用户700对信息处理装置1的输入操作,不仅对按钮等的操作,还能够选择通过声音的输入、通过手或者头部的手势输入、通过视线的输入等各种输入方式。此外,基于这些各种输入方式的输入操作能够通过设置在信息处理装置1中的各种传感器等来获取。

此外,在本实施方式中,信息处理装置1的方式并不限于图1所示的例子。例如,信息处理装置1可以是头戴式的hmd、头盔型(例如,头盔的帽檐部分相当于显示器)的hmd。即,在本实施方式中,信息处理装置1是能够由用户700佩戴的可穿戴的装置,只要具有在佩戴时位于用户700的眼前的显示部16即可,其方式没有特别限定。此外,上述的头戴式意味着利用围绕用户700的头部的整周的带佩戴的类型。另外,该头戴式不仅包括用户700的侧头部还包括设置通过头顶部的带的情况。

此外,如先前说明那样,在以下的说明中,列举信息处理装置1为具有透射式显示器的被称为智能眼镜的hmd的情况的例子进行说明。

<<2.本公开的技术的背景>>

以上,对本实施方式所涉及的信息处理装置1的概要进行了说明。接着,对这样的信息处理装置1中的技术背景进行说明。

如先前所说明那样,本实施方式所涉及的信息处理装置1在真实空间中叠加显示虚拟对象。而且,用户700与信息处理装置1之间的交互能够借助叠加显示的虚拟对象进行。更具体而言,信息处理装置1能够通过在用户700的眼前显示虚拟对象来向用户700提示规定的信息。并且,用户700能够通过进行触摸虚拟对象等动作来对信息处理装置1进行操作。

并且,显示的虚拟对象以适当的显示方式、显示位置以及显示定时等被显示,以实现借助虚拟对象的用户700与信息处理装置1的实时的交互。通过这样进行显示,用户700能够将虚拟对象感知为好像存在于真实空间中的现实物体,用户700能够直观地理解借助虚拟对象从信息处理装置1提供的信息。并且,用户700能够借助虚拟对象直观地理解与信息处理装置1的交互的方法,并容易地利用该虚拟对象对信息处理装置1进行操作。

然而,在适当的定时没有显示虚拟对象的显示帧率的降低、产生掉帧那样的不顺畅的虚拟对象的显示的情况下,通过虚拟对象给予用户700的体验产生混乱等。其结果是用户700与信息处理装置1之间较难实现借助虚拟对象的实时的交互。换言之,为了实现借助虚拟对象的用户700与信息处理装置1之间的实时的交互,要求避免显示帧率的降低等。此外,上述的掉帧例如意味着用户700能够感知到虚拟对象是不同于现实物体,被不自然地间歇显示那样的显示状态。“掉帧”也被称为“丢帧”,是由于本来应显示的帧没有被显示而跳过,显示接下来应显示的帧而引起的。另外,在以下的说明中,假设显示帧率的降低包括上述掉帧。

然而,由于上述那样的由hmd等构成的信息处理装置1佩戴于用户700的头部,所以具有紧凑的形态。为了使信息处理装置1成为紧凑的形态,搭载在信息处理装置1上的蓄电池的容量有限制,伴随于此,处理器等的处理能力、处理引起的发热允许量等也产生限制。例如,在上述那样的信息处理装置1中,在虚拟对象的显示处理量增加,信息处理装置1的处理能力没有富裕的情况下,有时产生显示帧率的降低。换言之,在信息处理装置1的处理能力没有富裕的状况下,有时产生显示帧率的降低、掉帧等。在这样的情况下,起因于显示帧率的降低等,通过虚拟对象给予用户700的体验产生不快感、混乱,较难实现借助虚拟对象的用户700与信息处理装置1之间的实时的交互。

上述的显示帧率的降低除了作为具有透射式显示器的智能眼镜的信息处理装置1以外,也会在作为具有非透射式显示器的hmd的信息处理装置1中产生。例如,在这样的信息处理装置1中,将由向外相机120拍摄到的真实空间的拍摄图像实时显示于显示部16,并在上述拍摄图像上叠加显示虚拟对象时,会产生虚拟对象的显示帧率的降低。

因此,鉴于上述那样的技术背景,本发明人已经创建了对产生虚拟对象的显示帧率的降低的状态进行检测,并根据检测出的结果使虚拟对象的显示详细度动态地变化的本公开的实施方式所涉及的信息处理装置1。详细而言,该信息处理装置1在检测到产生虚拟对象的显示帧率的降低的状态的情况下,使虚拟对象的显示详细度变化,以确保信息处理装置1的处理能力有富余,从而避免虚拟对象的显示帧率的降低。其结果是根据该信息处理装置1,能够实现借助虚拟对象的用户700与信息处理装置1之间的实时的交互。此外,在以下的说明中,显示详细度意味着表示显示分辨率等的显示的精细度的指标的总称。

<<3.第一实施方式>>

以上,对本公开的技术的背景进行了说明。接着,对本公开的第一实施方式进行说明。在本实施方式中,信息处理装置1检测虚拟对象的显示位置作为虚拟对象的显示处理量,并根据检测到的显示位置,作为虚拟对象的显示详细度而使显示分辨率(显示时的像素密度的指标)、效果处理(对显示进行的加工处理,例如阴影处理等)动态变化。

例如,在距用户700较远的位置显示虚拟对象的情况下,与存在于真实空间的现实物体同样地,将虚拟对象显示得较小。另一方面,在距用户700较近的位置显示虚拟对象的情况下,与存在于真实空间的现实物体同样地,将虚拟对象显示得较大。而且,信息处理装置1中的显示处理量按照虚拟对象的大小而变化。例如,在使大的虚拟对象显示时,虚拟对象的显示处理量增加,信息处理装置1的处理能力没有富余的状况的情况下,有时产生显示帧率的降低。因此,在本实施方式中,检测产生虚拟对象的显示帧率的降低的状态,即,成为虚拟对象的显示帧率的降低的原因的虚拟对象的显示位置。并且,在本实施方式中,根据检测到的显示位置使虚拟对象的显示分辨率变化。换言之,在本实施方式中,在虚拟对象与用户700的显示距离为第一距离的情况下,与上述显示距离为小于上述第一距离的第二距离的其它虚拟对象相比,增大显示详细度。通过这样操作,根据本实施方式,确保信息处理装置1的处理能力有富余,避免虚拟对象的显示帧率的降低。

此外,在以下的说明中,将虚拟对象显示于距用户700非常近的位置的情况下(例如,从用户700到虚拟对象的显示位置的距离小于0.8m的情况下),为了防止由虚拟对象引起的视觉疲劳、“影像眩晕”,而使虚拟对象半透明化,或者,进行消除这个效果处理。

<3.1.第一实施方式所涉及的信息处理装置的详细结构>

首先,参照图2,对本实施方式所涉及的信息处理装置1的详细结构进行说明。图2是表示本实施方式所涉及的信息处理装置1的详细结构的一个例子的框图。如图2所示,信息处理装置1主要具有控制部10、传感器部12、存储部14、显示部16、扬声器18、通信部20以及操作输入部22。以下,对信息处理装置1的各功能部的详细进行说明。

(控制部10)

控制部10作为运算处理装置以及控制装置发挥作用,按照各种程序控制信息处理装置1内的动作整体。控制部10例如通过cpu、gpu之类的微处理器的电子电路来实现。另外,控制部10可以包括对使用的程序、运算参数等进行存储的rom(readonlymemory:只读存储器)、以及临时存储适当地变化的参数等的ram(randomaccessmemory:随机存取存储器)等。例如,控制部10控制为根据虚拟对象的显示位置等使虚拟对象的显示分辨率等动态地变化。详细而言,如图2所示,本实施方式所涉及的控制部10能够作为信息获取部100、显示参数计算部102、显示形式判断部104以及输出控制部106发挥作用。以下,对控制部10的各块的详细进行说明。

-信息获取部100-

信息获取部100能够使用由后述的传感器部12检测到的检测结果来获取与用户700或者该用户700的周围的各种状态有关的信息。具体而言,信息获取部100例如可以包括识别用户700的姿势或状态的用户姿势识别引擎、识别用户700周边的真实空间中的深度信息的深度识别引擎、认定用户700的位置的slam(simultaneouslocalizationandmapping:即时定位与地图构建)识别引擎。并且,信息获取部100也能够包括进行用户700的视线检测的视线识别引擎、识别用户700或者用户700的周围的环境声音的识别的声音识别引擎、以及识别信息处理装置1(用户700)的绝对位置的位置识别引擎等。另外,信息获取部100也可以包括识别真实空间中的现实物体的真实对象识别引擎等。此外,这些识别引擎只是一个例子,本实施方式并不限于此。

详细而言,用户姿势识别引擎使用由传感器部12检测出的检测结果来识别用户700的头部等的姿势(包括脸部相对于身体的朝向,或者,倾斜)。例如,用户姿势识别引擎利用由向外相机120拍摄到的拍摄图像、由后述的陀螺仪传感器126获取到的陀螺仪信息等来识别用户700的姿势等。另外,用户姿势识别引擎也可以利用由后述的加速度传感器128获取到的加速度信息、由后述的方位传感器获取到的方位信息等来识别用户700的姿势等。此外,用户700的姿势等的识别算法能够使用一般众所周知的算法,在本实施方式中没有特别限定。

深度识别引擎使用由传感器部12检测出的检测结果来识别用户700的周围的真实空间中的深度信息。具体而言,深度识别引擎能够利用tof(timeofflight:飞行时间)方式,基于来自现实物体的反射光的返回时间的测定结果来识别真实空间中的感器部12与现实物体之间的距离以及凹凸等形状信息(深度信息)。另外,深度识别引擎也可以基于通过多个向外相机120从不同的视点将同一真实空间作为拍摄对象而得的多个拍摄图像上的现实物体的差异(两眼视差),来识别真实空间中的现实物体的位置以及形状。此外,深度信息的识别算法能够使用一般众所周知的算法,在本实施方式中没有特别限定。

slam识别引擎使用由传感器部12检测出的检测结果,同时进行信息处理装置1(用户700)的自己位置的推定和用户700的周围的真实空间的地图创建,认定该真实空间中的信息处理装置1的位置。例如,slam识别引擎(特别是,visualslam)基于由向外相机120拍摄到的拍摄图像,依次复原拍摄到的现实物体的三维形状。而且,slam识别引擎通过将复原结果与向外相机120的位置以及姿势的检测结果建立关联,从而进行用户700的周围的真实空间的地图的创建、和该真实空间中的向外相机120(用户700)的位置以及姿势的推定。此外,对于向外相机120的位置以及姿势,例如,也能够基于由设置在传感器部12中的加速度传感器128等各种传感器检测到的检测结果,推定为表示相对的变化的信息。另外,slam识别的算法能够使用一般众所周知的算法,在本实施方式中没有特别限定。

此外,信息获取部100也能够基于上述的深度识别引擎的识别结果以及slam识别引擎的识别结果这两方来进行空间识别(空间把握),并识别用户700的周围的三维的真实空间中的信息处理装置1(用户700)的详细位置。

视线识别引擎使用由传感器部12检测出的检测结果来进行用户700的视线检测。例如,视线识别引擎对由向内相机122获取到的用户700的眼球的拍摄图像进行解析,以识别用户700的视线方向。此外,在本实施方式中,对于视线检测的算法,没有特别限定,但例如,可以基于眼角与虹彩的位置关系,或者,角膜反射与瞳孔的位置关系,来识别用户700的视线方向。

声音识别引擎使用由传感器部12检测出的检测结果来进行用户700,或者,用户700的周围的环境声音的识别。例如,声音识别引擎对由后述的麦克风124获取到的拾取信息进行噪声除去、音源分离等,并可以进行声音识别、词素解析、音源识别,或者,噪声等级的识别等。另外,声音识别引擎也可以从识别出的声音信息提取规定的词句。

位置识别引擎使用由传感器部12检测出的检测结果来识别信息处理装置1(用户700)的绝对位置。例如,位置识别引擎能够基于由后述的位置定位部132定位到的位置信息、以及预先获取到的地图信息,来识别信息处理装置1的场所(例如车站、学校、家等)。

真实对象识别引擎具有基于由向外相机120等拍摄到的拍摄图像等来识别现实物体的功能。例如,真实对象识别引擎通过将根据由向外相机120拍摄到的拍摄图像所计算的现实物体的特征量与预先登记的现实物体的特征量进行比较,来识别现实物体的种类等。此外,上述特征量例如能够通过sift(scale-invariantfeaturetransform:尺度不变特征变换)法,或者randomferns法等公知的特征量计算技术来计算。

此外,信息获取部100也可以获取表示信息处理装置1中的处理的状态的装置配置文件(例如,显示处理速度、传感器部12的检测状态、上述的各种识别引擎中的识别帧率等)。并且,信息获取部100也可以获取由进行虚拟对象的显示的应用程序定义的、虚拟对象的显示位置、显示面积、显示个数、显示方式(例如,被显示为虚拟对象的内容的种类、被显示的虚拟对象的移动速度等)。

-显示参数计算部102-

显示参数计算部102计算虚拟对象的显示处理量的指标等。例如,显示参数计算部102使用信息获取部100获取到的、由进行虚拟对象的显示的应用程序定义的虚拟对象的显示位置,来计算从用户700到虚拟对象的显示位置的距离。此外,在本实施方式中,显示参数计算部102也可以使用信息获取部100获取到的装置配置文件来计算虚拟对象的显示帧率等那样的表示控制部10中的处理的状态的指标等。

-显示形式判断部104-

显示形式判断部104基于显示参数计算部102的计算结果来设定虚拟对象的显示详细度(例如,分辨率等)。并且,显示形式判断部104基于显示参数计算部102的计算结果来设定对虚拟对象进行的显示效果处理(例如,透明化、质感变更等)。此外,基于预先进行显示虚拟对象的试验,通过该显示而产生的、信息处理装置1中的处理的负荷、用户700感觉到的显示质量来决定在显示形式判断部104设定显示详细度等时与上述计算结果进行比较的阈值等。

-输出控制部106-

输出控制部106对后述的显示部16进行控制,以使得该显示部16基于显示形式判断部104的决定显示虚拟对象。

(传感器部12)

传感器部12具有获取与用户700或者用户700的周边环境(真实空间)有关的各种信息的功能。例如,如图2所示,传感器部12主要包括向外相机120、向内相机122、麦克风124、陀螺仪传感器126、加速度传感器128、方位传感器130、位置定位部132以及生物体传感器134。此外,上述的传感器是一个例子,本实施方式并不限于此。另外,也可以在传感器部12中分别设置多个上述的各种传感器。以下,对传感器部12所包括的各传感器的详细进行说明。

-向外相机120以及向内相机122-

如先前所说明那样,向外相机120拍摄用户700的周围的真实空间,向内相机122拍摄用户700的表情等,并将拍摄信息输出至上述的控制部10。详细而言,向外相机120以及向内相机122具有由拍摄透镜、光圈、变焦透镜以及聚焦透镜等构成的透镜系统、使该透镜系统进行聚焦动作或变焦动作的驱动系统。并且,向外相机120以及向内相机122分别具有对由上述透镜系统获得的拍摄光进行光电变换来生成拍摄信号的固体拍摄元件阵列等。此外,该固体拍摄元件阵列例如可以通过ccd(chargecoupleddevice:电荷耦合器件)传感器阵列、cmos(complementarymetaloxidesemiconductor:互补金属氧化物半导体)传感器阵列来实现。

-麦克风124-

麦克风124拾取用户700的声音、周围的环境声音,并将拾取到的声音信息输出至控制部10。例如,麦克风124拾取用户700发出的指示,并输出至控制部10。例如,控制部10能够通过对从麦克风124输出的声音信息进行解析来识别用户700的指示。

-陀螺仪传感器126以及加速度传感器128-

陀螺仪传感器126例如通过3轴陀螺仪传感器来实现,检测由于用户700的运动而产生的角速度(旋转速度)。另外,加速度传感器128例如通过3轴加速度传感器(也被称为g传感器)来实现,检测由于用户700的运动而产生的加速度。能够根据这些传感器的检测结果识别用户700的动作。

-方位传感器130以及位置定位部132-

方位传感器130例如通过3轴地磁传感器(罗盘)来实现,检测绝对方向(方位)。此外,此处,绝对方位是指真实空间中的世界坐标系(东西南北)的方位。

位置定位部132基于来自外部的获取信号来检测信息处理装置1(用户700)的绝对位置。此外,此处,绝对位置是指真实空间中的世界坐标系(经纬)的位置。具体而言,位置定位部132例如通过gps(globalpositioningsystem:全球定位系统)定位部来实现,接收来自gps卫星的电波,检测信息处理装置1(用户700)存在的位置,并将检测到的位置信息输出至控制部10。另外,除了gps之外,位置定位部132还可以是例如通过wi-fi(wirelessfidelity,注册商标)、bluetooth(注册商标)、与移动电话·phs(personalhandy-phonesystem:个人手持式电话系统)·智能手机等的收发,或者,近距离通信等检测位置的设备。

-生物体传感器134-

生物体传感器134检测用户700的各种生物体信息。具体而言,生物体传感器134例如直接或者间接地佩戴于用户700的身体的一部分上,包括测定用户700的心率、血压、脑波、呼吸、发汗、肌电位、皮肤温度、皮肤电阻等的一个或者多个传感器。这些生物体传感器134将检测到的生物体信息输出至控制部10。

并且,本实施方式所涉及的传感器部12除了上述的传感器之外,还可以包括检测用户700的周围的环境温度的温度传感器(图示省略)、检测用户700的周围的环境的明亮度的照度传感器(图示省略)等。并且,传感器部12也可以包括检测用户700的周围的环境的大气压的气压传感器(图示省略)、检测红外线的红外线传感器(图示省略)、检测电波的电波传感器(图示省略)等各种传感器。

(存储部14)

存储部14储存用于上述的控制部10执行各功能的程序、参数。例如,存储部14储存用于信息获取部100的识别处理的识别算法、显示形式判断部104所使用的各种阈值等。

(显示部16)

显示部16例如通过使用全息光学技术进行显示的透镜部(透过类型的显示器的一个例子)、液晶显示器(lcd)装置、oled(organiclightemittingdiode:有机发光二极管)装置等来实现。

(扬声器18)

扬声器18按照上述的控制部10的控制再现声音信号等。例如,扬声器18能够通过与用户700的左右耳对应的一对耳机扬声器(图示省略)来实现。

(通信部20)

通信部20是用于通过有线/无线与其它装置之间进行数据的收发的通信模块。通信部20例如通过有线lan(localareanetwork:局域网)、无线lan、wi-fi(注册商标)、红外线通信、bluetooth(注册商标)、近距离/非接触通信等方式与外部设备直接或者经由网络接入点(图示省略)进行通信。此外,通信部20也可以被用作检测电波的电波传感器。

(操作输入部22)

操作输入部22通过具有开关、按钮或者操作杆等物理构造的操作部件(图示省略)来实现。例如,用户700能够通过对操作输入部22进行操作来对信息处理装置1进行所希望的输入。另外,通过操作输入部22输入的操作的内容可以通过上述的显示部16进行显示。

以上,具体地对本实施方式所涉及的信息处理装置1的结构进行了说明,但本实施方式所涉及的信息处理装置1的详细结构并不限于图2所示的例子。例如,信息处理装置1的控制部10的至少一部分的处理可以在经由通信部20连接的云上的服务器(图示省略)中进行。

<3.2.第一实施方式所涉及的虚拟对象的显示例子>

以上,对本实施方式所涉及的信息处理装置1的详细结构进行了说明。接着,参照图3~图5,对这样的信息处理装置1对虚拟对象的显示例子进行说明。图3~图5是用于说明本实施方式所涉及的虚拟对象800的显示例子的说明图。

本实施方式所涉及的信息处理装置1例如能够通过传感器部12检测到用户700进行了规定的动作来显示虚拟对象800。如图3所示,信息处理装置1在通过传感器部12检测到用户700为了看自己的脚而用户700的头部朝向下方的情况下,在用户700的脚上以叠加的方式显示虚拟对象800。该虚拟对象800是具有表示用户700的位置信息的地图的形态的虚拟对象800,详细而言,通过在地图亦即虚拟对象800上一并显示虚拟的标记600,从而示出用户700的当前位置。信息处理装置1能够通过在真实空间中叠加显示这样的虚拟对象800来对用户700提示信息(此处,用户700的位置信息)。因此,用户700能够借助这样显示的虚拟对象800直观地把握由信息处理装置1提示的信息。

此外,在本实施方式中,不仅在检测到用户700的头部的朝向的情况下,信息处理装置1还可以通过检测用户700的头部的活动(例如,摇头、点头等)来显示虚拟对象800。并且,信息处理装置1也可以通过检测到步行、行驶、停止等用户700的身体整体的动作来显示虚拟对象800。另外,信息处理装置1也可以通过利用向外相机120等检测到用户700的手的规定的活动(例如,放在头上遮光、挥手、伸手等手势),来显示虚拟对象800。

并且,在本实施方式中,信息处理装置1可以通过用户700的视线识别检测到用户700对真实空间中的规定的现实物体感兴趣地观察,来显示虚拟对象800。另外,信息处理装置1也可以通过检测到用户700说出规定的词句,或通过检测到用户700对操作输入部22进行了操作,来显示虚拟对象800。

另外,本实施方式所涉及的信息处理装置1例如可以通过信息处理装置1成为规定的状态来显示虚拟对象800。例如,如图4所示,信息处理装置1通过检测到来自外部装置的用于语音通话的无线通信,来在位于用户700的周围的墙面(现实物体)602上以叠加的方式显示具有电话的形态的虚拟对象800。该虚拟对象800为了使用户700直观地把握接收到语音通话的信息,而具有电话的形状,并通过显示一并输出规定的手机铃声,从而信息处理装置1能够对用户700提示上述信息。并且,例如,信息处理装置1也可以利用向外相机120等检测到用户700的手702伸到图4所示的虚拟对象800,从而移至进行语音通话的处理。

此外,在本实施方式中,不仅在信息处理装置1检测到用于语音通话的无线通信的情况下,信息处理装置1还可以通过检测到来自位于用户700的附近的人物携带的移动终端的无线通信,来显示虚拟对象800。并且,信息处理装置1也可以通过检测到用户700对已经显示的虚拟对象800的规定的动作(例如,触摸、抓住虚拟对象800等),来使信息处理装置1进行的处理变化,或使显示的虚拟对象的形态变化。

另外,本实施方式所涉及的信息处理装置1例如也能够通过检测到信息处理装置1(用户700)进入到规定的区域,来显示虚拟对象800。例如,如图5所示,信息处理装置1通过位置定位部132检测到进入规定的区域,从而在用户700的周围的真实空间中以叠加的方式显示具有通知通行禁止的终点线的形态的虚拟对象800。

此外,在本实施方式中,不仅在信息处理装置1检测到进入规定的区域的情况下,例如,信息处理装置1还可以通过检测到用户700已经靠近规定的现实物体(例如,在图5中,汽车604)来显示虚拟对象800。

这样,在本实施方式中,通过信息处理装置1检测到规定的状况等,从而能够在真实空间中以叠加的方式显示虚拟对象800。此外,虚拟对象800被显示于基于利用向内相机122等检测到的用户700的视场范围,用户700能够可靠地视觉确认那样的位置。并且,在使用于提示规定的信息的虚拟对象800显示时,信息处理装置1根据该信息使虚拟对象显示在适当的位置。例如,对由于道路上产生塌陷所以信息处理装置1对用户700提示进行注意唤起的信息的状况进行说明。该情况下,信息处理装置1在塌陷地点显示虚拟对象800,以便用户700能够感知虚拟对象位于塌陷地点。

<3.3.第一实施方式所涉及的信息处理方法>

以上,对本实施方式所涉及的虚拟对象800的显示例子进行了说明。接着,参照图6a、图6b、图7以及图8,对本实施方式所涉及的信息处理方法进行说明。图6a以及图6b是表示本实施方式所涉及的处理流程的流程图。另外,图7以及图8是用于说明本实施方式所涉及的处理的一个例子的说明图。如图6a以及图6b所示,本实施方式所涉及的信息处理方法包括从步骤s100到步骤s132的多个步骤。以下,对本实施方式所涉及的方法包括的各步骤的详细进行说明。

如先前所说明那样,例如,信息处理装置1在检测到用户700进行了规定的动作等的情况下,开始虚拟对象的显示处理。此外,针对显示的虚拟对象的每个显示帧进行以下说明的流程,每次显示帧改变时,重复以下说明的流程。

(步骤s100)

信息获取部100使用由传感器部12检测出的检测结果来获取与用户700或者该用户700的周围的各种状态有关的信息。另外,信息获取部100获取由进行虚拟对象的显示的应用程序定义的、虚拟对象的显示位置等的信息。并且,显示参数计算部102基于获取到的显示位置的信息计算从用户700到虚拟对象的显示位置的显示距离。虚拟对象的显示距离例如可以基于预先由进行虚拟对象的显示的应用程序定义的显示位置、和上述的由slam等获取到的信息处理装置1(用户700)的自己位置信息进行计算。

(步骤s102)

显示形式判断部104将在上述步骤s100中计算出的显示距离与预先设定的阈值α进行比较。具体而言,在显示形式判断部104判断为计算出的显示距离是α(例如,3m)以上的情况下,进入步骤s104。另一方面,在判断为计算出的显示距离小于α的情况下,进入步骤s108。

(步骤s104)

显示形式判断部104将虚拟对象的显示分辨率设定为最高等级(例如,960×768像素)。

(步骤s106)

显示形式判断部104将对显示的虚拟对象的效果处理设定为通常模式。例如,在通常模式下,虚拟对象被加工处理为如真实空间的现实物体那样三维显示。

(步骤s108)

显示形式判断部104将在上述步骤s100中计算出的显示距离与预先设定的阈值α、β进行比较。具体而言,显示形式判断部104判断为计算出的显示距离小于α且为β(例如,1.5m)以上的情况下,进入步骤s110。另一方面,在判断为计算出的显示距离小于β的情况下,进入步骤s114。

(步骤s110)

显示形式判断部104将虚拟对象的显示分辨率设定为高等级(例如,640×480像素)。这样,通过与步骤s104相比降低显示分辨率,能够减少显示处理量。

(步骤s112)

显示形式判断部104与步骤s106同样地将对显示的虚拟对象的效果处理设定为通常模式。

(步骤s114)

显示形式判断部104将在上述步骤s100中计算出的显示距离与预先设定的阈值β、γ进行比较。具体而言,显示形式判断部104在判断为计算出的显示距离小于β且为γ(例如,0.8m)以上的情况下,进入步骤s116。另一方面,在判断为计算出的显示距离小于γ的情况下,进入步骤s120。

(步骤s116)

显示形式判断部104将虚拟对象的显示分辨率设定为中等级(例如,384×240像素)。

(步骤s118)

显示形式判断部104将对虚拟对象的效果处理设定为线框模式。例如,在线框模式中,虚拟对象被加工处理为使用线框立体地显示。换言之,在线框模式中,虚拟对象被显示为仅用线表现的立体图形(例如,图10的虚拟对象806a)。通过这样利用线框显示虚拟对象,从而与上述的三维显示相比,能够减少显示处理量。

(步骤s120)

显示形式判断部104将在上述步骤s100中计算出的显示距离与预先设定的阈值γ、σ进行比较。具体而言,显示形式判断部104在判断为计算出的显示距离小于γ且为σ(例如,0.35m)以上的情况下,进入步骤s122。另一方面,在判断为计算出的显示距离小于σ的情况下,进入步骤s128。

(步骤s122)

显示形式判断部104将虚拟对象的显示分辨率设定为低等级(例如,192×120像素)。

(步骤s124)

显示形式判断部104将对虚拟对象的效果处理设定为半透明模式。例如,在半透明模式下,虚拟对象被加工处理为显示为能够透过看到真实空间的半透明的图形。通过这样半透明显示虚拟对象,与上述的三维显示相比,能够减少显示处理量。

(步骤s126)

显示形式判断部104将虚拟对象的显示形式从三维显示设定变更为二维显示。因此,虚拟对象被显示为平面的二维图形。通过这样以二维图形显示虚拟对象,与三维显示相比,能够减少显示处理量。

(步骤s128)

显示形式判断部104确认在上述步骤s100中计算出的显示距离小于σ。

(步骤s130)

显示形式判断部104将对虚拟对象的效果处理设定为消除模式。例如,在消除模式中,不显示虚拟对象。

(步骤s132)

输出控制部106对显示部16进行控制,以便按照在至此的一系列的步骤中显示形式判断部104设定的显示分辨率以及效果处理显示虚拟对象。而且,显示部16除了按照由应用程序定义的显示规则之外,还按照显示形式判断部104设定的显示分辨率以及效果处理显示虚拟对象。并且,如果虚拟对象的显示帧的显示完成,则为了进行下一个的显示帧的显示处理,而返回到步骤s100。

此外,在上述的说明中,设为针对虚拟对象的每个显示帧反复流程进行了说明,但本实施方式并不限于此。例如,可以通过检测到信息处理装置1中的处理状态变化,或,检测到用户700的状态变化,来反复流程,没有特别限定。

此外,在本实施方式中,对于上述的图6a、图6b以及图7所示的阈值α、β、γ、σ的值、所设定的显示分辨率以及效果处理的内容,并不限于上述的值等。在本实施方式中,只要是能够适当地维持虚拟对象的显示帧率,并适当地维持从用户700看到的虚拟对象的显示质量的阈值等,则可以适当地选择。另外,对于效果处理,例如,可以使显示的虚拟对象的透明度的等级变化,或,可以将虚拟对象的显示形式从二维显示设定变更为三维显示。

并且,在上述的流程中,在显示距离较长的情况下(例如,显示距离为3m以上),提高虚拟对象的显示分辨率,但在本实施方式中并不限于此。例如,在显示距离较长的情况下,即,在距用户700较远的位置显示虚拟对象的情况下,用户700较难感知到虚拟对象的显示质量的差异,所以可以将显示分辨率设定为中等级或低等级。

示意性地示出上述的流程中的处理的图是图7。图7示意性地表示显示的人物图像的虚拟对象的大小以及显示分辨率根据从用户700到虚拟对象的显示位置的显示距离而变化。例如,在显示距离较短的情况下(例如,0.8m左右),显示大且显示分辨率低的虚拟对象802a。该虚拟对象802a如图7所示,整体上模糊,显示得较淡。另外,例如,在显示距离为中程度的情况下(例如,1.5m左右),与上述虚拟对象802a相比,显示小且具有高的显示分辨率的虚拟对象802b。并且,在显示距离较长的情况下(例如,3m左右),与上述虚拟对象802b相比,显示小且具有高的显示分辨率的虚拟对象802c。此外,如图7所示,越接近用户700则虚拟对象802a的大小(显示面积)越放大,由此,可以表现远近感。换言之,在本实施方式中,在虚拟对象的显示距离为第一距离的情况下,与显示距离为小于第一距离的第二距离的其它虚拟对象相比增大该虚拟对象的显示面积,由此用户700能够感觉到远近感。即,为了表现远近感,显示距离越近则越放大虚拟对象的尺寸。因此,在本实施方式中,控制分辨率,以抑制伴随着上述的情况的显示面积的放大而增加的显示处理量。

参照图8,对基于上述的流程的虚拟对象的显示的一个例子进行说明。如图8的左侧所示,在距用户700较远的位置,在真实空间中的现实物体亦即汽车604上叠加显示虚拟对象804a。而且,在用户700以靠近上述汽车604的方式移动的情况下,虚拟对象的显示位置与用户700之间的显示距离缩短。因此,在这样的情况下,如图8的右侧所示,虚拟对象804b虽然比虚拟对象804a大,但以具有低的显示分辨率的方式被显示。并且,虚拟对象804b被显示为能够透过看到真实空间的现实物体(例如,汽车604)的半透明的图形。

在起因于显示位置较近而显示较大的虚拟对象时,虚拟对象的显示处理量增加,信息处理装置1的处理能力没有富余,有时产生显示帧率的降低。因此,在本实施方式中,检测使显示处理量增加的原因的虚拟对象的显示位置,并根据检测到的显示位置使虚拟对象的显示分辨率等动态地变化。通过这样操作,根据本实施方式,在显示帧率降低前,确保信息处理装置1的处理能力有富余,能够避免显示帧率的降低的产生。因此,根据本实施方式,能够适当地维持虚拟对象的显示帧率,并适当地维持从用户700看到的虚拟对象的质量。其结果是根据本实施方式,能够实现借助虚拟对象的用户700与信息处理装置1之间的实时的交互,并能够提供对用户700有意义的体验。此外,根据本实施方式,通过使虚拟对象的显示分辨率等动态地变化,从而能够减少信息处理装置1中的显示处理量,进而减少消耗电力。其结果是根据本实施方式,也能够减小蓄电池容量,能够提供更紧凑的信息处理装置1。

<<4.第二实施方式>>

在上述的本公开的第一实施方式中,根据显示距离使虚拟对象的显示分辨率等动态地变化。然而,在本公开的实施方式中,不仅显示距离,还可以根据虚拟对象的其它的显示处理量使虚拟对象的显示分辨率等变化。因此,在本公开的第二实施方式中,根据虚拟对象的显示面积使虚拟对象的显示分辨率等变化。如先前所说明那样,信息处理装置1中的显示处理量按照虚拟对象的大小变化。因此,例如在显示较大的虚拟对象时,显示处理量增加,信息处理装置1的处理能力没有富余,有时产生显示帧率的降低。因此,在本实施方式中,检测产生虚拟对象的显示帧率的降低的状态,即,成为虚拟对象的显示帧率的降低的原因的虚拟对象的显示面积。并且,在本实施方式中,根据检测到的显示面积使虚拟对象的显示分辨率等变化。因此,根据本实施方式,确保信息处理装置1的处理能力有富余,能够避免虚拟对象的显示帧率的降低。以下,对本实施方式的详细进行说明。

此外,对于第二实施方式所涉及的信息处理装置1的详细结构,由于与第一实施方式共用,所以此处省略说明。

<4.1.第二实施方式所涉及的信息处理方法>

参照图9a、图9b以及图10对第二实施方式所涉及的信息处理方法进行说明。图9a以及图9b是表示本实施方式所涉及的处理流程的流程图。另外,图10是用于说明本实施方式所涉及的处理的一个例子的说明图。如图9a以及图9b所示,本实施方式的信息处理方法包括从步骤s200到步骤s232的多个步骤。以下,对本实施方式所涉及的信息处理方法包括的各步骤的详细进行说明。此外,在以下的说明中,仅对与第一实施方式不同的点进行说明,对于与第一实施方式共用的点,省略说明。

此外,在以下的说明中,虚拟对象的显示面积比例意味着显示的该虚拟对象的显示面积相对于显示部16能够显示的显示面积的比例。

信息处理装置1开始虚拟对象的显示处理。此外,以下说明的流程与第一实施方式同样地,针对显示的虚拟对象的每个显示帧进行,并在每次显示帧改变时重复。

(步骤s200)

信息获取部100使用由传感器部12检测出的检测结果来获取与用户700或者该用户700的周围的各种状态有关的信息。另外,信息获取部100获取由进行虚拟对象的显示的应用程序定义的、虚拟对象的显示面积等的信息。并且,显示参数计算部102基于获取到的显示面积的信息来计算上述显示面积比例。

(步骤s202)

显示形式判断部104将在上述步骤s200中计算出的显示面积比例与预先设定的阈值α进行比较。具体而言,显示形式判断部104判断为计算出的显示面积比例小于α%(例如,10%)的情况下,进入步骤s204。另一方面,在判断为计算出的显示面积比例为α%以上的情况下,进入步骤s208。

(步骤s204、步骤s206)

实施与图6a所示的第一实施方式的步骤s104以及步骤s106同样的处理。

(步骤s208)

显示形式判断部104将在上述步骤s200中计算出的显示面积比例与预先设定的阈值α、β进行比较。具体而言,显示形式判断部104在判断为计算出的显示面积比例是α%以上且小于β%(例如,20%)的情况下,进入步骤s210。另一方面,在判断为计算出的显示面积比例是β%以上的情况下,进入步骤s214。

(步骤s210、步骤s212)

实施与图6a所示的第一实施方式的步骤s110以及步骤s112同样的处理。

(步骤s214)

显示形式判断部104将在上述步骤s200中计算出的显示面积比例与预先设定的阈值β、γ进行比较。具体而言,显示形式判断部104在判断为计算出的显示面积比例是β%以上且小于γ%(例如,30%)的情况下,进入步骤s216。另一方面,在判断为计算出的显示面积比例是γ%以上的情况下,进入步骤s220。

(步骤s216、步骤s218)

实施与图6a所示的第一实施方式的步骤s116以及步骤s118同样的处理。

(步骤s220)

显示形式判断部104将在上述步骤s200中计算出的显示面积比例与预先设定的阈值γ、σ进行比较。具体而言,显示形式判断部104在判断为计算出的显示面积比例是γ%以上且小于σ%(例如,50%)的情况下,进入步骤s222。另一方面,在判断为计算出的显示面积比例是σ%以上的情况下,进入步骤s228。

(步骤s222、步骤s224、步骤s226)

实施与图6a所示的第一实施方式的步骤s122、步骤s124以及步骤s126同样的处理。

(步骤s228)

显示形式判断部104确认在上述步骤s200中计算出的显示面积比例是σ%以上。

(步骤s230、步骤s232)

实施与图6a所示的第一实施方式的步骤s130以及步骤s132同样的处理。

此外,在本实施方式中,与第一实施方式同样地,对于上述的图9a以及图9b所示的阈值α、β、γ、σ的值、所设定的显示分辨率以及效果处理的内容,并不限定于上述的值等。在本实施方式中,只要是能够适当地维持虚拟对象的显示帧率,并适当地维持从用户700看到的虚拟对象的质量的阈值等,则可以适当地选择。

示意性表示上述的流程中的处理的图是图10。图10示意性地示出显示的球形的虚拟对象的显示分辨率或显示形式(线框显示)根据虚拟对象的显示面积而变化。例如,在虚拟对象的显示面积较大的情况下,显示显示分辨率低且基于线框显示的球形的虚拟对象806a。另外,在显示面积为中程度的情况下,显示与虚拟对象806a相比显示分辨率较高且具有与球形非常近似的多边形形状的虚拟对象806b。并且,在显示面积较小的情况下,显示与虚拟对象806b相比显示分辨率较高且具有球形的形状的虚拟对象806c。

如以上那样,在显示较大的虚拟对象时,虚拟对象的显示处理量增加,信息处理装置1的处理能力没有富余,有时产生显示帧率的降低。因此,在本实施方式中,检测使显示处理量增加的原因的虚拟对象的显示面积,并根据检测到的显示面积使虚拟对象的显示分辨率等动态地变化。通过这样操作,根据本实施方式,在显示帧率降低前,确保信息处理装置1的处理能力有富余,能够避免显示帧率的降低的产生。

<4.2.第二实施方式的变形例>

在上述的第二实施方式中,根据显示面积使虚拟对象的显示分辨率等动态地变化。然而,如先前所说明那样,在本实施方式中,也可以根据虚拟对象的其它的显示处理量使虚拟对象的显示分辨率等变化。例如,在以下说明的变形例中,根据显示的虚拟对象的个数使虚拟对象的显示分辨率等变化。详细而言,信息处理装置1中的显示处理量按照虚拟对象的显示个数而变化。因此,在显示多个虚拟对象时,显示处理量增加,信息处理装置1的处理能力没有富余,有时产生显示帧率的降低。因此,在本变形例中,根据成为虚拟对象的显示帧率的降低的原因的虚拟对象的显示个数使虚拟对象的显示分辨率等变化。因此,根据本变形例,确保信息处理装置1的处理能力有富余,能够避免虚拟对象的显示帧率的降低。

以下,参照图11,对本变形例的详细进行说明。图11是用于说明第二实施方式的变形例所涉及的处理的一个例子的说明图,详细而言,示意性地示出显示的球形的虚拟对象的显示分辨率或显示形式(线框显示)根据虚拟对象的显示个数而变化。如图11所示,在虚拟对象的显示个数较多的情况下(例如,6个以上的情况下),显示显示分辨率低且基于线框显示的球形的虚拟对象808a。另外,在显示个数为中程度的情况下(例如,小于6个且三个以上的情况下),显示与虚拟对象808a相比显示分辨率较高且具有与球形非常近似的多边形形状的虚拟对象808b。并且,在显示个数较少的情况下(例如,小于三个的情况下),显示与虚拟对象808b相比显示分辨率较高且具有球形的形状的虚拟对象808c。

另外,在本变形例中,由于信息处理装置1中的显示处理量根据虚拟对象的种类(文本数据、物体、动态图像、符号等)而变化,所以可以根据虚拟对象的种类使虚拟对象的显示分辨率等变化。具体而言,在虚拟对象为动态图像的情况下,与虚拟对象为符号的情况相比,显示处理量变多。因此,在本变形例中,在虚拟对象为动态图像的情况下,虚拟对象的显示分辨率等变低。

另外,在本变形例中,如果虚拟对象在用户700的眼前移动,则信息处理装置1中的显示处理量按照虚拟对象的移动速度而变化,所以根据移动速度使虚拟对象的显示分辨率等变化。具体而言,在虚拟对象高速移动的情况下,与虚拟对象低速移动的情况相比,显示处理量变多。因此,在本变形例中,在虚拟对象高速移动的情况下,降低虚拟对象的显示分辨率等。

<<5.第三实施方式>>

在上述的第一以及第二实施方式中,根据虚拟对象的显示距离等使虚拟对象的显示分辨率等动态地变化。然而,在本公开的实施方式中,不仅上述那样的虚拟对象的显示处理量,还可以根据控制部10的处理的状态使虚拟对象的显示分辨率等动态地变化。

例如在要显示的虚拟对象是需要复杂的处理的复杂的形状的情况下,信息处理装置1中的处理增加。该情况下,如先前所说明那样,变成信息处理装置1的处理能力没有富余的状况,有时产生显示帧率的降低。

参照图12,对更具体的例子进行说明。图12是用于说明本实施方式所涉及的虚拟对象810的显示例子的说明图,详细而言,示出在真实空间中叠加显示的虚拟对象810。如图12所示,用户700对显示在用户700的眼前的虚拟对象810伸出自身的手702。在这样的状况下,为了使用户700将虚拟对象810感知为好像存在于真实空间中的现实物体,而将虚拟对象810以位于用户700的手702的后面的方式进行显示。即,以用户700的手702位于虚拟对象810的近前,遮挡虚拟对象810的一部分的方式显示虚拟对象810。此外,在以下的说明中,将这样虚拟对象810的一部分或者整体被用户700的手702等遮挡的状态称为“手遮挡”。而且,信息处理装置1为了显示手遮挡的虚拟对象810,而如以下那样进行显示处理。首先,信息处理装置1获取由用于显示虚拟对象的应用程序定义的虚拟对象的形状、和由向外相机120等拍摄到的手702的图像。接下来,信息处理装置1使用获取到的信息,生成具有从上述定义的虚拟对象的形状抽出被手702遮挡的部分后的形状的虚拟对象810,进行生成的该虚拟对象810的显示。由于这样的显示处理的显示处理量较大,信息处理装置1有较大的负荷,所以产生虚拟对象的显示帧率的降低。

因此,在本实施方式中,实时检测处理的状态接近信息处理装置1的处理能力的极限,并基于检测出的结果使虚拟对象的显示分辨率等动态地变化。更具体而言,在本实施方式中,作为表示信息处理装置1的处理的状态的指标,而检测显示帧率。详细而言,在虚拟对象的显示帧率较高的情况下,表示信息处理装置1的处理能力有富余,另一方面,在显示帧率较低的情况下,表示信息处理装置1的处理能力没有富余。即,显示帧率能够用作表示信息处理装置1的处理的状态的指标。此外,在本实施方式中,作为显示帧率,将每一秒的帧数用作指标,所以在以下的说明中,将显示帧率称为fps(framespersecond:每秒传输帧数)。因此,在本实施方式中,根据fps使虚拟对象810的显示分辨率等动态地变化。详细而言,在fps较高的情况下,意味着信息处理装置1的处理能力有富余,所以能够将虚拟对象的显示分辨率等设定得较高。另一方面,在fps较低的情况下,意味着信息处理装置1的处理能力有富余,所以将虚拟对象的显示分辨率等设定得较低。这样,在本实施方式中,直接检测fps的降低,并根据检测到的fps使虚拟对象的显示分辨率等变化,确保信息处理装置1的处理能力有富余,能够避免今后的显示帧中的fps的降低。以下,对本实施方式的详细进行说明。

此外,对于第三实施方式所涉及的信息处理装置1的详细结构,由于与第一实施方式共用,所以此处省略说明。

<5.1.第三实施方式所涉及的信息处理方法>

参照图13以及图14对第三实施方式所涉及的信息处理方法进行说明。图13是表示本实施方式所涉及的处理流程的流程图。另外,图14是用于说明本实施方式所涉及的处理的一个例子的说明图。如图13所示,本实施方式所涉及的信息处理方法包括从步骤s300到步骤s328的多个步骤。以下,对本实施方式所涉及的信息处理方法包括的各步骤的详细进行说明。此外,在以下的说明中,仅对与第一实施方式不同的点进行说明,对于与第一实施方式共用的点,省略说明。

信息处理装置1开始虚拟对象的显示处理。此外,针对显示的虚拟对象的每个显示帧进行以下说明的流程,并在每次显示帧改变时重复。

(步骤s300)

信息获取部100使用由传感器部12检测出的检测结果来获取与用户700或者该用户700的周围的各种状态有关的信息。另外,信息获取部100获取表示信息处理装置1的处理的状态的显示处理速度。并且,信息获取部100也可以一并获取其它的装置配置文件(例如,上述的各种识别引擎中的识别帧率等),即,信息获取部100获取的装置配置文件只要是表示信息处理装置1的处理的状态的信息,则没有特别限定。

(步骤s302)

显示参数计算部102基于在步骤s300中获取到的显示处理速度来计算虚拟对象的fps。

(步骤s304)

显示形式判断部104判断前次计算出的fps和在步骤s302中本次计算出的fps之差是否超过规定的范围(例如,10)。例如,显示形式判断部104在判断为上述差超过10的情况下,进入步骤s304,另一方面,在判断为上述差是10以下的情况下,进入步骤s326。

(步骤s306)

显示形式判断部104将在上述步骤s302中计算出的fps与预先设定的阈值α进行比较。具体而言,显示形式判断部104在判断为计算出的fps是α(例如,60)以上的情况下,进入步骤s308。另一方面,在判断为计算出的fps小于α的情况下,进入步骤s312。

(步骤s308、步骤s310)

实施与图6a所示的第一实施方式的步骤s104以及步骤s106同样的处理。

(步骤s312)

显示形式判断部104将在上述步骤s302中计算出的fps与预先设定的阈值α、β进行比较。具体而言,显示形式判断部104在判断为计算出的fps小于α且是β(例如,30)以上的情况下,进入步骤s314。另一方面,在判断为计算出的fps小于β的情况下,进入步骤s318。

(步骤s314、步骤s316)

实施与图6a所示的第一实施方式的步骤s110以及步骤s112同样的处理。

(步骤s318)

显示形式判断部104将在上述步骤s302中计算出的fps与预先设定的阈值β、γ进行比较。具体而言,显示形式判断部104在判断为计算出的fps小于β且γ(例如,20)以上的情况下,进入步骤s320。另一方面,在判断为计算出的fps小于γ的情况下,进入步骤s324。

(步骤s320、步骤s324)

作为步骤s320而进行与图6a所示的第一实施方式的步骤s116同样的处理,作为步骤s324而进行与图6b所示的第一实施方式的步骤s130同样的处理。

(步骤s326)

显示形式判断部104维持前次设定的显示分辨率以及效果处理。

(步骤s328)

实施与图6b所示的第一实施方式的步骤s132同样的处理。

此外,在上述的说明中,判断是否根据与针对虚拟对象的每个显示帧在前次计算出的fps之差使显示分辨率等各种设定变化,但本实施方式并不限于此。例如,也可以在从前次的设定经过了规定的时间的情况下、检测到用户700的移动的情况下、检测到虚拟对象的显示位置从用户700的视场范围偏离的情况下,进行是否使各种设定变化的判断。

另外,在本实施方式中,与第一实施方式同样地,对于上述的图13所示的阈值α、β、γ的值、所设定的显示分辨率以及效果处理的内容,并不限定于上述的值等。在本实施方式中,只要是能够适当地维持虚拟对象的fps,并适当地维持从用户700看到的虚拟对象的显示质量的阈值等,则可以适当地选择。

示意性地示出上述的流程中的处理的图是图14。图14是示意性地表示人物图像的虚拟对象的显示分辨率根据fps而变化。例如,在fps较高的情况下,显示显示分辨率高的虚拟对象812a。另外,例如,在fps为中程度的情况下,显示具有比上述虚拟对象812a低的显示分辨率的虚拟对象812b。并且,在fps较低的情况下,显示具有比上述虚拟对象812b低的显示分辨率的虚拟对象812c。

如以上那样,在本实施方式中,由于能够根据fps判断信息处理装置1的处理能力是否有富余,所以根据fps使虚拟对象的显示分辨率等动态地变化。因此,根据本实施方式,确保信息处理装置1的处理能力有富余充裕,能够避免今后的显示帧中的fps的降低。

在本实施方式中,在信息处理装置1(控制部10)的处理能力被至少分配给虚拟对象的显示处理、和用于识别用户700的周围等的各种状态的识别引擎的识别处理的情况下,可以根据分配给识别的处理的处理能力的状态使虚拟对象的显示详细度变化。另外,在分配给显示处理和识别处理的信息处理装置1的处理能力的比例根据用户700的请求等而变化的情况下,可以根据分配给各处理的比例使虚拟对象的显示详细度变化。

并且,在本实施方式中,不仅根据fps使虚拟对象的显示分辨率等变化,还可以根据从装置配置文件获得的与处理的状态有关的信息使虚拟对象的显示分辨率等动态地变化。例如,可以从装置配置文件获取用于识别用户700或者该用户700的周围的各种状态的识别引擎的识别帧率,并根据识别帧率使虚拟对象的显示分辨率等动态地变化。

<5.2.第三实施方式的变形例>

在上述的本公开的第三实施方式中,根据fps使虚拟对象的显示分辨率动态地变化。然而,在本实施方式中,并不限于使显示分辨率变化,也可以使虚拟对象的其它的显示详细度变化。以下,作为本实施方式的变形例,对虚拟对象的显示详细度的各种例子进行说明。

(变形例1)

在变形例1中,根据fps,作为虚拟对象的效果处理而使阴影处理动态地变化。以下,参照图15,对本变形例的详细进行说明。图15是用于说明变形例1所涉及的处理的一个例子的说明图。

详细而言,如图15的左侧所示,fps较高的情况下,意味着信息处理装置1的处理能力有富余,所以例如利用补色渲染法显示虚拟对象。补色渲染法是指使用立体的物体表面的光的反射模型来进行虚拟对象中的阴影计算,并基于阴影计算来设定用于显示虚拟对象的各像素的色彩等。通过使用这样的补色渲染法,从而虚拟对象814a被显示为好像存在于真实空间中的现实物体。此外,对于基于上述补色渲染法的阴影计算,信息处理装置1中的处理量(负荷)较高。因此,在本变形例中,在信息处理装置1的处理能力有富余的情况下,使用补色渲染法来显示虚拟对象。

另外,如图15的中央所示,在fps为中程度的情况下,信息处理装置1的处理能力略微有富余,所以例如利用高氏渲染法显示虚拟对象。高氏渲染法是指使用具有多边形形状的虚拟对象的表面的光的反射模型来进行虚拟对象中的阴影计算,并基于阴影计算来设定用于显示虚拟对象的各像素的色彩等。通过使用这样的高氏渲染法,由此,虽然与上述虚拟对象814a相比,外观的质量降低,但虚拟对象814b被显示为立体的物体。此外,由于将虚拟对象814b假设为多边形形状来进行阴影计算,所以高氏渲染法与补色渲染法相比,信息处理装置1中的处理量(负荷)较低。因此,在本变形例中,在信息处理装置1的处理能力略微有富余的情况下,使用负荷较少的高氏渲染法来显示虚拟对象。

并且,如图15的右侧所示,在fps较低的情况下,信息处理装置1的处理能力没有富余,所以例如利用平面着色法显示虚拟对象。平面着色法是指在粗的多边形形状的虚拟对象的每个面使用光的反射模型来进行虚拟对象中的阴影计算,并基于阴影计算来设定构成虚拟对象的每个面的色彩等。通过使用这样的平面着色法,虚拟对象814c与上述虚拟对象814b相比,外观的质量降低。然而,在本变形例中,即使在信息处理装置1的处理能力没有富余的情况下,由于平面着色法与高氏渲染法相比,信息处理装置1中的处理量(负荷)较低,所以能够避免fps降低。

(变形例2)

在变形例2中,根据fps,作为球状的虚拟对象的效果处理,而使显示形式从三维显示动态地变化为线框显示、二维显示。以下,参照图16,对本变形例的详细进行说明。图16是用于说明变形例2所涉及的处理的一个例子的说明图。

详细而言,如图16的左侧所示,在fps较高的情况下,意味着信息处理装置1的处理能力有富余,所以将虚拟对象816a例如三维显示为好像存在于真实空间中的现实物体。

另外,如图16的中央所示,在fps为中程度的情况下,由于信息处理装置1的处理能力略微有富余,所以例如通过线框显示显示虚拟对象816b。该虚拟对象816b通过线框而具有顶点的数量较多的与球形近似的多边形形状,所以虽然与上述虚拟对象816a相比,外观的质量降低,但被显示为立体的物体。这样的线框显示与上述的三维显示相比,能够减少显示处理量(负荷)。因此,在本变形例中,在信息处理装置1的处理能力略微有富余情况下,使用负荷较少的线框显示来显示虚拟对象。

在fps进一步降低的情况下,信息处理装置1的处理能力没有富余,所以通过线框,利用顶点的数量少于上述虚拟对象816b的多边形形状显示球状的虚拟对象816c。通过这样利用顶点的数量较少的多边形形状进行显示,能够进一步减少显示处理量(负荷)。因此,在本变形例中,在信息处理装置1的处理能力没有富余的情况下,使线框显示的状态变化,详细而言,利用负荷更少的顶点的数量较少的多边形形状显示虚拟对象。

并且,如图16的右侧所示,在fps非常低的情况下,信息处理装置1的处理能力没有富余,所以二维显示虚拟对象816d。通过这样二维显示虚拟对象,与三维显示等相比,能够减少显示处理量(负荷)。通过使用这样的二维显示,虚拟对象816d与上述虚拟对象816c相比外观的质量降低。然而,在本变形例中,即使在信息处理装置1的处理能力没有富余的情况下,由于通过二维显示,信息处理装置1中的处理量(负荷)变低,所以能够避免显示帧率的降低。

此外,在本公开的实施方式以及变形例中,作为变化的虚拟对象的其它的显示详细度,不仅上述的阴影处理等,还能够列举虚拟对象的质感(虚拟对象的质感)、显示浓度、透明度、明度等。

(变形例3)

在上述的本公开的实施方式以及变形例中,根据虚拟对象的显示处理量或处理的状态使虚拟对象的显示详细度动态地变化。并且,在这些实施方式以及变形例中,也可以加上用户700的状态使虚拟对象的显示详细度动态地变化。因此,作为这样的变形例之一,参照图17,对根据用户700的视线方向使虚拟对象的显示分辨率变化的变形例3进行说明。图17是用于说明变形例3所涉及的处理的一个例子的说明图。

此处,在至此说明的实施方式等中,研究根据虚拟对象的显示处理量或处理的状态使虚拟对象的显示分辨率降低的情况。例如,如图17所示,在显示的虚拟对象818是书信等文字内容的情况下,若使显示分辨率降低来进行显示则有时用户700不能够解读虚拟对象818内的文字。另一方面,在这样考虑到不能够解读文字而提高显示分辨率的情况下,显示处理量增加,信息处理装置1的处理能力没有富余,产生显示帧率的降低。因此,在本变形例中,并不是提高虚拟对象818的整体的显示分辨率,而检测用户700的视线方向,仅在位于该视线的前端的虚拟对象818的部分中提高显示分辨率。即,在本变形例中,控制部10在判定为用户700正在注视如文字内容那样要求相对高的识别要求度的虚拟对象(第二虚拟对象)的情况下,与判定为用户700正在注视其它虚拟对象(例如,不要求高的识别要求度的图形等那样的虚拟对象)(第一虚拟对象)的情况相比,提高该虚拟对象的显示分辨率(显示详细度)。通过这样操作,根据本变形例,能够抑制显示处理量以避免显示帧率的降低,并维持能够使用户700容易地感知借助虚拟对象818提示的信息那样的显示质量。此外,在本变形例中,具有相对高的识别要求度的虚拟对象并不限于文字内容,能够任意设定。

详细而言,信息处理装置1例如使用通过向内相机122获得的拍摄图像来检测用户700的视线方向。而且,信息处理装置1基于该检测结果,将显示的低显示分辨率的虚拟对象818中位于用户700的视线的前端的虚拟对象的部分818a的显示分辨率设定得较高。更具体而言,在检测到用户700的视线的前端处于该虚拟对象818的部分818a的情况下,提高部分818a中的显示分辨率,使得用户700能够解读部分818a中的文字(在图17的例子中,“dearmr.smith」)。另一方面,不位于用户700的视线的前端的、虚拟对象818的其它部分818b与部分818a相比,显示分辨率较低。因此,虽然用户700能够感知到在部分818b显示一些文字,但不能够具体地解读文字。

这样,在本变形例中,清晰地显示用户700所希望的虚拟对象818的部分818a,不清晰地显示用户700不希望的其它的虚拟对象818的部分818b。因此,根据本变形例,能够抑制显示处理量以避免显示帧率的降低,并维持能够容易地使用户700感知借助虚拟对象818提示的信息那样的显示质量。

此外,在本变形例中,在用户700的视线的前端移动到部分818b的情况下,信息处理装置1使部分818a的显示分辨率降低,并提高部分818b的显示分辨率。另外,在本变形例中,在同时显示多个虚拟对象的情况下,也可以根据用户700的视线方向使各虚拟对象的显示分辨率变化。

另外,在本变形例中,并不限于根据用户700的视线方向使虚拟对象的显示分辨率变化,例如,可以根据用户700的手702伸出的方向使虚拟对象的显示分辨率变化。详细而言,在同时显示多个虚拟对象的情况下,以比其它虚拟对象高的显示分辨率显示位于用户700伸手的前端的虚拟对象。这样,在本变形例中,可以与上述的实施方式等组合,根据用户700的状态使虚拟对象的显示详细度动态地变化。

<<6.总结>>

如以上说明那样,在本公开的实施方式以及变形例中,对产生虚拟对象的显示帧率(fps)的降低的状态进行检测,并根据检测出的结果使虚拟对象的显示详细度动态地变化。这样,根据本实施方式等,能够确保信息处理装置1的处理能力有富余,避免显示帧率的降低的产生。即,根据本实施方式等,能够适当地维持虚拟对象的显示帧率,并适当地维持从用户700看到的虚拟对象的质量。其结果是根据本实施方式,能够实现借助虚拟对象的用户700与信息处理装置1之间的实时的交互,并能够对用户700提供有意义的体验。

此外,根据本实施方式等,提供使虚拟对象的显示详细度动态地变化,能够减少信息处理装置1中的显示处理量,进而减少消耗电力。其结果是根据本实施方式等,也能够减小蓄电池容量,还能够提供更紧凑的信息处理装置1。

此外,对于至此说明的本公开的实施方式以及变形例,也能够相互组合来实施。另外,在上述的说明中,列举应用于具有透射式显示器的智能眼镜的情况的例子,但在本公开的实施方式中并不限于此,例如,也能够应用于具有非透射式显示器的hmd。

<<7.硬件构成>>

图18是表示本公开的一个实施方式所涉及的信息处理装置900的硬件构成的一个例子的框图。在图18中,信息处理装置900示出上述的信息处理装置1的硬件构成的一个例子。

信息处理装置900例如具有cpu950、rom952、ram954、记录介质956、输入输出接口958、操作输入设备960。并且,信息处理装置900具有显示设备962、声音输出设备964、通信接口968以及传感器980。另外,信息处理装置900例如通过作为数据的传送路的总线970将各构成要素间连接起来。

(cpu950)

cpu950例如由一个或者两个以上的处理器、各种处理电路等构成,并作为控制整个信息处理装置900的控制部(例如,上述的控制部10)发挥作用,处理器由cpu、gpu等运算电路构成。具体而言,cpu950在信息处理装置900中例如实现上述的信息获取部100、显示参数计算部102、显示形式判断部104以及输出控制部106等的功能。

(rom952以及ram954)

rom952存储cpu950使用的程序、运算参数等控制用数据等。ram954例如暂时存储由cpu950执行的程序等。

(记录介质956)

记录介质956作为上述的存储部14发挥作用,例如,存储本实施方式所涉及的信息处理方法涉及的数据、各种应用程序等各种数据。此处,作为记录介质956,例如列举硬盘等磁记录介质、闪存等非易失性存储器。另外,记录介质956可以从信息处理装置900可装卸。

(输入输出接口958、操作输入设备960、显示设备962、声音输出设备964)

输入输出接口958例如连接操作输入设备960、显示设备962等。作为输入输出接口958,例如列举usb(universalserialbus:通用串行总线)端子、dvi(digitalvisualinterface:数字视频接口)端子、hdmi(high-definitionmultimediainterface:高分辨率多媒体接口)(注册商标)端子、各种处理电路等。

操作输入设备960例如作为上述的操作输入部22发挥作用,在信息处理装置900的内部与输入输出接口958连接。

显示设备962例如作为上述的显示部16发挥作用,在信息处理装置900中具备,在信息处理装置900的内部与输入输出接口958连接。作为显示设备962,例如列举液晶显示器、有机el显示器(organicelectro-luminescencedisplay)等。

声音输出设备964例如作为上述的扬声器18发挥作用,例如在信息处理装置900中具备,在信息处理装置900的内部与输入输出接口958连接。

此外,当然输入输出接口958也能够与信息处理装置900的外部的操作输入设备(例如,键盘、鼠标等)、外部的显示设备等外部设备连接。

另外,输入输出接口958也可以与驱动器(图示省略)连接。该驱动器是磁盘、光盘,或者半导体存储器等用于可拆卸的记录介质的读写器,内置或外置在信息处理装置900中。该驱动器读出佩戴的可拆卸的记录介质中记录的信息,并输出至ram954。另外,该驱动器也能够将记录写入佩戴的可拆卸的记录介质。

(通信接口968)

通信接口968作为用于例如经由通信网络(图示省略)(或,直接),与外部装置通过无线或者有线进行通信的通信部20发挥作用。此处,作为通信接口968,例如列举通信天线以及rf(radiofrequency:射频)电路(无线通信)、ieee802.15.1端口以及收发电路(无线通信)、ieee802.11端口以及收发电路(无线通信),或者lan(localareanetwork)端子以及收发电路(有线通信)等。

(传感器980)

传感器980作为上述的传感器部12发挥作用。并且,传感器980还可以包括照度传感器等各种传感器。

以上,示出信息处理装置900的硬件构成的一个例子。此外,信息处理装置900的硬件构成并不限于图18所示的构成。详细而言,上述的各构成要素也可以使用通用的部件来构成,或者可以由专用于各构成要素的功能的硬件构成。该构成可以根据实施时的技术水平而适当地变更。

例如,信息处理装置900在经由连接的外部的通信设备与外部装置等进行通信的情况下、独立进行处理的结构的情况下,可以不具备通信接口968。另外,通信接口968也可以具有能够通过多个通信方式与一个或两个以上的外部装置进行通信的结构。另外,信息处理装置900例如也可以采用不具备记录介质956、操作输入设备960等的结构。

另外,本实施方式所涉及的信息处理装置900也可以应用于例如云计算等那样以与网络的连接(或者各装置间的通信)为前提的由多个装置构成的系统。换句话说,上述的本实施方式所涉及的信息处理装置900例如也能够实现为由多个装置进行本实施方式所涉及的信息处理方法的处理的信息处理系统。

<<8.补充>>

另外,以上说明的实施方式例如可以包括用于使计算机作为本实施方式所涉及的信息处理装置发挥作用的程序、以及记录有程序的非临时的有形的介质。另外,也可以经由因特网等通信线路(也包括无线通信)分发上述程序。

并且,上述的各实施方式的处理中的各步骤可以不必按照记载的顺序处理。例如,可以适当地变更顺序来处理各步骤。另外,也可以代替按时间序列处理各步骤,而一部分并列或者单独处理各步骤。并且,各步骤的处理方法也可以不必按照记载的方法处理,例如,可以由其它功能模块通过其它方法处理。

以上,参照附图,详细说明了本公开的优选的实施方式,但本公开的技术范围并不限于所述的例子。显而易见具有本公开的技术领域中的通常的知识的人可以在权利要求书所记载的技术思想的范疇内想到各种变更例或者修正例,并且可以理解这些当然属于本公开的技术范围。

另外,本说明书所记载的效果仅仅是说明性或者例示性效果,而非限定性的。换句话说,与上述的效果一起,或者代替上述的效果,本公开的技术可以根据本说明书的记载实现对本领域技术人员清楚的其它效果。

此外,以下那样的构成也属于本公开的技术范围。

(1)一种信息处理装置,其中,

上述信息处理装置具备控制部,上述控制部对产生提示给用户的虚拟对象的显示帧率的降低的状态进行检测,并根据检测出的结果使上述虚拟对象的显示详细度动态地变化。

(2)根据上述(1)所述的信息处理装置,上述控制部根据检测到的上述虚拟对象的显示处理量使上述虚拟对象的显示详细度动态地变化。

(3)根据上述(2)所述的信息处理装置,上述控制部根据从上述用户到上述虚拟对象的显示位置的显示距离使上述虚拟对象的上述显示详细度变化。

(4)根据上述(3)所述的信息处理装置,上述控制部在上述显示距离是第一距离的情况下,与上述显示距离是小于上述第一距离的第二距离的情况相比,增大上述显示详细度。

(5)根据上述(4)所述的信息处理装置,上述控制部在上述显示距离是上述第一距离的情况下,与上述显示距离是上述第二距离的情况相比,增大上述虚拟对象的显示面积。

(6)根据上述(2)所述的信息处理装置,还具备对上述虚拟对象进行显示的显示部,上述控制部根据上述虚拟对象的显示面积相对于上述显示部的显示面积的比例使上述虚拟对象的上述显示详细度变化。

(7)根据上述(2)所述的信息处理装置,上述控制部根据上述虚拟对象的显示个数使上述虚拟对象的上述显示详细度变化。

(8)根据上述(2)所述的信息处理装置,上述控制部根据上述虚拟对象的种类使上述虚拟对象的上述显示详细度变化。

(9)根据上述(1)所述的信息处理装置,上述控制部根据检测到的上述控制部中的处理的状态使上述虚拟对象的上述显示详细度动态地变化。

(10)根据上述(9)所述的信息处理装置,上述控制部根据上述虚拟对象的上述显示帧率使上述虚拟对象的上述显示详细度变化。

(11)根据上述(9)所述的信息处理装置,上述控制部根据识别上述用户或者上述用户的周围的状态的识别帧率使上述虚拟对象的上述显示详细度变化。

(12)根据上述(11)所述的信息处理装置,上述控制部将该控制部的处理能力至少分配给上述虚拟对象的显示的处理和上述识别的处理,并根据分配给上述识别的处理的上述处理能力使上述虚拟对象的上述显示详细度变化。

(13)根据上述(9)~(11)中的任意一项所述的信息处理装置,上述控制部根据检测到的上述用户的状态使上述虚拟对象的上述显示详细度动态地变化。

(14)根据上述(13)所述的信息处理装置,上述虚拟对象包括第一虚拟对象、和具有高于上述第一虚拟对象的识别要求度的第二虚拟对象,上述控制部在判定为上述用户正在注视上述第二虚拟对象的情况下,与判定为上述用户正在注视上述第一虚拟对象的情况相比,提高上述第二虚拟对象的上述显示详细度。

(15)根据上述(1)所述的信息处理装置,上述控制部使上述虚拟对象的显示分辨率以及对上述虚拟对象的效果处理中的至少一方变化。

(16)根据上述(15)所述的信息处理装置,上述控制部进行对上述虚拟对象的阴影处理的变更、上述虚拟对象的线框显示的状态的变更、上述虚拟对象的二维显示与三维显示之间的变更、以及上述虚拟对象的透明度的变更中的至少一个,作为上述效果处理。

(17)根据上述(1)所述的信息处理装置,上述信息处理装置是佩戴于上述用户的头部的可穿戴的装置,上述信息处理装置还具备在佩戴时位于上述用户的眼前的显示部。

(18)根据上述(17)所述的信息处理装置,上述显示部是透射式显示器,上述显示部在真实空间中叠加显示上述虚拟对象。

(19)一种信息处理方法,包括对产生提示给用户的虚拟对象的显示帧率的降低的状态进行检测,并根据检测出的结果使上述虚拟对象的显示详细度动态地变化。

(20)一种程序,使计算机作为控制部发挥作用,该控制部对产生提示给用户的虚拟对象的显示帧率的降低的状态进行检测,并根据检测出的结果使上述虚拟对象的显示详细度动态地变化。

附图标记的说明

1、900信息处理装置

10控制部

12传感器部

14存储部

16、16a、16b显示部

18扬声器

20通信部

22操作输入部

100信息获取部

102显示参数计算部

104显示形式判断部

106输出控制部

120向外相机

122向内相机

124麦克风

126陀螺仪传感器

128加速度传感器

130方位传感器

132位置定位部

134生物体传感器

600标记

602墙面

604汽车

700用户

702手

800、802a~c、804a~b、806a~c、808a~c、810、812a~c、814a~c、816a~d、818虚拟对象

818a、b部分

950cpu

952rom

954ram

956记录介质

958输入输出接口

960操作输入设备

962显示设备

964声音输出设备

968通信接口

970总线

980传感器

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1