立体图像呈现装置、立体图像呈现方法和头戴式显示器与流程

本发明涉及立体图像呈现装置、立体图像呈现方法和头戴式显示器。

背景技术：

近来，用于呈现立体视频的技术的发展已取得进展，并且能够呈现具有深度的立体视频的头戴式显示器(在下文中描述为“HMD”)已扩展。这样的HMD包括遮蔽HMD，其完全覆盖和遮蔽佩戴HMD的用户的视野，并且因此可以向观察视频的用户提供深沉浸感。光学透视HMD也已作为另一种类型的HMD被开发。光学透视HMD是可以使用全息元件、半镀银镜等向用户呈现作为虚拟立体视频的增强现实(AR)图像并且以透视方式向用户呈现在HMD外部的真实空间的状态的立体图像装置。

技术实现要素：

[技术问题]

这些HMD是用于向用户呈现立体视频的装置。期望减少给予佩戴HMD的用户的视觉陌生感，并且增强由HMD呈现的立体视频的立体效果以给出更深的沉浸感。另外，当光学透视HMD呈现AR图像时，以叠加在真实空间上的方式显示AR图像。所以，当三维对象特别地呈现为AR图像时，期望的是，对于光学透视HMD的用户，AR图像看起来与真实空间中的对象协调而不导致陌生感。因此期望一种改善AR图像的立体效果的技术。

本发明的目的是提供一种技术，其改善由立体图像呈现装置呈现的图像的立体效果。

[问题的解决方案]

为了解决以上问题，根据本发明的模式，提供了一种立体图像呈现装置，其包括：图像获取部分，其配置成获取待呈现的图像；以及图像呈现部分，其配置成将由所述图像获取部分获取的图像的虚拟图像呈现给所述立体图像呈现装置的用户的视野。所述图像呈现部分配置成能够改变呈现给用户的虚拟图像的位置，并且基于出现在图像中的对象的深度信息来改变呈现虚拟图像的位置。

本发明的另一模式是一种由立体图像呈现装置的处理器执行的图像呈现方法。该方法包括获取待呈现的对象的图像的步骤，基于对象的深度信息设置呈现图像的虚拟图像的位置的步骤，以及在设置位置处呈现虚拟图像的步骤。

本发明的又一模式是一种用于呈现立体图像的头戴式显示器。该头戴式显示器包括：图像获取部分，其配置成获取待呈现的图像；以及图像呈现部分，其配置成向佩戴所述头戴式显示器的用户呈现由所述图像获取部分获取的图像的虚拟图像。所述图像呈现部分包括配置成显示图像的多个透射显示部分，和配置成生成由所述多个透射显示部分的每一个显示的图像的虚拟图像的光学元件。所述多个透射显示部分并排设在所述图像呈现部分的光路上，并且所述光学元件在所述图像呈现部分的光路中设在用户的眼睛和所述多个透射显示部分之间。

本发明的又一模式是一种用于使计算机实现上述方法的每个步骤的程序。

该程序例如可以提供为包含在用于执行硬件资源的基本控制的装置(例如包括在HMD中的计算机)中的固件的一部分。该固件例如存储在诸如只读存储器(ROM)的半导体存储器或装置内的闪存中。为了提供该固件，或者为了更新固件的一部分，可以提供其上记录有程序的计算机可读记录介质，并且可以通过通信线传输程序。

应当注意以上组成元件的任意组合以及通过在方法、装置、系统、计算机程序、数据结构、记录介质等之间转换本发明的表达而获取的模式作为本发明的模式也是有效的。

[发明的有利效果]

根据本发明，可以改善由立体图像呈现装置呈现的图像的立体效果。

附图说明

图1是示意性地显示根据实施例的HMD的外观的示例的图。

图2(a)和2(b)是示意性地显示虚拟三维空间中的对象和叠加在真实空间上的对象之间的关系的图。

图3是辅助解释凸透镜的透镜公式的图。

图4是示意性地显示提供给根据实施例的HMD的光学系统的图。

图5是显示将由透射显示元件显示以在不同位置处呈现具有相同尺寸的虚拟图像的图像的图。

图6是示意性地显示根据实施例的立体图像呈现装置的功能配置的图。

图7(a)和7(b)是示意性地显示由根据实施例的部分区域生成部分生成的多个部分区域和包括在部分区域的每一个中的虚拟对象之间的关系的示例的图。

图8是示意性地显示由根据实施例的绘制部分生成的图像的示例的图。

图9是辅助解释由根据实施例的立体图像呈现装置执行的立体图像呈现处理的流程的流程图。

图10是示意性地显示焦距可变的凸透镜和焦距的图。

图11是显示为了在不同位置处呈现具有相同尺寸的虚拟图像凸透镜的焦点将定位的位置的图。

图12(a)和12(b)是示意性地显示根据第二变形例的立体图像呈现装置的光学系统的图。

图13(a)和13(b)是示意性地显示根据第三变形例的立体图像呈现装置的光学系统的图。

图14(a)和14(b)是示意性地显示根据第四变形例的立体图像呈现装置的光学系统的图。

具体实施方式

以下将参考附图详细描述用于实施本发明的模式。顺便提及，在描述中，相同的元件由相同的附图标记表示，并且将视情况省略其重复描述。另外，下面将描述的配置是示例性的，并且不完全限制本发明的范围。

图1是示意性地显示根据实施例的立体图像呈现装置100的外观的示例的图。立体图像呈现装置100可以通过例如遮蔽HMD或光学透视HMD实现。立体图像呈现装置100包括容纳呈现部分120的壳体160，成像元件140和各种模块。在本说明书中，立体图像呈现装置100将在下文中简单地描述为HMD，除非要特别区分诸如遮蔽HMD或光学透视HMD的HMD的类型。因此，HMD包括遮蔽HMD和光学透视HMD。

呈现部分120向用户的眼睛呈现立体视频。更具体地，呈现部分120向用户的眼睛单独呈现用于左眼的视差图像和用于右眼的视差图像。呈现部分120由此可以呈现向用户提供深度感的立体视频。成像元件140对存在于包括佩戴立体图像呈现装置100的用户的视野的区域中的被摄体进行成像。所以，当用户佩戴立体图像呈现装置100时成像元件140安装成在用户的前额的中间周围布置。成像元件140可以通过使用诸如电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器的已知固态成像元件来实现。

壳体160在立体图像呈现装置100中起到框架的作用，并且容纳由立体图像呈现装置100使用的各种模块(未显示)。由立体图像呈现装置100使用的模块是包括全息导光板的光学部件，和用于改变这些光学部件的位置的马达，以及通信模块，如Wi-Fi(注册商标)模块，电子罗盘，加速度传感器，倾斜传感器，全球定位系统GPS)传感器，照度传感器，用于控制和操作这些部件的中央处理单元(CPU)，用作CPU的工作区域的存储器等。这些模块是示例性的，并且立体图像呈现装置100不一定需要包括所有这些模块。根据立体图像呈现装置100采用的使用场景确定包括哪些模块就足够了。

图1是显示使用眼镜型的HMD作为立体图像呈现装置100的示例的图。可以想到立体图像呈现装置100的形状的各种其它变型，如头饰形状，围绕用户的头部放置并固定的带形状，以及覆盖用户的整个头部的头盔形状。本领域技术人员应当容易理解，在本发明的实施例中包括任何形状的立体图像呈现装置100。

下面将参考图2至5描述改善由根据实施例的立体图像呈现装置100呈现的图像的立体效果的原理。下面将描述立体图像呈现装置100以叠加在真实空间上的方式显示AR图像的情况。然而，由立体图像呈现装置100呈现的图像不限于AR图像，而是也可以应用为包括用于左眼的视差图像和用于右眼的视差图像的立体视频，如三维(3D)电影。稍后将作为实施例的第八变形例描述后一种情况。

图2(a)和2(b)是示意性地显示虚拟三维空间中的对象和叠加在现实空间上的对象之间的关系的图。

图2(a)是显示在虚拟三维空间(在下文中描述为“虚拟空间”)中设置的虚拟照相机(在下文中描述为“虚拟照相机300”)正在拍摄虚拟对象(在下文中描述为“虚拟对象304”)的状态的图。在虚拟空间中设置用于限定虚拟对象304的位置坐标的虚拟三维正交坐标系(在下文中描述为“虚拟坐标系302”)。

虚拟照相机300是虚拟双目照相机。虚拟照相机300生成用于用户的左眼的视差图像和用于用户的右眼的视差图像。从虚拟照相机300拍摄的虚拟对象304的图像根据在虚拟空间中从虚拟照相机300到虚拟对象304的距离变化。

图2(b)是显示从虚拟空间中的虚拟照相机300观看的虚拟对象304的图像以叠加在真实空间上的方式显示的状态的图。图2(b)中的桌子310是作为存在于真实空间中的真实物体的桌子。当佩戴立体图像呈现装置100的用户用左眼308a和右眼308b观察桌子310时，用户观察到仿佛虚拟对象304放置在桌子310上。因此以叠加在真实空间中存在的真实物体上的方式显示的图像是AR图像。在下文中，在本说明书中，用户的左眼308a和右眼308b将简单地描述为“视点308”，除非特别地彼此区分。

与在虚拟空间中一样，也在真实空间中设置用于限定虚拟对象304的位置坐标的三维正交坐标系(三维正交坐标系将在下文中描述为“真实坐标系306”)。立体图像呈现装置100参考虚拟坐标系302和真实坐标系306，并且根据在虚拟空间中从虚拟照相机300到虚拟对象304的距离改变真实空间中的虚拟对象304的呈现位置。更具体地，当在虚拟空间中从虚拟照相机300到虚拟对象304的距离变得更长时，立体图像呈现装置100将虚拟对象304的虚拟图像布置在真实空间中的更远离视点308的位置。

图3是辅助解释凸透镜的透镜公式的图。更具体地，图3是在对象存在于凸透镜312的焦点的内侧的情况下辅助解释对象314的对象314和虚拟图像316之间的关系的图。如图3中所示，在视点308的视线的方向上设置Z轴，并且凸透镜312布置成使得凸透镜312的光轴和Z轴在Z轴上彼此重合。凸透镜312的焦距为F。对象314相对于凸透镜312布置在与视点308相对的一侧从而与凸透镜312分离距离A(A<F)。也就是说，在图3中，对象314布置在凸透镜312的焦点的内侧。在该情况下，当从视点308观看对象314时，对象314在与凸透镜312分离距离B(F<B)的位置处作为虚拟图像316被观察。

在该情况下，距离A、距离B和焦距F之间的关系由以下等式(1)表达的已知透镜公式限定：

1/A-1/B＝1/F (1)

另外，虚拟图像316的尺寸Q(图3中的虚线箭头的长度)与对象314的尺寸P(图3中的实线箭头的长度)的比率，即放大率m＝Q/P，由以下等式(2)表达：

m＝B/A (2)

等式(1)还可以被认为指示为了在相对于凸透镜312与视点308相对的一侧在与凸透镜312分离距离B的位置处呈现虚拟图像316由对象314的距离A和焦距F满足的关系。将考虑例如凸透镜312的焦距F固定的情况。在该情况下，当修改等式(1)时，距离A可以在以下等式(3)表达为距离B的函数。

A(B)＝FB/(F+B)＝F/(1+F/B) (4)

等式(4)指示当凸透镜的焦距为F时为了在距离B的位置处呈现虚拟图像316布置对象314的位置。从等式(4)可以清楚，距离B越大，距离A越大。

另外，当通过将等式(1)代入等式(2)中修改等式(2)时，为了在距离B的位置处呈现具有尺寸Q的虚拟图像316由对象314采取的尺寸P可以在以下等式(5)中表达为：

P(B,Q)＝Q*F/(B+F) (5)

等式(5)表示作为距离B和虚拟图像316的尺寸Q的函数由对象314采取的尺寸P。等式(5)指示虚拟图像316的尺寸Q越大，对象314的尺寸P越大。它也指示虚拟图像316的距离B越大，对象314的尺寸P越小。

图4是示意性地显示提供给根据实施例的立体图像呈现装置100的光学系统的图。立体图像呈现装置100在壳体160内包括凸透镜312和多个透射显示元件318。在图4中，立体图像呈现装置100包括七个透射显示元件，即透射显示元件318a至318g。透射显示元件318a至318g将在下文中统称为“透射显示元件318”，除非特别地彼此区分。

尽管没有限制，但是透射显示元件318a至318g的每一个例如可以通过使用透射有机电致发光(EL)来实现。尽管图4示出立体图像呈现装置100包括七个透射显示元件318的情况，但是透射显示元件318的数量不限于七个。提供至少两个透射显示元件318就足够了。

与图3中所示的情况一样，同样在图4中，在视点308的视线的方向上设置Z轴，并且凸透镜312布置成使得凸透镜312的光轴和Z轴在Z轴上彼此重合。凸透镜312的焦距为F。图4中的两个点F均表示凸透镜312的焦点。如图4中所示，多个透射显示元件318的每一个在相对于凸透镜312与视点308相对的一侧布置在凸透镜312的焦点的内侧。因此，假设一个透射显示元件318的厚度为d，可以布置的透射显示元件318的最大数量为[F/d]。这里，[]是高斯符号，并且[x]表示等于或小于x的最大整数。

透射显示元件318的每一个可以独立地显示不同图像。透射显示元件318是能够透射可见光的部件。另外，多个透射显示元件318均并排设在立体图像呈现装置100的光路上，即在凸透镜312的光轴上。因此甚至由相对于视点308在远侧的透射显示元件318显示的图像通过相对于视点308在近侧的透射显示元件318，并且到达视点308。也就是说，由多个透射显示元件318显示的图像以从视点308观看彼此重叠的方式被观察。

在该情况下，如上所述，凸透镜312存在于视点308和透射显示元件318之间。因此，当从视点308观看透射显示元件318时，由多个透射显示元件318显示的图像均根据等式(1)和等式(2)作为虚拟图像被观察。在这个意义上，凸透镜312用作生成由多个透射显示元件318显示的图像的相应虚拟图像的光学元件。

图5是显示将由透射显示元件318显示以在不同位置处呈现具有相同尺寸的虚拟图像的图像的图。图5显示在离凸透镜312的光学中心的距离B1、B2和B3处以相同尺寸Q呈现三个虚拟图像316a、316b和316c的示例。另外，图5中的图像314a、314b和314c相应地对应于虚拟图像316a、316b和316c。图像314a、314b和314c均由多个透射显示元件318中的一个显示。顺便提及，关于等式(1)中所示的透镜公式，图3中的对象314图3对应于由图5中的透射显示元件318显示的图像。因此，图5中的图像由与图3中的对象314相同的附图标记314识别。

更具体地，图像314a、314b和314c相应地由位于与凸透镜312的光学中心分离A1、A2和A3的位置处的透射显示元件318显示。这里，根据等式(4)，A1、A2和A3由以下相应的等式给出。

A1＝F/(1+F/B1)

A2＝F/(1+F/B2)

A3＝F/(1+F/B3)

另外，从等式(5)，使用虚拟图像316的尺寸Q由相应的以下等式给出将显示的图像314a、314b和314c的尺寸P1、P2和P3。

P1＝Q*F/(B1+F)

P2＝Q*F/(B2+F)

P3＝Q*F/(B3+F)

通过因此改变用于显示图像314的透射显示元件318，或换句话说，改变用于显示图像的透射显示元件318的位置，可以改变呈现给用户的虚拟图像316的位置。另外，也可以通过改变显示在透射显示元件318上的图像的尺寸控制将呈现的虚拟图像316的尺寸。

在对象314位于凸透镜312的焦点F的内侧的情况下已对对象314的位置和虚拟图像316的位置之间的关系以及对象314的尺寸和虚拟图像316的尺寸之间的关系进行以上描述。接着将描述根据实施例的立体图像呈现装置100的功能配置。根据实施例的立体图像呈现装置100使用对象314和虚拟图像316之间的上述关系。

图6是示意性地显示根据实施例的立体图像呈现装置100的功能配置的图。立体图像呈现装置100包括图像获取部分102和图像呈现部分104。图6显示用于实现根据实施例的立体图像呈现装置100的功能配置，但是未显示其他配置。作为执行图6中的各种处理的功能块描述的元件可以在硬件方面由CPU、主存储器或容纳在立体图像呈现装置100的壳体160内的另一大规模集成电路(LSI)配置。另外，上述元件在软件上方面由加载在主存储器等中的程序实现。因此，本领域技术人员应当理解，这些功能块可以以各种形式实现，并且不限于这些形式之一。

图像获取部分102获取将由立体图像呈现装置100呈现的图像。图像获取部分102例如获取虚拟对象304的图像，所述图像由设置在虚拟空间中的虚拟照相机300拍摄。由虚拟照相机300拍摄的图像在该情况下是通过二维投影具有三维信息的虚拟对象304而获取的二维图像。图像获取部分102由在上面参考图1描述的立体图像呈现装置100的壳体160内实现的各种类型的模块实现。稍后将描述图像获取部分102的细节。

图像呈现部分104以叠加在由佩戴立体图像呈现装置100的用户观察的真实空间上的方式呈现由图像获取部分102获取的图像。在该情况下图像呈现部分104在真实空间中呈现由图像获取部分102获取的图像的虚拟图像316。图像呈现部分104配置成能够改变图像的虚拟图像316的位置，所述虚拟图像在真实空间中呈现。图像呈现部分104基于在呈现给用户的图像中出现的虚拟对象304的深度信息改变呈现虚拟图像316的位置。

“深度信息”例如是反映当向用户呈现显示某个被摄体的图像并且用户观看被摄体时由用户识别的距离感的信息。所以，虚拟对象304的“深度信息”的示例包括当虚拟对象304被拍摄时从虚拟照相机300到虚拟对象304的距离。在该情况下，图像呈现部分104基于在虚拟空间中从虚拟照相机300到虚拟对象304的距离改变由图像获取部分102获取的图像的虚拟图像316的呈现位置。

具体地，在虚拟空间中从虚拟照相机300到虚拟对象304的距离短的情况下，与在虚拟空间中从虚拟照相机300到虚拟对象304的长距离的情况相比，图像呈现部分104在从佩戴立体图像呈现装置100的用户观看的近位置处呈现虚拟对象304的图像的虚拟图像316。另外，图像呈现部分104根据将呈现的虚拟图像316的位置生成对应于虚拟图像316的图像314。在下面，将更详细地描述由图像获取部分102生成图像314的方法和由图像呈现部分104呈现虚拟图像316的方法。

如图6中所示，图像获取部分102包括部分区域生成部分106，绘制部分108，虚拟照相机设置部分110，和对象设置部分112。另外，图像呈现部分104包括虚拟图像呈现部分114和虚拟图像位置设置部分116。

对象设置部分112在虚拟空间内设置用作将呈现给立体图像呈现装置100的用户的AR图像的基础的虚拟对象304。虚拟对象304例如由三维体素数据构成。对象设置部分112从立体图像呈现装置100的壳体160内的未显示的存储部分读出虚拟对象304的体素数据。或者，对象设置部分112可以经由壳体160中的未显示的Wi-Fi模块从存在于立体图像呈现装置100外部的另一装置无线通信获取体素数据。对象设置部分112还可以在虚拟空间内设置虚拟光源以便照明设置在虚拟空间内的虚拟对象304。

虚拟照相机设置部分110在虚拟空间内设置用于观察由对象设置部分112设置的虚拟对象304的虚拟照相机300。尽管没有限制，但是虚拟照相机设置部分110可以根据提供给立体图像呈现装置100的成像元件140的运动改变虚拟空间内的虚拟照相机的设置位置。

在该情况下，虚拟照相机设置部分110基于包括在壳体160中的各种传感器(例如电子罗盘，加速度传感器和倾斜传感器)的输出来检测成像元件140的姿态和运动。虚拟照相机设置部分110改变虚拟照相机300的姿态和设置位置从而跟随检测到的成像元件140的姿态和运动。因此，从虚拟照相机300观看的虚拟对象304的外观可以改变从而跟随佩戴立体图像呈现装置100的用户的头部的运动。这可以更加增强呈现给用户的AR图像的真实性。

部分区域生成部分106将包括虚拟对象304的处理目标区域分割为多个部分区域。绘制部分108通过绘制从虚拟照相机300可观察的部分生成由部分区域生成部分106生成的多个部分区域中包括的各个虚拟对象304的图像。

图7(a)和7(b)是示意性地显示由根据实施例的部分区域生成部分106生成的多个部分区域和包括在每个部分区域中的虚拟对象304之间的关系的示例的图。图7(a)和7(b)显示球形或卵形虚拟对象304由七个部分区域320a至320g定界的状态。多个部分区域在下文中将统称为“部分区域320”，除非特别地彼此区分。

部分区域生成部分106通过根据在虚拟空间中离虚拟照相机300的距离分割虚拟空间生成部分区域320。尽管没有限制，但是部分区域生成部分106在虚拟空间中设置与虚拟照相机300的光轴(图7中的z轴)垂直的多个平面，并且将夹在彼此相邻的平面之间的区域设置为部分区域320。为了描述方便，限定部分区域320的平面将在下文中描述为“分割平面”。在图7中，部分区域生成部分106设置七个分割平面，即分割平面322a至322g，并且生成七个部分区域320a至320g。顺便提及，对于图7中的部分区域320g，从分割平面322g到无限远的空间是部分区域320g。

图7(a)是显示从与虚拟照相机300的光轴垂直的方向(即与图2中的虚拟坐标系302的xy平面垂直的方向)观看的虚拟对象304的状态的图。另外，图7(b)是显示从与图2中的虚拟坐标系302的xz平面垂直的方向观看虚拟对象304的状态的图。

如图7(b)中所示，虚拟对象304通过由部分区域生成部分106生成的部分区域320分割为多个片段。绘制部分108使用由部分区域320分段的虚拟对象304的片段的每一个作为单位绘制虚拟对象304。更具体地，绘制部分108在从虚拟照相机300观看的范围内生成分段虚拟对象304的片段的每一个的图像。

图8是示意性地显示由根据实施例的绘制部分108生成的图像的示例的图。图8是显示绘制部分108绘制图7中所示的虚拟对象304的片段的每一个时生成的图像的图。

通过绘制虚拟对象304的片段相应地获取图8中的图像324a至324e，所述片段包括在图7中的部分区域320a至320e中。图7中的部分区域320a例如包括虚拟对象304的一部分，所述部分最靠近虚拟照相机300。因此当从虚拟照相机观看时包括在部分区域320a中的虚拟对象304的片段看起来像椭圆形。绘制部分108因此生成如图8中的图像324a表示的椭圆图像324e。

类似地，当从虚拟照相机300观看时包括在图7中的部分区域320b中的虚拟对象304的片段具有椭圆形状。然而，包括在部分区域320a中的虚拟对象304的片段存在于包括在部分区域320b中的虚拟对象304的片段和虚拟照相机300之间。因此，在包括在部分区域320b中的虚拟对象304的片段中从虚拟照相机300可观察到的部分具有如图8中的图像324b表示的环圈型形状。绘制部分108因此生成图像324b作为虚拟对象304的片段的图像，所述片段包括在部分区域320b中。图像324c至324e以类似的方式生成。

顺便提及，在图7中包括在部分区域320f和部分区域320g中的虚拟对象340的片段由虚拟对象340自身隐藏，并且因此不能从虚拟照相机300观察。所以绘制部分108不生成虚拟对象340的片段的图像，所述片段包括在部分区域320f和部分区域320g中。

描述返回图6。虚拟图像位置设置部分116根据在虚拟空间中从虚拟照相机300到部分区域320的距离设置呈现由绘制部分108生成的图像的虚拟图像316的位置。如上面参考图3所述，图像314的位置和虚拟图像316的位置在一对一的基础上彼此对应。因此，如等式(4)指示，可以通过改变对应于虚拟图像316的图像314控制呈现虚拟图像316的位置。因此虚拟图像位置设置部分116根据在虚拟空间中从虚拟照相机300到部分区域320的距离设置透射显示元件318的位置以显示由绘制部分108生成的图像。更具体地，虚拟图像位置设置部分116选择存在于根据等式(4)导出的位置处的透射显示元件318。

例如，虚拟图像位置设置部分116选择图4中的透射显示元件318a作为透射显示元件318以显示从虚拟对象304的片段产生的图像，所述片段包括在图7中的部分区域320a中。然后虚拟图像位置设置部分116类似地选择透射显示元件318b至318g作为透射显示元件318以显示通过绘制相应地包括在部分区域320b至320g中的虚拟对象304获取的图像。通过因此根据在空间中从虚拟照相机300到部分区域320的距离设置由绘制部分108生成的图像的虚拟图像316的呈现位置可以更立体地呈现AR图像。这是因为，当从用户观看时，虚拟对象304的深度方向上的信息在呈现的虚拟图像316中被反映。

顺便提及，如图7中所示，部分区域320g包括从分割平面322g到无限远的空间。因此，绘制部分108按原样舍入在部分区域320g中包括的虚拟对象304的深度方向上的信息，并且生成图像。也就是说，在虚拟空间中位于离虚拟照相机300最远的位置处的分割平面322限定离虚拟照相机300的长距离。

在图7所示的示例中，分割平面322g是离虚拟照相机300最远的分割平面。因此，位于离虚拟照相机300最远的位置处的分割平面322和虚拟照相机300之间的距离设置为“远程参考距离”。部分区域生成部分106将与虚拟照相机300分离大于远程参考距离的区域设置为一个部分区域，即远程部分区域。位于离虚拟照相机300最远的位置处的分割平面322限定远程参考距离。所以，分割平面322也可以被称为“远程参考平面”。

顺便提及，远程参考距离由部分区域生成部分106设置。部分区域生成部分106将远程参考平面设置在与虚拟照相机300分离远程参考距离的位置。部分区域生成部分106将比设置的远程参考平面更靠近虚拟照相机300的区域分割为多个部分区域320。绘制部分108由此可以对存在于比远程参考距离更靠近虚拟照相机300的区域中的虚拟对象304精细地成像。也就是说，可以改善从存在于比该距离更靠近虚拟照相机300的区域中的虚拟对象304导出的AR图像的立体效果。

这里，部分区域生成部分106执行分割，使得多个部分区域320的每一个部分地与另一部分区域320重叠或者至少与另一部分区域320接触。另外，部分区域生成部分106将最靠近虚拟照相机300的分割平面322设置成与虚拟照相机300接触。绘制部分108由此可以在没有遗漏的情况下绘制存在于虚拟空间中的虚拟对象304。

上面已描述根据实施例的立体图像呈现装置100的功能配置。接着将描述由立体图像呈现装置100执行的应用的示例。

根据实施例的立体图像呈现装置100可以使用壳体160内的CPU执行各种应用。例如引用游戏应用作为这样的应用的示例。

游戏应用典型地包括可以由用户操作的角色的图像和其他图像。在赛车游戏的情况下，例如，由用户操作的车辆是角色，并且道路、对手的车辆等似乎构成背景。在近年来的游戏应用中，通常的做法是在虚拟空间中设置用于生成角色图像的虚拟对象304和用于生成背景图像的虚拟对象304，并且生成从虚拟照相机300观看的投影图像。当立体图像呈现装置100执行游戏应用的程序时，图像获取部分102在虚拟空间中设置出现在游戏和背景中的角色的虚拟对象304，并且生成虚拟对象304的图像。图像呈现部分104向立体图像呈现装置100的用户呈现由图像获取部分102生成的图像的虚拟图像316。

由图像获取部分102中的对象设置部分112在虚拟空间中设置的虚拟对象304被给予限定虚拟对象304的特性的一个或多个属性。作为属性的示例，例如有指示该角色是否可以由用户操作的属性。属性的其他示例包括虚拟空间中的虚拟对象304的物理特性，如移动速度，加速度，以及光的反射和吸收的程度。

虚拟对象304因此包括从预先设置的多个属性中选择的一个或多个属性。部分区域生成部分106可以根据虚拟对象304的属性来改变分割部分区域320的方法。

如上所述，离虚拟照相机300超过由部分区域生成部分106设置的远程参考距离的区域被收集为一个部分区域320作为远程区域。因此由绘制部分108在一个图像中绘制存在于远程区域中的虚拟对象304。所以从存在于远程区域中的虚拟对象304导出的图像的虚拟图像316作为缺乏感知深度的图像呈现给用户。

据认为由用户在游戏应用中操作的角色引起用户的高度关注。所以，如果由用户操作的角色的虚拟对象304包括在远程区域中，则实际呈现给用户的虚拟图像316可能缺乏感知深度。因此，当虚拟对象304具有指示用户可以操作的角色的角色属性时，部分区域生成部分106设置远程参考距离，使得从远程部分区域排除虚拟对象304。具体地，部分区域生成部分106在具有角色属性的虚拟对象304中，将远程参考平面设置在与离虚拟照相机300最远的位置处的虚拟对象304相同的位置或更远的位置。由此可以改善从至少由用户操作的角色导出的AR图像的立体效果。

图9是辅助解释由根据实施例的立体图像呈现装置100执行的立体图像呈现处理的流程的流程图。例如，当开始立体图像呈现装置100的电力供应时，开始本流程图中的处理。

对象设置部分112在虚拟空间中设置虚拟对象304(S2)。部分区域生成部分106获取提供给由对象设置部分112设置的虚拟对象304的属性(S4)。部分区域生成部分106根据获取的虚拟对象304的属性在虚拟空间中设置多个部分区域320(S6)。

虚拟图像位置设置部分116针对由部分区域生成部分106生成的部分区域320的每一个设置呈现虚拟对象304的图像的虚拟图像316的位置(S8)。绘制部分108通过绘制包括在部分区域320中的虚拟对象304的一部分生成由部分区域生成部分106生成的部分区域320的每一个的图像(S10)。虚拟图像呈现部分114将由绘制部分108生成的图像显示在透射显示元件318上，使得由绘制部分108生成的图像的虚拟图像316呈现在由虚拟图像位置设置部分116设置的位置(S12)。

在虚拟图像呈现部分114呈现虚拟图像316之后，本流程图中的处理结束。

如上所述，根据实施例的立体图像呈现装置100可以改善AR图像的立体效果。

以上基于本发明的实施例已描述本发明。实施例是示例性的，并且本领域技术人员应当理解，实施例的组成元件和处理过程的组合易于进行各种修改，并且这样的修改也落入本发明的范围内。

(第一变形例)

在上文中，已描述凸透镜312的焦距固定的情况。所以，基于等式(1)，通过改变透射显示元件318的位置控制虚拟图像316的位置。代替该情况，从凸透镜312的光学中心到透射显示元件318的距离可以是固定的，并且凸透镜312的焦距可以改变。这可以通过例如使用焦距可以改变的液晶透镜作为凸透镜312来实现。或者，这可以通过采用具有彼此不同的焦距的多个透镜互换的构造来实现。透射显示元件318的位置固定并且采用焦距可变的凸透镜312的立体图像呈现装置100将在下面作为第一变形例进行描述。

图10是示意性地显示焦距可变的凸透镜312和焦距的图。如图10中所示，凸透镜312具有在F1至F2的范围内可自由改变的焦距。例如，在图10中，在由实线表示的凸透镜312a的状态下焦距为F1。另外，在由虚线表示的凸透镜312b的状态下焦距为F2。顺便提及，尽管为了便于描述，图10显示凸透镜312的厚度改变，但是凸透镜312的厚度本身不必改变。例如，也可以通过改变具有双折射的液晶的取向来改变焦距。

假设在等式(1)中，距离A是固定的，并且焦距F是可变的。在该情况下，当修改等式(1)时，获取以焦距F作为距离B的函数的以下等式(6)。

F(B)＝A/(1-A/B) (6)

等式(6)指示当给定一定距离B时由焦距F满足的值。等式(6)显示距离B越长，焦距F越大。

另外，为了在距离B的位置处呈现具有尺寸Q的虚拟图像316由对象314采取的的尺寸P与上述等式(5)中相同。

图11是显示为了在不同位置处呈现具有相同尺寸的虚拟图像316凸透镜312的焦点F将定位的位置的图。图11显示两个虚拟图像316a和316b在相应地离凸透镜312的光学中心的距离B1和距离B2处以相同尺寸Q呈现的示例。另外，在图11中，图像314a和图像314b相应地对应于虚拟图像316a和虚拟图像316b。图像314a和图像314b由相同的透射显示元件318显示。

更具体地，图像314a和图像314b都由存在于与凸透镜312的光学中心分离距离A的位置处的透射显示元件318显示。在该情况下，凸透镜312的焦点F将定位的位置(即，焦距F1和焦距F2)由相应的以下等式给出。

F1＝A/(1-A/B1)

F2＝A/(1-A/B2)

另外，从等式(5)，使用虚拟图像316的尺寸Q通过相应的以下等式给出将显示的图像314a和图像314b的尺寸P1和P2。

P1＝Q*F/(B1+F)

P2＝Q*F/(B2+F)

因此改变凸透镜312的焦距可以改变呈现给用户的虚拟图像316的位置。另外，可以通过改变显示在透射显示元件318上的图像的尺寸来控制将呈现的虚拟图像316的尺寸。在该情况下，从包括在相应的部分区域320中的虚拟对象304导出的图像314在时分基础上按顺序显示。用户可以由于用户的视觉的持久性而立体地观察虚拟图像316。

顺便提及，在使用诸如液晶透镜的具有偏振性质的光学元件的情况下，发生色差和亮度差异。因此，绘制部分108考虑偏振性质理想地生成图像。

(第二变形例)

已描述根据上述实施例的立体图像呈现装置100通过从多个透射显示元件318中选择透射显示元件318以显示图像314来改变图像314的显示位置的情况。代替该情况，可以通过移动透射显示元件318来改变显示图像314的透射显示元件318的物理位置。在透射显示元件318的物理位置改变的情况下立体图像呈现装置100将在下面作为第二变形例进行描述。

图12(a)和12(b)是示意性地显示根据第二变形例的立体图像呈现装置100的光学系统的图。图12(a)中所示的示例和图12(b)中所示的示例都包括一个透射显示元件318。该透射显示元件318可以在图12(a)和图12(b)中所示的透射显示元件318a和318b之间沿着凸透镜312的光轴移动。这可以通过例如使用图中未显示的马达移动透射显示元件318来实现，所述马达包括在立体图像呈现装置100的壳体160内。

在图12(a)所示的示例中，与图4所示的示例中一样，透射显示元件318相对于凸透镜312布置在与视点308相对的一侧。在另一方面，在图12(b)所示的示例中，提供诸如全息图的光学元件326来代替凸透镜312。当光学元件326接收由透射显示元件318显示的图像的光时，光学元件326可以将通过放大由透射显示元件318显示的图像获取的虚拟图像呈现给视点308。

(第三变形例)

已描述根据上述的第二变形例的立体图像呈现装置100通过改变显示图像314的透射显示元件318的物理位置来改变虚拟图像316的位置的情况。代替该情况，透射显示元件318的位置可以是固定的，并且透镜可以移动。在透镜的物理位置改变的情况下立体图像呈现装置100将在下面作为第三变形例进行描述。

图13(a)和13(b)是示意性地显示根据第三变形例的立体图像呈现装置100的光学系统的图。在图13(a)所示的示例和图13(b)所示的示例两者中，与图12(a)和12(b)所示的示例中一样，立体图像呈现装置100包括一个透射显示元件318。

在图13(a)所示的示例中，与图4和图12(a)所示的示例中一样，立体图像呈现装置100包括一个凸透镜312。在图13(a)所示的示例中，图中未显示的马达沿着凸透镜312的光轴移动凸透镜312，所述马达包括在立体图像呈现装置100的壳体160内。具体地，马达可以在图13(a)中所示的凸透镜312a和312b之间移动凸透镜312。由此可以改变凸透镜312和透射显示元件318之间的相对距离。因此可以改变呈现给视点308的虚拟图像316的位置。

在图13(b)所示的示例中，立体图像呈现装置100包括凹透镜328和准直透镜330。图中未显示的马达沿着凹透镜328的光轴移动凹透镜328，所述马达包括在立体图像呈现装置100的壳体160内。具体地，马达可以在图13(b)中所示的凹透镜328a和328b之间移动凹透镜328。由此，可以改变呈现给视点308的虚拟图像的位置。

(第四变形例)

根据第二变形例的立体图像呈现装置100和根据上述的第三变形例的立体图像呈现装置100都是透射显示元件318或诸如凸透镜312的透镜移动以由此改变透射显示元件318和透镜之间的相对距离的示例。代替该情况，可以准备透射显示元件318和凸透镜312的多个组，并且可以在选择这些组的同时呈现虚拟图像316。或者，可以在凸透镜312和透射显示元件318之间插入具有可变折射率的光学元件以使凸透镜312和透射显示元件318之间的光路长度可变。

图14(a)和14(b)是示意性地显示根据第四变形例的立体图像呈现装置100的光学系统的图。

图14(a)中所示的示例表示包括凸透镜312和透射显示元件318的多个组的立体图像呈现装置100的示例，所述组具有凸透镜312和透射显示元件318之间的不同距离。在图14(a)所示的示例中，立体图像呈现装置100包括三个组，即，凸透镜312a和透射显示元件318a的组，凸透镜312b和透射显示元件318b的组，以及凸透镜312c和透射显示元件318c的组。图14(a)中所示的立体图像呈现装置100还包括连接到图中未显示的马达的半镀银镜332。立体图像呈现装置100通过控制马达来旋转半镀银镜332。立体图像呈现装置100由此可以将由透射显示元件318中的一个显示的图像314的虚拟图像316呈现给视点308。由于凸透镜312和透射显示元件318的组具有凸透镜312和透射显示元件318之间的相应的不同距离，因此立体图像呈现装置100可以改变呈现给视点308的虚拟图像316的位置。

图14(b)显示包括在凸透镜312和透射显示元件318之间具有可变折射率的光学元件334的立体图像呈现装置100的示例。通过改变光学元件334的折射率，图14(b)中所示的立体图像呈现装置100改变凸透镜312和透射显示元件318之间的光学距离，即使凸透镜312和透射显示元件318之间的物理距离是固定的。立体图像呈现装置100由此可以改变呈现给视点308的图像314的虚拟图像316的位置。

(第五变形例)

在上文中，已描述改变透射显示元件318的位置以改变提供给视点308的图像314的虚拟图像316的位置的情况。代替该情况，透射显示元件318可以移动以改善透射显示元件318的可视分辨率。在该情况下，立体图像呈现装置100中的图中未显示的驱动部分在从光轴偏移例如由透射显示元件318显示的图像的每一帧中的像素的半个像素或1/4像素的方向上移位透射显示元件318。与此可操作地关联，虚拟照相机设置部分110移位安装在虚拟照相机300中的虚拟照相机300的位置。因此，由于所谓的“无意识眼动”的效果，可以改善呈现给立体图像呈现装置100的用户的虚拟图像316的可视分辨率。

(第六变形例)

在上文中，已描述显示由绘制部分108生成的图像的装置是透射显示元件318的情况。然而，当立体图像呈现装置100仅包括一个显示装置时，显示装置可以例如是诸如液晶监视器的非透射显示装置，而不是透射显示装置。

(第七变形例)

已描述根据前述实施例的立体图像呈现装置100通过设在壳体160中的CPU执行游戏应用的情况。代替该情况，或除此之外，立体图像呈现装置100可以通过无线电或有线连接到外部装置(例如游戏控制台)，并且用作该装置的输出装置。

(第八变形例)

在上文中，已描述立体图像呈现装置100以叠加的方式在真实空间中显示AR图像的情况。为此，基于出现在待呈现给用户的图像中的虚拟对象304的深度信息，图像呈现部分104改变呈现该图像的虚拟图像的位置。然而，如上所述，“深度信息”例如是反映当向用户呈现显示某个被摄体的图像并且用户观看被摄体时由用户识别的距离感的信息。因此，作为显示对象出现在图像中的被摄体不限于虚拟对象304，并且本发明例如也可应用于诸如3D电影的立体视频，其中实际存在的对象设置为被摄体并且由实际存在的照相机拍摄。在这个意义上，“对象”不仅包括虚拟对象，而且包括实际存在的对象，并且也可以被称为立体图像呈现装置100的“绘制对象”。

将假设立体视频是包括用于左眼的视差图像和用于右眼的视差图像的视频进行以下描述。

用于左眼的视差图像和用于右眼的视差图像是通过从相应的不同方向或角度拍摄相同被摄体而获取的图像的集合。用于左眼的视差图像和用于右眼的视差图像通过拍摄相同被摄体而获取，但是从不同的观察点获取。因此，被摄体在相应的图像中出现的方向或角度彼此不同。该差异被称为“双眼视差”。双眼视差的幅度根据从观察点到被摄体的距离而变化。也就是说，用于左眼的视差图像和用于右眼的视差图像的集合包括被摄体的深度信息。已知通过分析视差图像的双眼视差来获取在视差图像中拍摄的被摄体的深度信息的技术。

因此，图像呈现部分104可以通过分析包括在立体视频中的双眼视差来获取出现在立体视频中的对象的深度信息。具体地，对象设置部分112基于用于左眼的视差图像和用于右眼的视差图像来获取包括在立体视频中的对象的深度信息，所述视差图像包括在立体视频中。更具体地，对象设置部分112针对包括在立体视频中的视差图像的每个像素获取深度信息。由对象设置部分112针对每个像素获取的深度信息是反映由每个像素表示的对象和拍摄对象的照相机之间的距离的信息。

部分区域生成部分106基于由对象设置部分112获取的深度信息将待处理的立体视频分割为多个部分区域。绘制部分108生成由包括在部分区域生成部分106所生成的多个部分区域的每一个中的像素组成的视频。

虚拟图像位置设置部分116基于由对象设置部分112获取的深度信息设置呈现由绘制部分108生成的图像的虚拟图像316的位置。也就是说，虚拟图像位置设置部分116基于由对象设置部分112获取的深度信息设置透射显示元件318的位置以显示由绘制部分108生成的图像。当由对象设置部分112获取的深度信息指示离用户的长距离时，与由对象设置部分112获取的深度信息指示短距离的情况相比，虚拟图像位置设置部分116将透射显示元件318的位置设置为远离用户的眼睛的位置。由于在包括被摄体的图像的虚拟图像的呈现位置反映被摄体的深度信息，因此可以改善呈现给用户的立体视频的立体效果。

顺便提及，在深度信息被存储为与构成立体视频的每个帧相关联的情况下，例如，在拍摄立体视频等时，绘制部分108和虚拟图像位置设置部分116可以使用存储的深度信息。这可以通过例如在拍摄被摄体时使用已知的三维位置测量装置测量被摄体的三维位置来实现。可以省略视差图像的后分析，这是有效的，原因是可以减小处理速度和功耗。另一个优点在于获取比通过后计算获取的深度信息更精确的深度信息。

应当注意，通过组合上述实施例或每个变形例获取的新实施例也包括在本发明的实施例中。例如，实施例和第二变形例可以彼此组合以构造包括多个透射显示元件318并且包括可移动凸透镜312的立体图像呈现装置100。

附图标记列表：

100立体图像呈现装置，102图像获取部分，104图像呈现部分，106部分区域生成部分，108绘制部分，110虚拟照相机设置部分，112对象设置部分，114虚拟图像呈现部分，116虚拟图像位置设置部分，120呈现部分，140成像元件，160壳体，220部分区域，314图像，316虚拟图像，318透射显示元件，320部分区域，326光学元件，334光学元件。

[工业实用性]

本发明可应用于用于呈现立体图像的技术。