专利名称：用于呈现与虚拟图像合成的图像的信息处理装置及方法
技术领域：
本发明一般涉及一种信息处理装置和信息处理方法，特别涉及一种用于将拍摄真实空间的图像与虚拟图像合成的图像呈现给使用者的信息处理装置及方法。
背景技术：
虚拟现实(VR)系统通过向使用者呈现由计算机产生的三维计算机图形(CG)来向使用者提供虚拟现实。近年来，已经开发了一种技术，其通过将真实空间的图像与三维图形合成，来向使用者呈现真实空间中不存在的信息。这种系统称为扩展现实(augmented reality，AR)系统或混合现实(mixed reality，MR)系统。
在MR系统中，使用者可以观看叠加到真实物体上的三维CG。已经提出了一种使用者能通过将虚拟物体叠加到真实物体上来自由操作虚拟物体的MR系统(参考例如日本特开平11-136706，其对应于美国专利6,522,312号)。
通常，由于MR系统在真实图像上显示CG，CG掩盖使用者的手和脚的某些部分，因此，使用者无法看到这些部分。例如，在允许使用者体验虚拟建筑的内部环境的MR系统中，当使用者在虚拟建筑内移动时，虚拟地面和虚拟墙壁覆盖使用者的整个周围。因此，在这种系统中，CG覆盖使用者的手部的周围，因此，使用者在操作时感觉不便。
另外，如果CG遮盖使用者脚部周围的区域，使用者可能会感到害怕。
发明内容
本发明提供一种信息处理装置和信息处理方法，用于避免使用者因C G掩盖真实空间导致其脚部周围的区域不可见而在虚拟空间中感到害怕。
本发明进一步提供一种允许使用者观看其脚部周围的真实空间的信息处理装置和信息处理方法。
根据本发明的一个方面，一种信息处理方法生成虚拟现实的图像，并将该虚拟现实的图像与真实空间图像进行合成，以向使用者呈现合成图像。该信息处理方法包括获取使用者的位置和姿势；以及根据使用者的位置和姿势、以及虚拟现实的计算机图形数据，来生成对应于使用者的位置和姿势的合成图像，以在使用者的脚部处显示真实空间图像。
根据本发明的另一方面，一种信息处理装置生成虚拟现实的图像，并将该虚拟现实的图像与真实空间图像进行合成，以向使用者呈现合成图像。该信息处理装置包括获取单元，用来获取使用者的位置和姿势；以及生成单元，用来根据使用者的位置和姿势、以及虚拟现实的计算机图形数据，来生成对应于使用者的位置和姿势的合成图像，以在使用者的脚部处显示真实空间图像。
通过以下参考附图的典型实施例的说明，本发明的其它特征是显而易见的。
图1示出根据本发明的典型实施例的系统的方框图。
图2示出根据典型实施例的虚拟现实的场景图。
图3示出根据典型实施例的允许使用者体验MR系统的空间。
图4是根据典型实施例的处理的流程图。
图5示出使用者站立在合成真实空间的图示。
图6示出在合成真实空间中的使用者垂直向下看的图示。
图7示出使用者站立在具有透明对象的合成真实空间中的的图示。
图8示出在具有透明对象的合成真实空间中的使用者垂直向下看的图示。
图9～11示出具有不同形状的典型透明对象。
具体实施例方式
以下结合附图来详细说明本发明的典型实施例。
第一实施例在第一实施例中，说明一种允许使用者体验虚拟建筑的内部环境的MR系统。
接下来说明整个系统结构。
图1示出根据本发明第一实施例的系统的方框图。如图1所示，系统控制单元101执行系统的总体控制。系统控制单元101包括图像输入单元102、图像合成单元103、图像输出装置104、摄像机位置和姿势测量单元105、以及虚拟现实生成单元106。
视频透视(video see-through)头戴式显示器(HMD)132包括摄像机133、图像输出单元134、图像输入单元135、以及图像显示单元136。提供两个摄像机133以对应使用者的左、右眼。图像显示单元136包括对应于使用者左、右眼的两个显示部分。
接下来说明具有这种结构的系统中的数据流。
安装在使用者头部的HMD 132的摄像机133拍摄从使用者的左、右眼观看到的真实空间的图像。图像输出单元134将摄像机133拍摄到的真实空间的图像传送到系统控制单元101的图像输入单元102。
摄像机位置和姿势测量单元105使用例如磁位置和姿势传感器(未示出)、或者从所输入的图像估计摄像机133的位置和姿势，以测量摄像机133的位置(即，使用者的位置)和摄像机133的姿势(即，使用者的姿势或视线的方向)。虚拟现实生成单元106根据由摄像机位置和姿势测量单元105测量到的位置和姿势信息、和预先存储的场景图，来生成从摄像机133的位置和姿势观看的三维CG。
这里，场景图表示虚拟现实的结构。例如，场景图定义CG对象之间的位置关系和几何信息。在本实施例中，除了定义使用者所体验的虚拟现实的对象之外，为了在使用者的脚部显示真实空间的图像，场景图还描绘透明地面对象。
图像合成单元103将由图像输入单元102接收到的真实空间的图像与由虚拟现实生成单元106生成的虚拟现实图像(三维CG图像)进行合成，以生成复合真实空间图像。然后，图像合成单元103将所生成的复合真实空间图像传送到图像输出单元104。图像输出单元104将由图像合成单元103形成的复合真实空间图像传送到HMD 132的图像输入单元135。图像输入单元135接收从图像输出单元104传送的复合真实空间图像。图像显示单元136在使用者左、右眼的显示部分显示由图像输入单元135接收到的复合真实空间图像。因此，使用者可以观察该复合真实空间图像。
在该系统中，可根据头部佩戴HMD的使用者的位置和姿势来显示复合真实空间图像。因此，使用者可以自由地体验MR空间环境。
图2示出在本实施例中使用的场景图的树形结构。
由于在本实施例中说明了能够使使用者体验虚拟建筑的MR系统，因此，该MR系统包括虚拟现实场景202，其表示虚拟建筑的对象；透明地面201，其是用于通过使C G地面透明来显示真实空间图像的对象。
虚拟现实场景202包括，例如，虚拟建筑内部的地面对象203、墙壁对象204、和屋顶对象205，以及虚拟建筑外部的其它对象206。因此，当使用者进入虚拟建筑时，与墙壁和屋顶的CG一样，存在使用者脚部的地面的CG。
透明地面201的对象是具有透明属性的对象。透明地面201存在于先于被显示的虚拟现实场景202被搜索的路径上。对象的平面的尺寸被设置为MR系统的设计者希望通过使虚拟现实图像透明来显示真实世界的尺寸。对象的平面的高度被设置为等于或略大于场景中的地面的厚度。
例如，当地面对象203的厚度为10mm，并且设计者希望在直径为1m的圆形区域内显示真实图像时，透明地面201的对象被确定为高12mm、直径1m的圆柱体。
当对对象进行描绘(render)时，这种场景图形允许透明地面201在地面对象203的上面。因此，图像合成单元103合成真实图像和透明图像。因此，真实图像显示在透明地面201的区域内。
此外，透明对象跟随摄像机133的平移(即，使用者的移动)。MR系统根据从摄像机位置和姿势测量单元105输出的位置信息，来判定透明对象的水平位置。MR系统还将透明对象的高度(垂直高度)确定为与虚拟现实的地面高度相同。因此，尽管透明对象与虚拟现实的地面在同一平面上，但只有水平位置能跟随摄像机133的平移。即，因为透明对象总是直接设在使用者的下面，因此使用者可以观看他们脚部处的真实空间。如果虚拟现实的地面的高度改变，则透明对象的高度也随着虚拟现实的地面的高度的改变而改变。因此，即使在改变地面的高度的应用中，虚拟地面的区域总是透明的。
因为透明对象的厚度大致与虚拟地面的厚度相同，因此，透明对象不会使直接位于透明对象之上的对象透明和不可见。
一些图形库自动将对象显示的次序改变为在透明对象之前显示对象。当使用这种库时，可以选择不改变对象的显示顺序而直接合成和显示对象的方法。
接下来说明使用者可体验根据本实施例的MR系统的空间。图3示出根据实施例，允许使用者体验MR系统的空间。
图3所示的空间被真实空间中的地面、墙壁、和屋顶所包围。虚拟建筑显示在区域301中。当使用者位于区域301的外面时(即，在位置302处)，该使用者能观看虚拟建筑的外部。当使用者位于区域301的里面时(即，在位置303处)，该使用者能观看虚拟建筑的内部。
接下来参考图4所示的流程图来说明本实施例的处理。
在步骤S100中，摄像机位置和姿势测量单元105测量摄像机133的位置和姿势(即，使用者的位置和姿势)。在步骤S110中，虚拟现实生成单元106根据测量到的位置和姿势，判定使用者是否定位于虚拟建筑的内部。如果虚拟现实生成单元106判定使用者位于虚拟建筑的内部，则虚拟现实生成单元106根据建筑物中的透明对象，生成虚拟现实图像(步骤S120)。如果虚拟现实生成单元106判定使用者没有位于虚拟建筑的内部，则虚拟现实生成单元106根据建筑外面的对象生成虚拟现实图像。
随后，在步骤S140中，图像合成单元103将步骤S120或S130中生成的虚拟现实图像，与从图像输入单元102接收到的真实空间图像进行合成。在步骤S150中，图像输出单元104将合成后的图像输出至HMD 132。之后，在步骤S160中，HMD 132分别将图像显示在图像显示单元136的右眼和左眼显示部分上。重复步骤S100～S160的处理，直到在步骤S170中判定为停止。当在步骤S170中判定为停止时，图4所示的处理结束。
参考图3和图5～图8来说明根据本实施例的结果显示和效果。
参考图3和图5来说明已知的MR系统(即，不具有透明对象的MR系统)。
图3所示的地面区域301是显示现实世界中的虚拟建筑的区域。图5示出虚拟现实的地面重叠在真实世界的地面区域301上，并且使用者站在地面区域301中的图示。这时，当使用者通过HMD垂直向下看时，使用者仅看到地面的CG，如图6所示。这是因为地面的CG掩盖了真实空间的图像。通常，如果CG掩盖了使用者的脚部周围，则体验MR系统的使用者可能会感到害怕。
接下来说明根据本实施例的MR系统(即，具有透明对象的MR系统)。在本实施例中，将透明对象设在与虚拟现实的地面相同的平面上。因此，圆柱形透明对象直接设在使用者的下面，因此，使用者通过该透明对象能观看真实世界的图像。
图7示出虚拟现实的地面和透明对象501重叠在真实世界的地面区域301上，并且使用者站在地面区域301内的图示。这时，如图8所示，当使用者通过HMD 132垂直向下看时，使用者可以在透明对象501的形状中看到包括该使用者的脚部的真实空间。因此，体验MR系统的使用者不会由于其脚部周围不可见而感到害怕。
此外，使用者能看到其手部的周围，如果该周围在真实世界的图像区域内。因此，使用者可以在观看真实世界的图像的同时，用他们的手进行操作。因此，与手部周围被C G掩盖的情况相比，使用者能更容易地用他们的手进行操作。
这里使用的“使用者的脚部周围”是指使用者位于中心的预定区域。如下所示，使用者的脚部周围也指从使用者的位置开始沿使用者的移动方向的预定区域，或者距使用者预定距离的预定区域。
其它实施例-透明对象的变形在上述实施例中，透明对象具有圆柱形。然而，透明对象可以具有其它形状，例如矩形平行六面体。
此外，透明对象的形状可以根据使用者的移动速度而改变。例如，如图9所示，透明对象的形状可以是椭圆柱体。该椭圆柱体的长轴朝向使用者的移动方向(图9所示的箭头与使用者的移动方向一致)。长轴的方向用作使用者向前移动的参考方向。椭圆柱体的长轴和短轴的长度与移动速度成比例地改变，以使该长度用作使用者获得其当前移动速度的参考值。
另外，椭圆柱体的长轴可以朝向使用者的视线方向(如图9所示的箭头与使用者的视线方向一致)。
在图9中，虚线所示的圆表示使用者的位置。如图所示，使用者的位置可以从椭圆柱体的中心沿使用者的移动方向或视线方向偏移。
此外，除了圆柱体和椭圆柱体的形状以外，透明对象可以具有如图1 0和图11所示的形状。
在图11中，示出具有环形的透明对象。在使用者的位置处描绘虚拟地面，而在使用者周围的环形区域中描绘真实世界的地面。通过将透明对象确定为环形，使用者能观看其位置处的图像，而不感到害怕。
上述实施例中的MR系统是使用者体验虚拟建筑的内部环境的系统。然而，该MR系统可以是仅当系统将C G重叠在使用者的脚部周围之上时，使用者才能体验其它虚拟世界的系统。
另外，如果透明地面位于与虚拟现实的地面大致相同的平面，则透明地面可以位于任何位置。即，该位置可以根据来自摄像机的位置和姿势信息、以及与虚拟现实的地面有关的位置信息来动态确定。例如，透明地面的位置可被确定为比虚拟现实的地面略微接近视点(eye point)的位置。
另外，可以通过控制透明对象边缘的阿尔法混合(alphablending)，来增加使透明对象与地面对象之间的界线模糊的处理。
本发明可以由与可被操作、以实现上述实施例的功能的各种装置相连接的装置来实现。本发明还可以这样实现将实现上述实施例的功能(即，图像合成单元103和虚拟现实生成单元106的功能)的软件程序代码提供给系统或装置，并使该系统或装置的计算机(中央处理单元(CPU)或微处理单元(MPU))根据所存储的程序代码来操作上述各种装置。
在这种情况下，软件的程序代码本身实现上述实施例的功能。因此，程序代码本身和用于向计算机提供程序代码的装置(例如，储存程序代码的记录介质)能实现本发明。
储存程序代码的记录介质的例子包括软盘、硬盘、光盘、磁光盘、CD-R0M(光盘只读存储器)、磁带、非易失性存储卡、以及ROM(只读存储器)。
此外，除了通过计算机执行所提供的程序代码来实现上述实施例的功能之外，上述实施例的功能还可以通过与运行在计算机上的O S(操作系统)或其它应用软件协作的程序代码来实现。
另外，上述实施例的功能可以由这样的处理来实现在将所提供的程序存储到计算机的附加扩展板的存储器、或与计算机相连的附加扩展单元的存储器中以后，附加扩展板或附加扩展单元中的C PU执行上述实施例的部分或全部功能。
尽管参考典型实施例说明了本发明，但应当理解，本发明不局限于所公开的典型实施例。以下权利要求的范围符合最宽的解释，以便包含全部修改、等同结构和功能。
权利要求
1.一种信息处理方法，用于生成虚拟现实的图像，并将该虚拟现实的图像与真实空间图像进行合成，以向使用者呈现合成图像，该信息处理方法包括获取使用者的位置和姿势；以及根据使用者的位置和姿势、以及虚拟现实的计算机图形数据，来生成对应于使用者的位置和姿势的合成图像，以在使用者的脚部处显示真实空间图像。
2.根据权利要求1所述的信息处理方法，其特征在于，进一步包括根据使用者的位置和姿势来确定要在使用者的脚部处描绘的透明对象的位置，该透明对象包括在虚拟现实的计算机图形数据中，该透明对象使虚拟现实的图像透明，以显示真实空间图像。
3.根据权利要求2所述的信息处理方法，其特征在于该虚拟现实是虚拟建筑的内部，该虚拟现实的计算机图形数据包括地面对象，确定该透明对象的位置包括确定该透明对象的位置和姿势，以使该透明对象与该地面对象位于大致相同的平面上。
4.根据权利要求2所述的信息处理方法，其特征在于确定该透明对象的位置包括根据地面对象的垂直位置来确定透明对象的垂直位置。
5.根据权利要求2所述的信息处理方法，其特征在于通过根据使用者的平移来平移透明对象，将透明对象设在沿垂直方向直接位于使用者的下面。
6.根据权利要求2所述的信息处理方法，其特征在于透明对象的尺寸随使用者的位置的改变而改变。
7.根据权利要求2所述的信息处理方法，其特征在于透明对象在使用者的前面和后面的尺寸根据使用者的位置而不同。
8.根据权利要求1所述的信息处理方法，其特征在于，进一步包括判定使用者的位置是否在预定的区域中；其中，当判定使用者的位置在预定的区域中时，生成合成图像包括生成合成图像，以在使用者的脚部处显示真实空间图像。
9.一种信息处理装置，用于生成虚拟现实的图像，并将该虚拟现实的图像与真实空间图像进行合成，以向使用者呈现合成图像，该信息处理装置包括获取单元，用来获取使用者的位置和姿势；以及生成单元，用来根据使用者的位置和姿势、以及虚拟现实的计算机图形数据，来生成对应于使用者的位置和姿势的合成图像，以在使用者的脚部处显示真实空间图像。
10.根据权利要求9所述的信息处理装置，其特征在于，进一步包括确定单元，用来根据使用者的位置和姿势来确定要在使用者的脚部处描绘的透明对象的位置，该透明对象包括在虚拟现实的计算机图形数据中，该透明对象使虚拟现实的图像透明，以显示真实空间图像。
11.根据权利要求10所述的信息处理装置，其特征在于该虚拟现实是虚拟建筑的内部，该虚拟现实的计算机图形数据包括地面对象，确定单元确定该透明对象的位置和姿势，以使该透明对象与该地面对象位于大致相同的平面上。
12.根据权利要求10所述的信息处理装置，其特征在于确定单元根据地面对象的垂直位置来确定透明对象的垂直位置。
13.根据权利要求10所述的信息处理装置，其特征在于确定单元通过根据使用者的平移来平移透明对象，将透明对象设在沿垂直方向直接位于使用者的下面。
14.根据权利要求10所述的信息处理装置，其特征在于透明对象的尺寸随使用者的位置的改变而改变。
15.根据权利要求10所述的信息处理装置，其特征在于透明对象在使用者的前面和后面的尺寸根据使用者的位置而不同。
16.根据权利要求9所述的信息处理装置，其特征在于，进一步包括判定单元，用来判定使用者的位置是否在预定的区域中；其中，当判定单元判定使用者的位置在预定的区域中时，生成单元生成合成图像，以在使用者的脚部处显示真实空间图像。
全文摘要
本发明提供一种用于呈现与虚拟图像合成的图像的信息处理装置及方法，用于避免使用者因CG掩盖真实空间导致其脚部周围的区域不可见而在虚拟空间中感到害怕。当生成虚拟现实的图像并将该虚拟现实的图像与真实空间图像进行合成，以向使用者呈现该合成图像时，该信息处理方法和装置获取使用者的位置和姿势。当使用者在虚拟建筑的内部时，该信息处理方法和装置生成虚拟建筑内部的对象和透明对象，并将所生成的对象与真实空间图像进行合成。通过显示合成图像，在使用者的脚部处显示真实空间的图像。
文档编号G06T1/00GK1746822SQ20051009873
公开日2006年3月15日 申请日期2005年9月7日 优先权日2004年9月7日
发明者松井太一 申请人:佳能株式会社