混合现实系统、程序、方法和便携式终端装置与流程

本发明涉及混合现实系统等，尤其涉及使得存在于预定现实空间中的用户可以体验到混合现实感的混合现实系统等。

背景技术：

近年来，已知有用于将现实世界和虚拟世界实时地无缝融合的技术、或者所谓的mr(混合现实)技术。mr技术使得正在体验mr技术的用户可以体验到仿佛虚拟对象存在于该场所的感觉。关于mr技术，开发了用于精确地运行mr的技术，诸如在不会使得用户感知到不自然的情况下显示虚拟空间中的对象等。例如，专利文献1公开了可以在混合现实环境中实时地识别现实空间环境的系统。

现有技术文献

专利文献

日本专利6088094

技术实现要素：

发明要解决的问题

然而，为了用户开始mr体验，例如，已需要在智能电话上安装专用app(应用)。此外，为了使得用户能够根据特定场所下载这样的专用app，需要使得在该场所可利用宽带无线通信并鼓励用户安装app，并且这已阻碍了实际操作。

本发明是为了解决上述问题而做出的，并且本发明的主要目的是提供使得用户可以更容易地体验与该用户所处的场所相对应的mr的混合现实系统等。

用于解决问题的方案

为了实现上述目的，根据本发明的方面的混合现实系统是一种混合现实系统，包括服务器和便携式终端装置，所述便携式终端装置具有用于向存在于预定现实空间中的用户显示虚拟对象的显示器，并且还具有用于拍摄所述现实空间的拍摄装置，所述混合现实系统用于将所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像显示在所述显示器上。所述混合现实系统的特征在于，其中，在存在于所述预定现实空间中的现实对象上的一个或多个预定义位置中的各位置处布置有mr标记，所述mr标记由包含与该位置相对应的位置信息的标识码和具有多边形形状的对准标记构成。所述服务器包括：虚拟空间数据存储单元，用于存储虚拟空间数据，所述虚拟空间数据包括存在于所述预定现实空间中的所述现实对象的三维空间数据、并且还包括布置在虚拟空间中的虚拟对象数据，所述三维空间数据是预先获得的并且由各自具有所述虚拟空间中的三维位置信息的三维形状元素构成；以及应用存储单元，用于存储基于所述标识码中所包括的标识符而标识的web应用，所述web应用提供混合现实图像显示网页，所述混合现实图像显示网页在被所述便携式终端装置加载时使得启动所述拍摄装置、并且包括基于所述拍摄装置所拍摄到的所述现实空间的拍摄图像的混合现实图像的显示区域。所述便携式终端装置包括：浏览器单元，用于访问所述标识码中所包括的标识符，以显示所述web应用所提供的所述混合现实图像显示网页；标记识别单元，用于在启动所述web应用、利用所述拍摄装置拍摄所述mr标记、并且识别所述标识码的情况下，识别构成所述mr标记的所述对准标记；位置确定单元，用于基于所述浏览器单元所访问的标识符中所包含的位置信息、以及所述便携式终端装置与所述标记识别单元所识别的所述对准标记之间的位置关系，来确定与所述现实空间中的所述拍摄装置的位置和拍摄方向相对应的、所述虚拟空间中的虚拟照相机的视点位置，所述位置关系是根据所述对准标记的形状和大小而确定的；以及图像生成单元，用于基于所述虚拟空间数据和所述虚拟照相机的视点位置，来生成要显示在所述混合现实图像显示网页的所述显示区域中的、所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像。

此外，在本发明中，优选地，所述便携式终端装置还包括：标识码识别单元，用于在利用所述拍摄装置拍摄所述mr标记的情况下，识别所述标识码，以及所述浏览器单元访问所述标识码识别单元所识别的所述标识码中所包括的标识符，以显示所述web应用所提供的所述混合现实图像显示网页。

此外，在本发明中，优选地，所述虚拟空间数据存储单元存储与所述标识码中所包括的各个标识符相对应的虚拟空间数据，所述浏览器单元从所述虚拟空间数据存储单元获得与所访问的标识符相对应的虚拟空间数据，以及所述图像生成单元通过使用从所述虚拟空间数据存储单元获得的虚拟空间数据，来生成从所述虚拟照相机的视点位置看到的混合现实图像。

此外，在本发明中，优选地，所述便携式终端装置还包括：标识符判断单元，用于判断作为启动所述web应用的结果而识别的标识码中所包括的标识符与所述浏览器单元所访问的标识符是否相同，以及在所述标识符判断单元判断为这两个标识符相同的情况下，所述标记识别单元识别所述对准标记。

此外，在本发明中，优选地，在所述标识符判断单元判断为这两个标识符不相同的情况下，所述浏览器单元访问作为启动所述web应用的结果而识别的标识码中所包括的另一标识符，从所述虚拟空间数据存储单元获得与所述另一标识符相对应的虚拟空间数据，并且代替进行重新加载而是显示所述混合现实图像显示网页，以及所述标记识别单元对连同包括所述另一标识符的标识码一起构成所述mr标记的所述对准标记进行识别。

此外，在本发明中，优选地，所述标识符是url。

此外，在本发明中，优选地，所述三维形状元素是各自由多边形构成的网格。

此外，在本发明中，优选地，所述标识码是qr码或数据矩阵，其中qr码是注册商标。

此外，在本发明中，优选地，所述对准标记具有正方形形状。

此外，在本发明中，优选地，所述对准标记沿着所述标识码的边缘布置。

此外，在本发明中，优选地，所述标记识别单元通过用预定义的颜色涂抹和擦除所述标识码来识别所述对准标记。

此外，在本发明中，优选地，所述对准标记布置在所述标识码附近的与所述标识码具有预定位置关系的位置处。

此外，在本发明中，优选地，所述便携式终端装置被配置成能够将构成所述图像生成单元所生成的混合现实图像的、所述拍摄装置所拍摄到的所述现实空间的拍摄图像和所述虚拟对象的图像数据各自发送至所述服务器，使得另一终端装置能够获得所述混合现实图像。

此外，为了实现上述目的，根据本发明的方面的程序是一种用于混合现实系统的程序，所述混合现实系统包括便携式终端装置，所述便携式终端装置具有用于向存在于预定现实空间中的用户显示虚拟对象的显示器，并且还具有用于拍摄所述现实空间的拍摄装置，所述混合现实系统用于将所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像显示在所述显示器上。所述程序的特征在于，在所述混合现实系统中，在存在于所述预定现实空间中的现实对象上的一个或多个预定义位置中的各位置处布置有mr标记，所述mr标记由包含与该位置相对应的位置信息的标识码和具有多边形形状的对准标记构成，以及存储虚拟空间数据和基于所述标识码中所包括的标识符而标识的web应用，所述虚拟空间数据包括存在于所述预定现实空间中的所述现实对象的三维空间数据、并且还包括布置在虚拟空间中的虚拟对象数据，所述三维空间数据是预先获得的并且由各自具有所述虚拟空间中的三维位置信息的三维形状元素构成，所述web应用提供混合现实图像显示网页，而且所述混合现实图像显示网页在被所述便携式终端装置加载时使得启动所述拍摄装置、并且包括基于所述拍摄装置所拍摄到的所述现实空间的拍摄图像的混合现实图像的显示区域。所述程序使得所述便携式终端装置执行以下步骤：在启动所述拍摄装置并且利用所述拍摄装置拍摄所述mr标记的情况下，识别所述标识码，由此启动浏览器并访问所识别的标识码中所包括的标识符，以显示所述混合现实图像显示网页；在启动所述web应用、利用所述拍摄装置拍摄所述mr标记、并且识别所述标识码的情况下，识别构成所述mr标记的所述对准标记；基于所述便携式终端装置与所识别的对准标记之间的位置关系、以及所述标识码中所包括的标识符中所包含的位置信息，来确定与所述现实空间中的所述拍摄装置的位置和拍摄方向相对应的、所述虚拟空间中的虚拟照相机的视点位置，所述位置关系是根据所述对准标记的形状和大小而确定的；以及基于所述虚拟空间数据和所述虚拟照相机的视点位置，来生成要显示在所述混合现实图像显示网页的所述显示区域中的、所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像。

此外，为了实现上述目的，根据本发明的方面的方法是一种由混合现实系统执行的方法，所述混合现实系统包括便携式终端装置，所述便携式终端装置具有用于向存在于预定现实空间中的用户显示虚拟对象的显示器，并且还具有用于拍摄所述现实空间的拍摄装置，所述混合现实系统用于将所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像显示在所述显示器上。所述方法的特征在于，在所述混合现实系统中，在存在于所述预定现实空间中的现实对象上的一个或多个预定义位置中的各位置处布置有mr标记，所述mr标记由包含与该位置相对应的位置信息的标识码和具有多边形形状的对准标记构成，以及存储虚拟空间数据和基于所述标识码中所包括的标识符而标识的web应用，所述虚拟空间数据包括存在于所述预定现实空间中的所述现实对象的三维空间数据、并且还包括布置在虚拟空间中的虚拟对象数据，所述三维空间数据是预先获得的并且由各自具有所述虚拟空间中的三维位置信息的三维形状元素构成，所述web应用提供混合现实图像显示网页，而且所述混合现实图像显示网页在被所述便携式终端装置加载时使得启动所述拍摄装置、并且包括基于所述拍摄装置所拍摄到的所述现实空间的拍摄图像的混合现实图像的显示区域。所述方法包括由所述便携式终端装置进行的以下步骤：在启动所述拍摄装置并且利用所述拍摄装置拍摄所述mr标记的情况下，识别所述标识码，由此启动浏览器并访问所识别的标识码中所包括的标识符，以显示所述混合现实图像显示网页；在启动所述web应用、利用所述拍摄装置拍摄所述mr标记、并且识别所述标识码的情况下，识别构成所述mr标记的所述对准标记；基于所述便携式终端装置与所识别的对准标记之间的位置关系、以及所述标识码中所包括的标识符中所包含的位置信息，来确定与所述现实空间中的所述拍摄装置的位置和拍摄方向相对应的、所述虚拟空间中的虚拟照相机的视点位置，所述位置关系是根据所述对准标记的形状和大小而确定的；以及基于所述虚拟空间数据和所述虚拟照相机的视点位置，来生成要显示在所述混合现实图像显示网页的所述显示区域中的、所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像。

此外，为了实现上述目的，根据本发明的方面的便携式终端装置是一种便携式终端装置，其在混合现实系统中，所述混合现实系统包括服务器和所述便携式终端装置，所述便携式终端装置具有用于向存在于预定现实空间中的用户显示虚拟对象的显示器，并且还具有用于拍摄所述现实空间的拍摄装置，所述混合现实系统用于将所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像显示在所述显示器上，其特征在于：在所述混合现实系统中，在存在于所述预定现实空间中的现实对象上的一个或多个预定义位置中的各位置处布置有mr标记，所述mr标记由包含与该位置相对应的位置信息的标识码和具有多边形形状的对准标记构成，以及存储虚拟空间数据和基于所述标识码中所包括的标识符而标识的web应用，所述虚拟空间数据包括存在于所述预定现实空间中的所述现实对象的三维空间数据、并且还包括布置在虚拟空间中的虚拟对象数据，所述三维空间数据是预先获得的并且由各自具有所述虚拟空间中的三维位置信息的三维形状元素构成，所述web应用提供混合现实图像显示网页，而且所述混合现实图像显示网页在被所述便携式终端装置加载时使得启动所述拍摄装置、并且包括基于所述拍摄装置所拍摄到的所述现实空间的拍摄图像的混合现实图像的显示区域。所述便携式终端装置包括：浏览器单元，用于访问所述标识码中所包括的标识符，以显示所述web应用所提供的所述混合现实图像显示网页；标记识别单元，用于在启动所述web应用、利用所述拍摄装置拍摄所述mr标记、并且识别所述标识码的情况下，识别构成所述mr标记的所述对准标记；位置确定单元，用于基于所述浏览器单元所访问的标识符中所包含的位置信息、以及所述便携式终端装置与所述标记识别单元所识别的所述对准标记之间的位置关系，来确定与所述现实空间中的所述拍摄装置的位置和拍摄方向相对应的、所述虚拟空间中的虚拟照相机的视点位置，所述位置关系是根据所述对准标记的形状和大小而确定的；以及图像生成单元，用于基于所述虚拟空间数据和所述虚拟照相机的视点位置，来生成要显示在所述混合现实图像显示网页的所述显示区域中的、所述虚拟对象叠加在所述现实空间的拍摄图像上的混合现实图像。

发明的效果

本发明使得用户可以更容易地体验与该用户所处的场所相对应的mr。

附图说明

图1是根据本发明实施例的混合现实系统的整体结构图。

图2是示出根据本发明实施例的服务器的硬件结构的框图。

图3是示出根据本发明实施例的便携式终端装置的硬件结构的框图。

图4示出混合现实系统向用户提供混合现实感的预定现实空间的示例。

图5示出mr标记的示例。

图6示出标识码的示例。

图7示出对准标记的示例。

图8是根据本发明实施例的服务器3的功能框图。

图9是根据本发明实施例的便携式终端装置的功能框图。

图10是示出根据本发明实施例的混合现实系统的信息处理的流程图。

图11示出mr标记的变形例。

具体实施方式

将参考附图来说明根据本发明实施例的混合现实系统。

根据本实施例的混合现实系统例如通过将存在于虚拟空间中的虚拟对象以叠加方式绘制在用户经由智能电话的画面所看到的现实空间的拍摄图像上，来使用户能够体验mr。虚拟对象是仅占据画面的一小部分的计算机图形，诸如游戏角色等。在本说明书中，为了便于解释，在一些情况下，省略了超过需要的更详细的解释。例如，存在省略了对已知特征的详细解释或对基本上相同的结构的重复解释的情况。

图1是根据本发明实施例的混合现实系统1的整体结构图。如图1所示，混合现实系统1包括服务器3和便携式终端装置4，并且服务器3和便携式终端装置4连接至诸如因特网等的网络2，以能够彼此进行通信。

图2是示出根据本发明实施例的服务器3的硬件结构的框图。服务器3包括处理器11、显示装置12、输入装置13、存储装置14和通信装置15。这些各个构成装置经由总线16连接。假定在总线16和各个构成装置之间根据需要插入接口。

处理器11控制服务器3的整体操作，并且例如，处理器11是cpu。可选地，可以使用诸如mpu等的电子电路作为处理器11。处理器11通过加载存储装置14中所存储的程序和数据并执行这些程序来执行各种处理。在一个示例中，处理器11由多个处理器构成。

显示装置(显示器)12在处理器11的控制下向服务器3的用户显示应用画面等。输入装置13接受来自用户的对服务器3的输入，并且例如，输入装置13是触摸屏、触摸板、键盘或鼠标。

存储装置14包括主存储装置和辅助存储装置。主存储装置是诸如ram等的半导体存储器。ram是允许高速信息读取和写入的易失性存储介质，并且用作处理器21处理信息时的存储区域和工作区域。主存储装置可以包括作为只读非易失性存储介质的rom。在这种情况下，rom存储诸如固件等的程序。辅助存储装置存储处理器11在执行各个程序时使用的各种程序和数据。辅助存储装置例如是硬盘装置；然而，可以使用可以是可移除型的、能够存储信息的任何类型的非易失性存储部或非易失性存储器。辅助存储装置例如存储操作系统(os)、中间件、应用程序、在正执行这些程序时可以参考的各种数据、等等。

在一个优选示例中，存储装置14存储各种数据库所用的数据(例如，表)和程序。各种数据库是通过处理器11的操作等来实现的。服务器3可以具有数据库服务器的功能，并且可以包括一个或多个数据库服务器，或者可以包括其它类型的服务器。

通信装置15经由网络2相对于诸如便携式终端装置4等的其它计算机发送和接收数据。例如，通信装置15通过执行经由以太网(ethernet，注册商标)线缆等的有线通信或者诸如移动通信或无线lan通信等的无线通信而连接至网络4。

图3是示出根据本发明实施例的便携式终端装置4的硬件结构的框图。在本实施例中，便携式终端装置4是智能电话。便携式终端装置4包括处理器21、显示装置22、输入装置23、拍摄装置24、存储装置25和通信装置26。这些各个构成装置经由总线27连接。假定在总线27和各个构成装置之间根据需要插入接口。可选地，便携式终端装置4可以是诸如平板计算机或触摸板等的配备有基于触摸的输入装置的计算机等，只要其具有上述结构即可。

处理器21控制便携式终端装置4的整体操作，并且例如，处理器21是cpu。可选地，可以使用诸如mpu等的电子电路作为处理器21。处理器21通过加载存储装置24中所存储的程序和数据并执行这些程序来执行各种处理。在一个示例中，处理器21由多个处理器构成。

显示装置(显示器)22在处理器21的控制下向便携式终端装置4的用户显示应用画面、拍摄装置24所拍摄到的图像等。显示装置22优选是液晶显示器；然而，可选地，显示装置22是有机el显示器或等离子体显示器等。

输入装置23具有如触摸屏、触摸板或输入按钮等那样的、用于接受来自用户的输入的功能。在本实施例中，由于便携式终端装置4是智能电话，因此便携式终端装置4包括触摸屏作为输入装置23，并且触摸屏也用作显示装置；也就是说，显示装置22和输入装置23具有一体结构。然而，可选地，显示装置22和输入装置23可以以单独的形式布置在单独的位置处。

拍摄装置(摄像装置)24拍摄(捕捉)现实空间的静止图像或动画，并且将所拍摄到的图像或动画数据存储在存储单元25中。拍摄装置24例如是由图像传感器等构成的照相机。

存储装置25是包括作为易失性存储器的ram和作为非易失性存储器的rom的、普通智能电话中所包括的存储装置。存储装置25还可以包括外部存储器。

在一个示例中，存储装置25包括主存储装置和辅助存储装置。主存储装置是允许高速信息读取和写入的易失性存储介质，并且用作处理器21处理信息时的存储区域和工作区域。辅助存储装置存储处理器21在执行各个程序时使用的各种程序和数据。辅助存储装置例如是硬盘装置；然而，可以使用可以是可移除型的、能够存储信息的任何类型的非易失性存储部或非易失性存储器。辅助存储装置例如存储操作系统(os)、中间件、应用程序、在正执行这些程序可以参考的各种数据等。

通信装置26经由网络2相对于诸如服务器3等的其它计算机发送和接收数据。例如，通信装置26通过执行诸如移动通信或无线lan通信等的无线通信而连接至网络2。在一个示例中，利用通信装置26从服务器3下载程序并将该程序存储在存储装置25中。然而，可选地，通信装置26可以执行使用以太网(ethernet，注册商标)线缆等的有线通信。

作为根据本实施例的混合现实系统1向用户提供混合现实感(mr)的现实世界空间(预定现实空间)，假定作为预先定义的室内空间的图4所示的现实空间50。在现实空间50中布置有作为现实世界中的对象的桌子51。

在本实施例中，在与现实空间50相关联的虚拟空间60中，利用使用各自具有虚拟空间中的三维位置信息的基本单位的三维空间数据来表示现实对象的三维形状。基本单元将被称为三维形状元素。在本实施例中，使用三维网格作为三维形状元素。因而，三维分段数据由三维网格构成。三维网格由一个或多个多边形构成，并且构成各三维网格的多边形的顶点至少之一具有三维位置信息。可选地，三维元素可以是点云数据等。

三维空间数据是如下预先获得的。在一个示例中，首先，通过使用例如高精度激光扫描器(未示出)来预先获得表示现实空间50中的现实对象的三维形状的点云数据。各个点云数据例如具有位于与现实空间50相关联的虚拟空间60中的三维坐标(x,y,z)。各个点云数据均是具有颜色信息的着色点云数据。然后，通过使用已知的方法，从如上所述获得的着色点云数据形成在各个点云处具有顶点的多边形。三维网格由这些多边形形成。在另一示例中，根据现实空间50中的多个拍摄图像通过使用已知的方法来生成三维网格。注意，由于构成三维空间数据的三维形状元素无需具有颜色信息，因此在上述示例中，点云数据无需包括颜色信息。

在作为存在于现实空间50中的现实对象的桌子51上的一个或多个预定义位置处布置有mr标记52。在一个示例中，如图4所示，在桌子51的表面上的多个位置处布置有mr标记52。

图5示出mr标记52的示例。各个mr标记52由标识码(identificationcode)53构成，该标识码53包括包含与mr标记52布置于的位置相对应的位置信息的标识符(identifier)55和具有矩形形状的对准标记(alignmentmarker)54。

图6示出标识码53的示例。在本实施例中，假定标识码53是qr码(注册商标)(以下称为“二维码”)，并且标识符55是url。标识码53是用于在被便携式终端装置4拍摄时启动浏览器的标记，并且标识码53是用于识别所拍摄的mr标记52的标记。标识符55包括服务器3中所存储的web应用的启动和初始化、以及与相关mr标记52的位置相对应的位置信息。在一个示例中，利用二维码读取器app(qr码(注册商标)读取器app)识别二维码53，并且利用二维码读取器app提取二维码53中所包含的url55。在一个变形例中，标识码53可以是诸如数据矩阵等的其它种类的二维条形码。

在一个示例中，url55是以下给出的所示的url(1)。

https://服务器名称/mr场景的id/@维度、经度、角度

服务器名称和mr场景的id指定用于访问服务器3的位置，并且各自由字母数字字符序列数据构成。纬度、经度和角度表示mr标记52的纬度、mr标记52的经度和mr标记52的角度(方位)，并且各自由数值数据构成。url(1)可以包括表示mr标记52的标高的数值数据。可选地，标识符55可以是除url以外的指定文件位置的标识符。

图7示出对准标记54的示例。在本实施例中，对准标记54具有正方形形状，并且沿着标识码的边缘布置。对准标记54是用于在利用便携式终端装置4拍摄对准标记54时计算便携式终端装置4的位置和姿态的标记，并且其大小和形状是预先定义的。由于对准标记54是用于计算便携式终端装置4的位置和姿态的标记，因此对准标记54可以具有除正方形形状以外的多边形形状。由于对准标记54不是用于识别mr标记52的标记，因此优选地，对准标记54具有在所设置的所有mr标记52之间共同的正方形形状。这用于减少系统的计算量。

注意，尽管为了便于说明、根据本实施例的混合现实系统1向用户提供mr的预定现实空间被认为是图4所示的现实空间50，但图4所示的内容是示例，并且不限于该内容。例如，现实空间50可以是由墙包围的室内空间或者室外空间。此外，例如，现实空间50可以是单个定义的空间，或者可以包括多个定义的空间。此外，例如，现实对象无需是桌子51，而且可以是椅子、架子、墙、地面等，并且现实空间50可以包括多个现实对象。此外，例如，mr标记52的位置无需是桌子51的表面上的多个位置，只要这些位置是存在于现实空间50中的现实对象上的一个或多个预定义位置即可。

图8是根据本发明实施例的服务器3的功能框图。服务器3包括虚拟空间数据存储单元31和应用存储单元32。在本实施例中，这些功能通过处理器11执行程序实现。在本实施例中，由于各种功能通过加载程序来实现，因此一个部件(功能)的一部分可以设置在另一部件中。可选地，这些功能可以通过配置用于实现这些功能的一部分或全部的电子电路等来以硬件实现。服务器3可以由单个服务器装置或多个服务器装置构成。

虚拟空间数据存储单元31存储虚拟空间数据，该虚拟空间数据包括预先获得的存在于现实空间50中的现实对象的三维空间数据，并且还包括作为布置在虚拟空间60中的三维虚拟对象的数据的虚拟对象数据。在三维形状元素是三维网格的情况下，虚拟对象数据也由三维网格形成。对于所设置的各个mr标记52，虚拟空间数据存储单元31存储与该mr标记52周围的现实空间50相对应的虚拟空间60中的虚拟空间数据。具体地，虚拟空间数据存储单元31存储通过与标识码53中所包括的标识符55相关联地存储虚拟空间数据而提供的、针对各个mr标记52的虚拟空间数据。

在一个示例中，虚拟空间数据存储单元31用作存储虚拟空间数据的数据库，并且存储装置14存储数据库所用的数据和程序。在一个示例中，作为虚拟空间数据存储单元31，服务器3包括存储虚拟空间数据的数据库服务器。在一个示例中，虚拟对象数据是形状随时间而改变的虚拟对象的数据。

应用存储单元32存储基于标识码53中包括的标识符55而标识的web应用33(以下简称为“webapp33”)。webapp33向访问该webapp33的便携式终端装置4提供用于显示混合现实图像的网页(以下称为“mr体验页面34”)。mr体验页面34在被便携式终端装置4加载时，使得启动拍摄装置24，并且包括用于显示基于拍摄装置24所拍摄到的现实空间50的拍摄图像(或拍摄动画)的混合现实图像的显示区域。在不存在要以叠加方式绘制的虚拟对象的情况下，mr体验页面34将拍摄装置24所拍摄到的现实空间50的拍摄图像(或拍摄动画)显示在混合现实图像显示区域中。注意，与普通照相机app同样，mr体验页面34应优选被配置成使得混合现实图像显示区域占据显示器22的大部分。

在一个示例中，便携式终端装置4将经由二维码读取器app从二维码提取的url55解释为web浏览器的url，并且便携式终端装置4的浏览器直接访问url55。服务器3将webapp33的执行所需的html、javascript(注册商标)、图像等作为响应发送至便携式终端装置4。基于发送至便携式终端装置4的数据而在便携式终端装置4处作为响应所显示的内容对应于本实施例中的mr体验页面34。javascript(注册商标)嵌入在mr体验页面34中，并且在mr体验页面34已被载入便携式终端装置4时执行javascript(注册商标)。然后，例如通过html媒体捕获api启动拍摄装置24。在一个示例中，作为应用存储单元32，服务器3包括存储webapp33的应用服务器。在一个示例中，在url55是前面所述的url(1)、并且经由mr体验页面34在便携式终端装置处从javascript(注册商标)加载url55的情况下，便携式终端装置4访问包括“@”之后的部分的url55。在这种情况下，服务器3判断为来自便携式终端装置4的访问是来自webapp33的访问，并且将与url55相对应的虚拟空间数据或虚拟对象数据作为响应发送至便携式终端装置4。

图9是根据本发明实施例的便携式终端装置4的功能框图。便携式终端装置4包括第一标识码识别单元41、浏览器单元42、第二标识码识别单元43、标识符判断单元44、标记识别单元45、位置确定单元46和图像生成单元47。在本实施例中，这些功能通过处理器21执行程序来实现。在本实施例中，由于各种功能均通过加载程序来实现，因此一个部件(功能)的一部分可以设置在另一部分中。可选地，这些功能可以通过配置用于实现这些功能的一部分或全部的电子电路等来以硬件实现。

在利用拍摄装置24拍摄mr标记52的情况下，第一标识码识别单元41识别标识码53。浏览器单元42访问由第一标识码识别单元41识别的标识码53中所包括的标识符55，以显示由基于标识符55所标识的webapp33提供的mr体验页面34。

在一个示例中，在便携式终端装置4上安装有如普通智能电话上所安装的二维码读取器app和浏览器那样的二维码读取器app和浏览器。在这种情况下，二维码读取器app具有第一标识码识别单元41的功能，并且浏览器具有浏览器单元42的功能。在这种情况下，二维码读取器app在被执行时启动拍摄装置24，并且在利用所启动的拍摄装置24拍摄mr标记52时，从拍摄图像识别(辨认出)二维码53并从二维码53中提取url55。在提取url55时，二维码读取器app启动浏览器。在访问由二维码读取器app提取的url55之后，浏览器访问基于url55所标识的服务器3上的webapp33，并且基于从服务器3接收到的响应来显示mr体验页面34。当以这种方式访问webapp33时，启动webapp33。

在一个示例中，在url55是前面所述的url(1)的情况下，基于“@”之前的部分来标识服务器4上的webapp33，并且便携式终端装置4通过访问url55来访问webapp33。

在便携式终端装置4访问mr体验页面34之后、拍摄装置24拍摄mr标记52的情况下，第二标识码识别单元43从拍摄图像新识别标识码53。可选地，在浏览器访问了mr体验页面34或正在显示网页34、并且拍摄装置24拍摄mr标记52的情况下，第二标识码识别单元43从拍摄图像新识别标识码53。在一个示例中，自动执行嵌入mr体验页面34中的javascript(注册商标)以启动拍摄装置24，由此实现第二标识码识别单元43的功能。在一个示例中，浏览器具有第二标识码识别单元43的功能。在一个示例中，便携式终端装置4中所设置的单个应用或api具有第一标识码识别单元41和第二标识码识别单元43的功能。如上所述，第一标识码识别单元41和第二标识码识别单元43可被实现为同一软件模块。

在启动webapp33并且利用第二标识码识别单元43识别标识码53的情况下，标识符判断单元44判断所识别的标识码53中所包括的标识符55与浏览器单元42所访问的标识符55是否相同。在一个示例中，标识符判断单元44判断浏览器所访问的url55与在从mr体验页面34内的混合现实图像显示区域中显示的mr标记52中所识别的二维码中提取的url55是否相同。

在利用第二标识码识别单元43新识别出了标识码53的情况下，标记识别单元45识别对准标记54。在一个优选示例中，在标识符判断单元44判断为标识符相同的情况下，标记识别单元45识别对准标记54。利用该结构，由于在新识别出的标识码53是启动了webapp33的mr标记52中所包括的标识码的情况下、标记识别单元45识别对准标记54，因此可以将启动了webapp33的mr标记52与其它mr标记52区分开。

在一个示例中，由于标识码53和对准标记54是以一体形式配置在mr标记52中的，因此标记识别单元45不能原样从mr标记52的图像中识别对准标记54。因而，标记识别单元45通过利用图像处理擦除所识别的标识码53来提取和识别对准标记54。例如，标记识别单元45通过用预定义的颜色(诸如mr标记52布置于的桌子51的背景颜色等)涂抹和擦除标识码53来识别对准标记54。

位置确定单元46基于根据浏览器单元42访问的标识符55中所包含的位置信息以及对准标记52的形状和大小所确定的、便携式终端装置4与对准标记52之间的位置关系，来确定现实空间50中的便携式终端装置4的位置和拍摄装置24的拍摄角度。也就是说，位置确定单元46确定与便携式终端装置4的位置(拍摄装置24的位置)和拍摄装置24的拍摄方向相对应的、虚拟空间60中的虚拟照相机的视点位置。位置确定单元46所参考的标识码53是第二标识码识别单元43所识别的标识码53，其是包含浏览器单元42所访问的标识符55的标识码53。

在一个示例中，位置确定单元46以如下方式确定虚拟照相机的视点位置。在标识符55包括表示mr标记52的纬度、经度、标高和角度(方位)的信息的情况下，位置确定单元46根据标识符55中所包括的信息来将便携式终端装置4的大致位置确定为绝对位置。例如，这里确定的位置是用作绝对位置的6dof。此外，位置确定单元46将标记识别单元45所识别的对准标记54识别为图像，并且计算在等式(1)中给出的、用于从标记坐标系转换到照相机坐标系的坐标变换矩阵t。

在等式(1)中，r表示转动分量，并且t表示平移分量。位置确定单元46通过使用坐标变换矩阵来确定拍摄装置24所拍摄到的图像中的mr标记52在照相机坐标系中的位置和姿态，由此确定mr标记52相对于拍摄装置24的相对位置。例如，这里确定的位置是用作相对位置的6dof。位置确定单元46通过使用如上所述确定的绝对位置和相对位置来确定虚拟空间60中的拍摄装置24的绝对位置，由此确定虚拟照相机的视点位置。拍摄装置24的绝对位置可以是6dof或四元数。

图像生成单元47基于虚拟空间数据存储单元31中所存储的虚拟空间数据和位置确定单元46所确定的虚拟照相机的视点位置，来生成虚拟对象叠加在现实空间50的拍摄图像上的混合现实图像。在利用浏览器单元42访问标识符55时，图像生成单元47从虚拟空间数据存储单元31获得与标识符55相对应的虚拟空间数据，并且通过使用所获得的虚拟空间数据来生成如从虚拟照相机的视点位置看到的混合现实图像。在生成混合现实图像时，可以使用诸如专利文献1中所公开的方法等的已知方法。将图像生成单元47所生成的混合现实图像显示在mr体验页面34的显示区域中。在一个优选示例中，图像生成单元47通过按预定帧频生成混合现实图像来生成mr动画。在一个示例中，浏览器单元42将图像生成单元47所生成的混合现实图像显示在mr体验页面34的显示区域中。可选地，由于由图像生成单元47叠加在拍摄图像上的数据是虚拟对象数据，因此图像生成单元47从虚拟空间数据存储单元31获得的数据可以仅是虚拟空间数据中的虚拟对象数据。

以下进一步说明在标识符判断单元44判断为标识符不相同的情况下各个单元所执行的处理。第二标识码识别单元43从作为识别对象的拍摄图像中识别未经过标识符判断单元44的判断的标识码53，并且标识符判断单元44判断所识别的标识码53中所包括的标识符55与浏览器单元42所访问的标识符55是否相同。第二标识码识别单元43和标识符判断单元44执行上述处理，只要作为识别对象的拍摄图像包括未经过标识符判断单元44的判断的任何标识码53即可。

在上述情况下，在由标识符判断单元44判断为相同的标识码53未被第二标识码识别单元43识别的情况下，访问单元42访问第二标识码识别单元43新识别的标识码53其中之一中所包括的标识符55。例如，标识码53是作为第二标识码识别单元43的识别对象的拍摄图像中的位于最中央的标识码53。此时，浏览器单元42在无需重新加载所显示的vr体验页面34的情况下，继续显示vr体验页面34。标记识别单元45识别构成包括浏览器单元42访问的标识符55的标识码53的mr标记52中所包括的对准标记54。图像生成单元47从虚拟空间数据存储单元31获得与浏览器单元42所访问的标识符55相对应的虚拟空间数据，并且通过使用所获得的虚拟空间数据来生成从虚拟照相机的视点位置看到的混合现实图像。

在一个示例中，上述的浏览器单元42的功能是通过使用作为浏览器的标准api的history.pushstate()函数来实现的。这使得浏览器可以在维持历史信息的同时，在无需重新加载mr体验页面34的情况下动态地重写url55。在一个示例中，上述的用于获得与url55相对应的虚拟空间数据的图像生成单元47的功能是通过使用javascript(注册商标)中的fetch()函数来实现的。便携式终端装置4可以通过执行javascript(注册商标)来从服务器3获得与重写后的url55相对应的数据。此时，在url55是前面所述的url(1)的情况下，便携式终端装置4访问包括“@”之后的部分的url55。服务器3将该访问判断为来自webapp33的访问，并且发送与包括“@”之后的部分的url55相对应的虚拟空间数据。在这种情况下，javascript(注册商标)嵌入在mr体验页面34中，并且如上所述，便携式终端装置4被配置为在url55被动态地重写时，从服务器3获得与重写后的url55相对应的数据。

根据本实施例的混合现实系统1进一步被配置成能够将由便携式终端装置4显示的mr体验页面34的显示区域中所显示的混合现实图像或mr动画分发至诸如智能电话等的可以连接至网络2的其它终端装置。

在一个示例中，服务器3经由url55接受来自便携式终端装置4的访问，并且例如，服务器3将混合现实图像或mr动画与url相关联地存储在存储装置25的预定存储位置。其它终端装置可以通过访问url来查看混合现实图像或mr动画。

在一个示例中，服务器3存储用于提供webrtc的分发网页，并且分发网页经由url55接受来自便携式终端装置4的访问。在这种情况下，便携式终端装置4中所安装的浏览器是支持webrtc的类型。分发网页接收构成图像生成单元48所生成的混合现实图像的、由拍摄装置24拍摄到的现实空间50的拍摄图像和要叠加在拍摄图像上的虚拟对象的图像数据。在另一终端装置访问分发网页时，服务器3向便携终端装置4和另一终端装置相互地通知它们的ip地址和端口编号，从而进行设置，以使得能够在这两个终端装置之间进行对等(peer-to-peer)通信。这使得另一终端装置可以查看便携式终端装置4的用户所查看的混合现实图像。在这种情况下，两个或更多个终端装置可以进行对等通信。在另一示例中，服务器3以外的服务器存储分发网页。在另一示例中，在另一终端装置访问分发网页时，另一终端装置从服务器3或除服务器3以外的服务器(例如，mcu服务器或sfu服务器)接收拍摄装置24所拍摄到的现实空间50的拍摄图像和要叠加在拍摄图像上的虚拟对象的图像数据。

接着，将通过使用图10所示的流程图来说明根据本发明实施例的混合现实系统1的信息处理。图10所示的信息处理是通过使得便携式终端装置4执行程序并且还使得服务器3执行程序来实现的。在该处理中，具有便携式终端装置4的用户存在于现实空间50中，并且在便携式终端装置4上安装了如普通智能电话上所安装的二维码读取器app和浏览器那样的二维码读取器app和浏览器。

在步骤101中，已启动二维码读取器app的便携式终端装置4对mr标记52进行拍摄，然后从拍摄装置24的拍摄图像中识别(提取)二维码。在从二维码53中提取url55并且加载url55之后，便携式终端装置4(二维码读取器app)启动浏览器并将url55作为参数传递。

在步骤102中，便携式终端装置4(浏览器)访问url55以显示mr体验页。当浏览器访问url55时，在浏览器内自动执行javascript(注册商标)，由此启动拍摄装置24。注意，由于步骤101和102中的直至拍摄装置24的启动为止的处理是一系列操作，因此在用户的正常第一次操作期间，拍摄装置24保持对在步骤101中拍摄到的mr标记52进行拍摄。在这种情况下，将mr标记52显示在mr体验页面34的显示区域中。

便携式终端装置(浏览器)从拍摄装置24的拍摄图像中识别二维码53(步骤103)，然后在步骤104中，对拍摄图像中存在的二维码53进行解码以提取url55。便携式终端装置4(浏览器)被配置为保持执行该处理，直到在步骤103中识别出二维码53为止；然而，可选地，便携式终端装置4可被配置为将错误消息显示在显示器24上。在步骤104中，可以通过利用浏览器的功能对二维码53进行解码来提取url55，或者可以通过利用在浏览器内执行的javascript(注册商标)对二维码53进行解码来提取url55。

在步骤105中，便携式终端装置4判断浏览器所访问的url55和在步骤104中提取的url55是否相同。在步骤105中判断为url55相同的情况下，处理进入步骤108，并且在判断为url55不相同的情况下，处理进入步骤106。

在步骤106中，便携式终端装置4(浏览器)判断是否存在除从拍摄装置24的拍摄图像中已识别的二维码53以外的任何二维码53。在步骤106中判断为存在这样的二维码53的情况下，在步骤104中，便携式终端装置4(浏览器)从存在于拍摄图像中且尚未被识别的二维码53中进一步提取url55。

重复步骤104～106，并且在从拍摄图像识别的二维码中所包括的url55与浏览器所访问的url55均不相同的情况下，处理进入步骤107。在步骤105中判断为均不相同的情况下，在拍摄图像包括仅一个二维码53的情况下，处理也从步骤106进入步骤107。

例如，在步骤107中，便携式终端装置4(浏览器)例如将从位于拍摄图像的最中央的二维码53中提取的url55更新为便携式终端装置4所访问的url、例如更新为浏览器的最新历史。在拍摄图像包括仅一个二维码53的情况下，便携式终端装置4(浏览器)将从二维码53中提取的url55更新为便携式终端装置4所访问的url。

在步骤108中，便携式终端装置4通过图像处理从构成二维码53的mr标记52中擦除包括浏览器所访问的url55的二维码，由此识别mr标记52中所包括的对准标记54。在一个示例中，在步骤105中判断为url相同的情况下，在步骤108中，便携式终端装置4通过图像处理擦除在步骤104中识别的二维码53，由此提取和识别对准标记54。在步骤105中判断为url不相同、并且将浏览器所访问的url更新为从拍摄图像内存在的二维码53其中之一中提取的url55的情况下，在步骤108中，通过图像处理擦除二维码53，由此提取和识别对准标记54。在步骤108中，便携式终端装置4识别对准标记54并且计算坐标变换矩阵t。

在步骤109中，便携式终端装置4通过使用所计算出的坐标变换矩阵t来确定虚拟空间60中的虚拟照相机的视点位置。虚拟照相机的视点位置是用于将虚拟空间60显示在混合现实画面上的虚拟照相机位置。

在步骤110中，便携式终端装置4从服务器3获得与浏览器所访问的url相对应的虚拟空间数据，并且生成如从虚拟照相机的视点位置看到的混合现实图像。该处理除非例如由于应用的终止而终止，否则进入步骤103(步骤111)。

接着，将说明根据本发明实施例的混合现实系统1的操作和优点。在本实施例中，在混合现实系统1中，将集成了二维码53和对准标记54的mr标记52布置在现实空间50中。便携式终端装置4加载mr标记52的二维码53以提取url55，并且通过访问url55来执行服务器3上所存储的webapp33。便携式终端装置4使用二维码53来识别启动了webapp33的mr标记52，并且将构成mr标记52的对准标记54连同二维码53一起使用，以计算便携式终端装置4的位置和姿态。

如上所述，混合现实系统1可以使用二维码53作为识别用标记，并且根据识别用标记的内容来选择用作姿态控制标记的对准标记。利用进行多阶段码识别的该结构，即使在拍摄装置24拍摄多个mr标记52的情况下，也可以在将二维码53和对准标记54适当地相关联的同时进行识别。

此外，在本实施例中，混合现实系统1使用安装了现有的二维码读取器app和现有的浏览器的、诸如智能电话等的便携式终端装置4。因此，用户可以在不必在便携式终端装置4中安装任何专用应用的情况下更容易地体验mr。

此外，在本实施例中，通过便携式终端装置4访问由从二维码53中提取的url55标识的webapp33来实现混合现实系统1。因而，混合现实系统1可以使用url55作为用于开始mr体验的起点，并且也可以使用url55作为用于共享mr体验的起点。

此外，在本实施例中，服务器3存储针对二维码53中所包括的各个url55的虚拟空间数据。针对所布置的各个mr标记52，所存储的虚拟空间数据是与该mr标记52周围的现实空间50相对应的虚拟空间60中的虚拟空间数据。便携式终端装置4加载二维码53并提取url55，通过访问url55来获得服务器3上所存储的虚拟空间数据，并且通过使用所获得的数据来生成从虚拟照相机的视点看到的混合现实图像。由于混合现实系统1是如此配置成的、并且如上所述使得可以在将二维码53和对准标记54适当地相关联的同时进行识别，因此混合现实系统1使得用户可以针对所布置的各mr标记体验到与该场所相对应的mr。

此外，在本实施例中，便携式终端装置4获得与二维码53中所包括的url55相对应的虚拟空间数据，并且对连同二维码53一起构成mr标记52的对准标记54进行识别。然后，便携式终端装置4基于根据二维码53内所包括的url55中包含的位置信息以及对准标记52的形状和大小所确定的、便携式终端装置4与对准标记52之间的位置关系，来确定与现实空间50中的拍摄装置24的位置和拍摄方向相对应的、虚拟空间60中的虚拟照相机的视点位置。利用该结构，可以向用户提供现实空间50中的现实对象和虚拟对象几乎正确地彼此接触的高精度的混合现实空间。

此外，在本实施例中，便携式终端装置4判断在启动webapp33之后从新识别的二维码53中提取的url55与浏览器所访问的url55是否相同。在判断为这些url55不相同的情况下，代替重新加载mr体验页面34，便携式终端装置4将从新识别的二维码53中提取的url55更新为便携式终端装置4所访问的url、例如更新为浏览器的最新历史。便携式终端装置4对连同包括url55的二维码53一起构成mr标记52的对准标记54进行识别，并且通过使用相应地计算出的坐标变换矩阵t来确定虚拟空间60中的虚拟照相机的视点位置。便携式终端装置4从服务器3获得与更新后的url55相对应的虚拟空间数据，并且通过使用所获得的虚拟空间数据来生成从虚拟照相机的视点位置看到的混合现实图像。

通过该结构，便携终端装置4可以进行“漫游处理”，其中在该“漫游处理”中，设置首先用作基准的mr标记52，并且在作为用户移动的结果、拍摄装置24识别出另一mr标记52中的二维码53时，改变用作基准的mr标记52。在该“漫游处理”中，在启动webapp33之后，便携式终端装置4使用二维码53来识别mr标记52。这使得可以继续向在现实空间50中移动的用户提供mr体验。此外，由于此时动态地重写url55而不是重新加载mr体验页面34，因此可以继续向在现实空间50中移动的用户无缝地提供mr体验。

此外，在本实施例中，服务器3经由url55接受来自便携式终端装置4的访问，并且另一终端装置例如通过访问服务器3来获得在由便携式终端装置4显示的mr体验页面34的显示区域中显示的mr动画等。通过该结构，便携终端装置4的用户可以例如通过将使得能够访问mr动画等的url发布在sns上，来将用户所体验的混合现实感与其它用户共享。最近，存在使用智能电话的许多web用户、尤其是sns用户。由于如上所述、混合现实系统1提供了迄今为止尚未实践的通过使用现有的web系统来共享混合现实感的体验的系统，因此可以更容易且更一般地使用mr系统。

如上所述，混合现实系统1实现了使得可以利用url55作为用于开始、查看和共享mr体验的起点的系统。这使得用户可以更容易地体验与用户所在的场所相对应的mr。

除非另外具体陈述，否则上述的操作和优点也适用于其它实施例和其它示例。

本发明的另一实施例可以是存储有用于实现上述本发明实施例的功能或在流程图中示出的信息处理的程序的计算机可读存储介质。此外，本发明的另一实施例可以是用于实现上述本发明实施例的功能或在流程图中示出的信息处理的方法。此外，本发明的另一实施例可以是能够向计算机提供用于实现上述本发明实施例的功能或在流程图中示出的信息处理的程序的服务器。此外，本发明的另一实施例可以是用于实现上述本发明实施例的功能或在流程图中示出的信息处理的虚拟机。

以下将说明本发明的实施例的变形例。只要没有发生矛盾，就可以将以下所述的变形例以彼此适当组合的方式应用于本发明的任何实施例。

在一个示例中，mr标记52由标识码53和对准标记54构成，该对准标记54具有多边形形状，并且布置在标识码53的附近的与标识码53具有预定位置关系的位置处。图11示出mr标记52的变形例。在本变形例中，对准标记54具有正方形形状且与标识码53相邻布置，并且标记识别单元45能够原样从mr标记52的图像中识别对准标记54。在这种情况下，在利用第二标识码识别单元43新识别标识码53时，标记识别单元45识别布置在与标识码53具有预定位置关系的位置处的对准标记54。

在一个示例中，在判断为标识符不相同的情况下，标识符判断单元44进一步判断在新识别的标识码53内包括的标识符55中所包含的位置信息与浏览器单元42访问的标识符55中所包含的位置信息是否在预定距离范围内。在不满足预定距离范围的情况下，浏览器单元42不访问第二标识码识别单元43新识别的标识码53中所包括的标识符55，并且标记识别单元45不识别构成标识码53的mr标记52中所包括的对准标记54。

在上述的处理或操作中，只要在处理或操作中没有出现矛盾(诸如特定步骤利用在该步骤中尚不可用的数据的矛盾等)，就可以自由地修改处理或操作。此外，上述的示例是用于说明本发明的示例，并且本发明不限于这些示例。本发明可以以各种形式体现，只要没有背离本发明的精神即可。

附图标记说明

1混合现实系统

2网络

3服务器

4便携式终端装置

11处理器

12显示装置

13输入装置

14存储装置

15通信装置

16总线

21处理器

22显示装置

23输入装置

24拍摄装置

25存储装置

26通信装置

27总线

31虚拟空间数据存储单元

32应用存储单元

41第一标识码识别单元

42浏览器单元

43第二标识码识别单元

44标识符判断单元

45标记识别单元

46位置确定单元

47图像生成单元

50现实空间

51桌子

52mr标记

53标识码

54对准标记

55标识符