空间识别系统、空间识别方法和信息终端与流程

1.本发明涉及头戴式显示器(hmd)等信息终端的技术，涉及用信息终端识别空间的技术。


背景技术：

2.用户佩戴或携带的hmd和智能手机等信息终端，具有在与用户的视野对应的显示面上、显示与虚拟现实(vr)和增强现实(ar)等对应的图像(有时记作虚拟图像等)的功能。例如，hmd在房间等空间内，识别墙壁和桌等实物，以使位置等符合该实物的方式显示ar的图像。
3.作为关于上述信息终端的现有技术例，可以举出日本特表2014-526157号公报(专利文献1)。专利文献1中，作为“头戴式显示器的全部视野的分类”，记载了以下内容。可以基于收集的传感器数据和其他数据，决定与hmd佩戴者的身体和周围的环境相对的头部的位置和旋转。决定了头部的位置之后，可以将hmd佩戴者的全部视野分类为区域。接着，为了与hmd佩戴者的身体和周围的环境相对地配置虚拟影像，可以将虚拟影像配置在分类后的区域内。
4.现有技术文献
5.专利文献
6.专利文献1：日本特表2014-526157号公报


技术实现要素：

7.发明要解决的课题
8.现有技术一般而言，hmd等信息终端一方具有的坐标系、与空间一方具有的坐标系是分别的坐标系，并不一致的情况是通常的。因此，hmd等在对象空间内显示虚拟图像时，这些坐标系不一致的情况下，难以在适当的位置显示。这些坐标系不一致的情况下，信息终端为了能够在对象空间内适当地显示虚拟图像，优选信息终端测量而尽量高精度地得知关于空间内的墙壁等实物的位置和距离和形状等。现有的hmd具有使用摄像机和测距传感器测量空间内的实物的位置等的功能。但是，也存在该测量处理耗费时间的情况和困难的情况。
9.即，现有技术例中，信息终端在空间内显示虚拟图像时，在精度和速度等观点上存在课题。现有技术例对于使与对象空间的坐标系对应的信息终端的坐标系、换言之位置和方向等的状态适当地适配用的方法等研究并不充分。
10.另外，现有技术例中，对于存在描述空间的形状等的空间数据的情况下的空间数据的适当的利用方法等研究也不充分。例如，专利文献1中，关于使用空间数据适当地决定与对象环境/空间对应的信息终端的位置和方向用的详细方法、和提高利用空间数据时的便利性的方法等并没有记载。
11.本发明的目的在于提供一种在信息终端一方的坐标系与空间一方的坐标系不一致的状态下、信息终端也能够适当地识别并使用空间的技术、和信息终端能够适当地利用
空间数据的技术。
12.用于解决课题的方法
13.本发明中的代表性的实施方式具有以下所示的结构。一个实施方式的空间识别系统包括：具有在显示面上显示图像的功能且具有终端坐标系的用户的信息终端；和与空间对应地设置的、记载了用于识别所述空间的信息的标识；所述信息终端在识别所述空间时，使用识别所述标识而读取的所述信息，对于所述空间和所述标识确定在空间坐标系中描述的空间数据；使用所述空间数据，测量关于所述信息终端与所述标识的位置和方向的关系，基于表示所述测量的关系的数据，使所述终端坐标系与所述空间坐标系适配。
14.发明效果
15.根据本发明中的代表性的实施方式，在信息终端一方的坐标系与空间一方的坐标系不一致的状态下，信息终端也能够适当地识别并使用空间，信息终端能够适当地利用空间数据。
附图说明
16.图1是表示本发明的实施方式1的空间识别系统的结构的图。
17.图2是表示本发明的实施方式1的空间识别方法的结构的图。
18.图3是表示实施方式1中的、空间的结构例的图。
19.图4是表示实施方式1中的、空间的使用例的图。
20.图5是表示实施方式1中的、标识的结构例的图。
21.图6是表示实施方式1中的、作为信息终端的例子的hmd的外观结构例的图。
22.图7是表示实施方式1中的、作为信息终端的例子的hmd的功能块结构例的图。
23.图8是表示实施方式1中的、坐标系配对等的示意图。
24.图9是表示实施方式1中的、信息终端的控制流程的图。
25.图10是表示实施方式1中的、信息终端的画面显示例的图。
26.图11是表示实施方式1中的、坐标系的变换的说明图。
27.图12是表示实施方式1中的、空间的使用例的示意图。
28.图13是表示实施方式1的变形例中的、其他标识的结构例的图。
29.图14是表示实施方式1的变形例中的、空间的结构例的图。
30.图15是表示本发明的实施方式2的空间识别系统和方法中的、空间的结构的图。
31.图16是表示实施方式2中、变换参数的结构例(第1例)的图。
32.图17是表示实施方式2中、变换参数的结构例(第2例)的图。
33.图18是表示实施方式2中、变换参数的结构例(第3例)的图。
34.图19是表示实施方式2中、变换参数的结构例(第4例)的图。
35.图20是表示实施方式2的变形例中的、空间的结构例的图。
36.图21是表示实施方式1、2的变形例中的、空间的结构例的图。
37.图22是表示实施方式1、2的变形例中的、标识的结构例的图。
具体实施方式
38.以下，基于附图详细说明本发明的实施方式。另外，在全部附图中对于同一部分原
则上附加同一符号，省略反复说明。
39.(实施方式1)
40.使用图1～图12，对于本发明的实施方式1的空间识别系统和方法进行说明。图1等所示的实施方式1的空间识别系统和方法中，存在信息终端1保有使用的对象空间2的空间数据6的情况、和信息终端1从外部源取得空间数据6的情况。在后者的情况下，如图1所示的例子一般，信息终端1例如从服务器4取得空间数据6。空间数据6是描述了空间2的形状等的数据。空间2例如是建筑物内的房间和区域等。在空间2中，预先用标识3等方式张贴、显示与该空间2和空间数据6关联的识别信息(id)。预先将表示各空间2的id和形状等的空间数据6作为库，登记在信息终端1或服务器4的db5中。对于空间数据6的结构和方式的详情并不限定。
41.信息终端1是具有与外界的空间2内的实物的位置21相符合地显示虚拟图像22的功能的hmd1a和智能手机1b等装置。信息终端1具有终端坐标系wa作为本机的世界坐标系。空间2具有空间坐标系w1作为世界坐标系。这些坐标系不同。标识3与空间2具有规定的位置关系，在同一空间坐标系w1中在空间数据6中描述了位置和形状等。
42.该空间识别系统和方法具有高效率地使终端坐标系wa与空间坐标系w1适配的机制。具体而言，信息终端1根据与使用的对象空间2关联地设置的标识3，识别id，基于该id确定空间数据6。信息终端1在确定空间数据6之后，使用信息终端1内保存的空间数据6，或者通过通信从服务器4取得空间数据6。
43.信息终端1使用该空间数据6，进行与对象空间2的空间坐标系w1相对的使本机的终端坐标系wa适配的动作，作为后述的坐标系配对。信息终端1通过以使终端坐标系wa中的位置和方向符合空间坐标系w1的方式进行坐标系配对，而与空间2之间共享位置识别。信息终端1在坐标系配对之后，能够在这些坐标系之间适当地对位置和方向进行变换地，在要求的位置21高精度地显示ar等的虚拟图像22。
44.信息终端1根据标识3确定空间数据6，并且为了坐标系配对，而进行与该标识3相对的信息终端1的位置和方向的关系的测量、计算。由此，信息终端1进行关于与描述空间数据6的空间坐标系w1相对的终端坐标系wa中的信息终端1的位置和方向的初始设定。信息终端1能够与根据标识3确定空间数据6大致同时地进行上述坐标系之间的适配作为初始设定。根据该系统和方法，例如用户u1的信息终端1对于空间2能够在房间的入口等的标识3的场所迅速地实现坐标系适配和位置识别共享，可得到用户的便利性提高等效果。该方法与作为现有技术例的信息终端进入房间之后测量空间的形状等的情况相比，能够更迅速地进行空间识别，也能够减少错误和误差等。
45.[空间识别系统]
[0046]
图1表示实施方式1的空间识别系统的结构。在本例中，假设信息终端1使用的对象空间2是建筑物内的1个房间，说明特别使用hmd1a作为信息终端1的情况。实施方式1的空间识别系统具有用户u1携带或佩戴的信息终端1、和作为信息终端1的使用对象的空间2，在使用服务器4的情况下，具有登记了空间数据6的服务器4。信息终端1通过无线lan的接入点23等与包括互联网和移动网络等的通信网络连接。信息终端1经由通信网络与服务器4等外部装置进行通信。另外，仅图示了一名用户、1台信息终端1、和1个空间2，但不限于此，能够具有多名用户的多个信息终端和多个空间，对其分别同样地应用。
[0047]
信息终端1即hmd1a在壳体中具备透过型的显示面11、摄像机12、测距传感器13等。hmd1a具有在显示面11上显示ar的虚拟图像的功能。同样地，智能手机1b包括触摸面板等显示面、摄像机、测距传感器等，具有在显示面上显示ar的虚拟图像的功能。
[0048]
空间2是与id和空间数据6关联地、识别和区分地管理的任意空间，例如是1个房间。在本例中，在该房间的入口附近的墙壁的外侧面设置了标识3。
[0049]
标识3(换言之是标记、记号等)在作为能够使用户u1识别空间2的一般的标识的功能之外，也具有用于信息终端1的特别功能。该标识3的特别功能是能够使信息终端1识别空间2(对应的id)而确定空间数据6、进而实现与该空间2相符合地使坐标系适配的动作用的功能。
[0050]
服务器4是运营商等管理的服务器装置，例如设置在数据中心和云计算系统中。服务器4在内部或外部的数据库(db)5中登记保持了id和空间数据6作为库。例如，对图示的空间2的标识3赋予id＝101，在db5中登记用id＝101识别的空间数据6(d101)。对于多个空间2和标识3分别同样地登记了空间数据6。服务器4可以按公司等单位管理封闭的空间数据6，也可以按地球和地域等单位管理大量空间数据6。例如将公司的建筑物作为单位管理空间数据6的情况下，在公司的lan等计算机系统的服务器4中登记关于该建筑物内的各空间2的各空间数据6。
[0051]
另外，使用智能手机1b作为信息终端1的情况下，也能够实现与hmd1a的情况大致相同的功能等。该情况下，用户u1观看在手持的智能手机1b的显示面上显示的ar等的虚拟图像22。
[0052]
[坐标系]
[0053]
实施方式1中，在信息终端1和空间2(对应的空间数据6)中，将作为用于指定实际空间内的位置等的基准的坐标系称为世界坐标系。图1的信息终端1具有终端坐标系wa作为表示本机的位置和方向的世界坐标系。终端坐标系wa是用于识别并控制信息终端1的位置、方向(换言之是姿势、旋转的状态)、图像显示位置等的坐标系。空间2具有空间坐标系w1作为表示该空间2的位置和方向的世界坐标系。空间数据6是在空间坐标系w1中描述的。终端坐标系wa与空间坐标系w1基本上是不同的坐标系。各世界坐标系的原点和方向固定在实际空间(地球和地域等)内。这些坐标系在最初的状态下并不一致。
[0054]
终端坐标系wa具有原点oa、和作为正交的3轴的轴xa、轴ya、和轴za。空间坐标系w1具有原点o1、和作为正交的3轴的轴x1、轴y1、和轴z1。原点oa和原点o1分别固定在实际空间内的规定位置。终端坐标系wa中的信息终端1的位置la例如是预先规定的壳体中心位置(图8)。空间坐标系w1中的标识3的位置l1例如是预先规定的、与标识3中的1个特征点对应的位置(图8)。
[0055]
预先使用空间坐标系w1的位置坐标等在空间数据6中描述了空间2和标识3的位置和形状等信息。空间坐标系w1可以是在包括该空间2的建筑物等中固有的局部坐标系，也可以是由纬度、经度、标高组成的、在地球和地域中共通地使用的坐标系。在本例中，空间坐标系w1是在某一建筑物中在多个房间等中共通地使用的固有的局部坐标系。
[0056]
信息终端1进行与对象空间2的空间坐标系w1相对的本机的终端坐标系wa的坐标系配对。由此，信息终端1能够与空间坐标系w1中的位置和形状相应地进行虚拟图像22的显示控制等。另外，信息终端1在坐标系配对之后，在空间2内使用时，对于本机的内部控制，不
限于基于终端坐标系wa进行，也能够基于空间坐标系w1进行。
[0057]
[空间识别方法]
[0058]
图2表示实施方式1的空间识别方法的概要。该方法具有图示的步骤s1～s5。
[0059]
首先，在步骤s1中，信息终端1即hmd1a基于用户u1的操作，在与使用对象的空间2关联地张贴的标识3的场所，用摄像机12拍摄而识别该标识3，根据该标识3确认和取得该空间2的id。由此，信息终端1开始与对象空间2相对的坐标系配对。
[0060]
接着，在步骤s2中，信息终端1使用其id、通过包括无线通信的通信、从服务器4的db5的库取得用该id指定的空间数据6(例如id＝101的空间数据d101)。该空间数据6详细而言是包括空间形状数据6a、标识数据6b、和测量对象位置信息6c的数据。或者，也可以是对于空间数据6关联了另外的标识数据6b的数据组。另外，信息终端1已保持了该空间数据6的情况下，能够省略从服务器4取得该空间数据6。
[0061]
空间形状数据6a是在空间坐标系w1中描述了构成空间2的配置物(包括墙壁等)的位置和形状等的数据。标识数据6b是在空间坐标系w1中描述了标识3的位置和形状等的数据，包括各量数据202。各量数据202是预先测量并描述的。各量是坐标系配对(具体而言是变换参数7的计算)所需的规定的参数(后述图8)。测量对象位置信息6c是规定了信息终端1测量与标识3的关系时的作为基准的测量对象位置(例如特征点和特征线)等的数据。另外，这些数据、信息的形式是一例。例如也可以是对于空间形状数据6a合并了标识数据6b的形式，也可以是对于标识数据6b合并了测量对象位置信息6c的形式。测量对象位置信息6c预先在信息终端1的程序等中设定或安装的情况下能够省略。
[0062]
在步骤s3中，信息终端1基于测量对象位置信息6c测量与标识3的位置和方向的关系，得到终端一方的各量数据201(图8)。该关系是在终端坐标系wa中观察的标识3的位置和方向等的表达，特别是关于实际空间内的不同的2个特定方向的表达。另外，步骤s3的处理能够与步骤s1、s2的处理大致同时地、例如并行地进行。
[0063]
在步骤s4中，信息终端1使用步骤s2中取得的空间2一方的各量数据202、和步骤s3中测量的终端一方的各量数据201，生成终端坐标系wa与空间坐标系w1之间的坐标系配对用的变换参数7，设定在本机中。由此，信息终端1结束与空间2相对的坐标系配对。另外，信息终端1对于终端一方的各量数据201的一部分，可以预先测量并保持，也可以根据需要进行测量。
[0064]
之后，在步骤s5中，用户u1的信息终端1能够适当使用变换参数7，在终端坐标系wa与空间坐标系w1之间进行位置和方向的变换地，在空间2内的要求的位置21显示虚拟图像22。之后，信息终端1可以维持与该空间2相对的坐标系配对的状态，也可以明确地解除。维持的情况下，在信息终端1内保持变换参数7。解除的情况下，信息终端1例如删除变换参数7，之后再次进行与同一空间2的坐标系配对时再次生成变换参数7。信息终端1可以在坐标配对之后经过一定时间之后自动地删除变换参数7。
[0065]
[空间]
[0066]
图3表示空间2的结构例、和空间2与标识3的位置关系例。该空间2例如是公司等的建筑物内的1个房间、例如第7会议室。用户u1在进入作为使用信息终端1的对象空间2的房间之前，确认标识3。用户u1在该场所通过信息终端1即hmd1a观看标识3。此时，信息终端1基于根据标识3识别id而取得与空间2关联的空间数据6(例如id＝101的空间数据d101)，并且
进行与该空间2的空间坐标系w1相对的终端坐标系wa的坐标系配对。由此，该信息终端1的终端坐标系wa与该空间2的空间坐标系w1适配。换言之，成为将这些坐标系整体地大致视为1个坐标系、能够共享位置识别的状态。用户u1进入该房间，在该房间内使用hmd1a。hmd1a能够使用该空间数据6，在与该空间2的形状等相应的位置21迅速且高精度地显示ar的虚拟图像22。
[0067]
空间数据6、特别是空间形状数据6a例如是表示该房间的位置和形状等的任意形式的数据。空间数据6包括表示空间2的边界的数据、和在空间2内配置的任意物体的数据。表示空间2的边界的数据，例如有构成房间的地板、墙壁、天花板、门2d等配置物的数据。也存在边界上没有配置物的情况。空间2内的物体的数据，例如是在房间内配置的桌2a和白板2b等的数据。另外，标识3也可以设置在门2d等上。
[0068]
图4表示作为图3的空间2内的使用例的、两名用户即用户u1、u2共享与该房间的空间2对应的空间坐标系w1、用各信息终端1在同一位置21显示ar的同一虚拟图像22的例子。用户u1通过标识3使自己的hmd1a的终端坐标系wau1相对于空间坐标系w1进行坐标系配对。用户u2与用户u1同样地，通过标识3使自己的hmd1b的终端坐标系wau2相对于同一空间坐标系w1进行坐标系配对。由此，用户u1的hmd1a和用户u2的hmd1b成为通过同一空间坐标系w1共享位置识别的状态。在该状态下，用户u1的hmd1a和用户u2的hmd1b能够相互与空间2内的要求的同一位置、例如由一方的用户指定的桌2a上表面的中心的位置21相应地，显示同一虚拟图像22。用户u1和用户u2能够在观看同一虚拟图像22的同时进行作业和交流。
[0069]
空间形状数据6a中，例如也包括桌2a的形状的数据。该形状包括空间坐标系w1中的位置和方向。例如hmd1a以符合由用户u1指定的位置21的方式，在本机的显示面11上显示虚拟图像22。此时，hmd1a使用变换参数7，将空间坐标系w1中的位置21变换为终端坐标系wau1中的位置。hmd1a可以通过无线通信对hmd1b通知显示虚拟图像22的位置21、和显示对象的虚拟图像22的数据。hmd1b在从hmd1a通知的位置21显示该虚拟图像22。
[0070]
[空间数据]
[0071]
信息终端1具有能够处理包括图2的空间形状数据6a的空间数据6的ar等功能(对应的应用程序等)。空间形状数据6a例如是具有构成空间2的多个面的面数据的集合的多边形数据。具体而言，空间形状数据6a具有地板、墙壁、天花板等的数据、和桌2a、白板2b、其他设备等的数据。另外，空间2的边界不限于墙壁等实物，也可以是用户看不见的边界。在空间2内配置的物体，可以是用户看不见的物体、例如位于墙壁内的设备和配管等。这些结构是与空间数据6的内容的设定相应的，并不限定。实施方式1中，为了在说明上易于理解，将包括标识数据6b的数据组总称为空间数据6，但能够不限于这样的结构。
[0072]
标识数据6b是对于标识3规定的数据，包括表示与空间2的空间坐标系w1相对的标识3的位置和方向和形状等的数据，特别包括各量数据202(图2)。另外，将标识3也视为构成空间2的一部分的情况下，也可以在空间形状数据6a内将标识3规定为1个物体，省略标识数据6b。
[0073]
测量对象位置信息6c是在由信息终端1测量与标识3的位置和方向的关系时、规定应当如何测量的数据。例如，测量对象位置信息6c是指定测量对象的3个特征点或2个特征线的信息。另外，预先在该系统和方法中与各空间2无关地固定地规定测量对象位置信息的情况下，也可以在信息终端1的控制程序等中安装该测量对象位置信息6c。在实施方式1中，
能够按每个空间2和标识3设定测量对象位置信息6c。
[0074]
[标识]
[0075]
图5表示标识3的结构例。图5(a)是第1例，(b)是第2例，(c)是第3例，(d)是第4例。(a)中的标识3在横长的矩形的板等的面(有时记作标识面)上，记载了表示房间的名称的“第7会议室”字符串。在本例中，标识面配置在空间坐标系w1的y
1-z1面上。另外，在本例中，在标识面的一处，直接用字符串记载了空间2的id301。信息终端1能够用摄像机12识别该id301。对于该标识3的形状等结构，在标识数据6b中描述。该标识面具有4个角点，作为其中3个角点的点p1、p2、p3被预先规定为作为测量对象的特定对象物即特征点。例如，点p1规定为标识面的左上的角点，点p2规定为标识面的左下的角点，点p3规定为标识面的右上的角点。测量对象位置信息6c中，包括这3个特征点、或对应的2个特征线的指定。换言之，测量对象位置信息6c中，包括应当测量标识3的左边和上边这2个特征线(对应的2个特定方向)这样的指示。另外，点p1被规定为表示标识3的代表性的位置的特征点。另外，为了说明而图示了点p1等特征点和矢量v1等特征线，但实际上并不记载。或者，也可以故意在标识面上作为特定图像记载特征点和特征点，能够由用户和信息终端1识别。
[0076]
信息终端1在测量与标识3的关系作为各量数据201时，基于测量对象位置信息6c，将这3个特征点(点p1～p3)作为对象进行测量。信息终端1通过测距传感器13和摄像机12的图像的分析等，测量与这3点的关系。在终端坐标系wa中，能够得知这3点的位置的情况，等同于能够得知与图示的2个矢量v1、v2对应的2个特征线。矢量v1是与标识面的左边对应的、从点p1向点p2的矢量，矢量v2是与标识面的上边对应的、从点p1向点p3的矢量。
[0077]
(b)中的标识3在与(a)同样的标识面中的一处，以编码得到的图像即编码图像302的方式记载了空间2的id。该编码图像302例如可以使用qr码(qr：quick response，注册商标)等二维码。另外，该id301和编码图像302也可以改为访问服务器4的空间数据6用的url和将其编码得到的图像。信息终端1从摄像机12的拍摄图像中提取编码图像302，通过解码而得到id等信息。
[0078]
(c)中的标识3并不在标识面上记载空间2的名称的字符串，而是仅显示矩形的编码图像302。该情况下，信息终端1对于与标识3的关系，同样地测量编码图像302的3个角点即可。这3个角点可以采用qr码的识别用的3个定位标志(切
り
出
しシンボル
)。
[0079]
(d)中的标识3同样地在标识面上仅显示了记载了空间2的名称的字符串的类型的编码图像302b。该情况下也能够进行同样的处理。
[0080]
作为终端一方的各量数据201的、测量与标识3的关系用的上述特征点或特征线(2个特定方向)的结构能够不限于上述例子，它们都能够用测量对象位置信息6c规定。例如，也可以在标识面内，将3个特征点或2个特征线作为特定图像记载。或者，也可以在空间坐标系w1中以规定位置关系离开标识3的物体的场所，规定作为测量对象物的特征点和特征线。
[0081]
空间一方的各量数据202(图2)包括关于标识3的至少1个特征点(例如点p1)的、空间坐标系w1中的位置的表达即坐标值。进而，各量数据202包括关于另外2个特征点(例如点p2、p3)的空间坐标系w1中的坐标值，或者作为特征线数据地包括关于不同的2个方向的特征线(例如矢量v1、v2)的空间坐标系w1中的表达。1个特征线(例如矢量v1)与2个特征点(例如点p1、p2)能够相互代替。
[0082]
另外，从标识3读取的空间数据6的id，也可以包括空间2或标识3的位置信息。位置
信息可以是纬度、经度、高度等一般的位置信息，也可以是该建筑物中的局部的表达形式。存在该位置信息时，对于空间数据6的分类、检索是便利的，在对服务器4询问当前的本机位置附近存在的标识3的位置时也能够应用。服务器4可以带有标识3的图像地答复关于接受询问的终端的位置附近的标识3的信息。
[0083]
[信息终端(hmd)]
[0084]
图6表示作为信息终端1的一例的hmd1a的外观结构例。该hmd1a在眼镜状的壳体10上，具备包括显示面11的显示设备。该显示设备例如是透过型显示设备，在显示面11上外界的实像透过，在该实像上重叠显示图像。在壳体10中，安装了控制器、摄像机12、测距传感器13、其他传感器部14等。
[0085]
摄像机12例如具有在壳体10的左右两侧配置的2个摄像机，拍摄包括hmd的前方的范围而取得图像。测距传感器13是测量hmd1a与外界的物体的距离的传感器。测距传感器13可以使用tof(time of flight)方式的传感器，也可以使用立体摄像机或其他方式。传感器部14包括检测hmd1a的位置和方向的状态用的传感器组。在壳体10的左右，具备包括麦克风的声音输入装置18、包括扬声器和耳机端子的声音输出装置19等。
[0086]
信息终端1中，也可以附带遥控器等操作器。该情况下，hmd1a与该操作器之间例如进行近距离无线通信。用户通过用手对操作器进行操作，能够进行关于hmd1a的功能的指示输入和显示面11上的光标移动等。hmd1a也可以与外部的智能手机和pc等通信而进行协作。例如，hmd1a可以从智能手机1b的应用接收ar用的图像数据。
[0087]
信息终端1包括为了作业辅助和娱乐而在显示面11上显示ar等的虚拟图像的应用程序等。例如，信息终端1通过用于作业辅助的应用的处理，生成用于作业辅助的虚拟图像22，在显示面11上、在空间2内的作业对象物附近的规定位置21配置并显示虚拟图像22。
[0088]
图7表示图6的hmd1a的功能块结构例。信息终端1包括处理器101、存储器102、摄像机12、测距传感器13、传感器部14、包括显示面11的显示设备103、通信设备104、包括麦克风的声音输入装置18、包括扬声器等的声音输出装置19、操作输入部105、和电池106等。这些要素通过总线等相互连接。
[0089]
处理器101由cpu、rom、ram等构成，构成hmd1a的控制器。处理器101通过执行符合存储器102的控制程序31和应用程序32的处理，而实现os、中间件、应用等的功能和其他功能。存储器102由非易失性存储装置等构成，存储处理器101等处理的各种数据和信息。在存储器102中，也保存用摄像机12等取得的图像和检测信息等，作为暂时性的信息。
[0090]
摄像机12用摄像元件将从镜头入射的光变换为电信号而取得图像。测距传感器13例如使用tof传感器的情况下，根据对外界出射的光到达物体直到返回的时间，计算至该物体的距离。传感器部14例如包括加速度传感器141、陀螺仪传感器(角速度传感器)142、地磁传感器143、gps接收器144。传感器部14使用这些传感器的检测信息，检测hmd1a的位置、方向、运动等状态。hmd1a不限于此，也可以包括照度传感器、接近传感器、气压传感器等。
[0091]
显示设备103包括显示驱动电路和显示面11，基于显示信息34的图像数据，在显示面11上显示虚拟图像22等。另外，显示设备103不限于透过型显示设备，也可以采用非透过型显示设备等。
[0092]
通信设备104包括与规定的各种通信接口对应的通信处理电路和天线等。关于通信接口的例子，可以举出移动网络、wi-fi(注册商标)、bluetooth(注册商标)、红外线等。通
信设备104进行与其他信息终端1和接入点23(图1)之间的无线通信处理等。通信设备104也进行与操作器的近距离通信处理。
[0093]
声音输入装置18将来自麦克风的输入声音变换为声音数据。声音输出装置19基于声音数据从扬声器等输出声音。声音输入装置可以具备语音识别功能。声音输出装置可以具备语音合成功能。操作输入部105是接受对hmd1a的操作输入、例如电源on/off和音量调整等的部分，由硬件按钮或触摸传感器等构成。电池106对各部供给电力。
[0094]
由处理器101构成的控制器具有通信控制部101a、显示控制部101b、数据处理部101c、和数据取得部101d，作为通过处理实现的功能块的结构例。
[0095]
在存储器102中，保存了控制程序31、应用程序32、设定信息33、显示信息34、坐标系信息35、空间数据信息36等。控制程序31是用于实现包括空间识别功能的控制的程序。应用程序32是实现利用空间数据6的ar等功能的程序。设定信息33包括与各功能相关的系统设定信息和用户设定信息。显示信息34包括用于在显示面11上显示虚拟图像22等图像的图像数据和位置坐标信息。
[0096]
坐标系信息35是与空间识别功能相关的管理信息。坐标系信息35包括本机的终端坐标系w1的信息、对象空间2的空间坐标系w1的信息、终端一方的各量数据201、空间2一方的各量数据202、和变换参数7。空间坐标系w1的信息和空间2一方的各量数据202是从空间数据6得到的。
[0097]
空间数据信息36是在信息终端1内作为库保持的空间数据6和从服务器4取得的空间数据6的信息。另外，用本机测量空间数据6的情况下，信息终端1将外界的适当的特征物作为标识3，记录其测量数据。进而，信息终端1将会议室的标识等能够识别空间2的信息记录为空间id。
[0098]
通信控制部101a在从服务器4取得空间数据6时等，控制使用通信设备104进行的通信处理。显示控制部101b使用显示信息34，控制对显示设备103的显示面11显示虚拟图像22等。
[0099]
数据处理部101c读写坐标系信息35，进行用于管理终端坐标系wa的处理、与空间坐标系w1的坐标系配对的处理、和使用变换参数7进行的坐标系之间的变换处理等。数据处理部101c在坐标系配对时，进行从空间数据6取得空间2一方的各量数据202的处理、测量终端一方的各量数据201的处理、生成变换参数7的处理等。
[0100]
数据取得部101d从摄像机12、测距传感器13、和传感器部14等各种传感器取得各检测数据。数据取得部101d在坐标系配对时，按照数据处理部101c的控制测量终端一方的各量数据201。
[0101]
[坐标系配对(1-1)]
[0102]
图8表示在与图1等对应的实际空间内、用户u1的信息终端1即hmd1a使用对象的空间2的空间数据6进行坐标系配对的情况下的、关于坐标系和各量的说明图。信息终端1进行使本机的终端坐标系wa相对于对象空间2的空间坐标系w1适配的动作、换言之是使终端坐标系wa与空间坐标系w1关联的动作，作为坐标系配对。以下，对于在某一hmd1a的终端坐标系wa与某一空间2的空间坐标系w1之间进行坐标系配对的情况进行叙述。
[0103]
坐标系配对时，信息终端1从服务器4取得基于根据空间2的标识3识别的id确定的空间数据6(图2的步骤s2)，或者在本机内保有与该空间数据6对应的信息的情况下使用该
信息。该空间数据6中，包括图2的空间形状数据6a、标识数据6b、和测量对象位置信息6c。标识数据6b中，包括关于标识3的各量802{n1,m1,d1}。该各量802对应于图2的空间一方的各量数据202。测量对象位置信息6c是规定各量801的测量的信息。信息终端1对于本机测量规定的各量801{na,ma,da,p
1a
}。该各量801对应于图2的终端一方的各量数据201。
[0104]
然后，信息终端1基于终端一方的各量801、和标识3一方(对应的空间2一方)的各量802，计算终端坐标系wa与空间坐标系w1的关系。信息终端1计算在终端坐标系wa与空间坐标系w1这2个坐标系之间对于位置和方向进行变换用的变换参数7。信息终端1将通过计算生成的变换参数7设定并保持在本机中。由此，信息终端1能够在用空间数据6表示的空间2内，适当地使用变换参数7，在2个坐标系之间对位置等进行变换。在说明上将如上所述的动作记载为坐标系配对。
[0105]
[坐标系配对(1-2)]
[0106]
实施方式1中，作为坐标系配对时的各量，具有以下要素的信息。各量具有作为第1信息的特定方向矢量、作为第2信息的世界坐标值、和作为第3信息的标识位置矢量。详细而言，如图8所示，与空间2对应的标识3一方的各量802(图2的各量数据202)具有(1)第1特定方向矢量n1、(2)第2特定方向矢量m1、(3)关于标识3的位置l1的坐标值d1这3个信息。信息终端1一方的各量801(图2的各量数据201)具有(1)第1特定方向矢量na、(2)第2特定方向矢量ma、(3)关于信息终端1的位置la的坐标值da、(4)标识位置矢量p
1a
这4个信息。对于它们在以下顺次说明。
[0107]
1.关于特定方向矢量：将实际空间内不同的2个特定方向上的单位矢量设为n、m。将关于该单位矢量n、m的空间坐标系w1中的表达设为n1、m1，将关于该单位矢量的信息终端1的终端坐标系wa中的表达设为na、ma。
[0108]
标识3一方的2个特定方向在图8的例子中是与图5的标识3的2个特征线(矢量v1、v2)对应的第1特定方向矢量n1、第2特定方向矢量m1。关于标识3的空间坐标系w1中的特定方向(n1，m1)的表达n1、m1是在空间数据6中的标识数据6b中预先描述的。
[0109]
信息终端1一方的2个特定方向在图8的例子中是第1特定方向矢量na、第2特定方向矢量ma。信息终端1测量终端坐标系wa中的特定方向(na,ma)的表达na、ma。信息终端1一方的特定方向可以使用铅垂下方向(重力方向)和地磁方向。使用重力方向作为1个特定方向的情况下，能够用信息终端1的加速度传感器141(图7)即三轴加速度传感器，按重力加速度的方向测量该重力方向。或者，也可以在终端坐标系wa和空间坐标系w1的设定中，将铅垂下方向设定为图示的z轴(za,z1)的负方向。无论如何，作为特定方向的铅垂下方向在世界坐标系中都不变化，所以可以并不在每次坐标系配对时都测量。
[0110]
使用地磁方向、例如北方向作为1个特定方向的情况下，能够用地磁传感器143(图7)测量该地磁方向。地磁存在受到构造物的影响的可能性，所以优选在每次坐标系配对时测量。已知构造物的影响充分小的情况下，也可以并不在每次坐标系配对时都测量。
[0111]
信息终端1一方的特定方向，可以使用在终端坐标系wa中观察的标识3中的2个特征线(对应的矢量v1、v2)的方向的表达。该情况下，信息终端1在终端坐标系wa中进行关于与标识3的特征线(例如矢量v1)对应的特定方向的测量，得到关于该特定方向的终端坐标系wa中的表达。该测量例如能够用测距传感器13进行。此时，信息终端1例如测量关于构成与矢量v1对应的特征线的2个特征点(点p1、p2)的终端坐标系wa中的各坐标值。然后，信息
终端1根据该2点的坐标值，求出终端坐标系wa中的特定方向矢量(n1)的表达。该特定方向矢量(n1)的表达，与标识3一方的各量802的第1特定方向矢量na的表达不同。
[0112]
2.关于世界坐标值：将关于表示标识3一方的位置l1的1个特征点(例如点p1)的空间坐标系w1中的坐标值设为d1＝(x1,y1,z1)。坐标值d1是在标识数据6b中预先描述的。另外，假设为用点p1表示标识3的代表性的位置l1，但能够不限于此地规定。将关于信息终端1一方的位置la的终端坐标系wa中的坐标值设为da＝(xa,ya,za)。另外，假设为用壳体10的中心位置表示信息终端1的代表性的位置la，但能够不限于此地规定。这些坐标值是与作为世界坐标系的终端坐标系wa和空间坐标系w1的设定相应地决定的参数。另外，终端位置矢量va表示从终端坐标系wa的原点oa至位置la的矢量。特征点位置矢量v1表示从空间坐标系w1的原点o1至位置l1的矢量。
[0113]
图8的例子中，终端坐标系wa的原点oa的位置与信息终端1的位置la不同，空间坐标系w1的原点o1的位置与标识3的位置l1不同。以下，按这样的世界坐标系的原点与信息终端1的位置和标识3的位置不一致的一般情况进行说明。不限定于此，也存在终端坐标系wa的原点与信息终端1的位置一致的情况、和空间坐标系w1的原点与标识3的位置一致的情况，在这些情况下也能够同样地应用。关于前者的例子，可以举出信息终端1在起动时将本机的位置设定为终端坐标系wa的原点oa的情况。关于后者的例子，可以举出预先在空间数据6中将房间等空间2内的规定位置设定为空间坐标系w1的原点o1的情况。
[0114]
3.关于标识位置矢量p
1a
：标识位置矢量p
1a
是从信息终端1的位置la(坐标值da)指向标识3的特征点的位置l1(坐标值d1)的矢量。换言之，标识位置矢量p
1a
是终端坐标系wa中的标识3的位置l1的表达。信息终端1例如能够用测距传感器13测量该标识位置矢量p
1a
。根据该标识位置矢量p
1a
，得到关于终端坐标系wa与空间坐标系w1这2个坐标系之间的关系的信息。
[0115]
[变换参数]
[0116]
通过在上述坐标系配对时取得和测量各量，信息终端1能够根据与标识3的关系得知终端坐标系wa与空间坐标系w1的关系，计算2个坐标系之间的变换参数7。用该变换参数7表示的变换，是用于使空间坐标系w1符合终端坐标系wa的变换、或者相反地用于使终端坐标系wa符合空间坐标系wa的变换。变换参数7是关于2个坐标系(wa、w1)的3个轴的方向的变换(换言之是旋转)、和2个坐标系(wa、w1)的原点(oa、o1)的差的计算用参数。图8中，作为变换参数7的例子，示出对用于使空间坐标系w1中的位置等符合终端坐标系wa中的位置等的变换进行规定的变换参数7的表例。该变换参数7的表具有空间坐标系w1的识别信息、终端坐标系wa的识别信息、这2个坐标系之间的旋转的表达的信息(后述的q
a1
)、这2个坐标系之间的原点的表达的信息(原点间矢量o
1a
)，作为结构例。
[0117]
上述坐标系配对建立之后，信息终端1不需要本机进行测量处理就能够迅速地得知用空间数据6的特别是空间形状数据6a表示的构成空间2的配置物的位置和形状等。然后，信息终端1能够基于该得知的信息，如图4举例示出地，以符合该空间2内的要求的位置21的方式，在显示面11上高精度地显示虚拟图像22。要求的位置21能够由用户u1通过操作指定，也能够与信息终端1的应用程序等相应地通过自动判断决定。
[0118]
另外，图8中，位置矢量ga是关于终端坐标系wa中的虚拟图像22的显示的位置21的矢量，位置坐标值ra是该位置21的坐标值。位置矢量g1是关于空间坐标系w1中的该位置21的
矢量，位置坐标值r1是该位置21的坐标值。原点间矢量o
1a
是从原点oa指向原点o1的矢量，是终端坐标系wa中的原点o1的表达。原点间矢量o
a1
是从原点o1指向原点oa的矢量，是空间坐标系w1中的原点oa的表达。
[0119]
关于信息终端1对空间2内的配置物的位置的识别，可以用变换参数7将空间数据6的空间坐标系w1中的位置的表达变换为终端坐标系wa中的表达。或者，反之，关于信息终端1对空间2内的配置物的位置的识别，也可以用变换参数7(规定与上述相反的变换的)将终端坐标系wa中的位置的表达变换为空间坐标系w1中的位置的表达。信息终端1使用上述2种变换(对应的变换参数7)中的至少一方即可，也可以使用双方的变换。
[0120]
[控制流程]
[0121]
图9表示信息终端1的控制流程。图9的流程具有步骤s11～s17。在步骤s11中，信息终端1使用摄像机12和测距传感器13等，识别标识3，根据标识3取得空间2的id。信息终端1基于识别该标识3而开始建立坐标系配对的处理。
[0122]
在步骤s12中，信息终端1确认是否已在信息终端1内(图7的存储器102的空间数据信息36等)中保有用该id指定的空间数据6。已保有的情况(y)下前进至步骤s14，尚未保有的情况(n)下前进至步骤s13。
[0123]
在步骤s13中，信息终端1使用该id，通过使用通信设备104(图7)进行的通信，从服务器4的db5取得空间数据6。该空间数据6中，包括标识3一方的各量数据202(图8的各量802)。
[0124]
在步骤s14中，信息终端1确认是否在信息终端1内(图7的存储器102的坐标系信息35等)中已保有关于对象空间2的坐标系之间的变换参数7。已保有的情况(y)下跳过步骤s15、s16前进至步骤s17。
[0125]
在步骤s15中，信息终端1使用摄像机12和测距传感器13等，测量终端一方的各量数据201(图8的各量801)。
[0126]
在步骤s16中，信息终端1使用步骤s13中得到的标识3一方的各量数据202、和步骤s15中得到的终端一方的各量数据201，生成终端坐标系wa与空间坐标系w1之间的变换参数7，设定在本机中。由此，建立坐标系配对的处理结束。
[0127]
在步骤s17中，信息终端1以任意的方法和用途利用步骤s13中得到的空间数据6(对应的空间数据信息36)。典型而言，信息终端1以符合用空间形状数据6a表示的空间2的配置物的位置和形状的方式，如图4所示地在要求的位置21显示ar的虚拟图像22。在步骤s17之后，本流程结束。本流程的处理对于每个新标识3同样地反复。
[0128]
[ar显示例]
[0129]
图10表示坐标系配对时的信息终端1的显示面11上的ar显示例。信息终端1可以进行作为关于空间识别功能的图形用户接口(gui)的、对用户u1通知操作和状态用的画面显示和与其同时的声音输出。本例表示在图9的步骤s15中信息终端1测量各量801时、在显示面11上显示用于指导的图像的例子。本例表示用户u1如图3所示在房间前观看如图5(b)所示的标识3时的状态。在显示面11上可以看见标识3。信息终端1在图9的步骤s11中基于摄像机12的图像识别标识3。此时，信息终端1例如在实像上重叠显示图像1001和图像1002。
[0130]
图像1002是包围识别出的标识3的框线一般的图像，是对用户u1易于理解地通知是特定标识3的信息。该图像1002也可以改为包围编码图像302部分的图像，也可以改为强
调上述特征线等的图像。图像1001是与识别标识3相应地显示的、“取得该场所的空间数据？是/否”这样的消息，是对用户u1确认是否取得空间数据6的信息。能够通过用户u1的操作从图像1001中选择“是/否”。信息终端1在选择了“是”的情况下，执行步骤s11以后的处理。
[0131]
图像1003是在步骤s15中测量开始和测量中显示的“测量中。请尽量不要移动。”这样的消息。在测量各量801时使信息终端1成为尽量静止的状态更能够进行高精度的测量。信息终端1为了更高精度的测量而可以对用户u1输出这样的指导信息。
[0132]
[坐标变换(1)]
[0133]
以下，对于图8的终端坐标系wa与空间坐标系w1之间的坐标变换的详情进行补充说明。首先，对用于说明坐标系的关系的表述方法进行总结。实施方式中，坐标系统一为右手系，为了表示坐标系的全传而使用归一化四元数。归一化四元数是模为1的四元数，能够表示绕轴的旋转。任意的坐标系的旋转都能够用这样的归一化四元数表达。表示将单位矢量(n
x
,ny,nz)作为旋转轴的角度η的旋转的归一化四元数q是以下式1。i、j、k是四元数的单位。面向单位矢量(n
x
,ny,nz)的方向的情况下的顺时针旋转是η为正的旋转方向。
[0134]
式1：q＝cos(η/2)+n
x
sin(η/2)i+nysin(η/2)j+nzsin(η/2)k
[0135]
用sc(q)表示四元数q的实数部分。设四元数q的共轭四元数为q*。用[
·
]定义将四元数q的模归一化为1的运算符。设四元数q为任意的四元数时，[
·
]的定义是式2。式2的右侧的分母是四元数q的模。
[0136]
式2：[q]＝q/(qq*)
1/2
[0137]
接着，用式3定义表达坐标点或矢量(p
x
,py,pz)的四元数p。
[0138]
式3：p＝p
x
i+pyj+p
zk[0139]
本说明书中，只要没有特别声明，表示并非成分表达的坐标点和矢量的记号就是四元数表达。另外，表示旋转的记号是归一化四元数。
[0140]
设指向与单位矢量n的方向垂直的平面的矢量的射影运算符为p
t
(n)。矢量p的射影用式4表达。
[0141]
式4：p
t
(n)p＝p+nsc(np)
[0142]
对于坐标点或方向矢量p1按用四元数q表示的原点中心的旋转操作变换为坐标点或方向矢量p2时，方向矢量p2能够用式5计算。
[0143]
式5：p2＝qp1q*
[0144]
为了使单位矢量n1与单位矢量n2重合、而绕与包括单位矢量n1和单位矢量n2的平面垂直的轴旋转的归一化四元数r(n1,n2)是以下式6。
[0145]
式6：r(n1,n2)＝[1-n2n1]
[0146]
[坐标变换(2)]
[0147]
图11表示关于坐标系的变换的说明图。图11(a)与图8同样，在终端坐标系wa与空间坐标系w1这不同的2个坐标系之间，表示关于实际空间内的同一位置21的表达、和坐标原点(oa、o1)的差的表达。作为位置21的表达，具有位置矢量ga、位置坐标值ra、位置矢量g1和位置坐标值r1。作为坐标原点的差的表达，具有原点间矢量o
1a
、o
a1
。原点间矢量o
1a
是终端坐标系wa中的空间坐标系w1的原点o1的表达。原点间矢量o
a1
是空间坐标系w1中的终端坐标系wa的原点oa的表达。
[0148]
基于上述各量(图2、图8)，可得到关于实际空间内的不同的2个特定方向的各坐标
系(终端坐标系wa、空间坐标系w1)中的表达(na、n1、ma、m1)。这样，能够通过使用归一化四元数的运算求出使这些表达一致的坐标系之间的旋转操作。由此，通过使这些信息与各坐标原点的信息相符合，能够进行坐标系之间的位置坐标的变换。即，能够生成如图8的例子一般的变换参数7。
[0149]
坐标系(wa、w1)的关系能够如下所述地计算。以下，对于将描述空间数据6的空间坐标系w1中的坐标值和矢量值的表达变换为终端坐标系wa中的表达的情况下的、求出旋转和坐标原点的差的计算进行说明。
[0150]
图11(b)表示在空间坐标系wa与终端坐标系w1之间使方向符合的旋转的操作，例如简易地示出使空间坐标系w1的各轴(x1,y1,z1)的方向符合终端坐标系wa的各轴(xa,ya,za)的方向的旋转q
a1
的示意。
[0151]
首先，求出用于使终端坐标系wa的方向与空间坐标系w1的方向相符合的旋转。最初，考虑在终端坐标系wa的表达下的旋转中，使特定方向的单位矢量na(图8)与单位矢量n1(图8)重合的旋转q
t1
。旋转q
t1
具体而言如下所述。
[0152]qt1
＝r(na,n1)
[0153]
接着，设用该旋转q
t1
使特定方向的单位矢量na、ma(图8)旋转后的方向为n
a1
、m
a1
。
[0154]na1
＝q
t1
naq
t1
*＝n1[0155]ma1
＝q
t1
maq
t1
*
[0156]
因为在实际空间中是相同方向之间的角度，所以方向n
a1
与方向m
a1
所成的角度等于单位矢量n1与单位方向矢量m1所成的角度。另外，作为前提，设2个特定方向是不同的方向，所以单位矢量n1与单位方向矢量m1所成的角度不是0。从而，能够以方向n
a1
即单位矢量n1为轴，构成使方向m
a1
与单位方向矢量m1重合的旋转q
t2
。具体而言，旋转q
t2
可以用下式给定。
[0157]qt2
＝r([p
t
(n1)m
a1
],[p
t
(n1)m1])
[0158]
方向n
a1
因为与旋转q
t2
的旋转轴方向n1是同一方向，所以并不因该旋转q
t2
而改变。另外，对于方向m
a1
，用该旋转q
t2
旋转至单位方向矢量m1。
[0159]
n1＝q
t2na1qt2
*
[0160]
m1＝q
t2ma1qt2
*
[0161]
重新在以下定义旋转q
1a
。
[0162]q1a
＝q
t2qt1
[0163]
用该旋转q
1a
将单位矢量na和单位方向矢量ma旋转为单位矢量n1和单位方向矢量m1。
[0164]
n1＝q
1a
naq
1a
*
[0165]
m1＝q
1a
maq
1a
[0166]
因为将单位矢量na和单位方向矢量ma选为不同的2个方向，所以该旋转q
1a
是将终端坐标系wa中的方向表达变换为空间坐标系w1中的方向表达的旋转。反之，设将空间坐标系w1中的方向表达变换为终端坐标系wa中的方向表达的旋转为旋转q
a1
时，旋转q
a1
同样成为以下所述。
[0167]qa1
＝q
1a
*
[0168]
接着，求出坐标值da、d1(图8)的变换式。此处的坐标值da、d1是用上述式3定义的坐标值的四元数表达。首先，求出从一方的坐标系观察的另一方的坐标系的原点的坐标值。如
图11(a)所示，终端坐标系wa中的空间坐标系w1的原点o1的坐标值的表达是o
1a
，空间坐标系w1中的终端坐标系wa的原点oa的坐标值的表达是o
a1
。各坐标系(wa、w1)中的信息终端1的位置la的坐标值da、标识3的特征点的位置l1的坐标值d1是已知的。由此，这些原点坐标值表达(o
1a
、o
1b
)如以下式a一般求出。
[0169]
式a：
[0170]o1a
＝da+p
1a-q
a1
d1q
a1
*
[0171]oa1
＝d
1-q
1a
(da+p
1a
)q
1a
*
[0172]
另外，容易得知存在以下关系。
[0173]oa1
＝-q
1ao1aq1a
*
[0174]
最后，关于实际空间内的任意的点的位置21的终端坐标系wa中的坐标值ra、与空间坐标系w1中的坐标值r1的变换式如下所述地给定。
[0175]
r1＝q
1a
(r
a-o
1a
)q
1a
*＝q
1a
raq
1a
*+o
a1
[0176]
ra＝q
a1
(r
1-o
a1
)q
a1
*＝q
a1
r1q
a1
*+o
1a
[0177]
如上所述，例如要将在终端坐标系wa中观察的特定位置21(坐标值ra)变换为在空间坐标系w1中观察的情况下的位置21(坐标值r1)的情况下，能够使用旋转q
1a
、坐标值ra、和原点表达o
a1
进行计算。相反的变换也能够同样地计算。图8的变换参数7能够使用上述坐标变换的说明中出现的参数(旋转和原点表达)构成。另外，因为如上所述相互变换是容易的，所以信息终端1等保持的参数中，可以采用q
1a
代替q
a1
，可以采用o
a1
代替o
1a
，也可以相反。
[0178]
[空间数据利用例]
[0179]
图12表示信息终端1在坐标系配对之后利用空间2的空间数据6的例子。图12的例子中，在用户u1使用信息终端1的空间2即房间内，存在天花板1201、墙壁1202、墙壁1203、和绘画1204等，作为空间数据6中描述的配置物。省略图示的用户u1的信息终端1即例如hmd1a通过基于上述标识3取得空间数据6而进行坐标系配对，能够识别房间内的墙壁1202、1203和绘画1204等的位置和形状。在本例中，这些配置物大致构成为平面。例如，墙壁1203在空间坐标系w1中具有4个角点的位置的坐标值。绘画1204沿着墙壁1203的平面配置，同样具有4个角点(点p121～点p124)的位置的坐标值。
[0180]
用户u1的信息终端1例如通过ar功能的处理，将与绘画1204对应的说明文字显示为虚拟图像1205。此时，信息终端1能够从用户u1的视点、即在终端坐标系wa中，将说明文字的虚拟图像1205迅速地显示在与绘画1204的位置相应的高精度的位置。例如，如图所示，能够以在与墙壁1203的平面平行的平面上配置在接近绘画1204的区域的并不重合的区域的方式显示说明文字的虚拟图像1205。
[0181]
另外，该虚拟图像1205是与该空间2(特别是绘画1204)相应地固有的。这样的虚拟图像1205的数据，可以与绘画1204的数据和虚拟图像显示位置指定信息等一同包括在空间数据6中。或者，这样的虚拟图像1205的数据，也可以作为与空间数据6分别的数据、例如与房间和建筑物的数据分别的可变配置物数据，与其关联地登记在服务器4中。或者，这样的虚拟图像1205的数据也可以由信息终端1的应用程序随时生成和保持。信息终端1可以与本机的位置和方向、绘画1204附近的人等的状况相应地，决定显示虚拟图像1205的适当的位置等。
[0182]
[效果等]
[0183]
如上所述，根据实施方式1的空间识别系统和方法，即使在信息终端1一方的坐标系与空间2一方的坐标系不一致的情况下，信息终端1也能够适当地识别和使用空间2，信息终端1能够适当地利用空间数据6。信息终端1能够根据标识3确定空间数据6，并且能够在标识3的场所迅速地进行坐标系配对。信息终端1通过坐标系配对，能够与对象空间2之间共享位置识别，能够在要求的位置21迅速且高精度地显示ar的虚拟图像22。另外，能够由信息终端1利用空间数据6对用户提供各种各样的功能和服务。
[0184]
[变形例——调整功能(1)]
[0185]
关于实施方式1的变形例能够有以下所述。用户u1的信息终端1在进入对象空间2之前识别标识3时，可能存在坐标系配对中坐标系之间的适配产生误差的情况。考虑该情况，在变形例中，信息终端1可以具有进行坐标系配对的误差的调整的功能。具体而言，信息终端1在与某一空间2关联的1个以上标识3的各标识3的识别时，或者对于同一标识3在各次识别时，进行坐标系配对的误差的调整。另外，信息终端1可以使用空间2内的配置物的位置、特征点和特征线，调整变换参数7。例如，使用图12说明时，信息终端1在基于图3所示的标识3进行坐标系配对之后，在房间内，可以使用关于天花板1201和墙壁1202、1203的边界线1211、1212、1213作为特征线，使用边界线1211、1212、1213的交点1214作为特征点，进行关于变换参数7的调整。该情况下，调整时的信息终端1进行的与空间2的位置关系的搜索、测量，是在先通过与标识3的坐标系配对建立了基本的位置识别作为初始设定的状态下的搜索、测量。因此，此时的关于空间数据6内的特征点和特征线对应于实物的哪个点和线的搜索、测量，与如现有技术一般完全不知道位置关系的情况相比，能够更高速地执行。
[0186]
图13表示在空间2即房间的内侧也设置标识3的情况，作为与变形例对应的其他标识3的结构例。在空间2即房间的边界物即墙壁1301的外表面具有与上述同样的标识3a。另外，在房间内的墙壁1302上设置了标识3b，在墙壁1303上设置了标识3c。用户u1的信息终端1可以将任意的标识3用于坐标系配对和调整。用户u1的信息终端1例如通过与标识3a相对的第1次坐标系配对1311，而进行与空间坐标系w1相对的终端坐标系wa的适配作为初始设定。之后，用户u1的信息终端1在房间内适当地执行例如与标识3b相对的第2次坐标系配对1312、或者与标识3c相对的第2次坐标系配对1313。该情况下，每次信息终端1都能够通过调整变换参数7而进行关于信息终端1的位置和方向的调整。由此，在坐标系之间的关系中存在偏差和误差的情况下，也能够进行修正，结果能够对于ar显示进一步提高精度。
[0187]
[变形例——调整功能(2)]
[0188]
存在坐标系配对时的空间2内的配置物、特别是图3的桌2a等可动物与服务器4的db5中登记的空间数据6中的配置物的位置等状态不同的可能性。例如，用户可能移动桌2a。在变形例中，信息终端1也具有考虑这样的配置物的变动的功能。信息终端1在包括上述调整的坐标系配对时，基于空间数据6，使用位置变动的可能性不存在或较低的配置物的特征点等，进行各量的测量等处理。位置变动的可能性不存在或较低的配置物，是墙壁和天花板、或者在它们上固定设置的物体等。信息终端1基于测量对象位置信息6c选择这样的配置物，用于调整变换参数7。可以预先在空间数据6的描述中区分地描述这样的位置变动的可能性不存在或较低的配置物、和位置变动的可能性较高的配置物。例如，可以将是否可动等设定为每个配置物的属性和种类的值。
[0189]
在空间数据6中，也可以包括墙壁内的构造物等不能看到的配置物的数据。该情况
下，例如在建筑物的建设和维护作业时，用户能够通过信息终端1，使空间2内的不能看到的配置物可视化为ar，进行高效率的作业等。
[0190]
另外，在火灾、地震、停电等信息终端1难以识别空间2内的状况的情况下，可以不进行使用空间2内的特征点等的变换参数7的调整。
[0191]
另外，在火灾、地震、停电等用户u1难以识别空间2内的状况的情况下，能够将信息终端1基于标识3取得的空间数据6用于辅助确认原本的配置物的位置等。或者，在用户自由使用房间内的椅子和桌和机器等可动物之后，需要放回规定位置的情况下，能够将空间数据6用作辅助。
[0192]
空间数据6也能够用于辅助灾害时的避难、辅助火灾时的消防队的活动等。此时，例如消防队可以使用信息终端1根据建筑物外或建筑物入口的标识3取得关于该建筑物的空间2的空间数据6，通过ar得知位置和形状。空间数据6可以登记在相对于建筑物位于远方的服务器4中，也可以登记在建筑物附近或建筑物内的服务器4中。或者，也可以在标识3附近，设置保存空间数据6的装置、例如信标装置。或者，也可以在标识3自身中设置保存空间数据6的装置。
[0193]
[变形例——变换参数登记功能]
[0194]
作为变形例，也可以在服务器4或其他装置中，登记用户u1的每个信息终端1的变换参数7。例如，在图9的步骤s16中，用户u1的信息终端1生成变换参数7之后，可以在服务器4中登记该变换参数7作为该用户u1的信息终端1用的。该情况下，用户u1在第2次以后使用该空间2的情况下，能够基于标识3的id，从服务器4下载并使用空间数据6和变换参数7。该方法在信息终端1的终端坐标系wa总是相同的情况等、具有作为基准的终端坐标系wa的情况下是有效的。
[0195]
[变形例——坐标系配对]
[0196]
实施方式1中，信息终端1在坐标系配对时，使用了如图3所示的标识3中的规定的特征点或特征线作为空间2一方的各量802(图8)。不限于此，作为变形例，也可以使用关于在实际空间内能够测量的特定方向的空间坐标系w1中的表达作为空间2一方的各量802。另外，作为该特定方向，可以使用铅垂下方向(重力方向)和地磁方向。
[0197]
图14表示该变形例中的空间2的结构例、2个特定方向的例子。假设在房间内，特定配置物、例如显示装置2e(也可以是投影仪的屏幕等)固定在墙壁1401上而设置在规定位置。该显示装置2e在空间数据6(特别是标识数据6b)中，被规定为发挥标识3之一的功能的物体。例如，在显示装置2e的显示面上，左上的角点即点1402被设定为表示显示位置2e的位置的1个特征点。以该点1402为起点，规定铅垂下方向(重力方向)1403和地磁方向(北方向)1404这2个特定方向，用作各量802。另外，在本例中，示出地磁方向1404与轴x1的负方向一致的情况。
[0198]
作为其他变形例，也可以将房间的特定的墙壁1401规定为发挥标识3的功能的配置物，将墙壁1401中的1个点、例如点1405(2个墙壁与天花板的交点)作为特征点，将以该点1405为起点的规定的2个特定方向用作各量802。
[0199]
(实施方式2)
[0200]
使用图15～图20等，对于本发明的实施方式2的空间识别系统等进行说明。以下，对于实施方式2等中的与实施方式1不同的构成部分进行说明。实施方式2中，示出对于作为
空间识别的对象的空间，在管理上将其分割为多个区域，按每个区域视为上述1个空间2的情况。1个空间2过大的情况下，空间数据6增大，预想存在处理效率和处理速度等变差的可能性。于是，实施方式2将1个空间2设为适度大小的区域地设定空间数据6。由此，实现处理效率提高等，是有效的。
[0201]
[分割区域(1)]
[0202]
图15表示空间中的分割为多个区域的一例。图15是俯瞰某一建筑物的空间1500的平面结构的示意图。该空间1500具有多个房间或区域、和通路。该空间1500被分割为多个区域1501、例如4个区域r1～r4。各区域1501是三维区域，相当于实施方式1中的1个空间2。对于每个区域1501赋予id。另外，在本例中，1个区域1501并不对应于1个房间等，但其他结构中，也可以使1个区域1501与1个房间等对应地设定。在本例中，1个楼层被分割为与大致相同程度的大小的4个区域对应的4个区域1501(r1～r4)。另外，也存在跨边界的配置物，所以某一区域1501与相邻的其他区域1501中可以有一部分重合。例如区域r1与区域r2中，一部分区域r12重合。
[0203]
预先在图1的服务器4的db5中登记了每个区域1501的空间数据6(例如：dr1、dr2、dr3、dr4)作为库。另外，预先，对于每个区域1501设置至少1个标识3。在各标识3上记载了区域1501的id。另外，在本例中，在建筑物整体的空间1500中，在入口等附近，设置了标识h0。设标识h0具有的id为0。在区域r1中，设置了标识h1、标识h12、标识h41。在区域r2中，设置了标识h2、标识h23、标识h12。在区域r3中，设置了标识h3、标识h34、标识h23。在区域r4中，设置了标识h4、标识h41、标识h34。设标识h1是id＝1，标识h2是id＝2，标识h3是id＝3，标识h4是id＝4。各标识3设置在对应的区域1501的内部、或能够出入该区域1501的场所附近即可。
[0204]
另外，1个标识3也可以用于识别与其关联的附近的多个区域1501。例如，在重合的区域r12中设置的标识h12，具有id＝1、2的2个id。即，标识h12是关于区域r1和区域r2这2个区域的标识。标识h23等也是同样的。
[0205]
通过在空间1500中设置多个标识3，与上述同样地，信息终端1能够在各标识3的场所进行包括调整的坐标系配对。空间1500内的各标识3的位置等信息，是在对应的空间数据6内的标识数据6b中描述的。各区域1501的位置和形状是在对应的空间形状数据6a中在空间坐标系w1中描述的。各区域1501可以用同一空间坐标系、例如该建筑物用的局部坐标系描述。不限于此，如图15所示，也可以按每个区域1501(r1～r4)设定不同的空间坐标系(w1～w4)。例如，信息终端1使用的区域1501和描述该区域1501的空间坐标系的原点离开较远的情况下，信息终端1处理的坐标值成为较大的值，可能成为计算误差的原因。通过将描述某一区域1501的空间坐标系的原点的位置设置在该区域1501的内部或附近，具有能够减小计算误差的优点。
[0206]
图16表示某一用户u1的信息终端1使用图15的空间1500的情况下的变换参数7的结构例。图16的变换参数7的表具有空间坐标系、终端坐标系、旋转、原点表达作为项目。“空间坐标系”项目保存空间坐标系的识别信息，与图15的各区域1501的标识3的id相对应。“终端坐标系”项目保存与该空间坐标系配对的终端坐标系的识别信息。“旋转”项目保存表示上述旋转操作的参数，“原点表达”项目保存上述原点的差的参数。例如第1行规定了区域r1的空间坐标系w1与信息终端1的终端坐标系wa的变换(参数：q
a1
、o
1a
)。第2行规定了区域r2的空间坐标系w2与信息终端1的终端坐标系wa的变换(参数：q
a2
、o
2a
)。
[0207]
例如，具有终端坐标系wa的某一用户u1的信息终端1使用空间1500的具体例如下所述。随着用户u1的移动，信息终端1从建筑物入口的标识h0的场所起，经由区域r1的标识h1、区域r12的标识h12、区域r23的标识h23，移动至区域r3的标识h3的场所，进入作为目的场所的区域r3内的房间1503。信息终端1可以在标识h0的场所如后所述地进行关于建筑物整体的空间1500的识别。信息终端1首先在标识h1的场所取得id＝1，取得区域r1的空间数据dr1，进行关于区域r1的坐标系配对。由此，使终端坐标系wa相对于区域r1的空间坐标系w1适配。接着，信息终端1在标识h12的场所，从标识h12取得id＝1、2，根据未取得一方的id＝2得到空间数据dr2，进行关于区域r2的坐标系配对。接着，信息终端1在标识h23的场所取得id＝2、3，根据未取得一方的id＝3取得空间数据dr3，进行关于区域r3的坐标系配对。接着，信息终端1在标识h3的场所取得id＝3，因为已取得，所以能够省略关于区域r3的坐标系配对。或者，信息终端1也可以进行关于区域r3的第2次坐标系配对作为调整。然后，用户u1的信息终端1能够在房间1503内利用空间数据dr3适当地显示ar的图像。另外，用户u1的信息终端1在上述路径的途中，也能够使用各区域的空间数据6，进行后述的路径指引等的ar显示。
[0208]
[分割区域(2)]
[0209]
另外，实施方式2中，也能够按空间1500内的每个区域1501使作为坐标系配对适配的终端坐标系不同。使其不同可以认为是同一用户u1的信息终端1与区域1501相应地重新设定适合的终端坐标系，也可以认为是与区域1501相应地分别使用不同的终端坐标系。另外，也能够将多个用户的多个信息终端1中的各自的终端坐标系分配到各区域1501。
[0210]
图17表示上述情况下的变换参数7的结构例。例如，第1行规定了在与标识h1的id＝1对应的区域r1中、相对于空间坐标系w1应用某一终端坐标系wa的变换(参数：q
a1
、o
1a
)。第2行规定了在与标识h2的id＝2对应的区域r2中、相对于空间坐标系w2应用另一个终端坐标系wb的变换(参数：q
b2
、o
2b
)。
[0211]
[分割区域(3)]
[0212]
另外，在如图15所示的空间1500中的相邻的区域1501中，为了流畅地利用空间数据6，信息终端1也可以生成并保持能够进行相邻的区域1501之间的坐标变换的变换参数7。例如，在区域r1与区域r2重合的区域r12中，利用在区域r1的空间坐标系w1与区域r2的空间坐标系w2之间进行变换用的变换参数。
[0213]
图18表示这样的情况下的变换参数7的结构例。该变换参数7的表具有“相邻空间坐标系”项目。在该“相邻空间坐标系”项目中，保存相邻的2个区域1501的2个空间坐标系的识别信息。例如第1行设定了与区域r1的空间坐标系w1对应的id＝1、和与区域r2的空间坐标系w2对应的id＝2。“旋转”和“原点表达”项目是规定这2个空间坐标系之间的变换的参数。该空间坐标系之间的变换预先已知，所以能够在空间数据6内描述。能够使用该空间数据6内的信息作为变换参数7。例如第1行中，参数(q
21
)表示空间坐标系w1与空间坐标系w2之间的旋转，参数(o
12
)表示空间坐标系w1的原点o1与空间坐标系w2的原点o2的差。通过使用如图18所示的变换参数7，信息终端1能够更高速地实现区域1501中的空间坐标系之间的切换。
[0214]
[分割区域(4)]
[0215]
图19表示关于在相邻的区域1501中使用的各终端坐标系之间的变换的变换参数7
的结构例，作为其他变形例。该变换参数7的表具有“相邻终端坐标系”项目。该“相邻终端坐标系”项目保存在相邻的2个区域1501中使用的2个终端坐标系的识别信息。例如，用户u1的信息终端1在区域r1中使用终端坐标系wa，在相邻的区域r2中使用另一个终端坐标系wb。该情况下，信息终端1例如在区域r12的标识h12的场所，在定义接下来使用的新的终端坐标系wb时，如第1行所示地生成并设定终端坐标系wa与终端坐标系wb之间的变换的参数(q
ba
、o
ab
)。通过使用如图19所示的变换参数7，信息终端1能够更高速地实现区域1501之间的终端坐标系之间的切换。
[0216]
[分割区域(5)]
[0217]
如图15所示，用户u1的信息终端1从建筑物的空间1500的外部进入建筑物内时，可以利用标识h0或最初的区域r1的标识h1，生成从外部的坐标系变换到建筑物内部的坐标系用的变换参数7。外部的坐标系例如有使用纬度、经度、高度的在地球和地域等中共通的坐标系(例如能够用图7的gps接收器144定位的坐标系)。建筑物内部的坐标系例如是区域r1～r4的空间坐标系。反之，用户u1的信息终端1从建筑物的空间1500退出至外部时，可以生成用于相反的变换的变换参数7。由此，不仅在建筑物内部、在外部的坐标系与建筑物内部的坐标系之间也能够通过变换而使信息终端1的位置识别连续。
[0218]
另外，也可以是能够根据特定标识3、例如在建筑物的入口等设置的标识h0一并取得关于建筑物内的多个区域1501的多个空间数据6。标识h0也可以设置在建筑物内。另外，也可以是能够根据特定标识3、例如标识h0一并取得关于建筑物内的多个标识3(例如：h1～h4)的位置等信息。另外，也可以是信息终端1例如能够用ar功能对用户u1显示根据标识h0识别的多个区域1501的信息(例如多个id)，与用户u1的操作相应地从其中选择要求的区域1501(例如id)。该情况下，信息终端1取得选择的区域1501的空间数据6。
[0219]
另外，信息终端1能够基于能够根据各标识3取得的信息，得知空间1500内的标识3和区域1501之间的路径。路径能够描述为多个区域1501和多个标识3的关系。信息终端1能够对用户u1使用ar功能以显示虚拟图像22(例如箭头图像)的方式进行路径的指引。例如，如图15所示，用户u1要从入口前往要求的目的场所即区域r3的房间1503的情况下的路径，是顺次经过标识h1、h12、h23、h3的路径。例如，用户u1对于信息终端1指定目的位置(例如区域r3)，信息终端1基于当前位置，用ar的图像对用户u1指引朝向在路径上接下来要经过的标识3的方向。用户u1按照指引顺次经过标识3，能够前往目的位置。信息终端1通过在路径途中的标识3处通过坐标系配对进行变换参数的调整，能够适当进行与路径相对的本机位置的误差修正。另外，也可以使能够根据标识3取得的空间数据6具有路径信息和地图信息，信息终端1可以使用该信息对用户进行指引。
[0220]
这样的功能不限于建筑物内，在室外也能够同样地应用。例如，在公共空间等中设置标识3。该标识3具有使用空间数据6的指路功能。信息终端1能够识别该标识3而取得空间数据6，以该标识3的位置为起点直到规定目的地或用户指定的目的位置地，用ar展示路径来进行引导。
[0221]
[分割区域(6)]
[0222]
图20表示关于空间分割的其他结构例。本例在与购物中心等建筑物对应的整体的空间2000中，将多个区域2001设定为例如每个店铺租户的区域2001(例如：r21、r22、
……
、r25)。例如区域r21是店铺a用的区域，区域r22是店铺b用的区域。各区域2001的尺寸和形状
与店铺租户等的情况相应地、灵活且详细地设定在空间数据6(特别是空间形状数据6a)中。另外，在本例中，在区域2001之间不设置重合区域。在本例中，在空间2000的入口附近的广告牌等上设置标识h0。用户u1的信息终端1(例如hmd1a)能够根据标识h0取得包括关于建筑物整体的空间2000的地图和路径指引的空间数据6。该空间数据6可以包括关于多个区域2001的各空间数据6，或者也可以是用户u1能够选择并取得一部分区域2001的空间数据6。各区域2001(r21～r25)中，设置了标识3(例如：h21、h22、
……
、h25)，具有分别关联的id(例如：1、2、
……
、5)，分别关联了空间数据6(例如：dr21、dr22、
……
、dr25)。
[0223]
这样的空间的结构中，信息终端1也同样地能够根据用户u1要求的区域2001的标识3取得每个店铺的空间数据6，使用该空间数据6在店铺内进行每个店铺特有的ar的显示等。另外，每个区域2001的空间数据6中，可以包括店铺信息(例如介绍店铺和商品的信息)，也可以作为另外的店铺信息数据关联。该情况下，信息终端1能够用ar适当地显示取得的店铺信息。作为其他结构例，也可以按店铺外的每条通路设定区域2001。
[0224]
(其他实施方式)
[0225]
作为其他实施方式，能够有以下所述。
[0226]
[变形例——路径指引]
[0227]
在图21中，示出例如在店铺内使用的情况下的空间2的结构例作为变形例。在某一店铺的空间2内，销售多种商品。空间2被区分为楼层、区域、通路、货架2100等，各商品的位置与它们对应地管理。在空间2内的规定位置，具有广告牌或显示装置等配置物2101，在该配置物2101中构成标识3。该标识3也可以采用在显示装置的显示画面上显示为图像的方式。该情况下，能够容易地变更标识3的内容。在该标识3中，例如记载了某一商品x的信息和编码图像作为广告。商品购买者即用户u1用信息终端1识别标识3。信息终端1取得空间数据6，进行与店铺的空间坐标系w1相对的坐标系配对。在空间数据6中，描述了空间坐标系w1中的标识3的位置、对象商品x的位置、从标识3至商品x的路径2103等信息。
[0228]
信息终端1能够使用空间数据6，用ar功能指示商品x位于店铺内的哪个位置、例如位于哪个货架2100中的哪个位置等，能够沿路径2103引导至商品x的位置。信息终端1例如显示与路径2103对应的图像、和表示商品x的位置的图像2102等。这样的功能能够不限于特定商品x。例如，也能够是用户u1在信息终端1的显示面11、或构成标识3的显示装置的显示画面上进行选择目的商品的操作、进行关于选择的商品的指引的结构。另外，这样的结构对于店员进行的库存管理等也是有效的。
[0229]
[变形例——权限]
[0230]
作为变形例，也可以设置关于空间数据6的取得权限。例如，信息终端1在识别标识3时取得id，与该id一同对服务器4发送请求。服务器4对于该请求，为了确认取得权限而对信息终端1发送认证用信息的请求。信息终端1对于该请求，将用户id(或终端id)和密码等认证用信息发送至服务器4。服务器4通过使用从信息终端1接收的认证用信息进行认证，而确认是允许取得对象空间数据6的用户和信息终端、即具有取得权限。服务器4在成功确认了权限的情况下，对该信息终端1发送对象空间数据6作为回应，在未能确认权限的情况下不发送。
[0231]
作为关于上述权限的控制的具体例，与认证用信息和取得权限一同设定进行建筑物的维护管理的用户作为规定用户。对该用户提供包括建筑物的维护管理用的数据的空间
数据6。该维护管理用的数据例如包括墙壁内的构造物的数据。没有权限的一般用户不能取得该维护管理用的数据。作为其他具体例，设定店铺的店员作为规定用户。对该用户的信息终端1提供包括店铺内的库房的数据和库存管理用的数据等的空间数据6。
[0232]
另外，关于上述权限，也可以采用多种权限并设置级别。能够按每个级别使能够取得的空间数据6的内容的范围不同。
[0233]
[变形例——终端控制信息]
[0234]
作为其他变形例，信息终端1通过识别标识3，不仅自动取得上述id，也自动取得规定的控制信息(换言之是终端控制信息)，按照该控制信息自动地执行控制。关于该终端控制信息，例如可以举出应用程序起动控制信息和文件指定信息。例如，某一标识3中，记载了将这样的控制信息编码得到的图像。信息终端1根据标识3的该图像通过解码来取得id和控制信息。信息终端1按照该控制信息，起动指定的应用，自动打开指定的文件。信息终端1在显示面11上显示与该应用和文件对应的信息。作为应用的例子，可以举出涉及ar功能的。
[0235]
或者，也可以在空间数据6中描述上述终端控制信息。该情况下，信息终端1例如按照从服务器4取得的空间数据6中包括或附属的终端控制信息同样地执行控制。
[0236]
[变形例——固定在物体上的空间坐标系]
[0237]
图22表示其他变形例中的标识3的结构例。标识3可以设定在空间2内配置的物体2200上。图22的例子中，在空间2(示意性地仅示出地板)内，存在规定作业的作业对象物作为物体2200。假设用户u1是进行该作业的人。该物体2200特别可以是可动物，存在被用户u1移动的情况。即，该物体2200存在空间2(对应的空间坐标系w1)内的位置等改变的情况。
[0238]
该标识3和对应的空间坐标系w1是固定在物体2200上的。在本例中，标识3在物体2200的一面的一处作为编码图像2201记载。对于该标识3的id，关联地设定了关于该物体2200的空间数据6，信息终端1能够根据该标识3取得该空间数据6。该空间数据6是在空间坐标系w1中描述了该物体2200和标识3的数据。
[0239]
描述该空间数据6的空间坐标系w1，是描述相对于该标识3和物体2200的相对位置等的空间坐标系。该空间坐标系w1与物体2200具有规定的位置关系。例如，该空间坐标系w1中的原点o1设定在与物体2200相对的规定位置、例如属于物体2200的图示左上的点。该原点o1的位置设定为与标识3的特征点(例如左上的点)大致相同的位置。在本例中，标识3的位置与空间坐标系w1的原点o1的位置大致相同，但对于空间坐标系w1的原点o1的位置并不限定。原点o1可以位于以规定关系离开标识3和物体2200的位置。
[0240]
该空间数据6中，在物体2200的形状之外，也可以包括关于对物体2200的作业的信息、和作业说明信息等。关于作业的信息，例如有作业对象点2202(例如物体2200的上表面的中心点)等信息。作业说明信息例如有用ar的虚拟图像(例如ar面板)显示作业说明用的作业说明显示位置信息等。图像2203表示强调作业对象点2202而对用户u1通知用的ar图像例。图像2204表示对于作业对象点2202的作业说明的ar面板(例如对话框这样的图像)的例子。图像2204等例如是半透过显示背景的实像的图像。
[0241]
另外，根据该标识3，能够如上所述地取得关于该作业的作业辅助用应用的起动控制信息、和该应用中要使用的对象作业文件的指定信息等，作为终端控制信息。信息终端1(hmd1a)通过识别该标识3，自动地起动该应用，打开对象作业文件，在显示面11上重叠显示其虚拟图像。图像2205示意性地表示这样的应用的ar面板的显示例。用户u1能够进行对图
像2205的输入操作(例如指定命令)。
[0242]
另外，也可以基于空间数据6的设定，为了辅助作业而将空间坐标系w1的三轴的方向等显示为图像。另外，作业辅助用的应用也可以与用户u1对空间坐标系w1内的要求的位置的指定操作(例如识别指尖等)相应地，在该指定的位置显示ar图像。
[0243]
通过如上所述的使用空间数据6和ar的作业辅助，用户u1能够在作为作业对象物的物体2200前迅速地设定作业准备，能够在参考用ar图像得到的作业说明等的同时高效率地进行作业。另外，该变形例中，移动了物体2200的情况下，标识3也随之移动，但空间坐标系w1维持相对于物体2200和标识3的相对位置关系。移动了物体的情况下，信息终端1调整终端坐标系wa与空间坐标系w1之间的变换参数。调整时，可以将能够将特征点和特征线确定为空间数据的物体2200上的一部分区域视为标识3进行变换参数的调整。由此，信息终端1即使在移动了物体2200的情况下，也能够与物体2200的空间坐标系w1相应地进行适当的ar显示。
[0244]
以上基于实施方式具体地说明了本发明，但本发明不限定于上述实施方式，能够在不脱离主旨的范围内进行各种变更。能够进行实施方式的构成要素的追加和删除和置换、用各种组合构成。对于上述功能等，可以用硬件实现一部分或全部，也可以用软件程序处理实现。构成功能等的程序和数据可以保存在计算机可读取的存储介质中，也可以保存在通信网络上的装置中。
[0245]
符号说明
[0246]1…
信息终端
[0247]
1a
……
hmd
[0248]
1b
……
智能手机
[0249]2…
空间
[0250]3…
标识
[0251]4…
服务器
[0252]5…
db
[0253]6…
空间数据
[0254]
11
…
显示面
[0255]
12
…
摄像机
[0256]
13
…
测距传感器
[0257]
21
…
位置
[0258]
22
…
虚拟图像
[0259]
23
…
接入点
[0260]
wa
……
终端坐标系
[0261]
w1
……
空间坐标系。