信息处理装置、信息处理方法以及计算机可读介质与流程

1.本公开涉及一种信息处理装置、信息处理方法以及计算机可读介质。


背景技术：

2.例如，日本专利特开2015-231445号公报公开了一种技术：在头戴显示器(head mount display，hmd)的显示画面上，将与手势输入的操作内容相关联的被选择体固定显示在视野的规定位置。


技术实现要素：

3.本公开的目的在于，当在虚拟空间内对文档等对象物进行处理时，对应于用户的操作来使用户所需的对象物显示在根据用户的动作而变化的用户视野中。
4.根据本公开的第一方案，提供一种信息处理装置，具有处理器，所述处理器在用户所认知的虚拟空间内，使第一对象物显示在与不依存于所述用户的头部移动的第一坐标系对应的位置，在所述虚拟空间内，使第二对象物显示在与依存于所述用户的头部移动的第二坐标系对应的位置，对应于所述用户对所述第一对象物的操作，将所述第一对象物变更为所述第二对象物。
5.根据本公开的第二方案，所述操作是使用所述用户的视线的操作，所述处理器在所述视线的方向与显示所述第一对象物的位置处于经规定的第一关系的情况下，将所述第一对象物变更为所述第二对象物。
6.根据本公开的第三方案，所述处理器在所述用户的视线相对于所述第二对象物的方向与显示所述第二对象物的位置处于经规定的第二关系的情况下，变更所述第二对象物的显示形态。
7.根据本公开的第四方案，所述处理器在所述第二对象物的数量为经规定的阈值以上的情况下，按照与所述数量小于所述阈值时不同的规则来显示所述第二对象物。
8.根据本公开的第五方案，所述处理器在所述第二对象物的数量小于所述阈值的情况下，将所述第二对象物以不相互重叠的方式予以配置而显示，在所述第二对象物的数量为所述阈值以上的情况下，将所述第二对象物重叠配置而显示。
9.根据本公开的第六方案，所述处理器使所述第二对象物的大小对应于所述第二对象物的数量而变化地显示。
10.根据本公开的第七方案，所述第二对象物的数量越多，则所述处理器使所述第二对象物各自越小地显示。
11.根据本公开的第八方案，所述操作是对所述第一对象物的内容进行变更的操作。
12.根据本公开的第九方案，所述处理器在满足经规定的第一条件时，将所述第二对象物变更为所述第一对象物。
13.根据本公开的第十方案，所述处理器在满足经规定的第二条件时，暂停所述第二对象物在所述虚拟空间内的与所述第二坐标系对应的位置处的显示，在满足经规定的第三
条件时，恢复所暂停的所述第二对象物的所述显示。
14.根据本公开的第十一方案，所述处理器在有执行比执行中的第一处理优先的第二处理的指示的情况下，暂停所述第二对象物的所述显示，在完成所述第二处理的情况下，恢复所暂停的所述第二对象物的所述显示。
15.根据本公开的第十二方案，提供一种计算机可读介质，保存有使具有处理器的计算机执行处理的程序，所述处理具有下述步骤：在用户所认知的虚拟空间内，使第一对象物显示在与不依存于所述用户的头部移动的第一坐标系对应的位置；在所述虚拟空间内，使第二对象物显示在与依存于所述用户的头部移动的第二坐标系对应的位置；以及对应于所述用户对所述第一对象物的操作，将所述第一对象物变更为所述第二对象物。
16.根据本公开的第十三方案，提供一种信息处理方法，其是在用户所认知的虚拟空间内，使第一对象物显示在与不依存于所述用户的头部移动的第一坐标系对应的位置，在所述虚拟空间内，使第二对象物显示在与依存于所述用户的头部移动的第二坐标系对应的位置，对应于所述用户对所述第一对象物的操作，将所述第一对象物变更为所述第二对象物。
17.(效果)
18.根据所述第一方案、第十二方案或第十三方案，用户在虚拟空间对文档等对象物进行处理时，能将所需的对象物与不需要的其他对象物区分开来认知，而不会从视野中看丢。
19.根据所述第二方案，用户通过使用视线的操作来使第一对象物变更为第二对象物。
20.根据所述第三方案，用户通过调整自身的视线的方向，以使其与显示第二对象物的位置的关系成为第二关系，从而变更所述第二对象物的显示形态。
21.根据所述第四方案，第二对象物的显示形态在其数量成为阈值以上时，遵循与小于阈值时不同的规则。
22.根据所述第五方案，用户在第二对象物的数量成为阈值以上时，认知经重叠配置的第二对象物。
23.根据所述第六方案，用户认知以与数量相应的大小而显示的第二对象物。
24.根据所述第七方案，其数量越多，则第二对象物被显示得越小。
25.根据所述第八方案，用户通过变更第一对象物的内容的操作，来使所述第一对象物变更为第二对象物。
26.根据所述第九方案，第二对象物在满足第一条件时被变更为第一对象物。
27.根据所述第十方案，第二对象物在满足第二条件时，暂停在虚拟空间内的与第二坐标系对应的位置处的显示，当满足第三条件时，恢复所暂停的显示。
28.根据所述第十一方案，第二对象物在有执行比正在执行中的第一处理优先的第二处理的指示时，暂停在虚拟空间内的与第二坐标系对应的位置处的显示，当所述第二处理完成时，恢复所暂停的显示。
附图说明
29.图1是表示信息处理系统9的整体结构的示例的图。
30.图2是表示信息处理装置1的结构的示例的图。
31.图3是表示用户数据库(db)121的示例的图。
32.图4是表示对象物db 122的示例的图。
33.图5是表示属性db 123的示例的图。
34.图6是表示终端2的结构例的图。
35.图7是表示位置信息的示例的图。
36.图8是用于说明存储在位置信息221中的偏移及旋转角的图。
37.图9是表示视线历史222的示例的图。
38.图10是用于说明第二坐标系与用户的视野v的关系的图。
39.图11是表示追随db 223的示例的图。
40.图12的(a)及图12的(b)是用于说明所存储的对象物的位置与描绘位置的关系的图。
41.图13是表示指示db 224的示例的图。
42.图14是表示设定db 225的示例的图。
43.图15是表示终端2的功能结构的示例的图。
44.图16是表示终端的动作流程的示例的流程图。
45.图17是表示用户所看到的虚拟空间的示例的图。
46.图18是表示确认追随变更的对话(dialogue)的示例的图。
47.图19是表示在虚拟空间中经编辑的对象物的示例的图。
48.图20是表示确认追随变更的结束的对话的示例的图。
49.图21是表示对第二对象物的显示变更形态的情况的图。
50.图22是表示用户改变了头部的朝向时所看到的虚拟空间的图。
51.图23是表示对应于数量来决定大小的第二对象物的示例的图。
52.图24是表示因数量成为阈值以上而显示规则发生了变化的第二对象物的示例的图。
53.图25是表示有中断时所显示的对话的示例的图。
54.图26是表示中断结束时所显示的对话的示例的图。
具体实施方式
55.＜实施方式＞
56.＜信息处理系统的结构＞
57.图1是表示信息处理系统9的整体结构的示例的图。图1所示的信息处理系统9是向用户提供对文档等对象物进行处理的虚拟三维空间的系统。信息处理系统9如图1所示，具有信息处理装置1、终端2以及通信线路3。以下，在图中对所述的三维空间进行说明的情况下，使用右手系坐标空间。
58.图1所示的信息处理装置1是向用户p提供用于对文档等对象物进行浏览、加工等的虚拟三维空间的服务器装置。信息处理装置1例如为计算机。
59.图1所示的终端2是由用户p佩戴在头部，以对存储在信息处理装置1中的对象物进行浏览的终端装置。所述终端2例如为头部佩戴型的所谓虚拟现实(virtual reality，vr)
眼镜等显示终端。
60.通信线路3是将信息处理装置1及终端2可通信地连接的线路。通信线路3例如除了局域网(local area network，lan)以外，也可为广域网(wide area network，wan)，也可为国际互联网，还可为它们的组合。而且，通信线路3也可包含公共交换电话网(public switched telephone networks，pstn)或综合业务数字网(integrated services digital network，isdn)等。
61.另外，信息处理系统9中的信息处理装置1、终端2以及通信线路3各自的数量并不限于图1所示的数量。例如，信息处理装置1也可包含由多台装置分担功能的群集系统。而且，信息处理系统9也可具有多个终端2。信息处理装置1也可针对各自持有多个终端2的每个用户来存储所述用户所拥有的对象物，并设定用于在用户间共享它们的的权限。
62.＜信息处理装置的结构＞
63.图2是表示信息处理装置1的结构例的图。图2所示的信息处理装置1具有处理器11、存储器12及接口13。这些结构例如利用总线而彼此可通信地连接。
64.处理器11通过读出存储在存储器12中的程序并予以执行，从而控制信息处理装置1的各部。处理器11例如为中央处理器(central processing unit，cpu)。
65.接口13是通过有线或无线而经由通信线路3来将信息处理装置1可通信地连接至终端2的通信电路。
66.存储器12是存储由处理器11所读取的操作系统、各种程序、数据等的存储部件。存储器12具有随机存取存储器(random access memory，ram)或只读存储器(read only memory，rom)。另外，存储器12也可具有固态硬盘、硬盘驱动器等。而且，存储器12存储用户db 121、对象物db 122及属性db 123。
67.图3是表示用户db 121的示例的图。图3所示的用户db 121是存储认证信息与属性信息的数据库，所述认证信息被用于信息处理系统9的用户认证，所述属性信息表示所述用户的属性。
68.图3所示的用户db 121中，认证信息为用户识别码(identifier，id)与密码的组。用户id是分别识别信息处理系统9的用户的识别信息。密码是只有以对应的用户id所识别的用户才知晓的字符串等。图3所示的用户db 121中，属性信息包含群组id与职务信息。群组id是对以对应的用户id所识别的用户所属的部门或工程项目(project)等的群组进行识别的识别信息。在群组id一栏中，也可记述有多个群组id。职务信息是对以对应的用户id所识别的用户的职务范围或权限等进行记述的信息。
69.图4是表示对象物db 122的示例的图。对象物db 122是对显示在所述虚拟三维空间内的各个对象物进行存储的数据库。图4所示的对象物db 122针对每个对象物来存储对象物id、种类、名称以及数据的各项目。对象物id是识别对象物的识别信息。种类是对象物的种类，例如以文档、照片、电子表格等字符串来表示。名称是标注于对象物的名称，例如，以“a公司合同”等供用户大致判断所述对象物的内容的字符串来表示。数据是对象物的内容本身。
70.图5是表示属性db 123的示例的图。属性db 123是存储所述对象物的属性的数据库。图5所示的属性db 123针对每个对象物来存储对象物id、所有者id、权限信息、外观数据、位置信息及追随信息的各项目。
71.对象物id是识别对象物的识别信息，是与图4的对象物db 122中所含的对象物id相同的信息。所有者id是对象物的所有者即用户的识别信息。权限信息是对执行对象物的浏览、变更、执行等各种处理的权限进行记述的信息。权限信息例如是使用以所有者id所识别的用户的属性信息来规定。
72.外观数据是表示在虚拟三维空间内，对象物所显示的形状或式样等的数据。所述外观数据例如也可为根据对象物的种类而预先规定的、所谓的图标(icon)图像的数据。而且，所述外观数据也可为缩小显示对象物的内容的、所谓的缩略图(thumbnail)图像的数据。
73.位置信息是当对象物在所述虚拟三维空间内，显示在与第一坐标系对应的位置时，以第一坐标系来表示所述位置的信息。此处，所谓第一坐标系，是与用户所处的现实空间内的惯性系统坐标对应的坐标。第一坐标系是依存于用户的环境的坐标，因此不受例如图1所示的用户p佩戴在头部的终端2的姿势或位置等影响。即，第一坐标系是不依存于用户的头部移动的坐标系。以下，第一坐标系在图中表达为具有彼此在原点o1处正交的x轴、y轴、z轴的xyz右手系坐标空间。
74.追随信息是表示显示对象物的位置是否追随于第二坐标系的信息。此处，所谓第二坐标系，是指遵从用户佩戴在头部的终端2的位置及姿势的坐标系。即，第二坐标系是依存于用户的头部移动的坐标系。以下，第二坐标系在图中表达为具有彼此在原点o2处正交的x轴、y轴、z轴的xyz右手系坐标空间。
75.第二坐标系例如是佩戴有图1所示的终端2的用户p的、所谓的头部中心坐标系。此时，第二坐标系例如将连接双眼眼球的中心的线段的中点设为原点o2，将用户的面部所朝着的正面的方向设为y轴方向。另外，所述第二坐标系例如分别将x轴规定为以用户p的头部为中心的水平方向，将z轴规定为垂直方向。
76.属性db 123中，追随信息一栏中记载为“无”的对象物不追随于第二坐标系，而追随于第一坐标系。追随于所述第一坐标系的对象物在以下的说明中记载为“第一对象物”。第一对象物由终端2显示在与第一坐标系对应的位置。
77.而且，所述追随信息一栏中记载为“有”的对象物不追随于第一坐标系，而追随于第二坐标系。追随于所述第二坐标系的对象物在以下的说明中记载为“第二对象物”。第二对象物由终端2显示在与第二坐标系对应的位置。
78.信息处理系统9中，信息处理装置1例如通过将属性db 123中的、表示任一对象物的属性的追随信息一栏由“无”改写为“有”，从而将对应的第一对象物变更为第二对象物。而且，通过将所述追随信息一栏由“有”改写为“无”，从而信息处理装置1将对应的第二对象物变更为第一对象物。
79.另外，追随信息一栏中记载为“有”的第二对象物是被显示在与第二坐标系对应的位置，因此不需要参照属性db 123的、表示在第一坐标系中的位置的“位置信息”。信息处理装置1也可将与第二对象物对应的、属性db 123的位置信息一栏予以删除，或者填入表示未定义的
“‑”
。
80.＜终端的结构＞
81.图6是表示终端2的结构例的图。图6所示的终端2具有处理器21、存储器22、接口23、操作部24、显示部25及测量部26。这些结构例如利用总线而可彼此通信地连接。
82.处理器21通过读出存储在存储器22中的程序并予以执行，从而控制终端2的各部。处理器21例如为cpu。
83.接口23是通过有线或无线而经由通信线路3来可通信地连接终端2与信息处理装置1的通信电路。
84.操作部24包括用于进行各种指示的操作按钮，受理操作而将与所述操作内容相应的信号送往处理器21。而且，操作部24具有视线传感器241、操作部传感器242以及麦克风243。
85.视线传感器241是对佩戴有终端2的用户的视线进行探测的传感器。视线传感器241是所谓的眼球追踪器(eye tracker)，例如具有互补金属氧化物半导体(complementary metal oxide semiconductor，cmos)影像传感器或电荷耦合器件(charge coupled device，ccd)影像传感器等摄像元件，对佩戴有终端2的用户的眼球进行拍摄，以探测、测量用户的视线所指的方向。视线传感器241也可具有与眼球接触的传感器。
86.操作部传感器242是将佩戴有终端2的用户的手、指等探测为操作部的传感器。操作部传感器242例如通过摄像元件来拍摄用户的手或手指尖等，并对所获得的图像进行分析，由此来测量所述位置。另外，操作部传感器242也可具有佩戴于用户的手或手指等的传感器。而且，操作部24也可具有用户持有的指示棒、控制器等设备来作为用户所使用的操作部。此时，操作部传感器242例如只要被设于所述设备，对所述设备的位置或姿势进行探测即可。
87.麦克风243是对佩戴有终端2的用户的声音进行收集的集音器。麦克风243所收集的用户的声音由处理器21进行语音识别，而被解释作为对终端2的操作。另外，终端2也可不进行基于语音识别的操作，此时，也可不具有麦克风243。
88.测量部26是对终端2在第一坐标系中的位置及姿势进行测量的设备，例如具有加速度传感器、角速度传感器等。
89.显示部25具有以覆盖将终端2佩戴在头部的用户的视野的方式而配置的液晶显示器等的显示画面。显示部25在处理器21的控制下，在所述显示画面上显示图像。另外，显示部25也可具有直接将激光投影到用户的视网膜上以显示图像的、所谓视网膜投影显示器。
90.存储器22是对由处理器21所读取的操作系统、各种程序、数据等进行存储的存储部件。存储器22具有随机存取存储器(random access memory，ram)或只读存储器(read only memory，rom)。另外，存储器22也可具有固态硬盘、硬盘驱动器等。
91.而且，存储器22存储位置信息221、视线历史222、追随db 223、指示db 224及设定db 225。
92.位置信息221存储测量部26所测量的终端2的位置及姿势。图7是表示位置信息的示例的图。图7所示的位置信息221具有包含x0、y0、z0这三个数值的偏移一栏与包含θx、θy、θz这三个数值的旋转角一栏。
93.图8是用于说明存储在位置信息221中的偏移及旋转角的图。所述偏移是将成为终端2的基准的、第二坐标系的原点位置以第一坐标系来表达的数值的组。而且，所述旋转角是表达第二坐标系的x轴、y轴、z轴各自相对于第一坐标系中的x轴、y轴、z轴的倾斜的数值的组。终端2在第一坐标系中的位置及姿势通过这些偏移及旋转角来确定。
94.图6所示的视线历史222是由所述操作部24的视线传感器241所测量的视线的历
史。图9是表示视线历史222的示例的图。图9所示的视线历史222是将时刻、x、及z的各项目相关联地予以存储。视线传感器241例如以0.1秒或1秒等预先规定的周期来测量用户的视线，并将测量出的其结果提供给处理器21。处理器21将表示所述视线的信息与视线传感器241测量用户视线的时刻一同存储到视线历史222中。视线历史222中的时刻一栏是存储视线传感器241测量用户视线的时刻的栏。而且，视线历史222中的x及z一栏是表示用户视野的xz平面上的坐标。
95.图10是用于说明第二坐标系与用户的视野v的关系的图。依存于用户的头部移动的第二坐标系如图10所示，以xyz右手系坐标来表达，所述xyz右手系坐标来以在原点o2处交叉的x轴、y轴、z轴来表示。此处+y方向是用户的正面方向，以在位于较原点o2向+y方向前进了规定距离的位置处的、与x轴及z轴平行的平面，来规定用户的视野v。所述平面即视野v与视线的方向所交叉的点被处理器21确定为用户所注视的点。由此，例如当视线从图10所示的视野v上的点v1移动到点v2时，点v1及点v2各自的x坐标、z坐标与测量出它们的时刻一同被存储到视线历史222中。
96.图6所示的追随db 223是针对每个第二对象物来存储表示第二对象物的显示形态的参数的数据库。图11是表示追随db 223的示例的图。图11所示的追随db 223是将对象物id、倍率、位置、顺序及显示属性的各项目相关联地予以存储。
97.对象物id是在信息处理装置1的属性db 123中对第二坐标系的追随被存储为“有”的对象物，即，第二对象物的识别信息。倍率是表示对应的第二对象物在所述视野v中显示的大小相对于基准的倍率的信息。位置是表示第二对象物在第二坐标系中的位置的信息。顺序是表示追随db 223所存储的第二对象物被重叠配置时的、用户看到各对象物的顺序的信息。显示属性例如是表示配置在对应的第二对象物周围的框的颜色或各种装饰等的信息。
98.图12的(a)及图12的(b)是用于说明所存储的对象物的位置与描绘位置的关系的图。此处，所谓描绘位置，是指对象物在终端2中显示在显示部25的显示画面上的位置。
99.第一对象物的位置是存储在信息处理装置1的属性db 123中的位置，是作为第一坐标系上的坐标来表示。而且，第二对象物的位置是存储在终端2的追随db 223中的位置，是作为第二坐标系上的坐标来表示。
100.如图12的(a)所示，终端2的处理器21将第一对象物的位置基于位置信息221而坐标转换成在第二坐标系上的位置，进而，进行透视投影转换，而转换成在视野v上的描绘位置。由此，第一对象物在用户所认知的虚拟空间内被显示在与第一坐标系对应的位置。即，所述处理器21是如下所述的处理器的示例，即，在用户所认知的虚拟空间内，使第一对象物显示在与不依存于用户的头部移动的第一坐标系对应的位置。
101.而且，处理器21对第二对象物的位置进行透视投影转换而转换为在视野v上的描绘位置。由此，第二对象物在虚拟空间内被显示在与第二坐标系对应的位置。即，所述处理器21是如下所述的处理器的示例，即，在虚拟空间内，使第二对象物显示在与不依存于用户的头部移动的第二坐标系对应的位置。
102.在将第一对象物变更为第二对象物的情况下，处理器21将第一对象物的位置基于位置信息221来进行坐标转换，并将所获得的在第二坐标系上的位置作为变更后的第二对象物的位置而存储到追随db 223中。
103.而且，在将第二对象物变更为第一对象物的情况下，处理器21如图12的(b)所示，将第二对象物的位置基于位置信息221来进行逆转换，算出在第一坐标系上的位置，并将所述位置送往信息处理装置1。信息处理装置1的处理器11将所送来的所述位置的信息作为变更后的第一对象物的位置的信息而存储到属性db 123中。
104.图6所示的指示db 224是针对终端2的操作部24所受理的各个操作，将判断是否满足的条件即操作条件、与满足所述操作条件时所述操作所表示的指示的内容相关联地予以存储的数据库。
105.图13是表示指示db 224的示例的图。图13所示的指示db 224中，操作条件一栏例如存储视线传感器241所测量出的视线的举动要满足的条件、操作部传感器242所测量出的操作部的轨迹要满足的条件、及对由麦克风243所收集的声音进行语音识别所得的字符串要满足的条件等。而且，指示一栏例如存储下述等指示的内容，即，在受理满足对应的操作条件的操作时，选择通过所述操作而确定的对象物并使其追随于终端2的举动、解除追随、进行编辑。
106.例如，若佩戴有终端2的用户观看显示在虚拟空间内的第一对象物达到三秒以上，则终端2的操作部24通过视线传感器241来探测所述视线。并且，处理器21基于所探测到的视线的信息与指示db 224，判断所述视线的操作是否为将第一对象物变更为第二对象物并使其追随于终端2的举动的操作。而且，若用户从任一个第二对象物将视线移开一分钟以上，则解除追随，所述第二对象物恢复为第一对象物。
107.图14是表示设定db 225的示例的图。设定db 225是存储与终端2的动作相关的设定的数据库。图14所示的设定db 225中，项目一栏存储作为设定对象的项目。而且，设定值一栏存储对于对应的项目所设定的值。
108.例如，图14所示的设定db 225存储项目“模式”。所述项目是表示下述“模式”的项目，即，表示是否以对第一对象物的编辑的开始为契机而将所述第一对象物变更为第二对象物。在图14所示的设定db 225的情况下，对项目“模式”设定有“手动”，因此仅仅在编辑的开始，并不进行从第一对象物向第二对象物的变更，而是在通过手动操作另行发出变更的指示时进行。
109.而且，例如项目“中断”是表示是否允许处理的中断的项目。此处，所谓处理的中断，是指在有执行比正在执行中的处理(称作第一处理)优先的处理(称作第二处理)的指示时，中断第一处理而执行第二处理，待第二处理结束后，恢复第一处理。在图14所示的设定db 225的情况下，对项目“中断”设定有“可”，因此允许处理的中断。
110.＜终端的功能的结构＞
111.图15是表示终端2的功能结构的示例的图。终端2的处理器21通过执行存储在存储器22中的程序，从而作为第一获取部211、第二获取部212、第三获取部213、转换部214、解释部215、显示控制部216及变更部217发挥功能。
112.第一获取部211获取测量部26所测量的终端2的位置及姿势的信息。并且，第一获取部211基于这些信息来对位置信息221写入偏移及旋转角。
113.第二获取部212获取操作部24的视线传感器241所探测出的视线的信息，并将这些信息与时刻一同存储到视线历史222中。
114.第三获取部213经由接口23及图1所示的通信线路3来从信息处理装置1获取第一
对象物的位置及数据。
115.转换部214将第三获取部213所获取的第一对象物的位置基于位置信息221而转换为描绘位置。而且，转换部214从追随db 223读出第二对象物的位置，并对所述位置进行透视投影转换而转换为描绘位置。
116.解释部215从存储器22的视线历史222读出第二获取部212所获取的用户的视线的历史。而且，解释部215从操作部24的操作部传感器242及麦克风243获取用户通过操作部及发言所进行的操作的信息。并且，解释部215读出存储器22的设定db 225及指示db 224，并基于它们来解释视线的历史、操作部的动作及发言所进行的操作。
117.显示控制部216根据由解释部215所解释的操作的内容，来使由转换部214转换为描绘位置的第一对象物及第二对象物显示于显示部25。
118.变更部217根据由解释部215所解释的操作的内容，将对象物的变更指示经由接口23传给信息处理装置1。收到所述指示的信息处理装置1按照所述指示改写存储器12的属性db 123中的追随信息一栏。由此，进行从第一对象物向第二对象物的变更、及从第二对象物向第一对象物的变更。
119.＜终端的动作＞
120.图16是表示终端的动作流程的示例的流程图。当通过终端2的操作部24的未图示的电源按钮的按下而终端2启动时，所述终端2的处理器21受理佩戴有终端2的用户的用户id及密码的输入。所述输入例如也可通过操作部传感器242所探测的操作部的举动而受理。并且，处理器21将所输入的用户id及密码的组经由接口23、通信线路3而送往信息处理装置1，并请求认证(步骤s101)。信息处理装置1参照存储器12的用户db 121来进行所请求的认证，并将其结果返回给终端2。
121.另外，终端2也可并非通过操作部的举动来受理密码等认证信息的输入，而是利用其他方法来受理用户的认证信息的输入。例如，终端2也可从拍摄用户的眼球而获得的图像中提取用户的虹膜信息，并作为所述用户的认证信息而送往信息处理装置1。此时，信息处理装置1只要在用户db 121中存储虹膜信息即可。
122.处理器21从信息处理装置1接收认证的结果，并判断认证是否已成功(步骤s102)。若判断为认证未成功(步骤s102；否)，则处理器21使处理返回步骤s101，重复认证的请求。
123.另一方面，若判断为认证已成功(步骤s102；是)，则处理器21从信息处理装置1获取允许终端2的用户浏览的对象物的数据(步骤s103)。
124.处理器21通过测量部26来测量终端2的位置(步骤s104)。而且，处理器21分别通过视线传感器241来探测用户的视线，通过操作部传感器242来探测用户的手、手指等操作部的举动(步骤s105)。而且，处理器21通过麦克风243来收集用户的发言(步骤s106)。
125.并且，处理器21基于指示db 224来分别解释视线、操作部及发言所进行的操作(步骤s107)，判断是否有将第一对象物变更为第二对象物的指示(步骤s108)。
126.将所述第一对象物变更为第二对象物是：将显示在不依存于头部移动的第一坐标系中经固定的位置处的第一对象物，变更为显示在与依存于头部移动的第二坐标系对应的位置处的第二对象物。即，所述变更是将第一对象物变更为显示在追随于头部的位置处的第二对象物，因此以下也称作“追随变更”。
127.若判断为有所述追随变更(步骤s108；是)，则处理器21将通过所述操作而确定的
第一对象物变更为第二对象物(步骤s109)。另一方面，若判断为无追随变更的指示(步骤s108；否)，则处理器21不进行步骤s109而将处理推进至下个步骤s110。即，所述处理器21是如下所述的处理器的示例，即，根据用户对第一对象物的操作来将所述第一对象物变更为第二对象物。
128.图17是表示用户所看到的虚拟空间的示例的图。图17所示的虚拟空间将终端2佩戴在头部的用户通过显示部25而看到的虚拟三维空间。如图17所示，在所述虚拟空间内显示为，对象物j21、对象物j22、对象物j23被载放在虚拟的作业台上。而且，在图17所示的右侧的壁上，挂着对象物j24。这些对象物是使用存储在信息处理装置1的存储器12内的属性db 123的外观数据而分别显示在虚拟空间内。
129.而且，图17所示的视点p1是在所述虚拟空间内用户的视线所集中的点。操作点p2是相当于在图17的虚拟空间内，用户的手/手指等操作部所处的场所的点。
130.例如，当用户观看对象物j21达到三秒以上时，处理器21将其解释为要将作为第一对象物的对象物j21追随变更为第二对象物的指示。并且，若在设定db 225中设定有例如通过对话来确认所解释的操作的意旨，则处理器21通过显示部25来显示确认追随变更的对话。
131.图18是表示确认追随变更的对话的示例的图。在所述对话中所含的对话窗口w1中，显示有“使所述对象物追随于面部的朝向”这一消息m1。而且，在所述消息m1之下，显示有标注了“确认”这一字符串的按钮b11与标注有“取消”这一字符串的按钮b12。
132.例如，当用户移动手/手指等操作部以使操作点p2重合于图18所示的按钮b11，并进行轻击(tap)动作等预先规定的手势时，用户观看达三秒以上的对象物j21从第一对象物变更为第二对象物。即，此时，处理器21对信息处理装置1发出所述追随变更的指示。收到所述指示的信息处理装置1的处理器11在属性db 123中，将对象物j21的追随信息一栏改写为“有”。而且，处理器21将对象物j21的数据追加到追随db 223中。
133.另外，所述实施中，指示追随变更的操作是使用用户的视线来进行，是“观看对象物j21达到三秒以上”这一内容。这是满足下述条件的操作，即，用户的视线的方向与显示对象物j21的位置处于“重合达到三秒以上”这一规定关系(称作第一关系)。即，所述示例中的指示追随变更的操作是使用用户的视线的操作的示例。并且，所述示例中的处理器21是如下所述的处理器的示例，即，当视线的方向与显示第一对象物的位置处于规定的第一关系时，将所述第一对象物变更为第二对象物。
134.图19是表示在虚拟空间中受到编辑的对象物的示例的图。当用户在图18所示的虚拟空间内利用基于视线的操作来选择对象物j21并开始编辑时，如图19所示，终端2的处理器21以可编辑的形态来显示对象物j21。
135.此处，对象物j21是“a公司合同”这一名称的文档，如图19所示，其字面以进入用户视野的方式予以显示。此时，对象物j21已从第一对象物变更为第二对象物，因此对象物j21显示在与依存于用户的头部移动的第二坐标系对应的位置。因此，当用户移动头部时，佩戴在头部的终端2也伴随于此而移动，第二坐标系发生变化，因此，第二坐标系的原点o2与第二对象物的相对位置关系得以维持。即，被变更为第二对象物的对象物j21追随于用户的头部移动，因此用户不会使对象物j21从视野v中看丢。
136.如图16所示，处理器21基于所解释的操作，来判断是否有结束所述追随变更的指
示(步骤s110)。结束追随变更的指示是将已指示了从第一对象物变更为第二对象物的“追随变更”的对象物进一步再次变更为第一对象物的指示。
137.若判断为有结束追随变更的指示(步骤s110；是)，则处理器21将通过所述操作而确定的第二对象物变更为第一对象物(步骤s111)。另一方面，若判断为无结束追随变更的指示(步骤s110；否)，则处理器21不进行步骤s111而将处理推进至下个步骤s112。
138.例如，若用户将视线从正在编辑的对象物j21移开达到一分钟以上，则处理器21将其解释为将已变更为第二对象物的对象物j21恢复为第一对象物的指示(即，结束追随变更的指示)。并且，若在设定db 225中设定有例如通过对话来确认所解释的操作的意旨，则处理器21通过显示部25来显示确认追随变更的结束的对话。
139.图20是表示确认追随变更的结束的对话的示例的图。在所述对话中所含的对话窗口w2中，显示有“结束使所述对象物追随于面部的朝向”这一消息m2。而且，在所述消息m2之下，显示有标注了“确认”这一字符串的按钮b21与标注有“取消”这一字符串的按钮b22。
140.例如，当用户移动手/手指等操作部以使操作点p2重合于图20所示的按钮b21，并进行轻击动作等预先规定的手势时，由用户所编辑且视线已移开达到一分钟以上的对象物j21由第二对象物变更为第一对象物。即，此时，处理器21向信息处理装置1发出所述追随变更的结束指示。收到所述指示的信息处理装置1的处理器11在属性db 123中，将对象物j21的追随信息一栏改写为“无”。而且，处理器21将对象物j21的数据从追随db 223中予以删除。
141.另外，所述示例中，当满足用户将视线从正在编辑的对象物j21移开达到一分钟以上这一条件(称作第一条件)时，对象物j21由第二对象物变更为第一对象物。即，所述示例中的所述处理器21是如下所述的处理器的示例，即，满足规定的第一条件时，将第二对象物变更为第一对象物。
142.处理器21确认有无追随变更的指示及追随变更的结束的指示，并根据这些指示变更了对象物后，将这些对象物显示在虚拟空间(步骤s112)。处理器21判断是否满足结束条件(步骤s113)，若判断为不满足(步骤s113；否)，则使处理返回步骤s104。另一方面，若判断为满足结束条件(步骤s113；是)，则处理器21结束处理。
143.通过所述动作，信息处理系统9的终端2对应于用户的操作，将显示在与不依存于用户的头部移动的第一坐标系对应的位置的第一对象物，变更为显示在与依存于所述头部移动的第二坐标系对应的位置的第二对象物。由此，用户通过进行使所需的第一对象物变更为第二对象物的操作，从而使经变更的第二对象物追随于自身的头部移动而显示，因此不会看丢对象物。而且，用户通过将不需要的对象物仍保持为第一对象物，从而可将所需的第二对象物与这些第一对象物区分开来认知。
144.＜变形例＞
145.以上是实施方式的说明，但所述实施方式的内容可像以下那样变形。而且，以下的变形例也可相互组合。
146.＜1＞
147.所述实施方式中，终端2具有包含cpu的处理器21，但控制终端2的控制部件也可为其他结构。例如，终端2除了cpu以外，还可具有各种处理器等。
148.此处，所谓处理器，是指广义上的处理器，包含通用的处理器(例如所述cpu等)或
专用的处理器(例如图形处理器(graphics processing unit，gpu)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)、可编程逻辑设备等)。
149.＜2＞
150.所述实施方式中的处理器的动作不仅可由一个处理器来完成，也可由位于物理上分离的位置处的多个处理器协作完成。例如，信息处理系统9具有一个信息处理装置1，但也可具有可通信地连接的多个信息处理装置1，以实现通过它们来分担功能的群集系统。
151.而且，处理器的各动作的顺序并不仅限定于所述实施方式中记载的顺序，也可适当变更。
152.＜3＞
153.所述实施方式中，终端2也可具有信息处理装置1的功能。此时，终端2也可存储在信息处理装置1的存储器12中所存储的数据库等。此时，终端2也可不经由通信线路3而与其他终端2连接，终端2通过存储器22来存储的对象物也可不与其他终端2的用户共享。
154.＜4＞
155.所述实施方式中，终端2的处理器21受理使第一对象物追随变更为第二对象物的指示、及使第二对象物恢复为第一对象物而结束追随变更的指示，但也可受理对第二对象物的显示形态进行变更的指示。
156.图21是表示对第二对象物的显示变更形态的情况的图。例如，用户指示追随变更，并对开始了编辑的对象物j21进行变更所述显示的倍率的指示。所述指示例如是通过下述方式来进行，即，用户使操作点p2移动到对象物j21的右下角来进行规定的手势，进而使所述操作点p2移动。处理器21只要解释所述操作，变更对象物j21的显示倍率，以使对象物j21的右下角重合于移动后的操作点p2即可。
157.而且，在用户能够对多个操作点p2进行操作的情况下，也可进行使这些操作点彼此靠近或远离的、所谓的捏合(pinch in)、捏放(pinch out)等操作，以发出对第二对象物的显示倍率进行变更的指示。而且，终端2除了第二对象物的显示倍率的变更以外，也可受理对第二对象物的显示形态进行变更的操作。此时，终端2例如受理对第二对象物的颜色或框等的装饰进行变更的指示。
158.而且，对第二对象物的显示形态进行变更的操作也可使用视线来进行。例如，用户也可将视线集中到第二对象物的四角中的任一个达到规定的时间以上，随后使所述视线移动，由此来变更第二对象物的显示倍率。此时，用户所进行的操作可为满足下述条件的操作，即，用户的视线相对于第二对象物的方向与显示第二对象物的位置处于规定的关系(称作第二关系)。即，所述处理器21是如下所述的处理器的示例，即，当用户的视线相对于第二对象物的方向与显示第二对象物的位置处于规定的第二关系时，变更所述第二对象物的显示形态。
159.另外，在变更了显示形态后，所述第二对象物仍为第二对象物。因此，即使用户移动头部，图21所示的倍率经变更的对象物j21仍恢复容纳在用户的视野内。
160.图22是表示用户改变头部的朝向时所看到的虚拟空间的图。若在观察图21所示的虚拟空间时，用户使自身头部的朝向偏向左，则对象物j22、对象物j23、对象物j24等第一对象物由于显示在与不依存于用户的头部移动的第一坐标系对应的位置，因此用户的视野中
心即原点o2与它们的相对位置将会发生变化。因此，它们中的任一个有时会移动到用户的视野之外而用户看不到。
161.另一方面，变更为第二对象物的对象物j21是显示在与依存于用户的头部移动的第二坐标系对应的位置。因此，用户的视野中心即原点o2与对象物j21的相对位置不变，用户不会看丢对象物j21。
162.＜5＞
163.所述实施方式中，由用户从第一对象物变更为第二对象物的只有对象物j21，但终端2也可对多个对象物进行追随变更。而且，在使多个对象物追随变更的情况下，终端2也可对应于第二对象物的数量来使显示它们的大小发生变化。
164.图23是表示对应于数量来决定大小的第二对象物的示例的图。当用户除了对象物j21以外，对于对象物j22也发出追随变更的指示时，终端2的处理器21基于视野的高度h1与它们的数量(即“2”)来决定它们的高度h2。
165.即，处理器21将视野的高度h1除以由第一对象物变更为第二对象物的对象物j21及对象物j22的数量即2，由此来决定这些对象物各自的高度h2即可。此时，处理器21是如下所述的处理器的示例，即，对应于第二对象物的数量来使第二对象物的大小变化而显示。由此，即使第二对象物沿纵向排列，各自的高度h2的合计也不会超过视野的高度h1，因此多个第二对象物不会彼此重叠。
166.另外，所述示例中，将使规定的高度h1除以第二对象物的数量所得的值决定为各个第二对象物的高度h2，因此第二对象物的数量越多，则第二对象物将被显示得越小。即，此时，处理器21是如下所述的处理器的示例，即，第二对象物的数量越多，则使第二对象物各自显示得越小。
167.而且，所述示例中，第二对象物的数量越多，则处理器21使第二对象物各自显示得越小，但为了便于用户掌握第二对象物的内容，也可相反地，第二对象物的数量越多，则使第二对象物各自显示得越大。
168.＜6＞
169.所述变形例中，终端2的处理器21将多个第二对象物以不彼此重合的方式而排列，但也可以其他形态来排列。例如，处理器21也可将多个第二对象物以规定的顺序而重叠地排列。而且，处理器21也可对应于第二对象物的数量来使排列显示第二对象物的形态发生变化。
170.图24是表示因数量成为阈值以上而显示的规则发生了变化的第二对象物的示例的图。当用户除了对象物j21、对象物j22以外，对于对象物j23也发出追随变更的指示时，第二对象物的数量变为3。若预先设定的阈值为3，则第二对象物的数量成为阈值以上，因此终端2的处理器21不采用图23所示的、以彼此重叠的方式来排列第二对象物的规则，而是采用以规定的顺序来重叠第二对象物的规则，来显示这些第二对象物。此时，所述处理器21是如下所述的处理器的示例，即，当第二对象物的数量为规定的阈值以上时，按照与所述数量小于阈值时不同的规则来显示第二对象物。
171.而且，所述处理器21是如下所述的处理器的示例，即，当第二对象物的数量小于阈值时，将第二对象物以不相互的重叠的方式予以配置而显示，当第二对象物的数量为阈值以上时，将第二对象物重叠配置而显示。
172.另外，列举了当第二对象物的数量为阈值以上时，将第二对象物重叠配置的实施例，但不需要限于此。例如，处理器21也可当第二对象物的数量为阈值以上时，缩小第二对象物的大小而将其排列显示，当第二对象物的数量小于阈值时，不使第二对象物的大小发生变化而将其排列显示。
173.＜7＞
174.所述实施方式中，用户通过观看第一对象物达到三秒以上，从而发出将所述第一对象物变更为第二对象物的追随变更的指示，但也可通过其他操作来发出所述指示。例如，用户也可通过进行对第一对象物进行编辑的操作，即，对其内容进行变更的操作，从而发出将第一对象物变更为第二对象物的指示。此时，指示所述追随变更的操作是对第一对象物的内容进行变更的操作。
175.＜8＞
176.终端2的处理器21在有执行比正在执行中的第一处理优先的第二处理的意旨的指示时，也可进行中断第一处理而执行第二处理的中断处理。此时，处理器21在执行第二处理的期间，也可展缓第二对象物的显示。
177.图25是表示有中断时所显示的对话的示例的图。例如，在警报的告知或邮件等的通知被规定为比编辑对象物的第一处理优先的第二处理的情况下，终端2的处理器21以邮件等的接收为契机而进行中断。
178.此时，处理器21使图25所示的对话显示于显示部25。在所述对话中所含的对话窗口w3中，显示有“暂停使所述对象物追随于面部的朝向”这一消息m3。而且，在所述消息m3之下，显示有标注了“确认”这一字符串的按钮b31与标注有“取消”这一字符串的按钮b32。
179.例如，当用户移动手/手指等操作部以使操作点p2重合于图25所示的按钮b31，并进行轻击动作等预先规定的手势时，经用户追随变更的对象物j21暂停显示。即，所述对象物j21不再显示于与第二坐标系对应的位置，因此也会产生下述情况，即，移动到未容纳在用户视野内的位置。
180.另一方面，当邮件等的通知等第二处理完成时，终端2的处理器21伴随中断的结束，使用于将恢复第二对象物的显示的意旨传达给用户的对话显示于显示部25。
181.图26是表示中断结束时所显示的对话的示例的图。在所述对话中所含的对话窗口w4中，显示有“恢复使所述对象物追随于面部的朝向”这一消息m4。而且，在所述消息m4之下，显示有标注了“确认”这一字符串的按钮b41与标注了“取消”这一字符串的按钮b42。
182.例如，当用户移动手/手指等操作部以使操作点p2重合于图26所示的按钮b41，并进行轻击动作等预先规定的手势时，经用户追随变更的对象物j21将恢复显示。即，所述对象物j21显示在与第二坐标系对应的位置，因此容纳在用户的视野内，用户不会看丢。
183.此时，所述处理器21是如下所述的处理器的示例，即，在有执行比正在执行中的第一处理优先的第二处理的指示时，暂停第二对象物的显示，当第二处理完成时，恢复所暂停的第二对象物的显示。
184.另外，终端2暂停第二对象物的显示并不限于进行中断处理时。例如，终端2也可在所述虚拟空间内设置暂停按钮。此时，终端2也可在用户移动手/手指等操作部以使操作点重合于所述暂停按钮时，暂停第二对象物的显示。因此，只要当满足预先规定的条件(称作第二条件)时，处理器21暂停第二对象物的显示即可。
185.而且，终端2恢复第二对象物的显示并不限于中断处理完成时。例如，终端2也可在所述虚拟空间内设置恢复按钮。此时，终端2也可在用户移动手/手指等操作部以使操作点重合于所述恢复按钮时，恢复第二对象物的显示。因此，只要当满足预先规定的条件(称作第三条件)时，处理器21恢复第二对象物的显示即可。
186.即，所述处理器21是如下所述的处理器的示例，即，当满足规定的第二条件时，暂停第二对象物在虚拟空间内的与第二坐标系对应的位置处的显示，当满足规定的第三条件时，恢复所暂停的第二对象物的显示。
187.＜9＞
188.所述实施方式中，由信息处理装置1的处理器11所执行的程序是如下所述的程序的示例，即，所述程序使具有处理器的计算机执行下述步骤：在用户所认知的虚拟空间内，使第一对象物显示在与不依存于用户的头部移动的第一坐标系对应的位置；在虚拟空间内，使第二对象物显示在与依存于用户的头部移动的第二坐标系对应的位置；以及对应于用户对第一对象物的操作，将第一对象物变更为第二对象物。
189.所述程序能以存储在磁带及磁盘等磁记录介质、光盘等光记录介质、光磁记录介质、半导体存储器等计算机装置可读取的记录介质中的状态而提供。而且，所述程序也可经由国际互联网等通信线路来下载。