图像显示装置的制作方法

1.本发明涉及利用了混合现实空间(mr：mixed reality)的图像显示装置。


背景技术：

2.公知有使用mr技术将图像与位于现实空间的物体进行合成的技术。例如，在专利文献1中，记载了现实空间图像与虚拟空间图像的重叠描绘。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2008-293209号公报


技术实现要素：

6.发明要解决的课题
7.近年来，考虑使用mr技术，在建筑物的施工阶段，将装饰材料等的图像数据仅与骨架、仅与梁等结构物进行合成，由此想要使成品的掌握变得容易。
8.但是，难以在结构物上进行该图像数据的位置对准的情况较多。一般来说，考虑在结构物上附加标记，由此进行图像数据的位置对准。在该情况下，当佩戴了mr护目镜等能够观察mr空间的护目镜的用户移动而远离附加有该标记的结构物时，结构物与图像数据之间的位置对准产生偏差。因此，也考虑在结构物的各处配置与该位置对应的标记，但设定与位置对应的标记以及该配置非常费事。
9.因此，为了解决上述的课题，其目的在于提供一种能够简单地校正混合空间中用户移动时所产生的位置对准的偏差的图像显示装置。
10.用于解决课题的手段
11.本发明的图像显示装置针对位于现实空间的合成对象物合成预定的图像并进行显示，其中，该图像显示装置具有：存储部，其存储表示所述合成对象物中的各部分的位置关系的设计数据；显示部，其生成将所述合成对象物的一个部分作为基准位置合成预定的图像而得的合成图像并进行显示；以及校正部，其校正由于所述用户移动而产生的所述预定的图像与所述合成对象物的偏差，所述校正部使用所述设计数据和所述用户相对于所述合成对象物的自身位置，取得所述合成对象物的所述一个部分中的作为校正处理用的基准位置的坐标修改位置，根据该坐标修改位置，校正所述预定的图像的合成位置。
12.发明效果
13.根据本发明，能够简单地校正混合现实空间中的位置对准的偏差。
附图说明
14.图1示出本实施方式中的结构物即钢筋骨架t的图、以及在该钢筋骨架t中合成了柱的图像数据g的图。
15.图2是关于坐标修改位置的说明图。
16.图3是示出使用了坐标修改位置的合成处理的说明图。
17.图4是示出图像显示装置100的功能结构的框图。
18.图5是示出图像显示装置100的动作的流程图。
19.图6是示出处理s101的详细动作的流程图。
20.图7是示出校正处理部102中的自身位置姿势估计结果的选定处理以及校正处理的详细处理的流程图。
21.图8是示出从坐标修改位置候选中选定要利用的坐标修改位置的处理的流程图。
22.图9是示出校正处理部102中的坐标修改位置的偏差的计算处理的流程图。
23.图10是示出计算图像数据g与钢筋骨架t的位置偏差时的其他处理的流程图。
24.图11是示出本公开的一个实施方式的图像显示装置100的硬件结构的一例的图。
具体实施方式
25.参照附图说明本发明的实施方式。在可能的情况下，对相同的部分标注相同的标号，并省略重复的说明。
26.图1是示出本实施方式中的结构物即钢筋骨架t的图、以及在该钢筋骨架t中合成了表示是柱的装饰材料的图像数据g的图。图1示出佩戴了本实施方式的图像显示装置即mr护目镜的用户能够看到的图。图1的(a)是示出装饰材料的图像数据g的合成前的、存在于现实空间的结构物即钢筋骨架t的图。在图1中，钢筋骨架t由钢筋骨架t～tn构成。在图1中，示出了直到钢筋骨架t9，但当然也可以存在直到钢筋骨架tn(n为自然数)。关于图像数据gn(n为自然数，例如为g1～g9)也同样如此。
27.另外，在本实施方式中，将柱设为了钢筋骨架，但柱不限于钢筋骨架，也可以是混凝土柱，还可以是被装饰材料覆盖的状态。作为合成并进行显示的图像，不限于装饰材料，也可以是管道、布线或家具等。
28.图1的(b)是通过用于装饰的装饰材料覆盖实际的钢筋骨架t的状态的图，是在混合现实空间中将表示该装饰材料的图像数据g与钢筋骨架t进行了合成时的图。表示钢筋骨架t1～tn的位置以及大小等的设计数据、以及装饰材料的图像数据g1～gn是预先存储的。图像数据g是由图像数据g1～gn构成的三维图像。多个装饰材料的图像数据g1～gn是结合钢筋骨架t1～tn的位置而预先进行关联的。
29.后述的与坐标修改位置对应的修改对应部位被设定在各图像数据gn中。例如，当使装饰材料的图像数据g1的修改对应部位与被设定在钢筋骨架t1上的坐标修改位置进行位置对准而合成时，其他装饰材料的图像数据g2也被位置对准在对应的钢筋骨架t2上。其他装饰材料的图像数据gn等也同样地被位置对准在对应的钢筋骨架tn上。但是，存在图像数据g2等的修改对应部位与被设定在钢筋骨架t2等上的坐标修改位置的位置对准包含误差的情况。
30.在钢筋骨架t与装饰材料的图像数据g最初被位置对准时，例如通过在钢筋骨架t1的预定位置上附加图像数据g1用的初始标记来进行位置对准。由于图像数据g2等构成了位置关系被相互固定的图像数据g，因此针对其他钢筋骨架t2等，也自动地进行位置对准。另外，由于图像数据g是三维图像，因此该图像数据g根据用户观察钢筋骨架t的方向而旋转。这样，根据初始标记进行位置对准，由此能够进行全部钢筋骨架t1～tn与图像数据g1～gn
的位置对准。
31.对位置对准进一步详细地进行说明。图2说明坐标修改位置。在图1中，仅说明了进行位置对准。如图2所示，钢筋骨架t1在4个方向上分别具有面。装饰材料的图像数据g1以一个该面为基准进行位置对准。坐标修改位置表示钢筋骨架t的位置与装饰材料的图像数据g的位置对准用的基准位置。
32.图2的(a)是从钢筋骨架t的上表面观察的示意图。在本实施方式中，该钢筋骨架t是将定位轴线的交点c置于其中心的棱柱，其截面为四边形。这里，着眼于钢筋骨架t1。在钢筋骨架t1的各个面上设定有坐标修改位置s11～s14。
33.当用户一边观察钢筋骨架t1一边移动时，其他钢筋骨架t2～t4(装饰材料k2～k4)与装饰材料的图像数据g2～g4的位置产生偏差。因此，在产生了偏差的情况下，需要修改该偏差。即，当用户一边观察钢筋骨架t1一边移动时，最初设定的基准标记从视野消失，由此不能再进行基于该基准标记的位置角度的跟踪，进行基于slam的自身位置姿势估计的跟踪。该自身位置姿势估计由于移动而产生估计误差。
34.在本实施方式中，确定距用户最近的钢筋骨架t及其坐标修改位置s，由此确定作为修改基准的钢筋骨架t。
35.图2的(b)是示出佩戴了作为mr护目镜的图像显示装置100的用户u移动时的距用户u最近的钢筋骨架t2以及坐标修改位置s21～s24的图。在本实施方式中，图像显示装置100能够利用公知的自身位置估计技术而掌握用户u相对于钢筋骨架t位于哪个位置及其相对准置关系。
36.通过用户u观察钢筋骨架t2，图像显示装置100决定将距用户u最近的钢筋骨架t2的坐标修改位置s21～s24中的哪一个设为修改基准。如图3的(a)所示，图像显示装置100选择用户u的视线方向(这里相当于图像显示装置中的摄像头的拍摄方向)的反方向矢量与钢筋骨架t的表面的法线矢量为预定角度以内的坐标修改位置s。
37.进而，根据由深度传感器测量出的到钢筋骨架t的距离，计算被定义在钢筋骨架t的面上的实际的坐标修改位置(图3的(b))。深度传感器不限于从正面对钢筋骨架t进行测量。因此，将坐标修改位置校正为钢筋骨架t的表面的预定位置(例如中央部)。
38.然后，根据该坐标修改位置进行使图像数据g的修改对应部位sh2偏移的处理(图3的(c))。图像数据g2与和各坐标修改位置s相关联的修改对应部位信息(在图3中为位置s22)以及图像数据g中的相对位置信息进行关联。即，各图像数据g的各面与用于与被设定在各钢筋骨架t的各面上的坐标修改位置进行位置对准的基准位置进行关联。使该修改对应部位sh2与坐标修改位置s12位置对准，由此能够进行图像数据g与钢筋骨架t的位置对准。
39.用户u通过进行这种处理，能够一边移动一边看到钢筋骨架t被装饰材料的图像数据g覆盖的状态。另外，在图2和图3中，钢筋骨架t的截面为四边形，但不限于此。也可以是圆形、其他多边形，只要将钢筋骨架t的坐标修改位置与装饰材料的图像数据g的修改对应部位进行关联即可。
40.接着，对本实施方式的图像显示装置100的功能结构进行说明。图4是示出图像显示装置100的功能结构的框图。如图所示，图像显示装置100构成为包含摄像头101、校正处理部102(校正部)、存储部103、显示部104、深度传感器105(传感器部)、计算处理部106和自
身位置姿势估计部107。该图像显示装置100是被称为所谓mr护目镜的装置，是头戴式显示器型的装置。用户将该图像显示装置100佩戴于头部，由此能够经由显示部104观察摄像头101拍摄到的影像。在视频透视型的头戴式显示器中，用户通过将该图像显示装置100佩戴于头部，能够经由显示部104观察摄像头101拍摄到的影像。此外，本实施方式不限于这些方式，在光学透视型的装置(例如透过玻璃观察钢筋骨架)中，也能够同样地实现。
41.摄像头101是拍摄用户观察到的现实空间的部分。
42.校正处理部102是在混合现实空间中针对摄像头101拍摄到的影像合成作为虚拟空间部件的图像数据的部分。这里，进行用于将表示装饰材料的图像数据g与钢筋骨架t进行合成的处理以及位置偏差时的校正处理。
43.存储部103是存储钢筋骨架t等结构物的设计数据以及表示针对该结构物的装饰材料的图像数据g的部分。设计数据是表示各钢筋骨架t的大小、相互间隔等的信息。此外，图像数据g除了装饰材料的图像以外，还具有表示与钢筋骨架t(特别是坐标修改位置等)的对应关系的信息。
44.显示部104是显示摄像头101拍摄到的影像的部分。显示部104在由校正处理部102针对钢筋骨架t合成了图像数据g的情况下，显示该合成后的影像。
45.深度传感器105是测量用户u与钢筋骨架t之间的距离的传感器。
46.计算处理部106是根据存储部103中所存储的设计数据来计算图像显示装置100相对于结构物(钢筋骨架t)的相对位置关系的初始位置以及每当用户移动时产生的钢筋骨架t与图像数据g的位置偏差的部分。
47.自身位置姿势估计部107是根据由摄像头101拍摄到的影像来估计摄像头101拍摄而显示出的现实空间中的位置和图像显示装置100的姿势的变化的部分。自身位置姿势估计部107根据由计算处理部106计算出的初始位置、这时的初始标记的图像以及当前拍摄到的钢筋骨架t，从拍摄到的影像中掌握看到钢筋骨架t的方向及该相对距离，由此能够估计相对于钢筋骨架t的相对当前位置关系(当前位置)。该自身位置姿势估计部107是公知技术。例如能够通过slam(simultaneous localization and mapping：同步定位与地图构建)来实现。另外，作为自身位置姿势估计功能，不限于上述内容，也可以使用gps、其他传感器进行自身位置估计。
48.对以这样的方式构成的图像显示装置100的动作进行说明。图5是示出该动作的流程图。
49.计算处理部106根据存储部103中所存储的设计数据，计算各钢筋骨架t中的坐标修改位置s，并存储到存储部103(s101)。
50.接着，计算处理部106进行自身位置姿势估计部107的初始位置的计算，掌握钢筋骨架t的位置关系(s102)。
51.当用户移动时(s103)，自身位置姿势估计产生误差(s104)。
52.然后，校正处理部102根据自身位置姿势估计部107估计出的自身位置，从坐标修改位置候选中选定作为基准的坐标修改位置。然后，校正处理部102根据自身位置估计结果(自身位置)和选定出的坐标修改位置，校正装饰材料的图像数据g的位置(s105)。反复进行该s103～s106，直到程序结束(s106)。
53.图6是示出处理s101的详细动作的流程图。计算处理部106参照存储部103，读入建
筑物(钢筋骨架t)的设计数据(s201)。计算处理部106根据层高信息和定位轴线信息，计算坐标修改位置(s202)。这里，层高信息表示建筑物的层数及其高度。定位轴线信息是表示钢筋骨架的中心线的信息，表示该建筑物内的坐标。坐标修改位置是指用于合成装饰材料的图像数据g的作为基准的位置，这里，表示根据在被定义在定位轴线的交点c上的坐标修改位置的坐标及其高度而求出的三维坐标。
54.计算处理部106将使坐标修改位置在高度方向上偏移了y米后的位置设为坐标修改位置(s203)。该处理是为了对准与人的视线一致的位置。
55.计算处理部106判断最终的坐标修改位置是否位于墙壁或柱等的钢筋骨架t中(s204)。例如，定位轴线的交点的坐标(水平方向上的坐标)被判断为位于钢筋骨架t的内侧。在钢筋骨架t被埋入墙壁中的情况下，也是同样如此。这些信息是根据设计数据中所包含的钢筋骨架t的大小及其配置来判断的。
56.计算处理部106在判断为在钢筋骨架t中具有坐标修改位置的情况下，在以定位轴线的交点为中心的4个方向上对坐标修改位置进行分裂，计算设计数据上的与钢筋骨架t的表面相交的交点作为坐标修改位置，并进行设定(s205)。
57.计算处理部106将基于这些处理而计算出的坐标修改位置存储到存储部103(s206)。存储部103按照每个钢筋骨架t(钢筋骨架t1～tn)将与该钢筋骨架t相关联的装饰材料的识别信息、装饰材料的配置位置(相对位置信息)、与针对每个钢筋骨架t而设定的坐标修改位置对应的装饰材料的图像数据g中的修改对应部位以及装饰材料的图像数据g(图像数据g1～gn)进行关联而存储。即，存储部103存储各种信息，以针对钢筋骨架t的各坐标修改位置关联上合成哪个图像数据g(g1～gn)。
58.接着，对处理s105的详细处理进行说明。图7是示出校正处理部102中的、自身位置姿势估计结果的选定处理以及校正处理的详细处理的流程图。
59.校正处理部102从存储部103中所存储的坐标修改位置候选中进行作为基准的坐标修改位置的选定(s301)。在有候选的情况下，校正处理部102根据所选定的坐标修改位置，对表示是坐标修改位置的消息信息进行重叠，显示部104显示该意思(s303)。
60.校正处理部102进行坐标修改位置与实际空间中的坐标的偏差的计算(s304)。即，校正处理部102计算所指定的钢筋骨架t中的坐标修改位置与作为合成对象的装饰材料的图像数据g的位置偏差。例如，在图3的(b)中，深度传感器105计测到使定位轴线的交点c2的高度偏移了y后的位置处的钢筋骨架t的表面(坐标修改位置)为止的距离。校正处理部102根据该距离，计算坐标修改位置的实际位置。另一方面，校正处理部102求出装饰材料的图像数据g2的位置(设为应与坐标修改位置进行位置对准的位置，这里设为修改对应部位)，计算该差，作为位置偏差(误差)。由于坐标修改位置是在高度方向上偏移了y后的位置，横向上位于钢筋骨架的厚度的中心位置，因此可以通过计算而确定该位置，也可以使用本装置所具有的用户输入功能通过用户的指示来确定。
61.校正处理部102在计算出位置偏差(偏差为预定值以上等)的情况下(s305：是)，根据该偏差量，修改图像数据g的重叠位置(s306)。
62.接着，对图7中的处理s301的详细处理进行说明。图8是示出从坐标修改位置候选中选定要利用的坐标修改位置的处理的流程图。
63.校正处理部102从存储部103读入钢筋骨架t中的坐标修改位置(s401)，并且取得
基于自身位置姿势估计部107的自身位置姿势估计的结果(相对于钢筋骨架t的相对自身位置信息)(s402)。
64.校正处理部102根据自身位置姿势估计结果，提取位于自身位置的附近(预定范围)的多个坐标修改位置s(s403)。此外，校正处理部102根据自身位置姿势估计结果，计算用户朝向钢筋骨架t的方向n1(s404)。即，自身位置姿势估计部107计算各钢筋骨架t的表面的法线n2的方向矢量与方向n1的反方向矢量所成的角度。
65.校正处理部102排除具有该角度为φ度以上的坐标修改位置的面。即，在用户从倾斜方向观察钢筋骨架t的表面的情况下，排除这些钢筋骨架t的表面上的坐标修改位置(s405)。
66.校正处理部102判断最近的坐标修改位置s与第二近的坐标修改位置s之间的距离是否小于预定距离(s406)。在小于预定距离的情况下，判断为无候选(s408)，在为预定距离以上的情况下，选择位于最近的坐标修改位置s(s407)。
67.校正处理部102通过该处理，选择一个坐标修改位置s。
68.接着，针对图7中的处理s304，说明该详细处理。图9是示出校正处理部102中的坐标修改位置的偏差的计算处理的流程图。图9示出按照钢筋骨架t的各部分使用了基准标记的处理。
69.当摄像头101拍摄到的图像中拍摄有基准标记的情况下，校正处理部102根据由自身位置姿势估计部107估计出的自身位置，计算基准标记的位置p1(s501、s502)。校正处理部102事先具有基准标记的形状、大小等信息，能够根据摄像头101拍摄到的基准标记的影像，判断从哪个方向、从多远的距离进行了拍摄。
70.此外，校正处理部102取得当前显示的装饰材料的图像数据gn中的、与钢筋骨架t的坐标修改位置对应的修改对应部位即位置p2(s503)。校正处理部102掌握各图像数据gn中的、与钢筋骨架t的坐标修改位置对应的修改对应部位及其位置，取得预定对位置p1的附近进行合成的图像数据gn中的与坐标修改位置对应的修改对应部位的位置信息。
71.校正处理部102计算位置p1与位置p2的差分作为估计误差(s504)。
72.伴随用户移动，图像数据g与钢筋骨架t之间产生偏差。这是因为，首先使用初始标记对图像数据g与钢筋骨架t进行位置对准，但难以将位置完全对准到该细节部位，并且slam的位置姿势估计误差伴随移动而被蓄积。因此，存在偏差伴随用户移动而增大的情况。上述处理是计算该偏差时的处理。
73.上述图9是使用了基准标记的处理，但也可以不利用基准标记。图10是示出计算图像数据g与钢筋骨架t的位置偏差时的其他处理的流程图。
74.深度传感器105在接收到坐标修改位置的坐标输入时(s601：是)，计算到位于摄像头101的拍摄方向(用户的视线方向)的钢筋骨架t上的坐标修改位置为止的距离，计算位置p1(s602)。此外，校正处理部102取得当前显示的图像数据g中的、与钢筋骨架t的坐标修改位置对应的修改对应部位即位置p2(s603)。校正处理部102计算位置p1与位置p2的差分作为估计误差(s604)。
75.由此，能够在不使用基准标记的情况下，计算位置p1，并计算基于该位置p1的位置偏差。
76.接着，对本实施方式的一个方式中的作用效果进行说明。本实施方式的一个方式
中的图像显示装置100是针对具有由摄像头101拍摄并位于用户的视野中的多个部分部件即钢筋骨架t1～tn的、作为合成对象物的钢筋骨架t合成预定的图像数据g(包含图像数据g1～gn)而进行显示的装置。该图像显示装置100具有：存储部103，其存储作为合成对象物的钢筋骨架t的设计数据；显示部104，其生成根据钢筋骨架t的一个部分(例如钢筋骨架t1等)中的基准位置(基准标记或坐标修改位置)合成表示预定的装饰材料的图像数据g而得的合成图像并进行显示；以及校正处理部102，其在由于用户u移动而产生的所述用户的视野中的图像数据g与钢筋骨架t产生偏差时，校正该偏差。
77.该校正处理部102使用存储部103所存储的设计数据和用户u相对于钢筋骨架t的自身位置，从作为部分部件的钢筋骨架t1等中取得作为校正处理用的基准位置的坐标修改位置s。
78.校正处理部102根据该一个坐标修改位置s，进行图像数据g的位置对准，由此进行校正。
79.通过该处理，能够在不附加与钢筋骨架t的各部分(钢筋骨架t1～tn)对应的标记的情况下，确定是哪个钢筋骨架tn，能够对表示与该钢筋骨架tn对应的装饰材料的图像数据gn进行合成。
80.在该图像显示装置100中，校正处理部102在取得作为校正处理用的基准位置的坐标修改位置时，取得多个坐标修改位置，从多个坐标修改位置中选择对于用户u的自身位置满足预定条件(例如最近)的一个坐标修改位置。
81.由此，能够选择更适当的坐标修改位置。
82.此外，在本实施方式中，预定的图像数据g表示被配置为覆盖作为合成对象物的钢筋骨架t的装饰材料(覆盖部件)。
83.由此，能够进行钢筋骨架t与图像数据g的位置对准，用户能够看到，作为包括装饰材料的建筑物。
84.此外，在本实施方式中，钢筋骨架t由多个面构成。例如，该截面为四边形。坐标修改位置被定义在该多个面上。然后，校正处理部102在选择一个坐标修改位置s时，选择被定义在多个钢筋骨架t的表面中的、相对于从用户u的自身位置向钢筋骨架t的各表面的朝向具有预定角度的面上的坐标修改位置。
85.由此，能够选择更适当的坐标修改位置，由此能够更准确地进行图像数据的合成。
86.此外，在该图像显示装置100中，校正处理部102选择距用户u最近的坐标修改位置作为一个坐标修改位置。由此，能够选择适当的坐标修改位置。
87.此外，该图像显示装置100还具有深度传感器105，该深度传感器105计测到钢筋骨架t的距离。校正处理部102使用由深度传感器105测量出的距离，计算实际的坐标修改位置。然后，校正处理部102计算该实际的坐标修改位置与和校正前所合成的图像数据g中的坐标修改位置s对应的位置的偏差，并根据偏差进行校正。
88.此外，图像显示装置100具有识别附加在合成对象物上的标记的识别部(未图示)。校正处理部102根据识别出的标记的位置，计算实际的坐标修改位置。然后，校正处理部102计算实际的坐标修改位置与和校正前所合成的图像数据g中的坐标修改位置对应的位置的偏差，并根据该偏差进行校正。
89.能够根据这些偏差进行校正。
90.上述实施方式的说明中使用的框图示出了以功能为单位的块。这些功能块(结构部)通过硬件和软件中的至少一方的任意组合来实现。此外，对各功能块的实现方法没有特别限定。即，各功能块可以使用物理地或逻辑地结合而成的一个装置来实现，也可以将物理地或逻辑地分开的两个以上的装置直接或间接地(例如，使用有线、无线等)连接，使用这些多个装置来实现。功能块也可以通过将软件与上述一个装置或上述多个装置组合来实现。
91.功能具有判断、决定、判定、计算、算出、处理、导出、调查、搜索、确认、接收、发送、输出、接入、解决、选择、选定、建立、比较、设想、期待、视作、广播(broadcasting)、通知(notifying)、通信(communicating)、转发(forwarding)、配置(configuring)、重新配置(reconfiguring)、分配(allocating、mapping)、分派(assigning)等，但不限于这些。例如，发挥发送功能的功能块(结构部)称为发送部(transmitting unit)或发送机(transmitter)。总之，如上所述，对实现方法没有特别限定。
92.例如，本公开的一个实施方式中的图像显示装置100也可以作为进行本公开的图像处理方法的处理的计算机发挥功能。图11是示出本公开的一个实施方式的图像显示装置100的硬件结构的一例的图。上述的图像显示装置100可以构成为在物理上包含处理器1001、内存1002(memory)、存储器1003(storage)、通信装置1004、输入装置1005、输出装置1006和总线1007等的计算机装置。
93.另外，在下面的说明中，“装置”这一措辞可以替换为“电路”、“设备(device)”、“单元(unit)”等。图像显示装置100的硬件结构既可以构成为包含一个或多个图示的各装置，也可以构成为不包含一部分的装置。
94.图像显示装置100中的各功能通过如下方法实现：在处理器1001、内存1002等硬件上读入预定的软件(程序)，从而处理器1001进行运算，并控制通信装置1004的通信，或者控制内存1002和存储器1003中的数据的读出和写入中的至少一方。
95.处理器1001例如使操作系统工作而对计算机整体进行控制。处理器1001也可以由包含与外围设备的接口、控制装置、运算装置、寄存器等的中央处理装置(cpu：central processing unit)构成。例如，上述的校正处理部102、计算处理部106、自身位置姿势估计部107等也可以通过处理器1001来实现。
96.此外，处理器1001从存储器1003和通信装置1004中的至少一方向内存1002读出程序(程序代码)、软件模块、数据等，并据此执行各种处理。作为程序，使用使计算机执行在上述的实施方式中所说明的动作的至少一部分的程序。例如可以通过存储在内存1002中并在处理器1001中进行工作的控制程序实现图像显示装置100的校正处理部102，也可以同样地实现其他功能块。虽然说明了通过一个处理器1001执行上述的各种处理，但也可以通过两个以上的处理器1001同时或依次执行上述的各种处理。处理器1001也可以通过一个以上的芯片来安装。另外，程序也可以经由电信线路从网络发送。
97.内存1002是计算机可读取的记录介质，例如也可以由rom(read only memory：只读存储器)、eprom(erasable programmable rom：可擦除可编程只读存储器)、eeprom(electrically erasable programmable rom：电可擦可编程只读存储器)、ram(random access memory：随机存取存储器)等中的至少一种构成。内存1002也可以称为寄存器、高速缓存、主存储器(主存储装置)等。内存1002能够保存为了实施本公开的一个实施方式所涉及的图像处理方法而能够执行的程序(程序代码)、软件模块等。
98.存储器1003是计算机可读取的记录介质，例如可以由cd-rom(compact disc rom：光盘只读存储器)等光盘、硬盘驱动器、软盘、磁光盘(例如，压缩盘、数字多用途盘、blu-ray(注册商标)盘、智能卡、闪存(例如，卡、棒、键驱动(key drive))、floppy(注册商标)盘、磁条等中的至少一种构成。存储器1003也可以称为辅助存储装置。上述的存储介质例如也可以是包括内存1002和存储器1003中的至少一方的数据库、服务器以及其他适当的介质。
99.通信装置1004是用于经由有线网络和无线网络中的至少一方进行计算机之间的通信的硬件(收发设备)，例如也称作网络设备、网络控制器、网卡、通信模块等。通信装置1004例如为了实现频分双工(fdd：frequency division duplex)和时分双工(tdd：time division duplex)中的至少一方，也可以构成为包含高频开关、双工器、滤波器、频率合成器等。
100.输入装置1005是受理来自外部的输入的输入设备(例如，键盘、鼠标、麦克风、开关、按键、传感器等)。输出装置1006是实施向外部的输出的输出设备(例如，显示器、扬声器、led灯等)。另外，输入装置1005和输出装置1006也可以一体地构成(例如，触摸面板)。
101.此外，处理器1001、内存1002等各装置通过用于对信息进行通信的总线1007来连接。总线1007可以使用单一的总线来构成，也可以按照每个装置间使用不同的总线来构成。
102.此外，图像显示装置100可以构成为包含微处理器、数字信号处理器(dsp：digital signal processor)、asic(application specific integrated circuit：专用集成电路)、pld(programmable logic device：可编程逻辑器件)、fpga(field programmable gate array：现场可编程门阵列)等硬件，也可以通过该硬件来实现各功能块的一部分或全部。例如，处理器1001也可以使用这些硬件中的至少一个来实现。
103.对于本公开中所说明的各形式/实施方式的处理过程、时序、流程等，在不矛盾的情况下，可以更换顺序。例如，对于本公开中所说明的方法，使用例示的顺序提示各种步骤的要素，但不限于所提示的特定的顺序。
104.所输入或输出的信息等可以保存在特定的位置(例如，内存)，也可以使用管理表来管理。输入或输出的信息等可以重写、更新或追记。所输出的信息等也可以被删除。所输入的信息等还可以向其他装置发送。
105.判定可以通过1比特所表示的值(0或1)来进行，也可以通过布尔值(boolean：true或false)来进行，还可以通过数值的比较(例如，与预定值的比较)来进行。
106.本公开中所说明的各形式/实施方式可以单独使用，也可以组合使用，还可以根据执行来切换使用。此外，预定信息的通知不限于显式地(例如，“是x”的通知)进行，也可以隐式地(例如，不进行该预定信息的通知)进行。
107.以上，对本公开详细地进行了说明，但对于本领域技术人员而言，应清楚本公开不限于在本公开中所说明的实施方式。本公开能够在不脱离由权利要求确定的本公开的主旨和范围的情况下，作为修改和变更方式来实施。因此，本公开的记载目的在于例示说明，对本公开不具有任何限制意义。
108.对于软件，无论被称为软件、固件、中间件、微码、硬件描述语言、还是以其他名称来称呼，均应当广泛地解释为是指命令、命令集、代码、代码段、程序代码、程序(program)、子程序、软件模块、应用、软件应用、软件包、例程(routine)、子例程(subroutine)、对象、可执行文件、执行线程、过程、功能等。
109.此外，软件、命令、信息等可以经由传输介质进行收发。例如，在使用有线技术(同轴缆线、光纤缆线、双绞线、数字订户线路(dsl：digital subscriber line)等)和无线技术(红外线、微波等)中的至少一方来从网站、服务器或者其他远程源发送软件的情况下，这些有线技术和无线技术中的至少一方包含在传输介质的定义内。
110.本公开中所说明的信息、信号等也可以使用各种不同的技术中的任意一种技术来表示。例如，可以通过电压、电流、电磁波、磁场或磁性颗粒、光场或光子、或者这些的任意组合来表示上述说明整体所可能涉及的数据、命令、指令(command)、信息、信号、比特、码元(symbol)、码片(chip)等。
111.另外，对于本公开中所说明的用语和理解本公开所需的用语，可以与具有相同或类似的意思的用语进行置换。例如，信道和码元中的至少一方也可以是信号(信令)。此外，信号也可以是消息。此外，分量载波(cc：component carrier)也可以称为载波频率、小区、频率载波等。
112.本公开中使用的“系统”和“网络”这样的用语可互换地使用。
113.此外，本公开中所说明的信息、参数等可以使用绝对值表示，也可以使用与预定值的相对值表示，还可以使用对应的其他信息表示。例如，无线资源也可以通过索引来指示。
114.上述参数所使用的名称在任何方面都是非限制性的。
115.本公开中使用的“判断(determining)”、“决定(determining)”这样的用语有时也包含多种多样的动作。“判断”、“决定”例如可以包含将进行了判定(judging)、计算(calculating)、算出(computing)、处理(processing)、导出(deriving)、调查(investigating)、搜索(looking up、search、inquiry)(例如，在表格、数据库或其他数据结构中的搜索)、确认(ascertaining)的事项视为进行了“判断”、“决定”的事项等。此外，“判断”、“决定”可以包含将进行了接收(receiving)(例如，接收信息)、发送(transmitting)(例如，发送信息)、输入(input)、输出(output)、接入(accessing)(例如，接入内存中的数据)的事项视为进行了“判断”、“决定”的事项等。此外，“判断”、“决定”可以包含将进行了解决(resolving)、选择(selecting)、选定(choosing)、建立(establishing)、比较(comparing)等的事项视为进行了“判断”、“决定”的事项。即，“判断”、“决定”可以包含视为“判断”、“决定”了任意动作的事项。此外，“判断(决定)”也可以通过“设想(assuming)”、“期待(expecting)”、“视为(considering)”等来替换。
[0116]“连接(connected)”、“结合(coupled)”这样的用语或者这些用语的一切变形意在表示两个或者两个以上的要素之间的一切直接或间接的连接或结合，可以包含在相互“连接”或“结合”的两个要素之间存在一个或者一个以上的中间要素的情况。要素间的结合或连接可以是物理上的结合或连接，也可以是逻辑上的结合或连接，或者还可以是这些的组合。例如，可以用“接入(access)”来替换“连接”。在本公开中使用的情况下，对于两个要素，可以认为通过使用一个或者一个以上的电线、电缆和印刷电连接中的至少一方，以及作为一些非限制性且非包括性的示例通过使用具有无线频域、微波区域以及光(包括可视及不可视双方)区域的波长的电磁能量等，来进行相互“连接”或“结合”。
[0117]
本公开中使用的“根据”这样的记载，除非另有明确记载，否则不是“仅根据”的意思。换而言之，“根据”这样的记载意味着“仅根据”和“至少根据”这两者。
[0118]
也可以将上述各装置的结构中的“单元”置换为“部”、“电路”、“设备”等。
[0119]
当在本公开使用了“包括(include)”、“包含(including)”和它们的变形的情况下，这些用语与用语“具有(comprising)”同样意味着是包括性的。并且，在本公开中使用的用语“或者(or)”意味着不是异或。
[0120]
在本公开中，例如，如英语中的a、an以及the这样，通过翻译而增加了冠词的情况下，本公开也可以包含接在这些冠词之后的名词是复数形式的情况。
[0121]
在本公开中，“a和b不同”这样的用语也可以表示“a与b互不相同”。另外，该用语也可以表示“a和b分别与c不同”。“分离”、“结合”等用语也可以与“不同”同样地进行解释。
[0122]
标号说明
[0123]
100：图像显示装置；101：摄像头；102：校正处理部；103：存储部；104：显示部；105：深度传感器；106：计算处理部；107：自身位置姿势估计部。