零件安装作业支持系统及零件安装方法
【技术领域】
[0001]本发明涉及一种用来利用复合现实感技术支持零件的安装作业的零件安装作业支持系统，尤其，涉及适合于零件的预焊作业的支持的零件安装作业支持系统及使用该系统的零件安装方法。
【背景技术】
[0002]以往，在将悬吊金属件等零件焊接在工件的情况下，如图7 (a)所示，在工件40上的安装零件41的位置预先进行划线42，作业者将该划线42作为记号进行零件41的预焊(图 7(b))。
[0003]然而，在安装零件的工件的尺寸较大，或者工件具有曲面的情况下等，存在有时划线作业本身难以进行，而划线作业花费较多的时间的情况。
[0004]另外，若在工件的成形前进行划线，则也存在因成形时的塑性变形而划线位置偏移的问题。
[0005]另外，将零件的安装位置划线来记载安装的零件的信息等，但有时作业者在预焊时弄错安装方向。其结果存在产生返工作业而作业效率降低的情况。
[0006]进而，在将零件安装在工件之后的检查中，也必须对照图式等确认安装状态，所以也存在难以直观地判断安装状态的良否的问题。
[0007]此外，近年来，将假想空间的图像重叠在任意视点上的现实空间的图像，并将由此获得的合成图像提示给观察者的复合现实感(MR:Mixed Reality)技术，作为使现实世界与假想世界无缝地实时地融合的图像技术受到关注(专利文献1-4)。
[0008][现有技术文献]
[0009][专利文献]
[0010]专利文献1:日本专利特开2005-107968号公报
[0011]专利文献2:日本专利特开2005-293141号公报
[0012]专利文献3:日本专利特开2003-303356号公报
[0013]专利文献4:日本专利特开2008-293209号公报
【发明内容】
[0014][发明要解决的问题]
[0015]因此，本发明的目的在于提供一种能够利用复合现实感技术解决零件向工件安装的作业中的所述问题，实现作业效率的大幅的提高的零件安装作业支持系统及使用该系统的零件安装方法。
[0016][解决问题的技术手段]
[0017]为了解决所述问题，本发明的特征在于，其是一种零件安装作业支持系统，用来支持零件的安装作业，且包括:摄像机构，用来在作业者的视点位置对作业者的视线方向上的作业空间与应安装所述零件的工件一起拍摄；位置姿势信息取得机构，用来取得表示所述作业者的视点与所述作业空间中的所述工件的相对性的位置姿势关系的位置姿势信息；假想图像产生机构，用来基于所述位置姿势信息而产生表示所述作业者的所述视点位置及作业者的视线方向上的安装后的所述零件的三维的假想图像；图像合成机构，用来使所述假想图像重叠在通过所述摄像机构拍摄的所述作业空间的现实图像而产生合成图像；及显示机构，用来显示所述合成图像。
[0018]另外，优选为，所述位置姿势信息取得机构具有复合现实感用标记，该复合现实感用标记暂定地设置在相对于所述工件上的基准点的特定的相对位置。
[0019]另外，优选为，所述位置姿势信息取得机构具有位置方向测量装置，该位置方向测量装置用来测量所述作业者的视点位置及作业者的视线方向、以及所述工件的位置。
[0020]另外，优选为，所述假想图像是包含所述安装作业中的容许安装误差而产生。
[0021]另外，优选为，本发明的零件安装作业支持系统还包括误差判定部，该误差判定部用来在所述显示部显示安装后的所述零件的所述现实图像与所述假想图像的不一致部位。
[0022]为了解决所述问题，本发明是一种零件安装方法，使用用来支持零件的安装作业的零件安装作业支持系统，且包括:摄像步骤，在作业者的视点位置对作业者的视线方向上的作业空间与应安装所述零件的工件一起拍摄；位置姿势信息取得步骤，取得表示所述作业者的视点与所述作业空间中的所述工件的相对性的位置姿势关系的位置姿势信息；假想图像产生步骤，基于所述位置姿势信息而产生表示所述作业者的所述视点位置及作业者的视线方向上的安装后的所述零件的三维的假想图像；图像合成步骤，使所述假想图像重叠在通过所述摄像机构拍摄的所述作业空间的现实图像而产生合成图像；及显示步骤，用来显示所述合成图像。
[0023]另外，优选为，所述位置姿势信息取得步骤包含标记设置步骤，该标记设置步骤将复合现实感用标记暂定地设置在相对于所述工件上的基准点的特定的相对位置。
[0024]另外，优选为，一面确认作为显示在所述合成图像的所述假想图像的所述零件与作为显示在所述合成图像的所述现实图像的所述零件的位置关系，一面将所述现实图像的所述零件与所述假想图像的所述零件位置对准。
[0025][发明的效果]
[0026]根据本发明的零件安装作业支持系统及使用该系统的零件安装方法，通过利用复合现实感技术，而不需要以往的划线作业，或者使划线作业容易化，所以能够使零件安装的作业效率大幅提高。
【附图说明】
[0027]图1是表示本发明的一实施方式的零件安装作业支持系统的概略构成的框图。
[0028]图2是表示图1所示的零件安装作业支持系统的概略构成的示意图。
[0029]图3是将图1所示的零件安装作业支持系统的标记构件放大而表示的立体图。
[0030]图4是表示使用图1所示的零件安装作业支持系统将零件安装在工件的情况的示意图。
[0031]图5是表示图1所示的零件安装作业支持系统的一变形例的概略构成的框图。
[0032]图6是表示图1所示的零件安装作业支持系统的另一变形例的概略构成的示意图。
[0033]图7是用以说明以往的零件安装作业的示意图。
【具体实施方式】
[0034]以下，对本发明的一实施方式的零件安装作业支持系统进行说明。此外，成为本系统的支持的对象的零件安装作业典型而言为零件向工件的预焊作业，但除了零件的预焊作业以外，还可支持将零件安装在工件的各种安装作业。
[0035]本实施方式的工件加工作业支持系统使用复合现实感技术，所以首先对复合现实感技术进行概述。
[0036]如上所述般，所谓复合现实感技术是指使假想空间的图像重叠在任意视点上的现实空间的图像，并将由此获得的合成图像提示给观察者，使现实世界与假想世界无缝地实时地融合的影像技术。
[0037]也就是说，该复合现实感技术将通过将现实空间图像与根据观察者的视点位置、视线方向而产生的假想空间图像合成所得的合成图像提供给观察者。而且，能够使观察者以实际尺寸感知假想物体的比例，感知假想物体真正存在于现实世界。
[0038]根据该复合现实感技术，并非利用鼠标或键盘来操作计算机图形(CG)，而观察者能够实际移动并从任意的位置或角度观察。也就是说，能够利用图像位置对准技术将CG放置在指定的场所，使用例如透明型的头戴式显示器(HMD:Head Mount Display)，从各种角度观察该CG。
[0039]为了表现复合现实感空间(MR空间)，必须取得在现实空间中定义的基准坐标系，即成为决定想要重叠在现实空间的假想物体的位置姿势的基准的现实空间中的坐标系与摄像部的坐标系(照相机坐标系)之间的相对性的位置姿势关系。
[0040]作为用于此的适当的图像位置对准技术，例如，可列举利用磁传感器、光学式传感器、或超音波传感器的技术，或利用标记、陀螺仪的技术等。
[0041]此处，所谓标记(也称为“地标”)，是指用于图像的位置对准而使用的指标，且是能够通过利用安装在HMD的照相机(摄像装置)拍摄配置在现实空间内的标记，而利用图像处理来推断照相机的位置姿势。
[0042]也就是说，在现实空间中的已知的三维坐标配置具有特定的视觉特征的标记，检测现实图像中所包含的标记，根据已经检测出的标记的构成要素(标记的中心或顶点等)的二维图像位置与已知的三维坐标而计算出照相机(摄像装置)的位置姿势。
[0043]本实施方式的零件安装作业支持系统利用所述复合现实感技术，以下参照图1及图2对本系统的构成进行说明。
[0044]如图1及图2所示，本实施方式的零件安装作业支持系统I包括系统主体2、在与该系统主体2之间进行数据通讯的头戴式显示器(HMD) 3、及标记构件8。
[0045]零件安装作业支持系统I的系统主体2由包括CPU (Central Processing Unit,中央处理器)、RAM (Random Access Memory，随机存取存储器)、ROM (Read Only Memory，只读存储器)、外部存储装置、存储媒体驱动装置、显示装置、输入元件等的计算机而构成。
[0046]如图2所示，HMD3安装在作业者4的头部，包括摄像部5及显示部6。摄像部5及显示部6分别设置有2个，摄像部5R及显示部6R为右眼用，摄像部5L及显示部6L为左眼用。根据该构成，能够对将HMD3安装在头部的作业者4的右眼与左眼提示视差图像，并能够三维显示MR图像(合成图像)。
[0047]HMD3的摄像部5对在标记设置步骤中暂定地设置在工件7上的MR用标记构件8与作为零件的安装对象的工件7 —起拍摄(摄像步骤)。标记构件8设置在相对于工件7上的基准点的特定的相对位置。此外，在图2中，利用虚线表示零件的假想图像30V。
[0048]如图3所示，本实施方式的标记构件8包括:三角形的框部9 ;各支撑部10，设置在三角形的框构件9的各顶点的下表面；及各复合现实感用标记11，设置在三角形的框构件9的各顶点的上表面。
[0049]如图1所示，通过HMD3的摄像部5取得的现实空间的现实图像被输入至系统主体2的现实图像取得部12。该现实图像取得部12将所输入的现实图像的数据输出至系统主体2的存储部13。
[0050]存储部13保持用于MR图像(合成图像)的提示处理所需要的信息，根