一种飞机装配中机器人与工装的相对位姿测量及装配系统的制作方法

本申请涉及装配机器人与装配工装的视觉相对位姿测量技术领域，更具体的说，是涉及一种飞机装配中机器人与工装的相对位姿测量及装配系统。

背景技术：

自动化航空装配现场，需要使用大量大尺寸工装来支撑和定位被加工工件。由于涉及多道加工工序。工装需要在多个不同功能的自动化加工工位间频繁移动。每次移动后都需要将工装精确定位到指定位置，或者精确测量工装位姿参数，以便自动化制造设备能够调整加工参数，适应工装位姿参数的变化。

因此对工装的旋转角度测量精度有着非常高的要求。微小的旋转角测量误差，也会导致工装较远点出现较大的位移误差。自动化航空装配需要高精度的六自由度工装位姿参数测量系统。而目前的视觉位姿测量装置存在如下的问题：

1，目前视觉位姿测量受原理限制，都是采用旋转角度测量精度的正切值，趋近于位移测量精度与测量视野范围之商。而航空装配场景，往往需要位姿测量设备与工装之间保持相对较远距离。实际中的工装尺寸相对较大，一般正面宽度都在2m以上，较大者往往可以达到4m～5m的宽度。在此前提下，当前使用的位移测量系统很难兼顾实现较高的位移测量精度和较大的测量视野范围。因此，也就很难获得相对于位移测量精度而言，足够高的旋转角测量精度。

2，一般情况下，为了获得完整的六自由度位姿参数(三个相互正交的位移自由度和三个相互正交的旋转自由度)，需要在三个正交方向观测。这就导致了测量设备的布局经常会“包围”被测量设备的停放位置。这就不利于实现现代工业生产所需的“柔性生产线”建设，不利于多种装配机器人协同操作或更替的场景，不利于为被测量物提供自由移动的广阔空间。

3，从检测的原理来看，在远距离观测条件下，当然能够具有相对更大的可测量范围。由于装配的需要，视觉位姿测量必须兼顾位移测量和旋转角测量两个功能，因此为同时保证旋转角测量精度和位移测量精度，必须使得观测对象的几何尺寸在图像中占有相当的比重。这就会导致可用的位移动态范围被压缩，因此，不利于获得较大的可测量范围。

由于以上问题的存在，使得目前的装配工装的位姿测量装置，以及使用该位姿测量装置的装配系统，难以满足自动化航空，特别是大尺寸航空配件装配的需要，亟需一种能够适合大尺寸航空配件的装配工装位姿测量系统和并与之对应的装配系统。

技术实现要素：

鉴于上述问题，提出了本申请的一种飞机装配中机器人与工装的相对位姿测量及装配系统。具体方案如下：

一种飞机装配中机器人与工装的视觉相对位姿测量系统，包括：位移测量装置和旋转角测量装置：

所述位移测量装置包括：多个具有标识作用、获取标识物图像的第一视觉采集设备；所述标识物数量为多个，并固定在装配工装周边，所述第一视觉采集设备视野交叉地获取与之配合的标识物的图像；

所述旋转角测量装置包括：固定在装配工装侧的漫反射板和多个激光发射装置，与之相对设置的镜面反射装置，以及固定在观察侧的具有标识作用的第二视觉采集设备；所述第二视觉采集设备获取由所述激光发射装置发射的激光，经由所述镜面反射装置反射到所述漫反射板上所形成的光斑图像。

进一步地，所述位移测量装置包括2个第一视觉采集设备；第一视觉采集设备镜头的光轴保持相互垂直，并各自与装配工装前平面成45度角，并相交于一点；所述标识物为2个，分别安装在装配工装的两侧。

进一步地，在初始状态下，装配工装位于基准位置时，每个所述第一视觉采集设备的镜头光轴经过各自标识物的几何中心点。

进一步地，所述激光发射装置与漫反射板固定连接，并且所述各激光发射装置发射的激光所在的直线彼此相交或异面。

进一步地，所述激光发射装置不同，在漫射板上形成不同的光斑，能够被所述旋转角测量装置的视觉采集设备区分识别。

进一步地，所述激光发射装置包括2个发射不同颜色激光的点状激光器，所述点状激光器发射器发射的激光束经由镜面反射装置反射后，在所述漫反射板上形成不同颜色的光斑。

进一步地，所述镜面反射装置固定在观察侧，其反射面与所述漫反射板的反射面垂直于同一平面，并与所述第二视觉采集设备刚性固定连接，其反射面法线与第二视觉采集设备的镜头光轴夹角小于5度。

进一步地，所述第一视觉采集设备和第二视觉采集设备的镜头光轴位于同一平面内，所述第一视觉采集设备和/或第二视觉采集设备为面阵相机。

进一步地，所述位姿测量系统还包括工控机，所述工控机与位移测量装置和/或旋转角测量装置通信连接，并对位移测量装置和/或旋转角测量装置所获取的图像内容进行计算处理。

一种装配系统，所述装配系统包括上述任意一项所述的位姿测量系统，还包括装配机器人，所述装配机器人位于观察侧，并与所述位移测量装置和旋转角测量装置通信连接。

借由上述技术方案，本申请公开了一种飞机装配中机器人与工装的相对位姿测量及装配系统。本实用新型通过具有标识作用的视觉采集装置来进行装配工装的位姿测量，包括位移测量装置和旋转角测量装置。在位移测量时，本系统通过具有交叉视野的视觉采集设备，配合与其相对应的标识物，来同时观测装配工装在不同方向上的位移值。在这种方式下，由于测量的角度变大，使得在相同的观察侧和装配工装距离的条件下，可观测的配件的尺寸更大。

同时，在进行旋转角测量时，利用镜面反射装置和漫反射装置的组合，使得视觉采集装置能够安装在观察侧，就可以直观地获取由工装旋转所带来的光斑位移变化，使得位姿测量的视觉采集设备和装配工装能够分开设置，在两者之间不再需要任何的物理连接装置。这样的分开设置后，非常有利于装配生产线的布置，有利于装配机器人的操作和更换，从而方便工厂的“柔性生产线”改造。

并且通过调整漫反射板和镜面反射装置的位置关系和尺寸，还能够灵活调节旋转角的测量范围，并有获得较大的可测量范围。由工作原理可知，该系统的观察侧距离装配工装距离越远，在相同旋转角度时的光斑位移越大，这样更有利于视觉采集设备捕捉和标识位移的变量，使得测量准确度更高，因此具有测量距离越远，旋转角测量精度越高的特点，非常适合于对旋转角度测量精度要求较高的装配场合。因此本方案的位姿测量系统及装配系统，非常有利于如航空配件这种大尺寸配件的加工/测量的自动化生产的场合使用。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例提供的一种飞机装配中机器人与工装的视觉相对位姿测量系统的系统总体布局图；

图2为本申请实施例提供的一种飞机装配中机器人与工装的视觉相对位姿测量系统的旋转角测量装置俯视示意图；

图3为本申请实施例提供的一种飞机装配中机器人与工装的视觉相对位姿测量系统的旋转角测量装置侧视示意图；

图4为本申请实施例提供的一种飞机装配中机器人与工装的视觉相对位姿测量系统的旋转角测量装置在标定位置时激光器俯视示意图；

图5为本申请实施例提供的一种飞机装配中机器人与工装的视觉相对位姿测量系统的旋转角测量装置在标定位置时激光器侧视示意图；

图6为本申请实施例提供的一种飞机装配中机器人与工装的视觉相对位姿测量系统的装配工装旋转角变化俯视示意图；

图7为本申请实施例提供的一种飞机装配中机器人与工装的视觉相对位姿测量系统的装配工装旋转角变化侧视示意图。

图中：1、装配工装；2、标识物(1)；3、相机(1)；4、观察侧；5、相机(2)；6、反光镜；7、相机(3)；8、标识物(2)；9、红色激光器；10、蓝色激光器；11、漫反射板。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

下面对本申请实施例提供的具体实现方案进行详细介绍。

实施例1

如图1至图7所示，本实施例公开了一种装配工装的位姿测量系统，该测量系统包括：位移测量装置和旋转角测量装置：

本实施例的装配工装的位姿测量系统，总体的空间布置如图1所示，采用具有标识作用的视觉采集设备来对装配工装的各个方向的位移进行测量。为了能够实现这个目的，本实施中的视觉采集设备均为面阵相机。面阵相机是以面为单位来进行图像采集，可以一次性获取完整的目标图像，并能及时进行图像采集的相机。在目标物体的形状、尺寸，位置等方面的应用上发挥着至关重要的成像作用。

如图1所示，其中的位移测量装置包括固定在观察侧的2个面阵相机，分别是：相机(1)3和相机(3)7，本装置通过面阵相机对固定在对面装配工装附近的标识物进行观测。如图中所示，标识物数量也为两个，分别为标识物(1)2，和标识物(2)8，被固定在装配工装两侧，2个面阵相机视野相互交叉地观测对面的标识物，具体的，如图1所示，相机(3)7观测对面的标识物(1)2，相机(1)3观测对面的标识物(2)8。由于标识物是与装配工装刚性固定的，因此标识物的各个方向的平移的位移值与装配工装相同，相互交叉的观察视野，也天然的形成了装配工装不同的观测坐标，这样设置之后，不但可以使图像测量设备远离装配工装，同时在相同的观测距离条件下，由于观测的角度是从配件的侧面进行观察，因此可以允许装配工装和其固定的配件有更大的纵深尺寸，从而能够满足更大尺寸的配件的位姿测量要求。

同时，为了方便直接使用工程上经常使用的直角坐标系，本实施例中的两台相机，相机(1)3和相机(3)7的镜头光轴保持相互垂直，并各自与装配工装前平面成45度角，并相交于一点，观察分别安装在装配工装的两侧的标识物(2)8和标识物(1)2。如此就很方便地能够获取到一个平行于水平面的上相互垂直的两个方向上的位移，和垂直于水平面的位移量。同时为了能够获取最大的观测范围，在初始状态下，装配工装位于基准位置时，相机(1)3和相机(3)7的镜头光轴都经过各自标识物的几何中心点。

如图1、图2、图3所示，本实施例的旋转角测量装置包括：固定在装配工装侧的漫反射板11和多个激光发射装置—红色激光器9和蓝色激光器10，在两个激光器的对面设置有与之相对设置的镜面反射装置—反光镜6，以及固定在观察侧的具有标识作用的相机(2)5，如前文所述该相机也为面阵相机；如图2和图3所示，相机(2)5获取由红色激光器9和蓝色激光器10，经由所反光镜6反射到所述漫反射板11上所形成的光斑图像的位移变化。

红色激光器9和蓝色激光器10与漫反射板11刚性固定连接，使得当装配工装转动时，能够带动激光器同步进行相应的偏转。并且为了能够实现后续的旋转角度的测算，需要在初始标定位置时就调试两个激光发射装置所发射的激光具有一定的发射夹角，即激光所在的直线彼此相交或异面，两者不能互相平行。

本实施例中，使用的激光发射装置是不同的，即如前文所述是采用了发射不同颜色激光的点状激光器来进行激光的发射，这样做的原因是为了满足采用相机(2)5在漫反射板11上进行光斑图像采集时能够方便地加以区分，从而满足后续的偏转角度计算的要求。当然在其他的实施例中，激光器也可以采用譬如发射的激光束形成的光斑形状、和/或面积、和/或亮度等不同，等多种利于相机(2)5进行两个不同激光器识别的方案。

本实施例中，如图1和图3所示，反光镜6被安装固定在观察侧，其反射面与所述漫反射板11的反射面垂直于同一平面，两者接近于平行。在初始的标定阶段，调整反光镜的角度，使得光斑尽量集中在漫反射板的中间区域，反光镜6与相机(2)5刚性固定连接，其反射面法线与相机(2)5的镜头光轴平行，后者仅有微小的夹角，建议夹角小于5度。这样可以使在相同的反射镜和漫反射板的尺寸条件下能够测量更大的转角。

为了所述位移测量装置和旋转角测量装置的测量计算的坐标系的统一，设置位移测量装置和旋转角测量装置所使用的面阵相机的镜头光轴位于同一平面内。

在本实施例中的位姿测量系统还包括工控机，所述工控机与位移测量装置和/或旋转角测量装置通信连接，并对位移测量装置和/或旋转角测量装置所获取的图像内容进行计算处理从而获得装配工装相对的位移和旋转角度的变化值。

实施例2

本实施例公开了一种装配系统，所述装配系统包括上述实施例所述的位姿测量系统，并且还包括装配机器人，该装配机器人位于观察侧，并与所述位移测量装置和旋转角测量装置通信连接。装配机器人根据位姿测量系统所获取的装配工装的位姿参数进行相关的生产装配操作。

实施例3

如图1和图4、图5、图6、图7所示，本实施例公开了上述实施例中的位姿测量系统的测量过程。

1、位移测量，根据视野交叉的视觉采集设备获取所述装配工装上各分属标识物在各自视野中图像的位置变化，得到所述装配工装在不同方向上的位移值，其中，所述标识物为多个，固定在所述装配工装上，分属不同的视觉采集设备。

其中的位移测量使用2台视觉采集设备进行测量，所述标识物为2个，并分别固定于装配工装的两侧，并处于各自的视觉采集设备视野之内，所述视觉采集设备的镜头的光轴各自与工装前平面成45度角，保持相互垂直，并相交于一点，两条所述光轴组成的平面为位移水平基准面。

位移测量包括如下步骤：

s101、将装配工装移动到标定位置，定义两个所述标识物的几何中心点连线的中点o为基准点，使用激光跟踪仪标定测量工装的六自由度位姿参数，作为工装基准位置对应的位姿参数保存下来；

s102、分别使用位移测量中的各视觉采集设备，提取各自视野中标识物的图像几何特征点，得到其对应的图像坐标数值，并将其作为各自的标识物的基准图像坐标值(x01，y01)和(x02，y02)保存起来；

s103、移动装配工装，通过视觉采集设备对各自的标识物进行拍摄，采用现有公知的几何特征识别算法，再次找到各自标识物上的所述几何特征点，进而计算得到，该几何特征点在所述视觉采集装置中新的图像坐标值为(x11，y11)及(x12，y12)；

s104、将s103中的几何特征点的图像坐标值(x11，y11)及(x12，y12)与基准图像坐标值(x01，y01)及(x02，y02)做差，得到h1和h2：h1＝x11-x01、h2＝x12-x02，h1和h2即是所述装配工装在所述位移水平基准面上的两个正交方向位移量(或者将其差值乘以事先通过相机标定操作(比如棋盘格标定)，得到的图像分辨力数值从而得到真正的位移量值)；

v1和v2：v1＝y11-y01、v2＝y12-y02，进一步计算v＝(v1+v2)/2，v即是所述装配工装在垂直于所述位移水平基准面的位移量。

2、旋转角测量，根据获取固定在装配工装侧的漫反射板上由激光照射形成的光斑的偏转位移，和/或在位移测量中测得的位移值，计算得到装配工装的旋转角度，其中，所述光斑是从装配工装侧发射的激光，在经由装配工装外的镜面反射装置反射后，照射到所述漫反射板上形成的，所述偏转位移是通过视觉采集装置观测获取的。

在进行旋转角测量时，将镜面反射装置与进行旋转角测量的视觉采集装置固定，且使所述镜面反射装置的法线与该视觉采集装置的光轴平行。

在进行旋转角测量时，在装配工装侧安装固定2个激光发射装置向镜面反射装置发射激光，调整所述漫反射板的反射面和所述镜面反射装置的反射面，使其同时垂直于同一平面。激光发射装置发射的激光颜色不同，在漫反射板上形成不同颜色的光斑，所述镜面反射装置和所述视觉采集设备都固定在观察侧，其反射面法线与视觉采集设备的镜头光轴夹角小于5度。

旋转角测量，包括如下步骤：

s201、将装配工装移动到标定位置，定义标识物的几何中心点连线的中点o为基准点，标定测量工装的六自由度位姿参数，作为工装基准位置对应的位姿参数保存下来；

s202、如图4和图5所示，使用旋转角测量中的视觉采集设备，提取此时漫反射板上的两个激光光斑的中心点坐标(xro，yro)和(xbo，ybo)作为光斑基准图像坐标，并标定此时红色激光器9出光口坐标：r(ao，bo)和蓝色激光器10出光口坐标：b(co，do)；以及红色和蓝色激光器在工装前端面的横轴方向上，与漫反射板法线的初始夹角rα、bα，以及红色和蓝色激光器在工装前端面的纵轴方向上，与漫反射板法线的初始夹角rβ、bβ；

s203、转动所述装配工装，带动激光发射装置和漫反射板转动后，使用旋转角测量中的视觉采集设备，采用现有公知的连通域识别及重心计算算法，提取转动停止时漫反射板上的两个激光光斑的中心点的新坐标(xr，yr)和(xb，yb)；

s204、将两个激光光斑的中心点坐标(xr，yr)和(xb，yb)与光斑基准图像坐标值(xro，yro)和(xbo，ybo)分别做差后得到：红色激光器光斑坐标：r(a，b)；蓝色激光器光斑坐标：b(c，d)；其中，a＝xr-xro，b＝yr-yro，c＝xb-xbo，d＝yb-ybo；

s205、解如下偏转角度正切方程组：

其中如图6和图7所示，α为工装前端面横轴所对应(图6俯视图中平行于纸面及文字的方向)的旋转增量、β为工装前端面纵轴所对应(图6俯视图中垂直于纸面及文字的方向)的旋转增量，h为漫反射板与镜面反射装置反射镜面间距的平均值，均为待求解变量；

s206、定义γ是与工装前端面的横纵方向都垂直的第三个旋转增量，将位移测量中垂直于位移水平基准面上水平面的位移分量v1和v2做差得到v’，两个标识物几何中心点连线距离值为l，则根据tgγ＝v’/l，计算得到γ。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。