水下矢量光视觉导引方法及装置与流程

本发明涉及水下光学成像技术领域，尤其涉及一种水下矢量光视觉导引方法及装置。

背景技术：

自主水下航行器(autonomousunderwatervehicle，auv)是一种利用各种传感器及其他任务模块执行水下作业任务，通过其自身搭载的能源设备、导航设备和执行机构来进行自主导航、自主决策与自主控制的水下机器人，在海洋科学研究、海洋工程作业、以及国防军事领域得到广泛应用。但是，由于auv自身携带数据存储空间和能源有限，因此，需定期补充能源、下载数据并加载新的使命任务。传统auv的数据交换中心和能量交换中心是水面的支撑母船，但是，水面母船起吊回收auv，受风浪影响较大，效率低。为提高auv水下作业的工作时间、工作效率和降低水面回收风险，auv与深海空间站或母艇水下自动对接回收技术应运而生，auv完成任务后自主规划路径回到回收平台，以预定位姿与平台对接，完成回收。在auv自动回收过程中，导引系统是导引auv靠近回收平台、与目标完成对接的导航系统，向对接控制系统提供auv的方位、距离和姿态等信息。通常整个导引过程分为三个阶段：远距离导引、中距离导引和近距离导引。其中，近距离精确导引可减少水压和碰撞对auv的损坏，其导引精度需要达到mm～cm级。相比于其它导引技术，光视觉导引具有定位精度高、信息量大、直观性强、适应性强等优点。

光视觉导引主要是利用目标在摄像机下的成像特征，通过与已知特征的比对进而计算出相对位置，用于高精度定位。目前光视觉导引中主要采用单目视觉或双目视觉，并辅以标志灯实现定位。其中，多光源单目视觉定位是通过设置多个人工标志灯，依靠这些标志灯的已知特征的空间信息，利用单幅图像中特征点间的映射关系，得到光源坐标系下单目摄像机的位置和姿态，通过进一步的坐标变换得到auv在坞站坐标系下的位置和姿态(jin-yeongparketal.，experimentsonvisionguideddockingofanautonomousunderwatervehicleusingonecamera，oceanengineering，2009，vol.36，48-61)；多光源双目视觉定位是利用光轴平行的两台摄像机获得一个标志标志灯特征点的空间位置，联合三个标志灯特征点的位置即可以求取平面的相对位置，进而确定坞站坐标系下的auv的位置和姿态(yelietal.，auvdockingexperimentsbasedonvisionpositioningusingtwocameras，oceanengineering，2015，v0l.110，163-173)。

单目视觉通常仅能获得方位及姿态信息，而难以获得高精度距离信息；双目视觉可获得位置及距离信息，但是测距精度受两个相机间的基线长度以及探测距离影响较大，无法实现远距离高距离分辨率测距。无论是单目视觉导引还是双目视觉导引，所用的多光源标志灯都存在相同的问题：

(1)标志灯形心难以提取：在光视觉导引中，标志灯位置的准确提取是auv高精度位姿解算的关键，通常采用大发散角的led灯作为理想的圆形标志灯，从而可将图像中标志灯光斑的形心作为标志灯的特征点，但是受水体及环境噪声影响，理想的圆形光斑难以形成，导致准确的标志灯形心提取非常困难；

(2)标志灯机械布局制约坞站装置小型化：当采用发散角大的标志灯时，为防止标志灯光斑交叠，标志灯往往离散布放在1m～3m直径的坞站上，如果缩小坞站直径，则光斑易交叠，无法有效提取标志灯，这严重限制了该技术在auv自主回收中的应用。

技术实现要素：

(一)要解决的技术问题

针对上述现有技术存在的不足之处，本发明的主要目的在于提出一种水下矢量光视觉导引方法及装置，打破传统标志灯拓扑结构受机械尺寸限制的瓶颈，同时大大提高标志灯特征点提取精度，解决传统标志灯特征点提取难的问题。

(二)技术方案

本发明一方面提供了一种水下矢量光视觉导引方法，包括：

按照矢量灯模板布置矢量灯在回收罩上的安装方式；

开启矢量灯，由水下摄像机获取矢量灯模态图；

水下摄像机的图像处理模块对该矢量灯模态图进行骨骼化处理并提取翼灯得到翼灯特征点，实现矢量光视觉导引；

水下摄像机的图像处理模块根据该翼灯特征点获取待回收物体相对于坞站坐标系的三维空间坐标和姿态信息，并将其输出给待回收物体的控制系统；

待回收物体根据相关信息修正航行参数，直至进入坞站回收装置；

其中，矢量灯模板与矢量灯模态图互相对应。

一些实施例中，其中的矢量灯模板为用户根据不同应用需求自适应设置，包括对矢量灯位置和翼灯位置的设置。

进一步的，通过调节矢量灯的光束方向、或同时调节矢量灯的光束方向和矢量灯的功率，得到变换翼灯位置的矢量灯模板。

一些实施例中，其中的矢量灯模态图中包括线段状光斑和翼灯。

进一步的，该线段状光斑为矢量灯的可见光光束。

更进一步的，通过调节矢量灯的功率，得到不同长度的该矢量灯的可见光光束。

更进一步的，该翼灯包括：

矢量灯的可见光光束相交的交点形成的真实翼灯；和

矢量灯的可见光光束的反向延长线相交的交点形成的虚拟翼灯。

一些实施例中，根据翼灯特征点获取待回收物体相对于坞站坐标系的三维空间坐标和姿态信息包括：

获取翼灯特征点相对于摄像机坐标系下的坐标；

获取翼灯特征点相对于坞站坐标系下的坐标；

根据翼灯特征点在坞站坐标系下的坐标和摄像机坐标系下的坐标的对应关系，得到摄像机坐标系在坞站坐标系下的坐标和姿态信息；

利用已知的摄像机坐标系与待回收物体坐标系之间的转换关系，得到待回收物体在坞站坐标系下的三维空间坐标和姿态信息。

基于上述水下矢量光视觉导引方法及其相关实施方式，本发明另一方面提供了一种水下矢量光视觉导引装置，包括：

坞站回收装置，包括喇叭口形的回收罩；

矢量灯，基于上述的矢量灯模板安装于回收罩上，该矢量灯的光束指向离开坞站回收装置的方向上，且每至少两个矢量灯的光束具有交点；

水下摄像机，内置图像处理模块，设置于待回收物体的艏部，实现上述的水下矢量光视觉导引方法。

一些实施例中，该待回收物体为自主水下航行器。

(三)有益效果

从上述技术方案可以看出，本发明通过的该水下矢量光视觉导引方法及装置，具有以下有益效果：

(1)本发明采用方向性好的矢量灯作为标志灯，通过控制矢量灯的方向可以灵活调节翼灯位置，相比传统auv坞站自主回收所使用的标志灯，翼灯打破了坞站机械尺寸限制，可以在小尺寸坞站上实现大尺寸坞站布放标志灯的效果；

(2)由于矢量灯在水下摄像机获得的图像中具有线段特征，所以，相比于传统auv坞站自主回收所使用的标志灯圆形光斑，本发明的该线段特征受水体及环境影响小，不易发生畸变；

(3)由于采用矢量灯光束或光束延长线的交点形成的翼灯作为特征点，所以，相比于传统auv坞站自主回收所使用的标志灯以光斑形心作为特征点，本发明翼灯的特征点提取更为准确。

附图说明

图1是传统水下多光源光视觉导引方法坞站小型化后标志灯发生交叠的示意图；

图2是传统水下多光源光视觉导引方法坞站小型化后水下摄像机获得的传统标量灯模态图；

图3是本发明实施例中实现的水下矢量光视觉导引方法及装置实现图；

图4是本发明实施例中水下摄像机获得的矢量灯模态图；

图5是本发明实施例中矢量灯模态图骨骼化处理提取翼灯的效果展示；

图6是本发明实施例中水下矢量光视觉导引方法涉及的三个坐标系；

图7是本发明实施例中翼灯打破坞站回收装置机械尺寸束缚的效果图；

图8是传统标量灯图像；

图9是本发明实施例中的矢量灯模态图。

图中：

auv1水下摄像机2

坞站回收装置3标志灯4

成像视场5传统标志灯光斑6

矢量灯7真实翼灯8

矢量灯光斑9虚拟翼灯10

坞站口径11翼灯口径12

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

在此公开本发明结构实施例和方法的描述。可以了解的是并不意图将本发明限制在特定公开的实施例中，而是本发明可以通过使用其它特征，元件方法和实施例来加以实施。不同实施例中的相似元件通常会标示相似的号码。

图1给出了传统的水下多光源光视觉导引方法，在自主水下无人航行器auv1的艏部装配有水下摄像机2，坞站回收装置3具有喇叭口形(漏斗形)的回收罩，大发散角的标志灯4安装在回收罩上，当回收罩小型化后，则标志灯会出现交叠问题，导致水下摄像机2输出的图像2中难以准确提取各个传统标志灯光斑6的形心，从而无法有效定位auv。

图1中所示的传统的水下多光源光视觉导引方法采用的标志灯往往具有大发散角，方向性不强，本发明把这种灯称为标量灯。标量灯的空间布局受回收罩尺寸的限制。针对此，本发明提出了一种面向水下无人航行器自主回收的水下矢量光视觉导引方法及装置，以方向性好的矢量灯作为水下光视觉导引的标志灯，按照所需的目标矢量灯模板选择矢量灯，并将选定的多个矢量灯布放在坞站回收装置的上，可解决传统光视觉导引标志灯拓扑结构受机械尺寸限制及光斑形心难以准确提取的问题，其中：

在一方面，该水下矢量光视觉导引装置的结构如图3所示，具体的，包括：

坞站回收装置3，包括喇叭口形的回收罩；

矢量灯7，安装于回收罩上，该矢量灯的光束指向离开坞站回收装置的方向上，且每至少两个矢量灯的光束具有交点；

水下摄像机2，内置图像处理模块，设置于待回收物体(本实施例中为auv)的艏部，以实现水下矢量光视觉导引。

特别的，不同于标量灯，本发明及实施例中提出的矢量灯7，具有小发散角，可近似为平行光束，具有很好的方向性。虽然矢量灯方向性好，但是在水体散射特性的作用下，从不同观察角度观察矢量灯时，水下摄像机都能对矢量灯有效成像，获得水下矢量灯模态图(见图4)。

如图3所示，本实施例中，由四个矢量灯7安装在坞站回收装置3的回收罩上，分为上下两组矢量灯，所有矢量灯的光束均指向离开回收装置的方向，其中，上面两个矢量灯指向图3中所示的上方，下面两个矢量灯指向图3中所示的下方。

在另一方面，该水下矢量光视觉导引方法包括：

按照矢量灯模板布置矢量灯在回收罩上的安装方式；

开启矢量灯，由水下摄像机获取矢量灯模态图；

水下摄像机的图像处理模块对该矢量灯模态图进行骨骼化处理并提取翼灯得到翼灯特征点，实现矢量光视觉导引；

水下摄像机的图像处理模块根据该翼灯特征点获取待回收物体相对于坞站坐标系的三维空间坐标和姿态信息，并将其输出给待回收物体的控制系统；

待回收物体根据相关信息修正航行参数，直至进入坞站回收装置；

其中，矢量灯模板与矢量灯模态图互相对应。

一些实施例中，其中的矢量灯模态图中包括线段状光斑和翼灯。

进一步的，该翼灯包括：

矢量灯的可见光光束相交的交点形成的真实翼灯；和

矢量灯的可见光光束的反向延长线相交的交点形成的虚拟翼灯。

具体地，矢量灯点亮后，具有交点的两个矢量灯可形成一个翼灯，结合参照图3实施例中，上面两个矢量灯的光束在空间形成交点，构成一个真实翼灯8；下面两个矢量灯的光束也形成交点，构成一个真实翼灯8。

更进一步的，该线段状光斑为矢量灯的可见光光束，通过调节矢量灯的功率，可以得到不同长度的该矢量灯的可见光光束。

具体地，如图4是图3auv艏部水下摄像机2获得的四个水下矢量灯7的水下矢量灯图像，在该图像中，矢量灯的图像是由像素组成的线段，从而多个线段形成水下矢量灯模态图。在水下矢量灯模态图中，利用水体的散射特，矢量灯光斑9在水下摄像机2输出的图像中是具有一定长度的线段，线段长度可通过矢量灯功率调节。

对于获得矢量灯模态图进行矢量灯模态图骨骼化处理提取翼灯，具体地，如图5所示，利用边缘提取技术提取矢量灯的线段，并进行二值化，通过膨胀、腐蚀等形态学处理优化所提取的线段，再通过hough变换提取矢量灯光斑线段的特征线。四个矢量灯对应四条特征线，如图5中的虚线所示，四条特征线形成四个交点，包括两个真实翼灯8和两个虚拟翼灯10，其中，虚拟翼灯是由矢量灯的延长线形成的。真实翼灯和虚拟翼灯统称为翼灯，作为矢量光视觉导引的特征点。

需要说明的是，在本发明及其一些实施例中，设置于坞站回收装置回收罩上的矢量灯是按照矢量灯模板布置的。该矢量灯模板是用户根据自身应用需求利用矢量灯自适应设置形成的图案，包括对矢量灯位置和翼灯位置的设置，在该模板中各翼灯真实位置已知，从而可获得翼灯在坞站坐标系下的坐标。水下摄像机获得的矢量灯模态图与该矢量灯模板是互相对应的。

一些实施例中，上述步骤中根据翼灯特征点获取待回收物体相对于坞站坐标系的三维空间坐标和姿态信息包括：

获取翼灯特征点相对于摄像机坐标系下的坐标；

获取翼灯特征点相对于坞站坐标系下的坐标；

根据翼灯特征点在坞站坐标系下的坐标和摄像机坐标系下的坐标的对应关系，得到摄像机坐标系在坞站坐标系下的坐标和姿态信息；

利用已知的摄像机坐标系与待回收物体坐标系之间的转换关系，得到待回收物体在坞站坐标系下的三维空间坐标和姿态信息。

具体地，在摄像机坐标系下，可获得图5所示翼灯特征点的坐标。由于矢量灯模板中翼灯在坞站坐标下的坐标已知，因此，利用翼灯在坞站坐标系下的坐标和摄像机坐标系坐标的对应关系，可以获得摄像机坐标系在坞站坐标系下的坐标和姿态信息。由于摄像机安装在auv艏部，摄像机坐标系与auv坐标系的转换关系是已知的，因此，可以获得auv在坞站坐标系下的三维空间坐标和姿态信息，如图6所示，从而auv可利用自身在坞站坐标系下的定位信息导引auv进入回收装置喇叭口形的回收罩中。

一些实施例中，翼灯的位置可由矢量灯的方向调节而改变，通过调节矢量灯的光束方向、或同时调节矢量灯的光束方向和矢量灯的功率，可以得到变换翼灯位置的矢量灯模板。

具体地，由于翼灯是由矢量灯的光束或光束延长线的交点形成的，因此，通过调节矢量灯的方向可以实现交点位置的控制，从而调节真实翼灯与回收装置的距离，如图7所示。图7中，白色实线圈是坞站口径，该口径是由回收装置上的回收罩的机械尺寸限制的，四个矢量光视觉灯安装在该白色实线圈上；白色虚线圈是由以真实翼灯间距为直径的翼灯口径。通过改变形成交点的矢量灯间的夹角θ可调节翼灯的位置。将图7左图中的夹角θ变小后，翼灯口径变大，如图图7右图所示。图7中，翼灯在白色实线圈外，由真实翼灯所形成的翼灯口径均大于坞站口径，该结果表明：矢量灯可打破坞站机械尺寸限制，可以在小尺寸坞站上实现大尺寸坞站布放标志灯的效果。大尺寸坞站上的标志灯在较远距离时，水下摄像机获得的图像中的标志灯光斑不易交叠，而小尺寸坞站上的标志灯在较远距离时，则易交叠，因此，大尺寸坞站更利于实现较远距离的光视觉导引。这也是传统的多光源光视觉导引技术下回收装置难以小型化的关键点。

本发明另一实施例关于上述水下矢量光视觉导引方法的具体步骤如下：

第一步：矢量灯按照矢量灯模板布放在回收装置的回收罩上，该矢量灯模板与后面水下摄像机获得水下矢量灯模态图互相对应；

第二步：在auv自主回收时，矢量灯开启，在水中形成翼灯；

第三步：auv艏部的水下摄像机获得坞站回收装置上矢量灯的矢量灯模态图，并输出矢量灯模态图至水下摄像机的图像处理模块；

第四步：水下摄像机中的图像处理模块对获得矢量灯模态图进行骨骼化处理提取翼灯，并采用翼灯作为特征点，获得翼灯特征点在摄像机坐标下的坐标，具体地：

通过对模态图中的矢量灯进行骨骼化线段提取，并通过该线段及线段的延长线找出真实翼灯和虚拟翼灯，作为特征点，最后获得这些特征点摄像机坐标下的坐标，即翼灯摄像机坐标系坐标；

第五步：对翼灯特征点经过特征匹配可获得矢量灯模态图中翼灯与矢量灯模板中翼灯的对应关系，进而水下摄像机中的图像处理模块利用已知的翼灯在坞站坐标系下的坐标和矢量灯模态图中翼灯摄像机坐标系坐标的对应关系，结合水下摄像机内部参量，建立坞站坐标系和摄像机坐标系间的转换关系，获得摄像机坐标系在坞站坐标系下的坐标和姿态信息；

第六步：由于摄像机安装在auv艏部，摄像机坐标系与auv坐标系的转换关系是已知的，因此，水下摄像机中的图像处理模块利用已知的摄像机坐标系与auv坐标系的转换关系，给出auv在坞站坐标系下的三维空间坐标和姿态信息，并输出给auv的控制系统；

第七步：auv控制系统根据自身在坞站坐标系下的定位信息，修正航行参数，对准回收装置的喇叭口形回收罩；

第八步：重复第三步至第七步，直至auv进入回收装置，矢量光视觉导引结束。

为了能使该方法能够清楚、详细的呈现本发明所提出的方法的有效性，图8和图9分别给出传统标量灯和本发明矢量灯在水下摄像机中获得的水下模态图像。图8中，四个标量灯安装在口径约为128mm的圆形模拟回收罩上；图9中，四个矢量灯安装在相同口径的圆形模拟回收罩上，形成交点的矢量灯间的夹角为15°。标量灯和矢量灯距离水下摄像机的距离约为10m。在图8中，标量灯受水体散射及环境影响，光斑的大小不一致，光斑非标准圆形光斑，从而不利于特征点的准确提取，且由于发散角大，标量灯的光斑已经出现交叠。在图9中，矢量灯光斑线段特征明显，四个矢量灯形成的两个翼灯8间的距离约为494mm，约是圆形模拟回收罩128mm口径的4倍。需说明的是，图9中的亮斑13，是矢量灯照到水池壁上形成的，而在实际应用中，auv通常是在开放的水域中自主回收，无此光斑影响。图9和图8的实验结果表明，相比传统的标量灯，矢量灯可打破回收装置机械尺寸的限制，并且以线段交点作为特征点更利于高精度定位。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。