一种AUV自主定位辅助的节能型多图像拼接方法

本发明涉及一种水下多图像拼接方法，尤其涉及一种auv自主定位辅助的节能型多图像拼接方法。

背景技术：

1、随着水下机器人技术的迅速发展，以自主式水下航行器(autonomous underwatervehicle,auv)为代表的无人潜航器被广泛应用在海洋探测和水下检修等工作中。面对这些工作，auv面对的首要问题是机器人的视觉问题。由于单个相机的单幅图像中的信息相当有限，探测中往往采用不同角度的多个相机，或者单个相机在不同位置得到的多幅图像，将这些图像进行图像拼接等一系列处理，以获得更多的视觉信息。相比地面上对于空气中的图像，水下图像由于水对于光线的吸收和散射，图像质量和地面上的图像有很大的差别。同时，水体的浑浊度也进一步降低了采集到图像的质量。因此，在水下进行图像拼接相较于地面更加困难，更具有挑战性。

2、水下图像处理一直是图像处理领域的一个热门方向。水下图像往往由auv进行采集，视野受到环境和设备的限制，难以获得完整的全景图像信息，而图像拼接技术则可以很好的解决这一问题。目前，以特征匹配和投影变换为核心的拼接方法由于其精度高，可靠性强等优势，成为图像拼接方法中的主流方法。但是，鉴于不同特征各自的特点，并不能保证特定环境中特征提取和匹配的速度。为了提高速度，常对待拼接图像进行预处理，譬如估计图像重合区域以缩小特征检测的范围，从而提高算法整体速度。

3、为了提高图像拼接的效率，往往在特征检测之前进行预处理，目前大多采用重合区域估计的方法，这些方法常从待拼接图像内容出发，对重合区域做出估计，这种方法并不能准确判断合适的重合区域。为解决这一问题，可以针对性的利用图像拍摄的外部环境，对重合区域做出估计，由此保证了所得重合区域的准确性。

4、当图像较多的时候，连续进行单次图像拼接速度较慢，效率较低，不能很好的适应auv水下作业的需要。因此亟需解决的问题是，寻找一种方法将多个图像连续有序地拼接，以提高算法运行的速度，同时保证图像信息的完整，此类方法鲜有报道。

技术实现思路

1、发明目的：为了解决水下图像多图像拼接中特征匹配时间过长，拼接速度较慢，拼接精度不足的问题，同时为实现多幅图像拼接为一幅全景图像的目的，本发明提供了一种auv自主定位辅助的节能型多图像拼接方法。

2、技术方案：本发明提供一种auv自主定位辅助的节能型多图像拼接方法，包括以下步骤：

3、(1)auv以固定帧率拍摄的同时，获取自身的运动信息，利用运动信息判断每次拍摄时auv所处位置，构建与每幅图像对应的坐标集；

4、(2)根据坐标集给出的位置信息，去除图像信息重复的冗余图像，对筛选后保留下来的图像两两之间的重合区域做出估计，并从中寻找最合适的基准图像；

5、(3)根据图像之间的重合区域，规划以基准图像为起点的最优拼接次序，根据规划结果对待拼接图像逐次进行配准和融合，从而得到完整的水下拼接图像；

6、(4)根据拼接次序优化auv航行路径，减少后续的航行过程中auv的能量消耗。

7、进一步地，所述步骤(1)实现过程如下：

8、auv获取的自身运动信息包括，拍摄第n张照片时前进速度大小vn，与坐标系x轴正方向偏移的角度αn，图像大小为a×b，图像分辨率为i×j，拍摄帧率为f；根据运动信息以及上一张图片拍摄时的位置坐标，计算得到下一次拍摄时所处的位置坐标：

9、(xn,yn)＝(xn-1+vn-1cosαn-1,yn-1+vn-1sinαn-1)

10、其中，(xn,yn)为拍摄第n张照片时auv所处的位置坐标。

11、进一步地，所述步骤(2)包括以下步骤：

12、(21)对于任意时刻拍摄的图像，利用图像大小和运动信息，判断这一图像内容是否被前后两张图像所包含；若被包含，则判断该图像为冗余图像，并从图像集合中除去这一图像；若不被包含，则保留这一图像在图像集合中；

13、(22)通过auv实际速度和图像分辨率，构建图像实际距离与像素距离的比例关系，从而用拍摄图像时的实际距离反映图像上的像素距离；根据这一关系，估计两幅图像之间像素重合的部分，即两幅图像之间的重合区域；

14、(23)在除去冗余图像后的剩余图像中，寻找一幅图像，若该图像能够以最小半径包含绝大多数图像，则该图像为此次拼接的基准图像。

15、进一步地，所述步骤(3)包括以下步骤：

16、(31)对除基准图像外的任意图像，利用floyd算法计算该图像到基准图像的最优拼接路径规划，重复求各个图像的最优拼接路径，直到这些路径中包含了图像集合中的所有图像；

17、(32)在图像的重合区域上进行特征检测；

18、(33)按照拼接路径，进行特征匹配，计算投影变换矩阵并根据投影变换矩阵依次拼接待拼接图像，进行图像融合以降低失真。

19、进一步地，所述步骤(22)实现过程如下：

20、(a)任意选择一幅图像figure[e]，其他图像标号为figure[f]；

21、(b)将figure[e]分别与figure[f]做重合区域估计，在x方向上的重合区域为δx＝±(a-dx)，在y方向上的重合区域为δy＝±(b-dy)，若figure[e]在figure[f]左边或下边，则结果取正，反之取负，其中dx，y＝|(xi，yi)-(xj，yj)|为两图像坐标之差；

22、(c)延拓重合区域δx＝δx+δ，δy＝δy+δ，δ为补偿系数，以延长重合区域宽度；

23、(d)重复步骤(a)至(c)，得到图像两两之间的重合区域，根据图像像素长度与实际长度的关系，将重合区域转换为素长度表示。

24、进一步地，所述步骤(31)实现过程如下：

25、s1：以基准图像为起点，在待拼接图像集合中寻找与基准图像距离最远的图像figure[g]作为终点；

26、s2：将重合区域作为判断距离的权重，如果插入中转点figure[h]图像后，图像之间的重合区域扩大，则认为这一路径的距离更短，将该中转点划入这条拼接次序中；

27、s3：重复s2直到该条路径最优，除去该路径上的图像，在剩余图像中寻找与基准图像距离最远的图像作为下一条路径的终点，直到所有图像均以在路径中。

28、有益效果：与现有技术相比，本发明的有益效果：本发明主要应用于auv工作的水下环境，这种拼接方法能帮助auv在作业过程中较好地适应环境变化；本发明提出一种auv运动和定位的方法，可以辅助机器人作业和路径的规划；并利用定位结果，将实际运动信息和图像信息相结合，提高了重合区域估计的速度和精度，缩小了特征检测的范围；本发明提出了一种多图像拼接的拼接路径规划方法，保证各图像拼接有序完整地进行，提高了算法整体的速度；降低了航行过程中auv的能源消耗，符合环保理念。

技术特征：

1.一种auv自主定位辅助的节能型多图像拼接方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种auv自主定位辅助的节能型多图像拼接方法，其特征在于，所述步骤(1)实现过程如下：

3.根据权利要求1所述的一种auv自主定位辅助的节能型多图像拼接方法，其特征在于，所述步骤(2)包括以下步骤：

4.根据权利要求1所述的一种auv自主定位辅助的节能型多图像拼接方法，其特征在于，所述步骤(3)包括以下步骤：

5.根据权利要求3所述的一种auv自主定位辅助的节能型多图像拼接方法，其特征在于，所述步骤(22)实现过程如下：

6.根据权利要求4所述的一种auv自主定位辅助的节能型多图像拼接方法，其特征在于，所述步骤(31)实现过程如下：

技术总结
本发明公开了一种AUV自主定位辅助的节能型多图像拼接方法，构建拍摄图像各时刻AUV的位置信息；去除信息冗余的图像，并对剩余图像进行重合区域估计，寻找基准图像方便拼接；根据重合区域和基准图像，规划最优图像拼接次序，达到水下多图像连续拼接的目的；同时，依靠拼接过程中对拼接次序的选择，对AUV航行路线进行优化，以延长AUV在水下作业的时间。本发明缩小了特征匹配的范围，提升了算法运行的速度；基于重合区域大小对拼接次序进行规划，解决了待拼接图像数量较多时的拼接顺序问题，提供了可靠的水下多图像拼接方法，同时保证了图像拼接的效率和精度；基于拼接次序优化了水下机器人的航行路线，有效节约了水下作业所需能源，延长AUV的工作时间。

技术研发人员：黄浩乾,汪奕扬,王迪,曹屹峰,罗天,苏钰婷
受保护的技术使用者：河海大学
技术研发日：
技术公布日：2024/1/12