水下浸没结构的ROV巡检方法

本发明属于水下机器人巡检方法，具体涉及水下浸没结构的rov巡检方法。

背景技术：

1、随着近几十年海河工程实力的不断增强，大量规模各异的桥梁支撑、水坝和其他大型工程等水下浸没结构不断兴建。目前，这些水下建筑正逐渐从建设阶段过渡到养护阶段，许多结构已经出现性能衰退现象，给维护工作带来巨大压力。

2、这些结构处在水下环境中，受到河水洋流和携带泥沙的冲刷和磨损，同时也承受着水环境中的各种腐蚀，还可能遭受船只和漂浮物的撞击，以及水生物对其造成的影响。这些因素导致水下结构很容易出现各种缺陷，因此有效的水下结构检测是进行结构评估和维修的前提条件。

3、传统的检测方法主要由蛙人进行水下肉眼观察或探摸，以及专业蛙人携带水下摄像机对结构进行拍摄后交由专家进行检测。然而，水下环境复杂多变会给潜水员的工作带来各种不利影响，潜水员与岸上工作人员之间无法实时进行良好的沟通，导致工作效率低下，且分心工作存在较高风险，另外检测方法周期长，需要多名工作人员参与且费用高昂。具有较高的人力、财力及时间成本，给检测工作带来了重重困难。

技术实现思路

1、本发明的目的是提供水下浸没结构的rov巡检方法，能够实现高效率、高精度自主巡检。

2、本发明所采用的技术方案是，水下浸没结构的rov巡检方法，具体按照以下步骤实施：

3、步骤1、水下布放巡检机器人并进行姿态调整；

4、步骤2、过滤水下干扰信息，再采用偏色校正算法以实现清晰化处理；

5、步骤3、融合视觉与惯导的传感器数据对rov位置与姿态进行估计；

6、步骤4、对进入摄像机视野的检测结构目标，通过基于深度学习的目标跟踪算法使机器人靠近水下浸没结构；

7、步骤5、近距离到达目标处后通过基于图像处理的裂缝检测方法，提取水下浸没结构具有缺陷特征的几何和纹理信息。

8、本发明的特点还在于：

9、步骤2具体按照以下步骤实施：

10、步骤2.1、采用导向滤波对水下图像进行去噪处理，保留原图中的边缘细节；

11、步骤2.2、对水下图像利用偏色因子值进行判断并区分出无偏色图像和有偏色图像；

12、步骤2.3、对不同有偏色的图像进行颜色补偿得到颜色补偿图像；

13、步骤2.4、采用限制对比度自适应直方图均衡化clahe算法对颜色补偿后的图像进行全局对比度增强。

14、步骤3具体按照以下步骤实施：

15、步骤3.1、以树莓派时钟为基准，采用c++库函数分别求出摄像机和imu的时间戳，最后利用定位算法估计时间偏差以实现imu和摄像机之间的时间戳同步；

16、步骤3.2、用相机采集视觉图像，imu的加速度计与陀螺仪分别按照各自工作频率测量加速度与角速度；

17、步骤3.3、按照多状态约束卡尔曼滤波器msckf算法，定义系统状态向量为其中xi为imu状态向量，表示相机状态；

18、步骤3.4、通过imu测量获得的加速度和角速度基于运动学公式进行积分得到标称状态，姿态采用零阶积分由公式(1)计算，速度和位置采用4阶龙格库塔法积分更新分别由公式(2)和(3)计算：

19、

20、

21、

22、其中，ω(ω)为关于角速度ω的矩阵，k为龙格库塔系数；

23、步骤3.5、误差状态通过imu测量的噪声基于扩展卡尔曼的预测方程公式(4)和(5)进行预测：

24、

25、

26、其中，为第k时刻系统状态，fk为状态转移矩阵，pk表示k时刻状态的协方差，qk表示k-1到k时刻的imu的误差对状态影响的协方差；

27、步骤3.6、对步骤3.2中采集的视觉图像进行fast特征提取与lk光流法特征跟踪，当获得视觉观测后，系统基于扩展卡尔曼的更新方程对误差状态进行更新：

28、

29、

30、p′k＝pk-k′hkpk＝i-k′hk)pk   (8)

31、其中，k′为卡尔曼增益，hk表示观测量相对于状态在k时刻的雅可比矩阵，rk表示观测协方差矩阵，是第k时刻的观测；

32、步骤3.7、将误差状态的均值合入标称状态得到真实状态，然后再被重置为零，而误差状态的协方差矩阵就不断更新来反应这个状态更新和重置的过程；

33、步骤3.8、当惯性测量单元的加速度计与陀螺仪采集到新的一次加速度和角速度数据时，重新返回步骤3.4。

34、步骤4具体按照以下步骤实施：

35、步骤4.1、在第一帧中进行边界框初始化；

36、步骤4.2、假设在t-1帧中，跟踪器先前预测目标位于c＝(cx，cy)，宽度为w，高度为h；网络对图像的前一帧进行裁剪和缩放，使跟踪对象位于图像的中心位置，取帧t-1中以(cx，cy)为中心的裁剪，宽度和高度分别为k1w和k1h；

37、步骤4.3、当前帧t的裁剪以c′＝(c′x，c′y)，其中c′为目标物体的期望平均位置，设c′＝c，这相当于一个恒定位置运动模型，当前帧的裁剪宽度和高度分别为k2w和k2h，其中w和h是前一帧中预测的边界框的宽度和高度，k2定义为目标对象的搜索半径；

38、步骤4.4、将两个裁剪的帧作为输入，训练卷积神经网络(cnn)以预测当前帧中边界框的位置；两帧都通过一组卷积层，这些层只是caffenet架构的前五个卷积层，这些卷积层的输出被连接成一个长度为4096的向量，这个向量输入到3个全连接层，最后一个全连接层最终连接到输出层，输出层包含代表边界框顶部和底部的4个节点；

39、步骤4.5、随后的每一帧中，将帧t-1和帧t的裁剪输入到网络中，以预测物体在帧t中的位置，继续对视频的其余部分重新裁剪并将帧馈送至网络中，网络将在整个序列中跟踪目标物体的运动。

40、步骤5具体按照以下步骤实施：

41、步骤5.1、对图像进行灰度化处理；

42、步骤5.2、将图像转化为适合分析和处理的形式，并对图像增加对比度；

43、步骤5.3、canny边缘检测，得到相关的裂缝信息；

44、步骤5.4、利用形态学连接临近的裂缝，采用种子填充法找出所有的连通域，选取当前像素作为种子，并赋予一个新的label，然后将其所有邻域的具有相同像素值的像素的位置加入栈中；

45、步骤5.5、弹出栈顶的元素，赋予相同的label，并将其所有邻域的具有相同像素值的像素的位置加入栈中，重复操作直到栈为空，此时找到一个连通区域，并标记为相同的label；

46、步骤5.6、遍历图像重复步骤5.4和步骤5.5直至找到所有连通区域label_1，label_2，…，label_n；

47、步骤5.7、删除非裂缝的噪点区域，最后再对每个连通域提取骨架，并且测量长度和宽度，得到最后的裂缝信息。

48、本发明的有益效果是：本发明水下浸没结构的rov巡检方法，通过图像增强、水下定位、目标跟踪、裂痕检测四个部分，能够对水下浸没结构的表面裂缝、孔洞等进行巡检，实现高精度、高效率、长距离的水下机器人自主巡检作业，充分发挥无人遥控水下机器人长时间作业、视频实时传输的优势。