水下结构病害检测接触式视觉传感设备及图像处理方法与流程

本发明涉及视觉传感器技术领域，具体是水下结构病害检测接触式视觉传感设备及图像处理方法。

背景技术：

传感器在桥梁健康监测中一直起着非常重要的作用，它不仅制约着桥梁健康监测的内容,而且直接决定了监测系统的可靠性和工作寿命。随着科学技术的进步，近年来传感器发展快速，一些可靠、精确和便宜的新型传感器的开发和应用，有力地推动了桥梁健康监测的发展。与此同时，研发更加高效、经济、实用、耐久的高性能检测传感器是结构健康监测领域的主要课题之一。当前现有的传感器主要还是以“点式测量”和“人工布设”为主，这些传统的传感器虽然具有较高的观测精度，但由于其操作过程费时、费力、存在安全隐患等局限性，使得传统的人工布设的“点式”传感器始终无法大规模地向水下结构检测中推广。因此，智能化检测传感器的研发与应用成为水下结构检测中的重大问题。

目前最新的水下结构检测技术主要有基于计算机视觉技术和基于声呐设备的超声检测两大类，但这两种技术都存在着不同程度的局限性。比如：在一些水下环境能见度低、成像环境比较恶劣的条件下，计算机视觉技术难以看清结构表面的状况；在一些水流较为湍急的区段，声呐设备的稳定性较差，从而影响了检测结果的精度。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，本发明提供水下结构病害检测接触式视觉传感设备及图像处理方法。

技术方案：为解决上述技术问题，本发明的一种水下结构病害检测接触式视觉传感设备，包括照明电路子系统、图像采集子系统和图像处理子系统，图像采集子系统包括有机玻璃盒，有机玻璃盒的一个表面外侧粘附有透明的弹性体，与设置弹性体表面相对的表面上设置有高分辨率成像设备；图像处理子系统用于对高分辨率成像设备采集到的图像运用深度学习算法进行批量处理并输出处理结果。

高分辨率成像设备的摄像头的中心与弹性体的中心处于同一条直线上。

其中，弹性体由聚二甲基硅氧烷制成。

其中，照明电路子系统包括设置于有机玻璃盒内弹性体周围的环绕弹性体的led照明电路。

其中，led照明电路的光源与摄像头高分辨率成像设备的摄像头的轴线垂直。

其中，led照明电路上串联可变电阻，使得有机玻璃盒内部光强可调。

本发明还提供一种水下结构病害检测接触式视觉传感设备的图像处理方法，包括以下步骤：

(1)读取高分辨率成像设备的摄像头所采集到的病害图像；

(2)将图像切分为多个patch文件；

(3)对patch文件进行预处理；

(4)将预处理后的patch文件转化为lividb的格式储存，送入卷积神经网络中进行训练处理。

其中，步骤(3)中对patch文件进行预处理过程包括：图像灰度化处理、波谷阈值分割及梯度方向直方图过滤。

其中，所述卷积神经网络为经典的vgg16网络结构，其中第一层为图像输入层，最后一层是输出层。

有益效果：本发明具有以下有益效果：

本发明借助pdms弹性体强大的变形适应能力，运用深度学习算法对采集到的病害图像进行多维的定性与定量分析，目前可达到水下混浊环境中，混凝土表面各类病害90％以上的识别精度，实现0.1mm级裂缝的精准识别；能够实现水下混浊或类似能见度很低环境下混凝土表面病害的快速识别与定量分析，从而有效地克服了目前水下环境传统的人工检测或其他成像设备(声呐、阵列相机等)遇到的成像难、精度低的技术难题，为水下桥墩病害检测提供了一种全新的思路和技术手段。本发明所包含的“接触式视觉传感”的理念，搭配目前研究较为成熟的多自由度机械手臂，也使得该设备的适用范围不仅仅局限于结构检测领域，具有很广泛的前景。

附图说明

图1为本发明的接触式视觉传感器的内部结构示意图；

图2为本发明的高分辨率成像设备工作原理图；

图3为本发明具体实施方式中图像处理模块的工作流程图；

图4为本发明具体实施方式中图像处理模块的算法工作流程图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1和图2所示，本发明包括照明电路子系统、图像采集子系统和图像处理子系统，图像采集子系统包括有机玻璃盒，有机玻璃盒的一个表面上粘附有透明的弹性体，与设置弹性体表面相对的表面上设置有高分辨率成像设备；图像处理子系统用于对高分辨率成像设备采集到的图像运用深度学习算法进行批量处理并输出处理结果。高分辨率成像设备的摄像头的中心与弹性体的中心处于同一条直线上。弹性体由聚二甲基硅氧烷制成。照明电路子系统包括设置于有机玻璃盒内弹性体周围的环绕弹性体的led照明电路。

作为一种实施方式，如图1所示，图像采集子系统包括立方体型的有机玻璃盒，有机玻璃盒的顶面外侧粘附有弹性体1，有机玻璃盒底面上设置有高分辨率成像设备3；弹性体1内侧壁设有环绕弹性体1的led照明电路2、4，具体地，高分辨率成像设备3的摄像头设置于弹性体1的正下方，摄像头的中心与弹性体1的中心处于同一条直线上。如图2所示，图像采集子系统采用两个stm32f4系列单片机6作为主控，均通过数据并口a的通信方式，一个与摄像头5对接，另一个与tft触控屏7对接；两个单片机之间通过网线b连接；摄像头采用ov5640模组，最高清晰度可达500万像素，且高分辨率成像设备设有二次开发的接口，可实现定时自动抓拍；摄像头与显示屏的通信方式设为自定义。成像设备的工作原理如图2所示。

弹性体由自主研发的高性能疏水类柔性有机硅化合物：聚二甲基硅氧烷(polydimethylsiloxane，缩写为pdms)制成，与现有技术的pdms相比，本发明通过改变硅胶与固化剂的比例至(40-60):1以及加热时的固化温度(90-110℃)，可以得到高柔软度的pdms。通过改变硅胶与固化剂的比例以及加热固化时的温度，得到不同弹性的pdms；这种材料具有很强的弹性和柔软性，因此可以自由地适应结构表面的纹理状况，同时其透明性确保摄像头可以拍摄到清晰的纹理图像。本发明的水下结构病害检测接触式视觉传感设备，目前可达到水下混浊环境中，混凝土表面各类病害90％以上的识别精度，实现0.1mm级裂缝的精准识别。

图像处理子系统用于对高分辨率成像设备采集到的图像运用深度学习算法进行批量处理并输出处理结果；可通过电池供能子系统采用锂电池提供3.7v标准电压为照明电路子系统和图像采集子系统供电。

照明电路子系统包括设置于有机玻璃盒内弹性体周围的环绕弹性体的led照明电路。led照明电路的光源与摄像头高分辨率成像设备的摄像头的轴线垂直。led照明电路上串联可变电阻，使得有机玻璃盒内部光强可调。对于照明电路子系统，为了保证图像的成像质量，采用光源与摄像头垂直的构建方式；为便于在设备内部形成平行光源的成像环境，采用四条发光二极管组成的led灯带粘在四壁，围绕在弹性体的底部周围；再通过在电路上串联变电阻，使得内部光强变为可调模式。

显示子系统中的显示屏选用4.3寸tft液晶屏，显示子系统的主控为stm32f407；液晶屏与主控之间采用fsmc方式并口连接。显示子系统另外包含网络接口，用于和图像采集子系统之间通信，接受图像信息；图像采集子系统与显示子系统之间采用网络的方式进行通信，通信选用udp协议。

本发明所采用的图像处理方法通过图像采集子系统集成的深度学习算法(cnn神经网络)对高分辨率成像设备3的摄像头所采集到的病害图像进行批量处理；图像处理的流程图如图3所示。该方法包括以下步骤：

(1)读取高分辨率成像设备的摄像头所采集到的病害图像；

(2)将图像切分为多个patch文件；

(3)对patch文件进行预处理；由于不同材料的裂缝数据有非常明显的自身特点，为了去掉多余的背景信息和减少信息量，在训练cnn之前，根据裂缝数据的特点，对数据进行一定的处理之后再送入cnn网络。对patch文件进行预处理过程包括：图像灰度化处理、波谷阈值分割及梯度方向直方图过滤；该预处理过程有效地提高了识别精度，同时降低了计算机的工作负担，从而进一步提高了识别效率。

(4)将处理后的patch文件转化为lividb的格式储存，得到两个文件夹train_mdb和test_mdb，送入卷积神经网络中进行训练处理。另外，训练模型需要配置两个文件：网络模型文件和训练方案文件，这两个文件的功能分别是设计网络模型和控制训练过程。整个图像处理子系统的工作流程如图4所示。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。