一种基于计算机视觉的户外结构振动位移自动化监测方法

本发明涉及一种基于计算机视觉的户外结构振动位移自动化监测方法。

背景技术：

结构健康监测是检测各类结构损坏，跟踪运行状态并评估状况的过程，对于结构的适用性与安全性评估具有重要意义。土木工程领域中的结构破坏包括局部破坏和整体破坏，其中整体破坏可以通过结构关键部位的位移响应来描述，因此结构整体层面的健康监测常通过监测位移响应来实现。

对于高层建筑，其竖向运动小而顶部受振动后水平位移响应最为剧烈；对于大跨度桥梁或空间结构，其轴向运动小而跨中竖向振动响应最剧烈；对于输电导线等三自由度结构，其振动响应也基本发生在平面之内，因此结构平面内振动响应为大多数结构健康监测中关注的重点。而对于户外结构监测，由于设备搭设不便与复杂多变的环境因素影响，具有高鲁棒性的自动化监测方法成为研究重点。

传统的户外结构接触式监测方法包括线性可变差压传感器、液位计等，需要一个固定的参考点位，且受距离限制，多点测量较困难；传统的非接触式监测方法有激光位移传感器，其工作范围也较短，且户外监测容易受电磁波干扰。

随着相机的普及与图像处理技术的发展，计算机视觉监测方法越来越普遍，工程领域中，常用的计算机视觉监测方法可分为单目视觉、双目视觉和多目视觉。双目视觉和多目视觉可实现目标三位运动测量，然而需要多台相机，成本高昂；且对于监测系统布置、相机同步性有很高要求。

单目视觉可以实现目标平面运动的监测，布置简易、成本低，在能确定目标仅有平面内运动的情况下，具有更强的适用性。当前常用的计算机视觉算法有：

(1)、比例系数法。此算法根据凸透镜成像原理绘制光路图，由几何关系求得同一目标在实际中的尺寸与图像上的像素尺寸之间的比例k，利用此系数乘以像素位移即可得实际位移。此方法原理简单、操作简便，但要求相机光轴保持与目标运动平面垂直，否则会带来较大测量误差。

(2)、模板匹配法。此算法利用一个与模板尺寸相同的搜寻框在图像上逐像素移动，每一位置建立区域与模板间的归一化相关系数来表示匹配程度，系数值最大的地方即为最佳匹配区域。此算法易于编程且计算效率高，但要求相机光轴垂直于目标平面且不能旋转，否则图像发生透视变换或者旋转将使误差增大。

(3)、角点检测法。角点通常被定义为两边的交点，此算法可以识别角点特征明显的目标点，识别精度不受目标运动范围与幅度影响，但计算效率低，且当识别范围较大时容易误判导致识别错误。

在户外结构振动位移监测中，结构物高大且形态各异，相机安置位置也受周边地形与建筑限制，难以满足相机光轴与振动平面相垂直的要求；其次结构上的目标无法做到绝对平动，会不可避免地发生转动，增加了识别难度；最后，户外环境复杂，相机受风振动影响或者结构物运动频率过大，将导致所拍摄照片模糊，降低识别精度。由此可知以上几种常用单目视觉算法在户外结构振动位移监测中适用性差、鲁棒性低、精度难以保障。

技术实现要素：

本发明的目的在于，解决传统传感器在户外结构位移监测中存在的适用范围有限、成本较高、操作繁琐等问题，以及解决当前传统的单目视觉算法无法用于转动测量及恶劣环境下的测量等问题，提供一种基于计算机视觉的户外结构振动位移自动化监测方法。

为此，本发明的上述目的通过以下技术方案来实现：

(1)选定作为监测目标的标记物，并预先准备1000-5000张此标记物的图像训练卷积神经元网络(cnn)得到网络权重；预先准备300-500对清晰的标记物图像和模糊部分损坏的同一标记物图像训练生成对抗网络(gan)，得到网络的权重。

(2)在户外安置相机，确保相机稳固且能够捕捉被监测结构物的振动研究平面及其上的标记物；

(3)选用9×12的黑白相间棋盘形标定板，在目标点运动平面附近摆放15种以上不同位置不同方向的姿态，需要确保其中一种姿态的标定板平行于目标点运动平面，且标定板的两边分别平行于实际空间坐标系下定义的x轴和y轴，用安置好的相机采集每种姿态下的标定板图像，并保证所有姿态的标定板均处于相机所摄图像范围之内。

(4)求解同一目标在相机所采集图像中的像素坐标和实际空间坐标之间的比例系数s和坐标转换矩阵p：

sm＝pm(1)

式中：s为比例系数；p为坐标转换矩阵；m为目标点在像素坐标系下的齐次坐标；m为目标点在实际空间坐标系下的齐次坐标；利用采集到的不同姿态下的标定板图像，通过张正友相机标定方法可以求得相机参数s和p；

(5)在户外结构物上目标点处粘贴标记物，采集结构物初始状态的图像，使用卷积神经元网络cnn识别得到特征区域，并记作a；

(6)假设图像上一点的像素坐标为(x，y)，在特征区域a中运用harris角点识别方法识别目标点的初始像素坐标，得到的初始像素坐标记为(x0，y0)；根据初始像素坐标及周围像素的灰度梯度关系利用最小二乘法拟合求解目标点的亚像素坐标，记作(xs0，ys0)；

(7)设置相机采样频率，开始监测，并通过相机采集每一时刻的目标图像；

(8)确定目标点所在的特征区域a在t时刻图像上的位置；用一个大小与a相同的搜寻框，逐像素在t时刻图像上移动，建立每一位置搜寻区域与a之间的归一化相关函数c(x，y)，直到搜寻框遍历t时刻图像所有区域：

式中：m，n分别为特征区域a的像素长度和宽度；f(i，j)为初始时刻图像特征区域a中(i，j)处的像素值；为初始时刻图像特征区域a的平均像素值；rt(i+x，j+y)为t时刻图像上(i+x，j+y)处的像素值；为t时刻图像上搜寻框的平均像素值；

在t时刻图像上，归一化相关函数c取值最大时所对应的搜寻框包含的区域，即为a的最佳匹配区域；当c的最大值大于等于0.75时，将该搜寻框记为t时刻的特征区域at；当c的最大值小于0.75时，使用卷积神经元网络cnn自动识别特征区域at；

(9)在at中运用harris角点识别方法识别目标点的t时刻像素坐标，记为(xt，yt)；根据此坐标及周围像素的梯度关系利用最小二乘法拟合求解目标点的t时刻亚像素坐标，记作(xst，yst)。若无法正确在at靠中心位置识别出目标点，则使用对抗网络gan进行去模糊处理，得到去模糊后的t时刻特征区域图像dt，再在dt中求解目标点的t时刻亚像素坐标；

(10)根据步骤(4)求得的比例系数s和坐标转换矩阵p，利用公式(3)求解目标点在初始时刻和t时刻的实际空间坐标：

m＝sp^-1m(3)

假设初始时刻目标在实际空间坐标系下的坐标为m0，t时刻目标在实际空间坐标系下的坐标为mt，则t时刻目标的实际位移为mt-m0；

(11)重复步骤(8)～(10)直至完成所有时刻目标实际位移计算，得到目标位移-时间关系曲线。

与传统的户外结构振动位移测试方法相比，本发明所提供的基于计算机视觉的户外结构振动位移自动化监测方法具有以下优点：

(1)相比于传统的位移监测方法，克服了差压传感器、液位计、激光位移计等进行结构振动位移测量时可能带来的误差，以及测量距离受限、测点单一、操作复杂等不足；

(2)相比于双目及多目计算机视觉系统，具有布置简易、高鲁棒性、高效、便捷、低成本的特点，在户外结构振动位移监测场景具有更强的适用性；

(3)监测范围广，监测视角大，能实现相机在户外灵活安置的需求，并适用监测目标发生转动的情况；

(4)实现了图像去模糊，解决当前已有监测算法在户外结构振动监测中受图像模糊影响而精度不足的问题，能够实时精确获取户外结构振动位移-时间关系曲线。

附图说明

图1为本发明所提供的基于计算机视觉的户外结构振动位移自动化监测方法的现场测试示意图；

图2为cnn自动识别和定位标志物图像的实例；

图3为gan对标志物图像进行去模糊处理的实例；

图1中：①为户外建筑物；②为监测目标点与标记物；③为9×12黑白棋盘形标定板；④为相机；⑤为监测系统；⑥为粘贴在目标点处的标记物。

具体实施方式

参照流程图和附图对本发明作进一步详细描述。

图1为本发明所提供的基于计算机视觉的户外结构振动位移自动化监测方法的现场测试示意图，具体实施包括以下步骤：

(1)选定作为监测目标的标记物，预先准备5000张标记物的图像训练卷积神经元网络(cnn)得到网络权重；预先准备500对清晰的标记物图像和模糊部分损坏的同一标记物图像训练生成对抗网络(gan)，得到网络的权重。

(2)如图1所示，在户外建筑物①远处安置相机④，确保相机能捕捉到建筑物表面监测目标点②与其所在振动位移平面；

(3)选用9×12的黑白相间棋盘形标定板③，在目标点②所在运动平面附近摆放15种以上不同位置不同方向的状态，需要确保其中一种姿态的标定板平行于目标点运动平面，且两边分别平行于实际空间坐标系下定义的x轴和y轴，用安置好的相机④采集每种姿态下的标定板图像，并保证所有姿态的标定板均处于相机所摄图像范围之内。

(4)利用所拍摄的标定板图像根据张正友相机标定法求解同一目标在相机所采集图像中的像素坐标与实际空间坐标之间的比例系数s和坐标转换矩阵p；

(5)在户外结构物目标点②处黏贴标记物⑥，拍摄结构物在初始状态下的目标点图像，利用cnn识别得到特征区域，记作a，如图2所示；

(6)假设图像上一点的像素坐标为(x，y)，在特征区域a中运用harris角点识别方法识别目标点的初始像素坐标，得到的初始像素坐标记为(x0，y0)；根据初始像素坐标及周围像素的灰度梯度关系利用最小二乘法拟合求解目标点的亚像素坐标，记作(xs0，ys0)；

(7)设置采样频率，开始监测，并通过相机采集每一时刻的目标图像；

(8)利用模板匹配算法计算t时刻图像上归一化相关函数c(x，y)，当c的最大值大于等于0.75时，将该搜寻框记为t时刻的特征区域at；当c的最大值小于0.75时，使用卷积神经元网络cnn自动识别特征区域at；

(9)在at中运用harris角点识别方法识别目标点的t时刻像素坐标，记为(xt，yt)；根据此坐标及周围像素的梯度关系利用最小二乘法拟合求解目标点的t时刻亚像素坐标，记作(xst，yst)。若无法正确在at靠中心位置识别出目标点，则使用对抗网络gan进行去模糊处理，如图3所示，得到去模糊后的t时刻特征区域图像dt，再在dt中求解目标点的t时刻亚像素坐标；

(10)假设初始时刻目标在实际空间坐标系下的坐标为m0，t时刻目标在实际空间坐标系下的坐标为mt，则t时刻目标的实际位移为mt-m0；

(11)重复步骤(8)～(10)直至完成所有时刻目标实际位移计算，得到目标位移-时间关系曲线，整个处理过程通过监测系统⑤完成；

上述具体实施方式用来解释说明本发明，仅为本发明的优选实施例，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改、等同替换、改进等，都落入本发明的保护范围。