一种低分辨率振动图像目标检测网络结构、训练方法及应用

本发明涉及一种低分辨率振动图像目标检测网络结构、训练方法及应用，属于人工智能振动检测和计算机视觉检测领域。

背景技术：

1、结构体的健康监测已成为工程领域热门的研究方向。随着计算机视觉技术和图像采集设备的不断发展，基于计算机视觉的位移测量方法开始在机械、土木、航空等结构的工程应用中开始得到广泛的验证。因为这种测量方式具有远距离、非接触、省时省力、多点监测等优势所以视觉振动测量开始越来越受到学者们的高度关注。

2、基于计算机视觉的结构振动位移测量方法需要根据实际的应用场景的变化做出相应调整。首先设计合适的模板匹配算法和位移追踪算法提取的目标特征选择才能够获得被测结构上选定目标的准确位置信息，其次计算序列帧之间的相对位移生成振动体的位移图像。但针对结构体振动视频位移测量，视觉位移测量方法的理论和技术存在以下不足：低分辨率的采集图像：因为频谱混叠效应及噪声等因素的影响，结构体的振动会导致采集的图像模糊从而导致图像高频细节部分丢失；低识别率：少量的特征参数无法在低分辨率图像中保证结构振动目标的有效识别，边界框贴合不紧密使目标中心点产生偏移误差；低实时性：为了提高检测性能，现有的机器学习和深度学习方法通常会通过增加通道数和模型容量来实现训练样本和预测样本之间的有效映射。然而这会使得计算量呈指数性的增加从而消耗了大量的计算资源并增加了算法的部署难度。

技术实现思路

1、本发明提供了一种低分辨率振动图像目标检测网络结构、训练方法及应用，以用于构建低分辨率振动图像目标检测网络结构以用于低分辨率振动图像目标检测，并进一步用于桥梁振动目标检测。

2、本发明的技术方案是：

3、根据本发明的一方面，提供了一种低分辨率振动图像目标检测网络结构，包括目标图像重建网络模型、视觉目标检测网络模型；目标图像重建网络模型用于将输入的低分辨率振动图像进行重建，获得超分辨率重建图像；视觉目标检测网络模型用于对输入的超分辨率重建图像进行目标检测。

4、所述目标图像重建网络模型包括依次连接的第一特征提取模块、信息提取模块和重构模块，信息提取模块包括下采样子模块和上采样子模块；其中，第一特征提取模块对输入的图像进行特征提取，获得浅层特征；下采样子模块以特征提取模块的输出作为输入，下采样子模块的输出作为上采样子模块的输入；重构模块利用跳跃连接将浅层特征和上采样子模块的输出进行聚合，利用亚像素卷积层实现上采样，获得超分辨振动图像；其中，下采样子模块中的信息提取子模块的数量与上采样子模块中信息提取子模块的数量相等。

5、所述下采样子模块包括依次连接的第1个信息提取子模块-第n个信息提取子模块且相邻两个信息提取子模块之间进行降采样操作，上采样子模块包括依次连接的第n+1个信息提取子模块-第2n个信息提取子模块且相邻两个信息提取子模块之间进行上采样操作；第n个信息提取子模块的输出进行卷积操作作为第n+1个信息提取子模块的输入；第1个信息提取子模块的输出经卷积操作后和第2n-1个信息提取子模块经上采样操作的输出共同作为第2n个信息提取子模块的输入。

6、2n个信息提取子模块结构相同，均包括依次连接的第二卷积操作、窗口transformer、第三卷积操作和全局transformer；其中第二、第三卷积操作与第一特征提取模块中第一卷积操作相同。

7、所述视觉目标检测网络模型包括依次连接的第二特征提取模块、特征融合模块和目标检测模块。

8、所述第二特征提取模块包括依次连接的第四卷积操作、第一深度可分离卷积层、第一模型压缩操作、第二深度可分离卷积层、第二模型压缩操作、第三深度可分离卷积层、第三模型压缩操作和空间金字塔池化层。

9、所述特征融合模块包括依次连接的第四深度可分离卷积层、第四模型压缩操作、第一反卷积操作、第五深度可分离卷积层、第二反卷积操作；将第二特征提取模块中空间金字塔池化层的输出经第四深度可分离卷积层、第四模型压缩操作的结果及第二特征提取模块中第三深度可分离卷积层的输出特征作为第一反卷积操作的输入，第一反卷积操作的输出作为第五深度可分离卷积层的输入，第五深度可分离卷积层的输出及第二特征提取模块中第二深度可分离卷积层的输出特征经第二反卷积操作后输出至目标检测模块。

10、模型压缩操作由第一记忆模块输出进行bn正则化和relu激活后再经过第六深度可分离卷积层输出至第二记忆模块，最后进行bn正则化输出。

11、根据本发明的另一方面，提供了一种低分辨率振动图像目标检测网络结构的训练方法，包括：获取超分辨振动图像；依据超分辨图像，获取低分辨率振动图像；抽取相同序列的低分辨率振动图像和超分辨率振动图像，按照预设比例构建目标图像重建网络模型的训练集和验证集；基于目标图像重建网络模型的训练集和验证集对目标图像重建网络模型进行训练和验证，获得训练好的目标图像重建网络模型；依据训练好的目标图像重建网络模型获得的超分辨重建图像划分视觉目标检测网络模型的训练集和验证集；基于视觉目标检测网络模型的训练集和验证集对视觉目标检测网络模型进行训练和验证，获得训练好的视觉目标检测网络模型；依据训练好的目标图像重建网络模型对待测低分辨率振动图像进行重建获得待测超分辨率重建图像；依据训练好的视觉目标检测网络模型对待测超分辨率重建图像进行目标检测，获得检测结果。

12、根据本发明的另一方面，将上述所述的低分辨率振动图像目标检测网络结构的训练方法用于桥梁振动目标检测。

13、本发明的有益效果是：

14、本发明通过高速工业相机采集旋转体振动图像和视频，并同步收集同种工况下加速度传感器采集的电压信号作为标准信号，构建目标图像重建网络模型将低分辨率振动图像重建为超分辨率图像，并提升图像高频细节并锐化振动目标的边缘信息；在目标检测算法yolov5算法框架的基础上，构建特征提取、特征融合和目标检测模块对振动图像目标进行检测，其预测的振动位移结果可以直接用于获取图像序列中目标的位移偏移量。通过本发明公开的方法，有效解决当前低分辨率下采样桥梁结构体的振动图像导致图像高频细节部分丢失问题；有效解决少量的特征参数无法在低分辨率图像中保证结构振动目标的有效识别，边界框贴合不紧密使目标中心点产生偏移误差问题；能够实现训练样本和预测样本之间的有效映射，提高检测性能，并且为大型桥梁设备健康监测提供新方案。

技术特征：

1.一种低分辨率振动图像目标检测网络结构，其特征在于，包括目标图像重建网络模型、视觉目标检测网络模型；目标图像重建网络模型用于将输入的低分辨率振动图像进行重建，获得超分辨率重建图像；视觉目标检测网络模型用于对输入的超分辨率重建图像进行目标检测。

2.根据权利要求1所述的低分辨率振动图像目标检测网络结构，其特征在于，所述目标图像重建网络模型包括依次连接的第一特征提取模块、信息提取模块和重构模块，信息提取模块包括下采样子模块和上采样子模块；其中，第一特征提取模块对输入的图像进行特征提取，获得浅层特征；下采样子模块以特征提取模块的输出作为输入，下采样子模块的输出作为上采样子模块的输入；重构模块利用跳跃连接将浅层特征和上采样子模块的输出进行聚合，利用亚像素卷积层实现上采样，获得超分辨振动图像；其中，下采样子模块中的信息提取子模块的数量与上采样子模块中信息提取子模块的数量相等。

3.根据权利要求2所述的低分辨率振动图像目标检测网络结构，其特征在于，所述下采样子模块包括依次连接的第1个信息提取子模块-第n个信息提取子模块且相邻两个信息提取子模块之间进行降采样操作，上采样子模块包括依次连接的第n+1个信息提取子模块-第2n个信息提取子模块且相邻两个信息提取子模块之间进行上采样操作；第n个信息提取子模块的输出进行卷积操作作为第n+1个信息提取子模块的输入；第1个信息提取子模块的输出经卷积操作后和第2n-1个信息提取子模块经上采样操作的输出共同作为第2n个信息提取子模块的输入。

4.根据权利要求3所述的低分辨率振动图像目标检测网络结构，其特征在于，2n个信息提取子模块结构相同，均包括依次连接的第二卷积操作、窗口transformer、第三卷积操作和全局transformer；其中第二、第三卷积操作与第一特征提取模块中第一卷积操作相同。

5.根据权利要求1所述的低分辨率振动图像目标检测网络结构，其特征在于，所述视觉目标检测网络模型包括依次连接的第二特征提取模块、特征融合模块和目标检测模块。

6.根据权利要求5所述的低分辨率振动图像目标检测网络结构，其特征在于，所述第二特征提取模块包括依次连接的第四卷积操作、第一深度可分离卷积层、第一模型压缩操作、第二深度可分离卷积层、第二模型压缩操作、第三深度可分离卷积层、第三模型压缩操作和空间金字塔池化层。

7.根据权利要求5所述的低分辨率振动图像目标检测网络结构，其特征在于，所述特征融合模块包括依次连接的第四深度可分离卷积层、第四模型压缩操作、第一反卷积操作、第五深度可分离卷积层、第二反卷积操作；将第二特征提取模块中空间金字塔池化层的输出经第四深度可分离卷积层、第四模型压缩操作的结果及第二特征提取模块中第三深度可分离卷积层的输出特征作为第一反卷积操作的输入，第一反卷积操作的输出作为第五深度可分离卷积层的输入，第五深度可分离卷积层的输出及第二特征提取模块中第二深度可分离卷积层的输出特征经第二反卷积操作后输出至目标检测模块。

8.根据权利要求7所述的低分辨率振动图像目标检测网络结构，其特征在于，模型压缩操作由第一记忆模块输出进行bn正则化和relu激活后再经过第六深度可分离卷积层输出至第二记忆模块，最后进行bn正则化输出。

9.一种低分辨率振动图像目标检测网络结构的训练方法，其特征在于，包括：

10.将权利要求9所述的低分辨率振动图像目标检测网络结构的训练方法用于桥梁振动目标检测。

技术总结
本发明公开了一种低分辨率振动图像目标检测网络结构、训练方法及应用，所述网络结构包括目标图像重建网络模型、视觉目标检测网络模型；目标图像重建网络模型用于将输入的低分辨率振动图像进行重建，获得超分辨率重建图像；视觉目标检测网络模型用于对输入的超分辨率重建图像进行目标检测。本发明有效解决了当前低分辨率下采样桥梁结构体的振动图像导致图像高频细节部分丢失问题；有效解决了少量的特征参数无法在低分辨率图像中保证结构振动目标的有效识别，边界框贴合不紧密使目标中心点产生偏移误差问题；能够实现训练样本和预测样本之间的有效映射，提高了检测性能，并且为大型桥梁设备健康监测提供新方案。

技术研发人员：杨荣良,王森,付涛,王庆健,林森
受保护的技术使用者：昆明理工大学
技术研发日：
技术公布日：2024/1/15