基于视觉技术的人桥互馈位移监测预警系统及方法

本发明涉及土木建筑领域，特别涉及一种基于视觉技术的人桥互馈位移监测预警系统及方法。

背景技术：

1、大跨轻柔结构自振频率低、阻尼小，人致荷载作用下的结构安全和振动舒适性是结构设计和使用中的重要控制指标。保障和提升结构安全性和振动舒适性是打造绿色低碳建筑的应有之义。实现结构响应和人致荷载的同步监测，在此基础上实现对结构服役状态的实时评估，必要时进行人工干预和管控，对保障结构服役安全、提升结构服役性能无疑具有重要意义。

2、目前的行人运动监测主要用于交通工程和安防领域，通过在公共场所(如车站、十字路口、广场、体育场馆的出入口处等)布设摄像机，对行人进行实时轨迹监测和姿态辨识，实现人员身份验证或者基于轨迹监测结果进行交通疏导、提升人员通行效率。目前的结构健康监测系统仅关注结构状态(应变、位移、加速度等)的监测，且主要通过传统的接触式传感器进行测量，存在传感器需提前安装和预埋、成本高、耐久性不足等局限。

3、由于结构振动是人员运动(荷载作用)的结果，二者之间存在一一对应关系，若要实现对结构状态的实时监测，必须同步关注荷载与结构响应两方面，而现有的结构监测或行人监测技术显然未兼顾这两个层面。

4、近年来，随着相机的普及与图像处理技术的发展，计算机视觉方法在土木工程领域的应用越来越普遍。对于振动敏感结构，如自振频率和阻尼比较低的人行桥、体育馆看台等，可以通过视觉方法获得结构关键部位的位移响应，进而得到加速度信息。该方法在原有的接触式和固定式传感器的基础上进行改进，实现了从接触式测量到非接触式测量的跨越。

5、综上所述，目前通过视觉技术围绕结构监测和行人监测已发展出了相关方法，但仅仅关注结构或者行人中某一方面，并未将两者结合起来进行分析，这就使得当结构响应幅度超过预警值时，无法立即得到导致该响应发生的行人位置和行人运动特征。则如何在复杂环境下实现行人的位置识别和运动特征的提取，建立行人运动和结构响应的映射关系，以此来实现对结构预警更加具有针对性，成为本领域技术人员亟待解决的问题。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种基于视觉技术的人桥互馈位移监测预警系统及方法，能够实现行人轨迹和结构位移的同步监测，并根据行人轨迹重构足底力进而分析引发振动问题的人致荷载情况，最后在结构振动加速度到达阈值时进行预警。

2、根据本发明的一个方面，本发明提供了一种基于视觉技术的人桥互馈位移监测预警系统，包括：行人监测模块、结构监测模块、人-结构互馈系统模块和结构预警系统模块；

3、所述行人监测模块，用于基于深度学习的目标监测算法获取行人的体重信息，利用双目立体视觉测量行人的三维位移，并对竖直位移进行求导获取行人的加速度信息，根据行人的体重信息和加速度信息重构足底力；

4、所述结构监测模块，用于基于hough变换检测算法捕捉桥梁的标志点，利用双目立体视觉测量标志点处的结构位移，并对结构位移求导获取桥梁的结构加速度；

5、所述人-结构互馈系统模块，用于在每个计算周期内，分别对行人足底力时程曲线和桥梁结构位移时程曲线作傅里叶变换，实时对比结构响应频谱与行人足底力频谱，获取足底力在结构响应中所占的贡献；

6、所述结构预警系统模块，用于以结构加速度峰值作为预警判别依据，当结构加速度峰值达到上限时进行预警，获取群体中对应频带下引发桥梁过量振动的人致荷载。

7、进一步地，所述行人监测模块，具体包括：

8、行人数据集创建及训练模块，用于基于预设的行人数据集，构建行人运动数据库，基于深度学习的目标监测算法对行人数据集进行训练；

9、目标连续追踪模块，用于对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人识别框，再提取出同一行人在连续图像帧中的行人识别框图像；在人群中存在遮挡的环境下，通过多目标跟踪算法对预测结果和监测结果进行级联匹配和交并比匹配操作，实现对目标的连续追踪；

10、行人位移计算模块，用于根据双目立体视觉的三维坐标计算公式，将世界坐标系建立在左相机光心处，根据同一行人在连续帧图像中行人识别框的像素坐标变化序列，然后利用双目立体视觉三维坐标计算行人在左相机坐标系中的三维坐标，由此获得行人在x轴和y轴方向上的图像位移；

11、足底力重构模块，用于利用识别框的尺寸信息估算行人的身高和体重，通过行人运动过程中的竖向位移求导得到的竖向加速度，依据牛顿第二定律重构足底力。

12、优选地，所述基于深度学习的目标监测算法包括yolov5s算法。

13、优选地，所述预设的行人数据集包括cuhk occlusion dataset行人数据集。

14、优选地，所述多目标跟踪算法包括deepsort算法。

15、根据本发明的另一方面，本发明提供了一种基于视觉技术的人桥互馈位移监测预警方法，包括以下步骤：

16、s1.1：基于深度学习的目标监测算法获取行人的体重信息，利用双目立体视觉测量行人的三维位移，并对竖直位移进行求导获取行人的加速度信息，根据行人的体重信息和加速度信息重构足底力；

17、s1.2：基于hough变换检测算法捕捉桥梁的标志点，利用双目立体视觉测量标志点处的结构位移，并对结构位移求导获取桥梁的结构加速度；

18、s2：在每个计算周期内，分别对行人足底力时程曲线和桥梁结构位移时程曲线作傅里叶变换，实时对比结构响应频谱与行人的足底力频谱，获取足底力在结构响应中所占的贡献；

19、s3：以结构加速度峰值作为预警判别依据，当结构加速度峰值达到上限时进行预警，获取群体中对应频带下引发桥梁过量振动的人致荷载。

20、进一步地，所述步骤s1.1具体包括：

21、s1.1.1：基于预设的行人数据集，构建行人运动数据库，基于深度学习的目标监测算法对行人数据集进行训练；

22、s1.1.2：对行人运动数据库中的视频进行图像提取，并对提取后的图像预处理，获得每帧图像的行人识别框，再提取出同一行人在连续图像帧中的行人识别框图像；在人群中存在遮挡的环境下，通过多目标跟踪算法对预测结果和监测结果进行级联匹配和交并比匹配操作，实现对目标的连续追踪；

23、s1.1.3：根据双目立体视觉的三维坐标计算公式，将世界坐标系建立在左相机光心处，根据同一行人在连续帧图像中行人识别框的像素坐标变化序列，然后利用双目立体视觉三维坐标计算行人在左相机坐标系中的三维坐标，由此获得行人在x轴和y轴方向上的图像位移；

24、s1.1.4：利用识别框的尺寸信息估算行人的身高和体重，通过行人运动过程中的竖向位移求导得到的竖向加速度，依据牛顿第二定律重构足底力。

25、优选地，所述基于深度学习的目标监测算法包括yolov5s算法。

26、优选地，所述预设的行人数据集包括cuhk occlusion dataset行人数据集。

27、优选地，所述多目标跟踪算法包括deepsort算法。

28、本发明提供的技术方案具有以下有益效果：

29、(1)传统技术往往只关注结构振动或人员运动，由于结构振动是由作用在其上的人员运动产生的，显然二者之间存在对应关系忽略任意一个方面均无法实现结构性态的实时监测。本发明提供了基于视觉技术的人桥互馈位移监测预警系统及方法，能够实现行人轨迹和结构振动的同步监测；

30、(2)当结构加速度到达阈值，系统达到预警状态。本发明通过利用结构响应的频谱来分析造成结构过量振动的荷载的频率信息，随后与根据行人轨迹重构的足底力所作的频谱相比较，分析并找出引发结构振动问题的人致荷载情况。