一种基于视觉元素的浮放式非结构构件震害识别方法

1.本发明属于地震工程技术领域，具体涉及一种基于视觉元素的浮放式非结构构件震害识别方法。


背景技术：

2.建筑物中的桌椅、货架、电器和家具等浮放式非结构构件由于其特有的脆弱和敏感性，在地震中很容易受到损坏；此外，这种浮放式非结构构件的价格相比于结构构件来说通常也是比较昂贵的。因此，在地震发生时，室内的各种浮放式非结构构件会在强震的作用下产生滑动或倾倒破坏，直接或间接的导致财产损失、功能丧失及人员伤亡等一系列严重性后果。另一方面，这对建筑物震后功能的恢复也造成了严重性影响。因此，在工程抗震中对室内各类浮放式非结构构件进行实时检测和损伤状态识别是保障生命安全和控制经济损失的重要环节。
3.现阶段的震害评估技术通常涉及结构健康监测系统、无人机影像、遥感定量评估等技术手段，这些技术通常利用捕获到的结构构件或建筑物外观的破损情况来对灾后情况做出宏观判断。然而在建筑物轮廓完好、边缘清晰或结构构件无明显破坏的情况下，现有的震害评估技术对建筑内部浮放式非结构构件的损伤状态却无法做出合理的判断。
4.随着深度学习的发展，计算机视觉技术所拥有的从图像或视频中直接获取目标动态信息的显著优势而被广泛关注。这种基于视觉元素的人工智能算法与建筑内部视频监控相结合的技术，为现阶段的震害评估技术研究提供了新方向。将视频监控所捕获的建筑内部的动态信息作为视频理解模型的输入数据进行训练，可以直接获取浮放式非结构构件在建筑内部的确切位置和损伤状态，从而达到震害评估的目的，这能够极大程度上弥补现有技术中仅通过结构构件或建筑物外观变化来进行震害评估的不足。但是，这种利用视频理解模型对建筑内部非结构构件损伤状态进行识别从而达到震害评估的思想技术路径，由于涉及的算法理论和技术领域的复杂性和交叉性而缺乏研究和发展。


技术实现要素：

5.本发明的目的是：克服现有技术中存在的问题，提供一种基于视觉元素的浮放式非结构构件震害识别方法，将三通道卷积神经网络和双向长时间序列预测模型相结合，利用空间信息和时序信息的特征融合，加强各个视频帧之间的信息共享与融合，对建筑物的灾后情况做出更加精确的判断。
6.为实现上述目的，本发明采用了以下技术方案：一种基于视觉元素的浮放式非结构构件震害识别方法，包括以下步骤：
7.s1、构建浮放式非结构构件的震害识别系统：
8.以双流长时序卷积视频理解模型为基础构建浮放式非结构构件的震害识别系统，其中双流长时序卷积视频理解模型由三通道卷积神经网络和双向长时间序列预测模型两部分组成，系统包括识别模块和预训练模块；
9.s2、采用系统中的识别模块对震害视频进行采集和预处理：
10.识别模块由监控视频采集单元、预处理单元、输入单元、双流长时序卷积视频理解模型和输出单元组成，通过监控视频采集单元实时采集在地震发生时建筑内部的各种浮放式非结构构件的震害视频，经存储后并实时传输到预处理单元，通过预处理单元对实时采集到的震害视频帧进行快速和慢速两种帧率的采样和去噪工作，输入单元实时传输预处理单元与双流长时序卷积视频理解模型之间的视频帧；
11.s3、采用系统中的预训练模块对双流长时序卷积视频理解模型进行训练：
12.预训练模块由数据集准备、双流长时序卷积视频理解模型和模型预训练权重三部分组成，通过数据集准备将步骤s2中采集到的震害视频帧分别标记整理为带有损伤状态和类别标签的各种浮放式非结构构件视频数据集输入到双流长时序卷积视频理解模型中进行训练，获得适合该模型并具有最小损失值的最佳预训练权重；
13.s4、在识别模块的双流长时序卷积视频理解模型中载入预训练模块中获得的最佳预训练权重，对实时采集到的震害视频帧中的浮放式非结构构件进行类别划分和损伤状态的识别：
14.s41)利用三通道卷积神经网络进行空间时序信息的特征提取：
15.将步骤s2中经预处理单元处理后的慢速帧率的视频帧输入到低帧率卷积神经网络中捕获空间语义信息，快速帧率的视频帧输入到高帧率卷积神经网络中以精细的时间分辨率捕获运动信息，并通过横向连接对两个分支的特征进行融合，将融合后的高层语义特征作为单独的分支前向传播，利用三通道提取到的包含空间语义信息、运动信息和融合后的高层语义特征的有效特征层共同搭建空间时序信息；
16.s42)利用双向长时间序列预测模型进行时序关系的搭建：
17.通过vit模型对步骤s2中经预处理单元处理后的震害视频帧进行视觉元素的特征提取，将提取到的特征流通过双向长时间序列预测模型进行处理，采用残差连接对时序信息进行微调并且利用过去的周期性信息组成交叉信息对预测结果进行优化，利用双向长时序预测模型autoformer对提取到的视觉特征层进行时序关系的建模；
18.s43)将有效特征层和视觉特征层输入到双流长时序卷积视频理解模型的特征融合部分进行空间和时序特征的融合：
19.将获取到的带有时序关系的视觉特征层用来建模时序关系，与通过三通道提取到的有效特征层进行特征融合，融合之后的特征在经过全连接层之后对各种浮放式非结构构件进行类别的划分和损伤状态的识别。
20.所述步骤s2中，通过预处理单元先对震害视频帧进行快速和慢速两种帧率的采样，再将其调整到适合模型输入的416
×
416～1024
×
1024尺寸大小，并采用高斯降噪滤波、双边滤波或均值滤波的视频去噪方法对视频帧进行去噪工作，消除视频帧中与浮放式非结构构件无关的信息。
21.所述步骤s4中，浮放式非结构构件的划分类别包括桌椅、货架、电器和家具，浮放式非结构构件的损伤状态包括滑移、倾覆、晃动和掉落。
22.所述步骤s41中，通过横向连接对两个分支的特征进行融合，其中针对视频尺寸为w
×
t的慢速路径分支采用较大的步长τ来采集视频帧，并将其通道数设为d；以慢速路径为
标准，快速路径分支则采用γw
×
εt的通道尺寸，因此采用较小的步长和通道数βd来保持网络的轻量化；融合路径则采用两者的折中，其通道尺寸设置为βw
×
αt，步长设置为通道数设置为γd；最后分别对三条路径的输出进行全局平均池化，再将三个池化后的有效特征层堆叠到一起前向传播共同搭建空间时序信息。
23.所述步骤s42中，通过vit模型对震害视频帧进行视觉元素的特征提取，利用提取到的特征流通过双向长时间序列预测模型进一步得到特征层与时间帧的映射关系τ1，以及利用残差连接从历史信息中融合交叉信息得到的映射关系τ2，并将利用不同支路获得的映射关系进行融合，从而得到包含不同时序信息的特征元素p，该特征元素将用于双向长时间序列预测模型中隐藏序列的分解。
24.所述步骤s43中，利用三通道卷积神经网络获取到的空间时序信息与利用双向长时间序列预测模型获取到的时序特征进行融合，对于长度为l宽度为w深度为h的特征层x∈r
l*w*h
，其处理公式为：
25.yn＝avgpool(concat{g1,g2,g3,......,gn})
·
seriesdecomp{p1,p2,p3,......pn}，式中，yn表示包含视觉和时序信息的融合特征，avgpool表示平均池化，用于保留特征层中的高维度信息，concat表示特征融合操作，seriesdecomp表示时间序列分解，用于挖掘数据中隐藏的时序信息，g
1,2,3,...,n
表示不同时间帧的视觉特征层，p
1,2,3,...,n
表示视频流中的不同时间帧的时序信息。
26.本发明的有益效果是：
27.1)本发明方法中将三通道卷积神经网络和双向长时间序列预测模型相结合，利用空间信息和时序信息的特征融合，加强各个视频帧之间的信息共享与融合，对建筑物的灾后情况做出更加精确的判断；与现有的以结构构件与建筑外观损伤为主的无人机摄影、结构健康监测系统和卫星遥感等震害评估技术相比，仅通过对建筑内的监控视频进行分析就可以有效评估建筑内部的震害程度。
28.2)本发明方法中双流长时序卷积视频理解模型采用将双流法和时序模型相结合的思想，利用光流和autoformer长时间序列预测模型来捕捉视频帧之间的运动关系和时序信息，基于vit模型对视频帧进行特征提取以及采用双向长时序预测模型对视频中的时序信息进行处理相结合的方法，能够在一定程度上解决复杂的长时序模式，打破计算效率和信息利用的瓶颈，提高模型计算效率。
29.3)本发明方法中将双流法视频理解模型中利用视频中光流图进行光流特征提取的优势与利用时间序列预测模型对视频帧之间的时序信息进行建模的优势相结合，能够在一定程度上提升视频理解模型的准确率，加强震害视频中浮放式非结构构件破坏信息的理解，与现有的视频理解模型相比具有高精度的显著优势。
30.4)本发明可以直接使用室内监控实时捕获到的震害视频作为模型的输入，自动对震害视频中的浮放式非结构构件的破坏信息进行实时分析和处理，对建筑物的灾后情况做出合理的判断，整个模型的训练过程无需人工参与，与现有的以结构构件与建筑外观损伤为主的震害评估技术相结合，在大幅度降低人工成本的同时，能够对灾后受损情况做出更加精准和高效的评估，为震后救援工作提供了有力的技术支持。
附图说明
31.图1为本发明方法中构建的震害识别系统模块图；
32.图2为本发明震害识别的方法流程图；
33.图3为图1中双流长时序卷积视频理解模型的结构图；
34.图4为图1中双向长时间序列预测模型的结构图；
35.图5为本发明实施例中三通道卷积神经网络的模型参数图。
具体实施方式
36.下面结合附图和具体实施例对本发明作进一步的解释说明。
37.实施例：如图1-5所示，本发明提供一种基于视觉元素的浮放式非结构构件震害识别方法，包括以下步骤：
38.s1、构建浮放式非结构构件的震害识别系统：
39.以双流长时序卷积视频理解模型为基础构建浮放式非结构构件的震害识别系统，其中双流长时序卷积视频理解模型由三通道卷积神经网络和双向长时间序列预测模型两部分组成，如图1所示，系统包括识别模块和预训练模块；识别模块由监控视频采集单元、预处理单元、输入单元、双流长时序卷积视频理解模型和输出单元组成，预训练模块由数据集准备、双流长时序卷积视频理解模型和模型预训练权重三部分组成。
40.s2、采用系统中的识别模块对震害视频进行采集和预处理：
41.通过监控视频采集单元对地震发生时建筑内部的各种浮放式非结构构件的震害视频进行实时采集，将采集到的包含损伤状态画面的浮放式非结构构件震害视频进行存储并实时传输到预处理单元，通过预处理单元对实时采集到的震害视频帧进行快速和慢速两种帧率的采样和去噪工作，以方便后续输入到针对不同帧率视频帧设计的特征提取网络中进行非结构构件损伤状态的特征提取，再将其调整到适合模型输入的416
×
416～1024
×
1024尺寸大小，并采用高斯降噪滤波、双边滤波或均值滤波的视频去噪方法对视频帧进行去噪工作，消除视频帧中与浮放式非结构构件无关的信息，增强非结构构件的可检测性和识别的可靠性；输入单元实时传输预处理单元与双流长时序卷积视频理解模型之间的视频帧。
42.s3、采用系统中的预训练模块对双流长时序卷积视频理解模型进行训练：
43.如图1和图2所示，通过数据集准备将步骤s2中采集到的震害视频帧分别标记整理为带有损伤状态和类别标签的各种浮放式非结构构件视频数据集输入到双流长时序卷积视频理解模型中进行训练，获得适合该模型并具有最小损失值的最佳预训练权重。
44.s4、在识别模块的双流长时序卷积视频理解模型中载入预训练模块中获得的最佳预训练权重，对实时采集到的震害视频帧中的浮放式非结构构件进行类别划分和损伤状态的识别：浮放式非结构构件的划分类别包括桌椅、货架、电器和家具，浮放式非结构构件的损伤状态包括滑移、倾覆、晃动和掉落。
45.s41)利用三通道卷积神经网络进行空间时序信息的特征提取：
46.如图3所示，将步骤s2中经预处理单元处理后的慢速帧率的视频帧输入到低帧率卷积神经网络中捕获空间语义信息，快速帧率的视频帧输入到高帧率卷积神经网络中以精细的时间分辨率捕获运动信息，并通过横向连接对两个分支的特征进行融合，将从不同帧
率中提取到的融合空间语义和运动信息的高层语义特征作为单独的分支前向传播，利用三通道提取到的包含空间语义信息、运动信息和融合后的高层语义特征的有效特征层共同搭建空间时序信息；
47.如图5所示，通过横向连接对两个分支的特征进行融合，三条卷积通道都使用convnext中新颖的卷积结构对原始的resnet网络结构进行了替换，用来处理实时输入到网络中的震害视频流。具体的，在每一个层结构中的开始和结束部分都添加了归一化层用来稳定模型的训练过程，并且在网络中每个层与层的结构之间都添加了由2
×
2卷积层和步长为2的空间下采样层减少模型的参数，降低模型的计算成本；至此，将利用低帧率卷积神经网络获取到的空间语义信息、利用高帧率卷积神经网络获取到的运动信息和将两者相结合的三通道融合特征共同搭建空间时序信息。
48.s42)利用双向长时间序列预测模型进行时序关系的搭建：
49.如图4所示，通过vit模型对步骤s2中经预处理单元处理后的震害视频帧进行视觉元素的特征提取，将提取到的特征流通过双向长时间序列预测模型进行处理，采用残差连接对时序信息进行微调并且利用过去的周期性信息组成交叉信息对预测结果进行优化，利用双向长时序预测模型autoformer对提取到的视觉特征层进行时序关系的建模；其中a代表基于序列周期性的自相关机制，用于聚合来自底层周期的相似子序列并探索序列之间的依赖关系，s代表时间序列的分解操作，在整个双向长时间序列模型中作为单独的内部结构用于隐藏序列的逐步分解，并作为时间序列的预处理操作对历史序列进行预处理。
50.通过vit模型对震害视频帧进行视觉元素的特征提取，利用提取到的特征流通过双向长时间序列预测模型进一步得到特征层与时间帧的映射关系τ1，以及利用残差连接从历史信息中融合交叉信息得到的映射关系τ2，并将利用不同支路获得的映射关系进行融合获得包含不同时序信息的特征元素p，该特征元素将用于双向长时间序列预测模型中隐藏序列的分解。
51.s43)将有效特征层和视觉特征层输入到双流长时序卷积视频理解模型的特征融合部分进行空间和时序特征的融合：
52.将获取到的带有时序关系的视觉特征层用来建模时序关系，与通过三通道提取到的有效特征层进行特征融合，融合之后的特征在经过全连接层之后对各种浮放式非结构构件进行类别的划分和损伤状态的识别；
53.利用三通道卷积神经网络获取到的空间时序信息与利用双向长时间序列预测模型获取到的时序特征进行融合，对于长度为l宽度为w深度为h的特征层x∈r
l*w*h
，其处理公式为：
54.yn＝avgpool(concat{g1,g2,g3,......,gn})
·
seriesdecomp{p1,p2,p3,......pn}，式中，yn表示包含视觉和时序信息的融合特征，avgpool表示平均池化，concat表示特征融合操作，seriesdecomp表示时间序列分解，用于挖掘数据中隐藏的时序信息，g
1,2,3,...,n
表示不同时间帧的视觉特征层，p
1,2,3,...,n
表示视频流中的不同时间帧的时序信息。
55.最后通过汇总室内各种浮放式非结构构件的损伤状态信息以对建筑物功能的损失程度进行评估。
56.本发明方法中将三通道卷积神经网络和双向长时间序列预测模型相结合，利用空
间信息和时序信息的特征融合，加强各个视频帧之间的信息共享与融合，对建筑物的灾后情况做出更加精确的判断；与现有的以结构构件与建筑外观损伤为主的无人机摄影、结构健康监测系统和卫星遥感等震害评估技术相比，仅通过对建筑内的监控视频进行分析就可以有效评估建筑内部的震害程度。
57.以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。