深度学习辅助的落石冲击力非接触自动预测方法及系统

本发明涉及落石冲击力预测，具体涉及一种深度学习辅助的落石冲击力非接触自动预测方法及系统。

背景技术：

1、落石崩塌是山区常见的自然灾害类型，严重威胁公路、桥梁等交通基础设施，甚至造成严重的人员伤亡。被动柔性防护结构由于具有成本低、安装方便、防护水平高等独特优势，在山区得到了广泛应用。柔性屏障系统由拦截系统、支撑系统、消能系统和由锚杆、锚索和底座组成的锚固系统组成。该系统的核心是它通过大规模弹塑性变形和能量吸收组件来吸收显著水平的冲击能量的能力。目前，柔性防护结构的状态评估主要依赖接触式传感器，落石冲击力是柔性防护系统状态评估和结构设计的基础，研究落石冲击力的方法主要有数值模拟、理论计算和实验测试等方法。在实验室条件下，通过在落锤内部安装加速度计、应变计、测力元件等接触式传感器获取冲击力，或在柔性保护结构上进行动态响应测量，测量落锤冲击下柔性保护系统的冲击力和动态响应。而在实际工况应用中，接触式传感器安装困难、在落石冲击下容易损坏等问题，限制了传统接触式传感器的应用。在柔性防护结构领域，目前还没有一种数据驱动的非接触式视觉测量冲击力预测方法。

技术实现思路

1、为解决现有技术中存在的问题，本发明提供了一种深度学习辅助的落石冲击力非接触自动预测方法及系统，本发明具有非接触、远程监测和高精度预测的优势，可实现落石冲击被动柔性防护系统全过程的全自动监测，提高了落石崩塌灾害下防护系统和运输基础设施的应急响应效率，解决了上述背景技术中提到的问题。

2、为实现上述目的，本发明提供如下技术方案：一种深度学习辅助的落石冲击力非接触自动预测方法，包括以下步骤：

3、s1、落石冲击被动柔性防护网系统全过程图像序列远程监测和基于深度学习的落石运动轨迹实时追踪；

4、s2、基于序列到序列神经网络的落石冲击力非接触式高精度预测。

5、优选的，在步骤s1中，具体包括如下：

6、s11、根据roi确定高分辨率高速摄像机的位置和数量；

7、s12、利用高分辨率高速摄像机远距离非接触式捕捉监测落石冲击柔性防护系统的全过程图像序列；

8、s13、利用预训练的swin-transform深度神经网络跟踪落石运动轨迹；

9、s14、通过提取训练好的神经网络中检测边界框的像素坐标，利用左上角坐标和右下角坐标计算边界框的中心坐标，将参考图像的目标中心坐标与后续图像的目标中心坐标相减，便计算得到落石运动的二维位移；

10、s15、利用x、y方向的落石运动轨迹，可以得到相对于参考帧图像的冲击角度。

11、优选的，在步骤s13中，利用以下损失函数对搭建的swin-transform网络模型进行训练：

12、l＝lcls+lbox

13、其中：lcls为边界框的分类损失值，lbox为边界框的回归损失值；

14、采用二值交叉熵计算lcls，即：

15、

16、其中：pi是预测结果是目标的概率，是预测结果不是目标的概率；

17、回归损失的计算公式为：

18、

19、其中：t表示目标的预测偏移量，t*表示目标的实际偏移量。

20、优选的，在步骤s2中，具体包括如下：

21、s21、柔性防护系统在落石冲击下的位移和冲击力关系是复杂的非线性关系，通过数值仿真数据和实验测试结果建立训练数据集；

22、s22、建立冲击力-位移关系模型；在训练数据集生成后，使用基于自注意力机制的序列到序列transformer神经网络对落石冲击力与位移时程之间的复杂关系进行建模，加入位置编码来提供时间信息以解决时间预测问题，表示为：

23、

24、

25、其中：pep，2r表示第p个时间步的第2r个向量的位置编码，dk表示输出的维度；pep，2r+1表示第p个时间步的第2r+1个向量的位置编码；

26、当神经网络处理每个序列数据时，自注意力机制允许模型关注向量中的当前位置值以及其他位置，从而更好地对向量进行编码和解码，其计算公式为：

27、

28、其中：q、k、v分别表示三个在训练过程中随机初始化权重矩阵，dk是缩放因子，t表示对k矩阵进行转置；

29、s23、采用自适应优化算法随机梯度下降sgd作为冲击力-位移关系模型的优化器；选取mse损失函数作为模型的评价标准，定义如下：

30、

31、其中，xn是输入，yn是目标输出，f(xn)是重构值，n是批处理大小；

32、s24、建立冲击力-位移关系模型后，利用步骤s2中的非接触式获取的位移图像序列作为步骤2中序列到序列网络的输入数据，高精度预测落石冲击被动柔性防护系统的动态冲击力。

33、优选的，在步骤s21中，具体包括：在ls-dyna中建立了各种柔性防护系统的精确有限元模型，以模拟落石冲击过程，并从建立的数值模型中提取落石冲击力和位移时程，用于创建训练数据集。

34、另一方面，为实现上述目的，本发明还提供了如下技术方案：一种深度学习辅助的落石冲击力非接触自动预测系统，所述系统包括：

35、落石运动轨迹实时追踪模块：采用高速摄像机远距离非接触式监测落石冲击防护网系统全过程图像序列，利用预训练的swin-transformer深度学习网络对落石运动轨迹进行全过程追踪识别；

36、落石冲击力高精度预测模块：使用预先建立的精确有限元模型提取落石冲击力和位移时程，创建训练数据集，使用基于自注意力机制的序列到序列transformer神经网络对落石冲击力与位移时程之间的复杂关系进行建模，进而通过非接触式监测落石位移图像序列作为网络输入，高精度预测落石作用于防护网系统冲击力时程。

37、本发明的有益效果：

38、1)本发明方法使用轻量级的swin-transformer神经网络从相机拍摄的图像中提取落石的运动轨迹，并通过目标检测框提取落石的二维位移；

39、2)本发明建立了基于视觉的落石冲击非接触式位移的高精度冲击力时序深度学习模型；在神经网络中融入自注意力机制，挖掘序列数据中潜在的时空相关性，显著提升预测性能；

40、3)本发明方法具有非接触式重建落石对柔性防护结构冲击力的独特优势，针对被动柔性防护系统实现基于深度学习数据驱动的全自动非接触冲击力预测，克服了传统传感技术成本高、传感器安装困难、易被落石破坏等问题，具有独特的遥感和高精度优势。

技术特征：

1.一种深度学习辅助的落石冲击力非接触自动预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的深度学习辅助的落石冲击力非接触自动预测方法，其特征在于：在步骤s1中，具体包括如下：

3.根据权利要求2所述的深度学习辅助的落石冲击力非接触自动预测方法，其特征在于：在步骤s13中，利用以下损失函数对搭建的swin-transform网络模型进行训练：

4.根据权利要求1所述的深度学习辅助的落石冲击力非接触自动预测方法，其特征在于：在步骤s2中，具体包括如下：

5.根据权利要求4所述的深度学习辅助的落石冲击力非接触自动预测方法，其特征在于：在步骤s21中，具体包括：在ls-dyna中建立了各种柔性防护系统的精确有限元模型，以模拟落石冲击过程，并从建立的数值模型中提取落石冲击力和位移时程，用于创建训练数据集。

6.一种深度学习辅助的落石冲击力非接触自动预测系统，其特征在于：所述系统包括：

技术总结
本发明公开了一种深度学习辅助的落石冲击力非接触自动预测方法及系统，包括：落石运动轨迹实时追踪模块：采用高速摄像机远距离非接触式监测落石冲击防护网系统全过程图像序列，利用预训练的Swin‑Transformer深度学习网络对落石运动轨迹进行全过程追踪识别；落石冲击力高精度预测模块：使用预先建立的精确有限元模型提取落石冲击力和位移时程，创建训练数据集，使用基于自注意力机制的序列到序列Transformer神经网络对落石冲击力与位移时程之间的复杂关系进行建模，通过非接触式监测落石位移图像序列作为网络输入，高精度预测落石作用于防护网系统冲击力时程。本发明具有非接触、远程监测和高精度预测的优势，提高了落石灾害下柔性防护系统的性态快速评定与应急抢修效率。

技术研发人员：田永丁,杨啸宇,童佳辉,余志祥
受保护的技术使用者：西南交通大学
技术研发日：
技术公布日：2024/2/19