一种基于GAF-ConvNeXt-TF的周界安防扰动识别算法

一种基于gaf-convnext-tf的周界安防扰动识别算法
技术领域
1.本发明涉及分布式光纤振动传感系统在周界安防的扰动识别技术，具体涉及一种基于gaf-convnext-tf的周界安防扰动识别算法。


背景技术：

2.现如今，分布式光纤传感技术因其具有探测范围长、抗干扰、灵敏度高、价格低等优点被越来越多的人所关注，所以在近些年得到了迅速发展，其已经被广泛地应用在生活中的各个领域，例如轨道交通、结构健康监测和周界安防领域，特别是在周界安防领域。传统的周界安防系统往往有着易腐蚀，抗干扰能力差，维修成本高等缺点。早期的技术只能检测扰动位置，显然这已经无法满足现在的需求。随着实际应用的需求不断提高，光纤入侵检测领域对事件的定位和识别提出了更高的要求，表现为对入侵事件的准确分类。而分布式光纤传感技术的发展为周界安防领域提供了一种新的解决方案。因此将分布式光纤声波传感技术与模式识别技术相结合是目前研究的热门。
3.传统的分类识别技术，主要集中在基于时频的分析方法，比如以短时间最大频率为特征绘制宏观包络，根据包络的相似性对信号进行分类，虽然简化了辨识过程，提高了计算速度，但是，当信号包络之间的差异不明显时，识别很容易混淆。此后又出现了一种基于经验模态分解(emd)和径向基函数(rbf)神经网络相结合的高精度分类方法，该方法利用emd分解得到的入侵信号内含模态函数(imfs)的能量比作为分类任务的基础，但emd方法对不连续信号存在模态混合问题，严重影响精度。因此传统方法的分类准确度远远达不到现在实际的需求。
4.近年来，深度学习在模式识别领域取得了巨大成果。尤其是卷积神经网络，它在图像模式特征提取方面有着巨大的优势。因此，将一维信号转化为二维图像，利用cnn网络进行入侵信号模式识别的方法成为了一种新的思路，通过卷积神经网络能够提取更深层次的信号特征，在识别准确率上会有巨大的提升。


技术实现要素：

5.本发明的目的在于提供一种基于gaf-convnext-tf的周界安防扰动识别算法，采用convnext卷积神经网络结构，结合swin-transform的训练方法，调整resnet50网络结构的各模块比例，以此产生的新网络结构，用于分布式光纤在周界安防的应用领域，高准度的识别外界扰动行为，从而解决传统识别方法精度不高和对不同扰动信号适应性差的问题。
6.本发明目的是这样实现的。一种基于gaf-convnext-tf的周界安防扰动识别算法，其步骤如下：
7.步骤一、将扰动信号进行数据预处理，分别对各种扰动行为产生的一维时间序列信号进行去基线和去噪预处理；
8.步骤二、基于格拉姆角场的原理将经过预处理的一维时间序列信号转化成二维时序图，并且按照扰动的种类制作数据总集；再将数据总集按照3:1:1的比例分成训练集、验
证集和测试集；
9.步骤三、建立convnext模型，包括convnext block、downsample、全局平均池化层、全连接层和输出层；
10.步骤四、利用adamw优化器结合余弦退火算法优化学习率，利用迁移学习中微调的方法，先利用较大的源数据集在模型上训练，以此获取预训练权重，再将预训练权重载入到convnext模型，为训练自己的目标数据集做准备；
11.步骤五、将步骤二中的训练集导入convnext模型中进行训练，在训练过程中引入交叉熵损失函数(crossentropyloss)，用来求目标与预测值之间的差距，并且利用验证集调整训练参数，以此获取训练权重文件；
12.步骤六、利用步骤二中的测试集来测试模型分类识别的准确率。
13.进一步，所述一维时间序列信号转化成二维时序图的具体步骤如下：
14.1)将经过预处理的一维时间序列信号数据进行归一化处理；
15.2)将归一化处理的时间序列数据转换成极坐标形式数据；
16.3)基于格拉姆角场的原理将极坐标形式的时间序列数据转换为保留时间特征的二维图像。
17.进一步，所述归一化处理的操作如下：
[0018][0019]
其中为第i时刻的数值缩放后一维时序信号，xi为一维时序信号中第i时刻的信号值，max(x)为一维时序信号中的最大值，min(x)为一维时序信号中的最小值。
[0020]
进一步，所述极坐标形式数据的转换操作如下：
[0021][0022]
式中,σi为第i时刻在极坐标系的极角；ri为第i时刻在极坐标系的极半径；为归一化的信号序列，n所述时间戳的总数；ti为第i时刻对应的时间戳。
[0023]
进一步，所述格拉姆角场的编码采用gasf图像编码方式，其转化方法具体分为两种，分别是格拉姆求和场(gasf)与格拉姆做差场(gadf)；具体操作如下：
[0024]
gasf具体转换公式如下：
[0025][0026]
gadf具体转换公式如下：
[0027][0028]
式中的i＝[1,1,
…
1]是单位行向量，与分别是与的转置向量。
[0029]
进一步，所述convnextblock的组成过程如下：先经过深度卷积模块，其中卷积核大小为7
×
7、步距为1，并经过layer normalization；再引入逆残差结构，其中先使用1
×
1卷积核升维，加入gelu激活函数，然后再使用1
×
1卷积核降维；之后引入可学习的向量gama，利用layer scale对特征图的每一个通道数据进行缩放，缩放比例gama；最后引入dropout层随机失活部分神经元，且设为0.2；downsample先经过一个layer normalization，再经过一个大小为2
×
2的卷积核，且步距为2。
[0030]
进一步，所述gelu激活函数的公式为：
[0031]
gelu(x)＝x
×
p(x≤x)＝x
×
φ(x),x～n(0,1)
[0032]
其中x是输入值，x是具有零均值和单位方差的高斯随机变量，p(x≤x)是x小于或等于给定值x的概率；
[0033]
它的近似计算公式为：
[0034][0035]
进一步，所述余弦退火算法表示如下：
[0036][0037]
式中η
t
是当前t时刻增加的学习率值，η
min
是设置的最小学习率，η
max
是设置的最大学习率，t
cur
是当前训练的epoch数，t
max
是设置的最大epoch数。
[0038]
进一步，所述步骤五的训练过程如下：先对训练集和验证集进行图像预处理，包括随机裁剪、随机水平翻转、转换成tensor格式和标准化处理；在训练的过程中引入交叉熵损失函数(crossentropyloss)，用来求目标与预测值之间的差距；训练参数设置为：确定adamw优化器的两个超参数β1为0.9，β2为0.999，batch size设置为32，训练100个epochs；最高学习率设置为0.0005，为防止训练发生过拟合现象，先利用warmup的方式进行预热，使学习率上升至最大值，然后学习率衰减方式按照余弦函数的1/4个周期的形式，从设置的最大值开始进行衰减。
[0039]
进一步，所述adamw优化器为：
[0040]mt
＝β1*m
t-1
+(1-β1)*g
t
[0041]vt
＝β2*v
t-1
+(1-β2)*g
t2
[0042]
[0043][0044][0045]
其中，β1和β2两个超参数分别是梯度的一阶矩估计和二阶矩估计的指数衰减率，它的作用是权重的分配以及梯度平方的影响情况；g
t
表示t时刻步的梯度；m
t
和v
t
分别是对梯度的一阶矩估计和二阶矩估计；t表示时间步长；和分别是对m
t
和v
t
的偏执修正结果；θ
t
表示优化器输出参数在t时刻的值；λ是权重衰减因子；η
t
代表学习率；ε代表一个极小数，防止分母为零。
[0046]
本发明通过时序信号维度的转换，将机器学习方法应用到周界安防领域，同时因为格拉姆角场的时间相关性，能够让模型更好的学习到时间维度的信息；利用迁移学习，载入预训练权重能够大幅度减少训练的参数，加快模型训练收敛速度的同时还能够提高扰动识别结果的准确度。为分布式光纤传感系统在周界安防的扰动识别领域提供了一种有效的算法。
附图说明
[0047]
图1是本发明的处理方法流程图；
[0048]
图2是本发明实施例中的convnext模型结构图；
[0049]
图3是本发明实施例中从一维时序图转换成二维时序图的流程示意图；
[0050]
图4a是本发明实施例中“冲击”扰动方式的时序图及对应的格拉姆角场图；
[0051]
图4b是本发明实施例中“踢”扰动方式的时序图及对应的格拉姆角场图；
[0052]
图4c是本发明实施例中“敲击”扰动方式的时序图及对应的格拉姆角场图；
[0053]
图4d是本发明实施例中“辗轧”扰动方式的时序图及对应的格拉姆角场图；
[0054]
图4e是本发明实施例中“摇晃”扰动方式的时序图及对应的格拉姆角场图；
[0055]
图4f是本发明实施例中“踩踏”扰动方式的时序图及对应的格拉姆角场图；
[0056]
图5是本发明实施例中应用余弦退火算法的学习率衰减曲线图；
[0057]
图6a是本发明实施例中是否使用迁移学习优化模型的训练集准确度变化曲线图；
[0058]
图6b是本发明实施例中是否使用迁移学习优化模型的训练集损失变化曲线图；
[0059]
图6c是本发明实施例中是否使用迁移学习优化模型的验证集准确度变化曲线图；
[0060]
图6d是本发明实施例中是否使用迁移学习优化模型的验证集损失变化曲线图；
[0061]
图7是本发明实施例中利用训练好的convnext网络模型对测试集中数据进行扰动识别并且未使用迁移学习而得到的混淆矩阵图；
[0062]
图8是本发明实施例中利用训练好的convnext网络模型对测试集中数据进行扰动识别并且使用了迁移学习而得到的混淆矩阵图。
具体实施方式
[0063]
下面将结合附图和实施例对本发明作进一步说明。
[0064]
一种基于gaf-convnext-tf的周界安防扰动识别算法，具体实现需要以下步骤(参见图1和图2)：
[0065]
步骤一，获取各种扰动信号101，将采集的扰动信号进行数据预处理，分别对各种扰动行为产生的一维时间序列信号进行去基线、去噪等预处理102。采用小波分解的方式进行去噪与去基线，选用db5小波基作为基函数，利用小波变换将原始信号分解成两个子信号，称为近似和细节系数。近似系数和细节系数分别对应于信号的低频分量和高频分量。接着只对近似系数再次进行分解，然后继续对近似系数进行分解，直到满足要求。然后根据研究的需要，将真实信号的小波系数保留，最后对信号进行重构，即达到去噪和去基线的目的。
[0066]
步骤二，基于格拉姆角场的原理将经过预处理的一维时间序列信号转化成二维时序图103，其结果如图3所示。具体实现步骤如下：
[0067]
(1)将经过预处理的信号数据进行归一化处理，将数据范围缩放到[-1,1],具体实现公式如下：
[0068][0069]
其中为第i时刻的数值缩放后一维时序信号，xi为一维时序信号中第i时刻的信号值，max(x)为一维时序信号中的最大值，min(x)为一维时序信号中的最小值。
[0070]
(2)将归一化后的序列数据转换成极坐标形式数据，即将数值看作夹角余弦值，时间戳看作半径，具体实现公式如下：
[0071][0072]
式中,σi为第i时刻在极坐标系的极角；ri为第i时刻在极坐标系的极半径；为归一化的信号序列，n所述时间戳的总数；ti为第i时刻对应的时间戳。显然，利用极坐标的方式来表示时间序列更容易对数据进行分析，随着时间的递增，它的值在跨度圆上的不同角度点之间发生变化。上述公式的编码映射有两个重要的性质。第一：它是双向映射的，因为当σi∈[0,π]时，cos(σi)为单调函数，即任意给定一维时序信号序列，其映射在极坐标中，会产生唯一的结果，并且它具有唯一的逆映射；第二：极坐标系保持了绝对时序关系。
[0073]
(3)基于格拉姆角场的原理将极坐标形式的时间序列数据转换为保留时间特征的二维图像，然后通过考虑不同点之间的角度和/差以识别不同时间点的时间相关性，取决于是做角度和还是角度差，其对应的有两种实现方法：gasf(格拉姆求和场),gadf(格拉姆做差场)。
[0074]
gasf具体转换公式如下：
[0075][0076]
gadf具体转换公式如下：
[0077][0078]
式中的i＝[1,1,
…
1]是单位行向量，与分别是与的转置向量。
[0079]
本发明采用的是基于gasf原理生成的二维图片作为数据集，并且按照扰动的种类制作数据总集。扰动总共有“冲击”、“踢”、“敲击”、“辗轧”、“摇晃”与“踩踏”等六种方式。六种扰动方式在经过预处理后及对应生成gasf图(如图4a至图4f所示)。再将总集按照3:1:1的比例分成训练集、验证集、测试集。
[0080]
步骤三，搭建出convnext模型104，模型结构如图2所示，其主要包括convnext block、downsample、全局平均池化层、全连接层和输出层几个部分。
[0081]
具体流程如下，输入的图片先经过一个卷积核大小为4
×
4、步长为4的卷积操作，之后经过层标准化处理，在依次经过不同维度的convnext block，且不同维度模块之间的数量比例为1:1:3:1，在他们之间会经过downsample模块。在经过一系列卷积运算之后，会经过全局平均池化层调整维度，最后经过全连接层，再到输出层输出扰动类别。
[0082]
其中，convnext block的组成如下，主要是先经过深度卷积模块(卷积核大小为7
×
7、步距为1)，经过layer normalization，再引入逆残差结构(先使用1
×
1卷积核升维，加入gelu激活函数，然后再使用1
×
1卷积核降维)。之后引入可学习的向量gama，利用layer scale对特征图的每一个通道数据进行缩放，缩放比例gama。最后引入dropout层随机失活部分神经元，且设为0.2。而downsample主要是先经过一个layer normalization，再经过一个大小为2
×
2的卷积核，且步距为2。
[0083]
采用的gelu激活函数的计算公式为：
[0084]
gelu(x)＝x
×
p(x≤x)＝x
×
φ(x),x～n(0,1)
[0085]
其中x是输入值，x是具有零均值和单位方差的高斯随机变量，p(x≤x)是x小于或等于给定值x的概率；
[0086]
它的近似计算公式为：
[0087][0088]
步骤四，利用adamw优化器结合余弦退火算法优化学习率，利用迁移学习中微调的方法，先利用较大的源数据集在模型上训练，以此获取预训练权重105，再将预训练权重载入到convnext模型为训练自己的目标数据集做准备。为了使迁移学习的提升更加明显，只改变输出层的结点个数(对应扰动识别的种类数)，各层结构结点全部参与训练，因为预训练权重的作用，使得在训练开始阶段，模型就能提取到更多的特征信息，且偏差更小。准确率在开始阶段便能有一个很高的起点。
[0089]
其中adamw优化器公式如下：
[0090]mt
＝β1*m
t-1
+(1-β1)*g
t
[0091]vt
＝β2*v
t-1
+(1-β2)*g
t2
[0092][0093][0094][0095]
其中，β1和β2两个超参数分别是梯度的一阶矩估计和二阶矩估计的指数衰减率，它的作用是权重的分配以及梯度平方的影响情况；g
t
表示t时刻步的梯度；m
t
和v
t
分别是对梯度的一阶矩估计和二阶矩估计；t表示时间步长；和分别是对m
t
和v
t
的偏执修正结果；θ
t
表示优化器输出参数在t时刻的值；λ是权重衰减因子；η
t
代表学习率；ε代表一个极小数，防止分母为零。
[0096]
余弦退火算法公式如下：
[0097][0098]
式中η
t
是当前t时刻增加的学习率值，η
min
是设置的最小学习率，η
max
是设置的最大学习率，t
cur
是当前训练的epoch数，t
max
是设置的最大epoch数。
[0099]
步骤五，将步骤二中的训练集导入模型进行训练，并且利用验证集调整训练参数，以此获取训练权重文件。为了增加样本的随机性，先对训练集和验证集进行图像预处理，例如随机裁剪、随机水平翻转、转换成tensor格式、最后进行标准化处理。由一维时序数据转换成二维gaf图的大小为1999
×
1999，在经过处理后图像尺寸大小变成224
×
224，将处理后的图像输入到模型中进行训练。在训练的过程中引入交叉熵损失函数(crossentropyloss)，用来求目标与预测值之间的差距。
[0100]
训练参数设置为：确定adamw优化器的两个超参数β1为0.9，β2为0.999，batch size设置为32，训练100个epochs。最高学习率设置为0.0005，为防止训练发生过拟合现象，先利用warmup的方式进行预热，使学习率上升至最大值，然后学习率衰减方式按照余弦函数的1/4个周期的形式，从设置的最大值开始进行衰减。采用余弦退火算法之后，学习率的衰减曲线如图5所示。整个训练正向传播，再将训练参数反向传到每个结点，以此不断调节每个过程的权重参数。
[0101]
为了评估在训练中模型表现的优异，因此引入交叉熵损失函数(crossentropyloss)，用来求目标与预测值之间的差距。
[0102]
crossentropyloss的运算结果相当于softmax-log-nllloss合并到一块得到的结果。具体步骤如下：
[0103]
(1)softmax函数又称归一化指数函数，用于多分类过程中时，它将多个神经元的输出，映射到(0,1)区间内，所有概率的和将等于1。
[0104]
[0105]
式中的n代表种类数；xi代表模型最后一层输出的第i个种类的得分。
[0106]
(2)然后将softmax之后的结果取log，也就是也就是logsoftmax操作，目的是由于使用softmax函数计算数值的稳定性不高，而且还有可能报nan的错误，因此一种可能的替代的方案就是使用logsoftmax(然后再求exp)数值稳定性比softmax好一些，同时保障函数的单调性：
[0107][0108]
(3)nllloss函数的输出结果就是把上面对数的输出与label对应的那个值拿出来，去掉负号，再求均值。nllloss函数表达式如下：
[0109]
f(x,class)＝-x[class]
[0110]
式中x代表经过logsoftmax运算后的值；class代表真实的类别。
[0111]
而交叉熵公式为：
[0112][0113]
其中pk表示第k个神经元对应的真实值，在公式中是one-hot形式；qk是第k个神经元对应的预测值，是经过softmax函数的结果。而pk的元素不是0就是1，而且又是乘法，所以很自然地我们如果知道1所对应的index，那么就不用做其他无意义的运算了。所以交叉熵的公式(m表示真实类别)可变形为：
[0114][0115]
所以crossentropyloss函数的运算公式为：
[0116][0117]
通过准确率和损失函数评估模型的性能，训练过程中，训练集与验证集的准确度与损失变化正如图6a至图6d所示。显然在使用迁移学习之后，模型的收敛速度明显加快，并且有更高的准确率和更低的训练损失。
[0118]
步骤六，利用步骤二中所划分的测试集测试模型分类识别的准确率106。利用离线训练好的convnext(未使用迁移学习的模型)绘制混淆矩阵(如图7所示)和convnext-tf(使用了迁移学习的模型)(如图8所示)绘制混淆矩阵的网络模型分别对扰动信号进行预测，并相应对比其混淆矩阵，以此来评判模型的分类识别性能，显然在未使用迁移学习的情况下，模型的整体平均识别准确率为98.33％，而使用了迁移学习去训练网络，最终的识别准确率达到了99.26％，显然准确率得到了进一步地提升，说明利用迁移学习的方法训练模型，使之能够学到更深层次的特征，有着更加优秀的能力，识别能力远远地超过了基于时频分析的传统分类识别方法，更加适合投入到分布式光纤传感系统在周界安防的应用领域。
[0119]
本发明通过基于格拉姆角场原理将预处理后得到的一维时序信号转换成二维时序图，相对于传统时频分析，格拉姆角场(gaf)的时间相关性，能够让模型更好的学习到时
间维度的信息，从而有利于模型提取二维时序向量的特征，进而提高扰动信号识别结果的准确性。与普通的深度学习方法相比，采用最新的convnext卷积神经网络模型，并且通过adamw优化器结合余弦退火算法优化参数学习率以此防止产生过拟合现象，之后结合迁移学习的方法优化模型，加快模型训练的收敛速度与降低训练的损失，更重要的是能够进一步提高分类的准确率。本发明在分布式光纤周界安防扰动识别的应用中，充分挖掘了信号本身的特征，最终提高了扰动识别的泛化能力和预测准确度。
[0120]
通过利用迁移学习(tf)方法优化模型，更是能够加快模型训练的收敛速度，提高分类的准确率与降低训练的损失。因此基于gaf-convnext-tf的周界安防扰动识别算法在具体的分类任务中，相较于传统分类算法，其能够表现出更加优秀的性能，更加适合投入到实际的应用中。