基于MFCC特征和Transformer集成分类器的LFM信号分类方法

基于mfcc特征和transformer集成分类器的lfm信号分类方法
技术领域
1.本发明属于信息安全技术领域，主要涉及了一种基于mfcc特征和transformer集成分类器的lfm信号分类方法。


背景技术：

2.扩展频谱通信、光纤通信和卫星通被称为是信息时代的三大通信传输方式。其中发展时间最长的是扩展频谱通信，其中的频带扩展一般通过伪随机码完成，以达到抗干扰和可进行多址通信的目的。而线性调频则是一种不需要伪随机编码序列的扩展频谱调制技术，线性调频信号比相同带宽的信号持续时间更长从而被广泛应用在雷达、声纳等场景中，通过从雷达、声纳等装置发射的线性调频信号进行识别，从而判断出信号的具体发射机有着十分重要的意义。因此，工业界需要一种高效、高准确率的lfm信号信号源识别方法。
3.传统的识别方法大多基于脉冲描述字技术，通过提取脉冲信号的频率、到达时间等浅层特征进行识别。但随着电磁环境的日益复杂以及电子技术的不断完善，当线性调频信号的信号源拥有相同的配置和参数设置时，识别工作往往难以开展。由于提取出的特征极其相似，分类器往往不能很好的工作，射频指纹技术能很好地解决这一问题。每个信号源发射器在制造时都会存在一些硬件差异，这些由硬件缺陷引起的差异便是该发射器的固有硬件特性，这些特性往往独一无已，如同人的指纹一般，因此将这些特性称为“射频指纹”。通过研究的深入，射频指纹被认为是无线设备最理想的特征，即使发射机的频率、调制方式均相同，射频指纹特征也可以很好的发挥作用。射频指纹特征可以大致分为频率偏移、时域包络、调制域特征、频谱特征等，其中最常用的便是通过梅尔频谱倒谱系数(mel-frequency cepstral coefficients，mfcc)提取出的频谱特征。因此，mfcc是一种潜在可行的用于解决lfm信号识别困难的方法。
4.然而，想要高效的识别信号源，光有特征远远不够，一个好的分类器同样起着十分关键的作用。transformer自提出以来便成为nlp领域最热门的模型，但该模型的优势不仅在于其优秀的分类能力，更重要的是它可以适用于很多领域，具有较强的通用性，如用于cv领域中的vision transformer模型。因此将mfcc与transformer相结合是一种可行的方案。


技术实现要素：

5.本发明正是针对现有技术中相同配置的线性调频信号发射机识别困难的问题，提供一种基于mfcc特征和transformer集成分类器的lfm信号分类方法，对采集到的线性调频信号进行信号预处理，得到有效脉冲信号，再针对每个有效脉冲信号，进行包括预加重、分帧、加窗、快速傅里叶变化、mel滤波器组、对数运算、离散余弦变换以及动态差分参数提取的mfcc特征提取过程，得到静态基础特征、一阶差分动态特征和二阶差分动态特征；将三组特征分别输入三个transformer分类器中进行差异性训练，得到预分类特征；再将三个transformer分类器得到的三组预分类特征进行合并后输入进集成模块，分别进行归一化和三层线性层操作，最后通过一层全连接层，输出得到最终的分类结果。本发明将mfcc特征
和transformer相结合，提出了适用于线性调频信号的transformer集成分类方法，有效地解决了配置相同的信号源区分困难的问题。
6.为了实现上述目的，本发明采取的技术方案是：基于mfcc特征和transformer集成分类器的lfm信号分类方法，包括以下步骤：
7.s1，信号预处理：对采集到的线性调频信号进行信号预处理，得到有效脉冲信号，所述预处理过程至少包括分帧处理和端点确定；
8.s2，mfcc特征提取：对步骤s1获得的每个有效脉冲信号，进行mfcc特征提取，得到静态基础特征、一阶差分动态特征和二阶差分动态特征，所述特征提取的过程包括预加重、分帧、加窗、快速傅里叶变化、mel滤波器组、对数运算、离散余弦变换以及动态差分参数提取；
9.s3，分类器训练：将三组特征分别输入三个transformer分类器中进行差异性训练，分类器至少包括两个模块：分割模块和分类模块；所述分割模块中，将输入的特征数据进行归一化后生成适用于transformer分类器的新特征图，对新特征图进行分割得到子特征图，再将子特征图进行线性映射，使得初始的二维特征图转变为一维向量；经过分类模块，得到预分类特征；
10.s4，数据集成：将经过步骤s3三个transformer分类器得到的三组预分类特征进行合并后输入进集成模块，分别进行归一化和三层线性层操作，最后通过一层全连接层，输出得到最终的分类结果。
11.作为本发明的一种改进，所述步骤s1中的分帧处理是根据采样率，确定每帧包含的帧长和帧移；所述端点确定是通过计算短时过零率与短时能量的乘积，确定每个脉冲信号的起始帧和结束帧，相对时间内乘积首次大于阈值是起点，乘积首次小于阈值是终点。
12.作为本发明的另一种改进，所述步骤s1的分帧处理过程中，帧移为帧长的一半；所述步骤s2的me l滤波器组阶段中滤波器组的数量m为22-26；离散余弦变换阶段变换得到的mfcc系数取值一半，即mfcc系数维度为
13.作为本发明的另一种改进，所述步骤s3的分割模块中，将维度为l
×
d的mfcc特征图按顺序划分为n个不重叠的子特征图，每个子特征图的大小为l
×
d，其中接着对每个子特征图进行线性映射，使得初始给定的l
×
d的二维特征图转变为为n个l
×
d的一维向量其中d取值为l取值与d相同。
14.作为本发明的又一种改进，所述步骤s4中，三层线性层结点取值分别取128、64、32。
15.与现有技术相比，本发明具有的有益效果：提供了一种基于mfcc特征和transformer集成分类器的lfm信号分类方法，该方法可以在多个相同配置的发射机的识别任务上取得十分理想的准确率。该方法通过fft、dct等一系列信号处理方法将线性调频信号转换为可以体现各发射机差异的三组mfcc特征，通过transformer分类器得到预分类结果，再经过集成模块综合三个差异性训练的结果，得到最终分类情况。该方法有效地解决了相同配置的发射机分类困难的问题。
附图说明
16.图1为本发明方法的步骤流程图；
17.图2为本发明方法步骤s2中mfcc特征提取器的步骤流程图；
18.图3为本发明方法步骤s3中transformer特征提取器的步骤流程图；
19.图4为本发明方法步骤s3中多层感知机的架构图；
20.图5为本发明方法步骤s4中集成模块的架构图；
21.图6为本发明测试例中普通transformer分类器与transformer集成分类器区分第二个信号源的roc曲线对比图；
22.图7为本发明测试例中普通transformer分类器与transformer集成分类器区分第六个信号源的roc曲线对比图。
具体实施方式
23.下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
24.实施例1
25.一种基于mfcc特征和transformer集成分类器的lfm信号分类方法，通过本方法，可以对相同配置的信号源发射机进行精确高效分类。本方法的步骤流程如图1所示：
26.步骤s1：对信号进行预处理。由于采集到的线性调频信号是一整段信号，因此需要进行分帧和端点确定的预处理。
27.1、分帧阶段：根据采样率，确定每帧包含的采样点，即帧长以及帧移。采集到的信号为lfm调制的脉冲信号，且接收机采样率应大于奈奎斯特采样率即要求过采样，根据采样率确定帧长和帧移，帧移通常为帧长的一半。
28.2、端点确定阶段：通过计算短时过零率与短时能量的乘积，确定每个脉冲信号的起始帧和结束帧，每个有效脉冲信号的起点是短时过零率与短时能量的乘积首次大于阈值的位置，每个有效脉冲信号的终点是短时过零率与短时能量的乘积首次小于阈值的位置。通过这两个步骤处理，得到有效脉冲信号s[i]。
[0029]
步骤s2：对于每个有效脉冲信号，提取mfcc特征，一共包括八个阶段：预加重、分帧、加窗、快速傅里叶变化(fast fourier transform，fft)、mel滤波器组、对数运算、离散余弦变换(discrete cosine transform，dct)以及动态差分参数提取，如图2所示。
[0030]
1、预加重阶段：每个信号经过一个高通滤波器使整体的信号频谱平坦，公式如下：
[0031]
s[i]＝s[i+1]-k*s[i]
[0032]
其中k为自定义参数，建议取值为0.95。
[0033]
2、分帧阶段：该阶段将每个有效脉冲信号划分为n个大小相同的帧，与步骤一中的分帧类似，x(n)记为第n帧。
[0034]
3、加窗阶段：使用汉明窗h对每帧信号进行处理，以增加左右段连续性，公式如下：
[0035][0036]
4、fft阶段：对信号进行快速傅里叶变换处理，得到能量谱f(k)，设k为傅里叶变换的点数，公式如下：
[0037][0038]
5、mel滤波器组阶段：该阶段将能量谱通过一组mel尺度的三角滤波器组使频谱平滑化，消除谐波作用。三角滤波器的频率响应公式如下：
[0039][0040]
其中f()为梅尔频率，m＝1,2,
…
,m，m为滤波器数量。
[0041]
mfcc系数的维度取决于步骤二中mel滤波器组的数量m，m通常取22-26。
[0042]
6、对数运算阶段：计算每个滤波器组输出的对数能量，公式如下：
[0043][0044]
7、dct阶段：经过dct得到mfcc系数，公式如下：
[0045][0046]
通过dct阶段得到m维mfcc系数，通常只保留前一半，因此mfcc系数维度为
[0047]
8、动态差分参数提取阶段：经过dct阶段得到的mfcc系数仅为静态特征，通过计算一阶差分参数和二阶差分参数，得到动态特征，公式如下：
[0048][0049]
通过以上八个阶段，得到最终输入进transformer分类器中的三组mfcc特征。
[0050]
步骤s3：对于每组特征分别输入进三个transformer分类器中进行差异性训练。分类器可大致分为两个模块：分割模块和分类模块，具体如图3所示。在分割模块中，首先对输入的特征数据进行归一化(normaliazation)生成适用于transformer分类器的新特征图。随后对特征图进行分割，将维度为l
×
d的mfcc特征图按顺序划分为n个不重叠的子特征图，每个子特征图的大小为l
×
d，其中接着对每个子特征图进行线性映射，使得初始给定的l
×
d的二维特征图转变为为n个l
×
d的一维向量
[0051]
其中，子特征图的大小对结果影响较大，通常建议d取值为l取值与d相同。
[0052]
对每个子特征图进行归一化操作。公式如下：
[0053][0054]
其中xi为子特征图，α和β为可学习参数，μ
l
为样本的均值，为样本的方差，∈为一个很小的阈值，防止分母为0产生错误。
[0055]
计算每个子特征图的注意力权重，公式如下：
[0056][0057]
其中q、k、v均是子特征图与系数矩阵做乘法得到，dk表示k的维度。为缩放因子，防止当维度很大时对反向传播不利。
[0058]
将q、k、v通过线性映射切分为h份，记为head1，head2，
……
，headh，并对每一份分别进行注意力权重计算。最后，将在h份子空间中的注意力得分合并，经过线性映射得到最终的输出。多头自注意力机制的公式如下：
[0059]
multihead(q,k,v)＝concat(headi,headz,,headh)w0[0060]
其中concat指将head1,head2,
…
,headh进行合并，w0为系数矩阵。
[0061]
对在上述步骤中得到的注意力权重向量进行归一化操作。
[0062]
对注意力权重向量进行多层感知机处理，如图4所示，即依次经过全连接层a、激活层、全连接层b和dropout层，得到整个特征图的注意力权重向量，dropout层的作用是防止训练时过拟合，通常取值为0.1-0.3。
[0063]
上述从对每个子特征图进行归一化操作至此的操作，需重复n次，n通常取值为6-8。
[0064]
对权重向量进行归一化、铺平和丢弃操作，再次经过多层感知机处理，多层感知机中的激活层可为gelu、rule或sigmoid。
[0065]
经过全连接层得到该分类器中每个脉冲信号的预分类特征。
[0066]
步骤s4：将三个transformer分类器得到的三组预分类特征进行合并后输入进集成模块，如图5所示，即分别进行归一化和三层线性层操作，最后通过一层全连接层得到最终的分类结果，三层线性层结点取值对结果有很大影响，通常分别取128、64、32。
[0067]
测试例
[0068]
本测试例对模拟信号进行仿真实验以验证本方法的性能。首先，对于每个模拟信号进行预处理得到有效脉冲信号；然后，将有效脉冲信号输入mfcc特征提取器得到三组特征图；接着，将每组特征图输入不同transformer分类器进行单独训练；最后，将三个训练结果输入进集成模块得到最终的分类结果。
[0069]
本测试例对来自六个信号源的3000个样本进行研究，其中2100个为训练集，900个测试集，最终分类效果高达96％。本发明没有简单的将mfcc与transformer进行组合，而是基于mfcc特征特点分为三组特征输入进不同transformer中进行差异性训练，通过集成模
块得到最终结果。通过分析结果我们发现分类器对第二个信号源和第六个信号源的特征并不敏感，因此选择这两个信号源的预测结果进行对比试验，通过实验证明，本实验提出的集成分类器的方法拥有更好的效果，如图6为第二个信号源对比图，图7为第六个信号源对比图，图中方法一指单个分类器方法，方法二指集成分类器方法。从图6和图7可看出，方法二的roc曲线更加偏离45度对角线，说明敏感性和特异性在相互平衡的情况下达到更高水平。此外，更高的auc值暗示着分类器模型在妥善设定阈值的情况下具有更高的预测价值。
[0070]
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。