一种基于多机器学习与层次化分类的电离层杂波识别方法

1.本发明涉及雷达信号处理技术领域，具体为一种基于多机器学习与层次化分类的电离层杂波识别方法。


背景技术：

2.高频地波雷达hfswr可实现海况遥感和超视距目标检测等功能，具有广泛的应用前景。但hfswr面临着非常复杂的电磁环境，主要面临着海杂波和电离层杂波对雷达探测的影响。学者针对不同类型杂波提出不同原理抑制算法，以减少杂波所造成的影响，提高雷达的目标检测性能。
3.海杂波主要是由于hfswr发射的高频电磁波与海面海浪的波长谐振并相互作用而产生的，由一阶、二阶以及较高阶分量组成。其中一阶分量所包含的海杂波能量占比最高，且其频率特性与所探测的舰船等目标的多普勒频率较为接近，对hfswr的探测产生了严重影响。传统的杂波抑制算法以统计杂波的位置或估计杂波分布作为先验知识，然后构建相应的抑制算法处理区域内的杂波，在海杂波抑制中获得了良好的抑制效果。
4.电离层杂波的形成机理较为复杂，主要是由于除波束主瓣大部分沿海面绕射传播的发射信号外，少部分发射信号传播至空中，经过电离层的散射、折射、色散、多径效应等复杂作用后被接收机接收。由于电离层杂波主要取决于电离层中离子浓度等基本参数，这些参量的空变性和时变性较为剧烈，随经纬度、海拔存在结构性差异，且受昼夜、季节、太阳活动影响。传统抑制算法所需的先验信息不够充分，不足以精准地区分目标信号和电离层杂波，这会影响对该区域的抑制算法性能。进而可能损失或破坏目标回波信号，甚至将目标回波信号也误作杂波剔除。


技术实现要素：

5.本发明的目的是：针对现有技术中不能精准地区分电离层杂波的问题，提出一种基于多机器学习与层次化分类的电离层杂波识别方法。
6.本发明为了解决上述技术问题采取的技术方案是：
7.一种基于多机器学习与层次化分类的电离层杂波识别方法，包括以下步骤：
8.步骤一：获取回波数据，并对回波数据进行特征提取，得到样本矩阵；
9.步骤二：针对样本矩阵进行拉依达准则检验，并对拉依达准则检验后的样本矩阵进行z-score标准化；
10.步骤三：利用z-score标准化后的样本矩阵训练层次分类模型，所述层次分类模型包括第一层分类器、第二层分类器以及第三层分类器，所述第一层分类器包括主分类器和辅助分类器；
11.所述主分类器用于识别样本矩阵中电离层杂波标签数据和非电离层杂波标签数据；
12.所述辅助分类器用于识别非电离层杂波标签数据中背景噪声标签数据和海杂波
标签数据；
13.所述第二层分类器用于识别电离层杂波标签数据中弱电离层杂波标签数据和强电离层杂波标签数据；
14.所述第三层分类器用于识别强电离层杂波标签数据中不同特性强电离层杂波标签数据；
15.步骤四：利用训练好的层次分类模型进行电离层杂波识别。
16.进一步的，所述电离层杂波标签数据、背景噪声标签数据和海杂波标签数据通过rd谱图中的形态参数确定。
17.进一步的，所述不同特性强电离层杂波标签数据通过不同特性强电离层杂波在变换域上不同分布特性参数确定。
18.进一步的，所述主分类器、辅助分类器以及第三层分类器为cnn模型。
19.进一步的，所述cnn模型为tl-cnn模型，
20.所述tl-cnn模型包括9层网络结构，依次为2层卷积层、1层最大池化层、1层卷积层、1层池化层、1层扁平层和3层全连接层；
21.卷积层步长为1，池化层步长为2；
22.所述2层卷积层、1层最大池化层、1层卷积层、1层池化层、1层扁平层用于提取深层特征；
23.所述3层全连接层用于对深层特征进行分类预测，输出为独热编码形式的单分辨单元种类标签。
24.进一步的，所述第二层分类器为knn分类器，距离判据为欧氏距离，近邻数为10。
25.进一步的，所述拉依达准则检验具体为：
26.针对样本矩阵中每个维度，将每个维度作为样本子矩阵，然后将每个样本子矩阵中的特征数值z
mn
与该样本子矩阵中全局平均值μ的差值超出门限值3σ的特征数值作为异常值剔除，并根据异常值超出为上确界或下确界填补对应数值，σ为样本子矩阵全局方差。
27.进一步的，所述门限值为c为变常数。
28.进一步的，所述z-score标准化具体为：
29.重新计算样本子矩阵全局平均值μ
′
和样本子矩阵全局方差σ
′
，将样本子矩阵中各个元素减去样本子矩阵全局平均值μ
′
的结果再统一除以样本子矩阵全局标准差从而将特征数值分布映射到[0,1]范围内。
[0030]
进一步的，所述训练层次分类模型具体表示为：
[0031][0032]
其中，l
all
为总损失函数，λ
11
为第一层主分类器的置信权重系数，λ
10
为第一层辅助分类器的置信权重系数，λ2为第二层分类器的置信权重系数，λ3为第三层分类器的置信权重系数，di为第i层分类器，dd为输入的有标签训练集，dg为输入的无标签训练集，l为损失函
数，pi为输入第i层分类器的标签，di为第i层分类器，g为辅助分类器。
[0033]
本发明的有益效果是：
[0034]
本技术提升了对不同类型杂波的识别准确率，并进一步扩充样本集，本技术在所用实测样本集上，在第一层中训练辅助分类器对未标注样本预测性能相较传统算法有较大改善，最大提升40％以上，缓解了样本数量不足的问题；对6类不同特性强电离层杂波样本识别达到88.47％的平均预测准确率，较传统算法提升50％以上。
附图说明
[0035]
图1为数据处理部分流程图；
[0036]
图2为层次化分类部分流程图；
[0037]
图3为对应波束形成后rd谱图1；
[0038]
图4为对应波束形成后rd谱图2；
[0039]
图5为对应波束形成后rd谱图3；
[0040]
图6为预测结果示意图1；
[0041]
图7为预测结果示意图2；
[0042]
图8为预测结果示意图3；
[0043]
图9为最终模型的预测结果示意图1；
[0044]
图10为最终模型的预测结果示意图2；
[0045]
图11为最终模型的预测结果示意图3；
[0046]
图12为回波数据的真实标签示意图4；
[0047]
图13为回波数据的真实标签示意图5；
[0048]
图14为回波数据的真实标签示意图6。
具体实施方式
[0049]
需要特别说明的是，在不冲突的情况下，本技术公开的各个实施方式之间可以相互组合。
[0050]
具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的一种基于多机器学习与层次化分类的电离层杂波识别方法，包括：
[0051]
步骤一、获取多个雷达扫描批次原始回波数据，通过特征提取得到雷达回波特征样本，记其中的第p扫描批次、第q波束指向样本为z(p,q)，为m
×n×
l大小的样本矩阵，其中m为距离维，n为多普勒维，构成m
×
n个分辨单元，每个分辨单元由l维特征描述，以其中一维特征构成的m
×
n样本矩阵z(p,q)，对z(p,q)进行标准化处理，使特征数值符合标准正态分布；
[0052]
步骤二、利用标准化处理和拉依达准则检验得到粗处理回波数据集，剔除并修正异常特征数值；
[0053]
对回波特征样本进行标准化处理和拉依达准则检验，得到粗处理回波数据集，具体过程包括：
[0054]
步骤二一、以样本z(p,q)其中一维特征构成m
×
n样本矩阵z(p,q)，对z(p,q)进行标准化处理，使特征数值符合标准正态分布；
[0055]
步骤二二、将经过步骤二一样本矩阵进行拉依达准则检验，剔除并修正异常特征数值。
[0056]
步骤三、进行z-score标准化和尺寸匹配得到训练样本，消除各特征的量纲影响，并适应在辅助机器学习部分中不同层所选择的分类器；
[0057]
z-score标准化和尺寸匹配得到训练样本，消除各特征的量纲影响，并适应在辅助机器学习部分中不同层所选择的分类器，具体过程包括：
[0058]
步骤三一、对样本矩阵各维度进行一次z-score标准化，将各维特征映射到[0,1]范围内，消除各特征的量纲影响，提高后续机器学习中梯度下降求解最优解的速度以及在knn这类以样本间距离为依据的分类器的分类精度；
[0059]
步骤三二、为了适应在层次化分类部分中不同层所选择的分类器，对根据各层所选择机器学习算法进行输入训练样本的尺寸匹配。
[0060]
步骤四、将训练样本输入至层次化分类模型各层主分类器训练，得到初步训练模型；
[0061]
结合图2所示，训练样本输入至层次化分类模型各层主分类器训练，得到初步训练模型，具体过程包括：
[0062]
步骤四一、在回波特征库中，根据选择分类器种类匹配部分数据作为训练集；
[0063]
步骤四二、输入至第一层主分类器训练，训练主分类器时训练区域为全域像素，标签将电离层杂波外区域像素划归为一类，分类器为cnn模型，将全域像素分为背景噪声、电离层杂波和海杂波，分类依据为三种类别在rd谱图中的形态参数；
[0064]
步骤四三、训练集输入至第二层分类器，训练区域为电离层杂波区域像素，标签为强弱电离层杂波，分类器为knn，将第一层分类得到的电离层杂波区分为强弱电离层杂波，分类依据为电离层杂波的回波强度，以此为阈值进行knn分类训练；
[0065]
步骤四四、训练集输入至第三层分类器，训练区域为强电离层杂波区域像素，标签为多类不同特性强电离层杂波，分类器为基于迁移学习构建的tl-cnn模型，分类依据为各类强电离层杂波在变换域上不同分布特性参数。
[0066]
步骤五、进行层级联合训练子分类器，得到不同层次杂波分类结果。
[0067]
所述训练层次分类模型具体表示为：
[0068][0069]
其中，l
all
为总损失函数，λ
11
为第一层主分类器的置信权重系数，λ
10
为第一层辅助分类器的置信权重系数，λ2为第二层分类器的置信权重系数，λ3为第三层分类器的置信权重系数，di为第i层分类器，dd为输入的有标签训练集，dg为输入的无标签训练集，l为损失函数，pi为输入第i层分类器的标签，di为第i层分类器，g为辅助分类器。
[0070]
对于每一层通过横向对比不同分类算法训练结果，选择各层准确率和泛化性能最佳的分类器，使训练目标aim总损失函数最小。
[0071]
机器学习算法在挖掘数据中的隐藏关系方面更强大，更容易解决复杂的问题，并
最大限度地利用所提取到的先验知识，更好地根据环境变化实现自适应处理。但是将机器学习方法应用在hfswr领域，仍然存在诸如实测数据的获取和原理解析建模模拟的困难所导致的小样本问题，分类算法有待进一步改进和加强。因此，本技术进行层级联合训练子分类器，得到不同层次杂波分类结果，需要获取部分未参与训练样本以训练子分类器的生成预测能力，训练子分类器时训练区域为除电离层杂波外区域，标签将区域划分为电离层杂波和海杂波，第一层主分类器预测结果中电离层杂波区域输入为第二层分类器训练区域并逐层传递。
[0072]
下面通过实测数据集验证本发明的发明效果：
[0073]
以混淆矩阵为基础的分类准确率和f准则非模型评价系数作为衡量分类结果的评价指标：
[0074]
首先以二分类，类别分为真假两类为例，定义混淆矩阵如下式所示：
[0075][0076]
式中m
conf
代表2
×
2维的混淆矩阵，其中元素tp代表该像素在模型预测和实际标签上均为真，模型预测正确；fn代表在模型上预测为假，实际为真，模型预测错误；fp表示在模型上预测为真，实际为假，模型预测错误；tn表示在模型预测和实际标签上均为假，模型预测正确。
[0077]
混淆矩阵扩展到本文的共c类分类情况，如下式所示：
[0078][0079]
(1)模型预测准确率
[0080]
依据上述列出的共c类分类情况混淆矩阵，其中第k类的模型预测准确率如下式所示：
[0081][0082]
(2)f准则非模型评价系数
[0083]
第k类的f准则非模型评价系数如下式所示：
[0084][0085]
其中β为调节系数取β＝1，f
β
计算以β取值权衡模型预测准确性和全面性的重要程度。
[0086]
第一层主分类器和辅助分类器以及第三层分类器均选择深度卷积神经往来款cnn
模型，第二层选择knn作为分类器实现算法，各层以朴素贝叶斯nb和支持向量机svm作为对比。综合考量硬件条件和训练耗时，选择实测数据集中4个扫描周期的4批次原始数据作为样本集，其中第1、2批次为训练集，完成模型训练后，第一层和第二层在各批次数据上测试，第三层给出单批次6类强电离层特性杂波预测结果。
[0087]
表1第一层分类综合结果算法性能对比
[0088][0089]
表2第二层分类算法性能对比
[0090][0091]
表3第三层分类算法性能对比
[0092][0093]
由上述表格可看出，本技术在各层均选择四种算法中性能较理想的分类器，在所
用实测样本集上，在第一层中训练辅助分类器对未标注样本预测性能相较传统算法有较大改善，最大提升40％以上，缓解了样本数量不足的问题；对6类不同特性强电离层杂波样本达到88.47％的平均预测准确率，较传统算法提升50％以上。
[0094]
实施例：
[0095]
1)考量实际硬件条件、训练时间成本和模型预测准确率，以雷达第p和p+1扫描批次中强电离层特性杂波数量较丰富的第q-1至q+1波束指向回波特征样本为训练集，完成模型训练后在雷达第p至p+3扫描批次、同波束指向回波特征样本上测试，统称为原始样本集，每批次单波束指向由200
×
512个分辨单元组成，每个分辨单元由l维特征描述，l可根据实际应用场景适应性调整，本实施例取l＝24。
[0096]
2)对单个特征维度200
×
512样本矩阵z(p,q)进行标准化处理，使该矩阵特征数值近似服从标准正态分布。
[0097]
3)遍历经过2)处理的样本子矩阵中的每个数值，对每个数值进行拉依达准则检验。若特征数值z
mn
与该样本子矩阵全局平均值μ的差值超出门限值3σ，即3倍样本子矩阵全局方差，将该特征数值作为异常值剔除，并补充为上下确界对应数值
±
3σ+μ；若未超出门限值，则保持原本特征数值不变。已对样本子矩阵进行标准化处理，故取μ,σ为0和1。
[0098]
更进一步的，采用拉依达准则对偏离门限值较大的异常特征数值检验灵敏度较高，但对于靠近门限的亚异常特征数值检验灵敏度较低。对判决门限进行改进，采用修正拉依达准则进行检验。门限修正为
[0099]
4)对经过3)步骤得到的样本子矩阵进行z-score标准化，先重新计算样本子矩阵全局平均值μ
′
和样本子矩阵全局方差σ
′
，对样本子矩阵中各个元素减去样本子矩阵全局平均值μ
′
去偏差，并统一除以样本子矩阵全局标准差从而将特征数值分布映射到[0,1]范围内，消除各特征的量纲影响，提高后续机器学习中梯度下降求解最优解的速度以及在knn这类以样本间距离为依据的分类器的分类精度。
[0100]
5)对样本矩阵各特征维度逐次重复上述2)至4)步骤，为适应在辅助机器学习部分中不同层所选择的分类器，对根据各层所选择机器学习算法进行输入训练样本的尺寸匹配。传统算法knn，nb和svm直接以原数据尺寸200
×
512
×
24输入。cnn分类器输入为5
×5×
24，需遍历200
×
512
×
24样本矩阵，根据对应标签和该层分类器训练要求，以需要的标签对应样本矩阵分辨单元为中心，周围5
×
5区域切分子片。
[0101]
6)按照所描述方式进行训练，实际中损失函数形式为交叉熵损失函数，梯度下降方式为adam算法，起始学习率lr＝0.001，容忍度为10，即累计在10轮训练中损失函数成上升趋势则提前停止训练，防止过拟合。
[0102]
7)训练集输入至第一层主分类器训练，训练主分类器时训练区域为全域像素，标签将电离层杂波外区域像素划归为一类。第一层主分类器采用cnn分类器，共9层网络结构，激活函数统一选择为激活函数，卷积层步长为1，池化层步长为2，依次为2层卷积层，1层最大池化，1层卷积，1层池化，扁平层，3层全连接层。扁平层前提取数据集中的潜在深层特征，全连接层部分将经过扁平化的深层特征进行分类预测，输出为独热编码形式的单分辨单元种类标签。
[0103]
8)训练集输入至第二层分类器，训练区域为电离层杂波区域像素，标签为强弱电
离层杂波。第二层分类器采用knn分类器，是对比几种算法以及运算效率后的选择结果，距离判据为欧氏距离，近邻数为10。
[0104]
9)训练集输入至第三层分类器，训练区域为强电离层杂波区域像素，标签为多类不同特性强电离层杂波。第三层选择cnn分类器，网络结构与第一层主分类器一致，调整全连接层增加神经元数目，增强分类能力。
[0105]
为进一步扩充训练集规模，提升模型预测准确率，对9)中cnn分类器中训练集改为3
×3×
24大小的子片，其第一层卷积层卷积核大小也由5
×
5调整为3
×
3大小。
[0106]
10)获取部分未参与训练样本以训练辅助分类器的生成预测能力，训练辅助分类器时训练区域为除电离层杂波外区域，标签将区域划分为电离层杂波和海杂波，第一层主分类器预测结果中电离层杂波区域输入为第二层分类器训练区域并逐层传递。辅助分类器与主分类为相同网络结构的cnn分类器实现。
[0107]
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。