一种基于信号识别的机器学习模型测评方法与流程

本发明涉及机器学习模型的，尤其涉及一种基于信号识别的机器学习模型测评方法。

背景技术：

1、在电磁领域，机器学习模型的应用较为广泛，其中信号识别技术是其中的主流任务，在获取的电磁信号数据集下，训练目标机器学习，用训练好的机器学习模型对电磁信号的调制类型等进行预测识别。机器学习模型是许多人工智能应用的基础，模型的性能很大程度上影响了人工智能应用的效果。随着机器学习应用的增多，以机器学习模型为核心的人工智能技术在应用中暴露出由自身特性引发出的风险隐患。

2、在电磁信号识别任务下，机器学习模型在信道存在干扰的环境中易发生预测错误的情况。同时，机器学习模型容易受到对抗样本攻击，只需要在输入样本中添加精心构造的、人眼不可察觉的扰动就可以轻松地让模型决策出错。对抗攻击不仅损害了模型的安全性和可靠性，同时也影响了机器学习模型在实际应用中的可靠性。

3、目前，在机器学习模型的分类性能、鲁棒性、使用价值方面都有一定的探索，然而尚没有在信号识别领域对机器学习模型质量的概念进行详细的定义和描述分析。对于信号识别下机器学习模型质量的评估，除了准确率等主要指标外，还要包括对模型的鲁棒性、模型复杂性、速度效率、模型安全等方面的测评。最后，要对模型进行全面综合的评价。

技术实现思路

1、本发明为了解决现有技术中的问题，提出了一种基于信号识别的机器学习模型测评方法。通过构建评估体系对信号识别任务下的机器学习模型质量进行全面综合评估，以便于后续对机器学习模型性能进行优化。

2、本发明是通过以下技术方案实现的，本发明提出一种基于信号识别的机器学习模型测评方法，所述方法具体步骤为：

3、步骤s101、针对电磁信号识别任务下的机器学习模型性能和需求，分析指标体系构建原则，结合模型的特性和电磁领域特性，构建多层次评估指标结构，并基于此建立完整的模型质量测评体系；

4、步骤s102、根据不同电磁环境场景选择需要进行测试的模型，同时确定不同的评估指标和度量层次，设计质量测评方案；

5、步骤s103、选择不同测评模块下的评估技术方法，对模型不同度量层次下质量性能进行测评，最后实现对模型的综合评估。

6、进一步地，在步骤s101中，

7、结合机器学习模型特性和电磁领域特性，分析指标构建原则；

8、评估原则考虑典型性、代表性、科学性和逻辑性；

9、按照各个因素之间的相互关联影响以及隶属关系建立评估指标的多层次结构模型；

10、对评估指标进行筛选；

11、对评估指标进行反馈检验；

12、对于指标权重，利用层次分析法确定每一层次因素相对于上一层次因素的重要程度，形成判断矩阵；

13、通过计算判断矩阵的最大特征根和特征向量确定相对重要性权重。

14、进一步地，评估指标需要进行可信度检验，同时在指标投入使用后需要根据指标测评结果与实际数据分布和环境的变化，对指标的可用性进行反馈说明。

15、进一步地，所述度量层次包括:

16、分类性能评估，用于测试机器学习模型在测试数据集上的预测分类效果；

17、鲁棒性评估，用于测试机器学习模型面对数据异常时的表现情况；

18、安全性能评估，用于测试机器学习模型在对抗样本下的决策表现；

19、复杂性评估，用于测试机器学习模型自身结构参数复杂程度；

20、工程效率评估，用于测试机器学习模型的时间性能；

21、综合质量评估，用于测试机器学习模型的综合质量性能表现，基于分类性能评估结果，鲁棒性能评估结果，安全性能评估结果，复杂性能评估结果，工程效率评估结果，计算测试评估指标的权重系数，确定机器学习模型质量综合评分。

22、进一步地，所述设计质量测评方案具体为：

23、确定电磁信号数据集，明确信号样本的类型、数量，划分训练集、验证集和测试集；

24、面向不同任务和不同场景，确定不同的评估模块，当测试模型面对异常信号数据样本时，至少要包括鲁棒性评估；当模拟电磁空间对抗博弈任务时，至少要包括安全性评估；同时选择机器学习模型需要进行测试的评估指标。

25、进一步地，所述评估技术包括:

26、对于模型分类性能，在数据类型分布平衡的数据集，测试目标机器学习模型的分类性能；

27、对于模型鲁棒性测评，对电磁信号数据人为添加异常，测试模型面对数据异常时的表现情况；

28、对于模型安全性评估，采用对抗样本测评技术对目标机器学习模型安全性进行测试；

29、对于模型复杂性能，考虑目标机器学习模型网络的计算复杂度和参数数量，测试目标机器学习模型的复杂性能。

30、进一步地，所述鲁棒性测评技术包括：

31、面向信号识别场景下的异常情况，采用载波频率偏移、采样频率偏移、加性高斯噪声或莱斯信道衰减方法测试机器学习模型的鲁棒性。

32、进一步地，所述对抗样本测评技术包括：

33、针对不同的电磁对抗环境，采用基于迭代的对抗攻击和基于优化的对抗攻击测试机器学习模型的安全性。

34、进一步地，结合不同电磁场景下的评估需求，确定目标机器学习模型不同的度量层次和评估指标。

35、本发明提出一种计算机设备，包括：

36、处理器单元，能够执行一个或多个程序；

37、存储器单元，用于存储不同类型的电磁信号数据；

38、当所述一个或多个程序需要被执行时，执行所述的一种基于信号识别的机器学习模型测评方法。

39、本发明具有的有益效果是：

40、本发明提出一种基于信号识别的机器学习模型测评方法，该方法结合模型的特性和电磁领域特性，构建多层次评估指标结构模型，根据不同电磁环境场景选择需要进行测试的模型，确定不同的评估指标和度量层次，提供合理的测评技术策略，对模型不同度量层次下质量性能进行测评。本发明为信号识别领域下机器学习模型质量测评提供全面合理的指标体系，能够对目标机器学习模型的分类性能、鲁棒性、安全性、复杂性、工程效率等方面进行全面的评估。

技术特征：

1.一种基于信号识别的机器学习模型测评方法，其特征在于，所述方法具体步骤为：

2.根据权利要求1所述的方法，其特征在于：在步骤s101中，

3.根据权利要求2所述的方法，其特征在于：评估指标需要进行可信度检验，同时在指标投入使用后需要根据指标测评结果与实际数据分布和环境的变化，对指标的可用性进行反馈说明。

4.根据权利要求3所述的方法，其特征在于：所述度量层次包括:

5.根据权利要求4所述的方法，其特征在于：所述设计质量测评方案具体为：

6.根据权利要求5所述的方法，其特征在于：所述评估技术包括:

7.根据权利要求6所述的方法，其特征在于：所述鲁棒性测评技术包括：

8.根据权利要求6所述的方法，其特征在于：所述对抗样本测评技术包括：

9.根据权利要求4所述的方法，其特征在于：结合不同电磁场景下的评估需求，确定目标机器学习模型不同的度量层次和评估指标。

10.一种计算机设备，其特征在于，包括：

技术总结
本发明提出一种基于信号识别的机器学习模型测评方法，该方法结合模型的特性和电磁领域特性，构建多层次评估指标结构模型，根据不同电磁环境场景选择需要进行测试的模型，确定不同的评估指标和度量层次，提供合理的测评技术策略，对模型不同度量层次下质量性能进行测评。本发明为信号识别领域下机器学习模型质量测评提供全面合理的指标体系，能够对目标机器学习模型的分类性能、鲁棒性、安全性、复杂性、工程效率等方面进行全面的评估。

技术研发人员：宣琦,林云,杨凇麟,张建廷,张思成,蒋凡
受保护的技术使用者：杭州市滨江区浙工大网络空间安全创新研究院
技术研发日：
技术公布日：2024/5/8