网络安全模型综合评估方法及系统、电子设备、存储介质与流程

本公开涉及人工智能，尤其涉及一种网络安全模型综合评估方法及系统、电子设备、存储介质。

背景技术：

1、随着人工智能(artificial intelligence，ai)技术的不断发展和应用，各类算法以及模型已经渗透到各个领域，包括网络安全领域，其ai技术在大数据分析、处理、威胁研判中显示出重要作用。然而，随之而来的是与ai相关的安全风险问题，目前通常采用单一的评估指标对网络安全模型进行评估，从而规避ai的风险，但是该方式对模型的评估不够全面，导致模型评估结果不够准确。

技术实现思路

1、有鉴于此，本公开实施例提供了一种网络安全模型综合评估方法及系统、电子设备、存储介质，能够基于评估指标、测试数据集和问卷对网络安全模型进行综合性评估，为网络安全模型划分出精准的等级。

2、第一方面，本公开实施例提供了一种网络安全模型综合评估方法，采用如下技术方案：

3、获取待评估的网络安全模型、第一数据和第一测试数据集；

4、基于所述第一数据获取评估指标、第二测试数据集和问卷；

5、基于所述评估指标、所述第一测试数据集对所述网络安全模型进行风险评估，获取第一分值；

6、基于所述评估指标、所述第二测试数据集对所述网络安全模型进行风险评估，获取第二分值；

7、基于所述问卷对所述网络安全模型进行合规性评估，获取第三分值；

8、基于所述第一分值、所述第二分值、所述第三分值确定所述网络安全模型的等级；

9、其中，所述网络安全模型为机器学习模型；所述第一数据为网络安全模型的元数据；所述评估指标从指标库中选择，所述指标库包括数据泄露率、数据完整率、输入数据可用率、指令可控率、隐私保护率、鲁棒性、准确率、精确率、吞吐率、请求率、源ip访问率、系统文件完整率、系统文件可用率、数据丢失率、漏洞利用率、平均绝对误差、对数损失、相对绝对误差中的至少一项或者多项。

10、可选地，所述第一数据包括第一模型数据；所述获取待评估的网络安全模型、第一数据包括：

11、分析所述网络安全模型，获得第二模型数据；

12、将所述第一模型数据与所述第二模型数据进行匹配；

13、若匹配不一致，则获取新的第一数据。

14、可选地，所述评估指标包括一类指标和二类指标；所述第一分值为f1：

15、f1＝∑fi+∑i-fj；

16、其中，fi为基于所述第一测试数据集、编号为i的一类指标对所述网络安全模型进行评估得到的指标值；i为一类指标的编号；fj为基于所述第一测试数据集、编号为j的二类指标对所述网络安全模型进行评估得到的指标值；j为二类指标的编号；i为所述二类指标的总数量。

17、可选地，所述第二分值为f2：

18、f2＝∑f′i+∑i-f′j；

19、其中，fi'为基于所述第二测试数据集、编号为i的一类指标对所述网络安全模型进行评估得到的指标值；fj'为基于所述第二测试数据集、编号为j的二类指标对所述网络安全模型进行评估得到的指标值。

20、可选地，所述基于所述第一分值、所述第二分值、所述第三分值确定所述网络安全模型的等级包括：

21、基于所述第一分值、所述第二分值、所述第三分值获取综合分值；

22、基于所述综合分值确定所述网络安全模型的等级；

23、其中，综合分值为f：

24、

25、其中，m、n为预设参数；j为所述一类指标的总数量；f3为所述第三分值。

26、可选地，获取所述第一分值与所述第二分值之间的差值；

27、如果所述差值的绝对值大于预设绝对值阈值，则获取新的第一测试数据集；

28、基于所述新的第一测试数据集获取新的第一分值。

29、可选地，所述第一测试数据集、所述新的第一测试数据集均由被检测方发送，获取所述被检测方的标识；

30、统计所述差值的绝对值大于预设绝对值阈值的次数；

31、如果所述次数大于预设次数阈值，则将所述标识存储到失信名单。

32、第二方面，本公开实施例还提供了一种网络安全模型综合评估系统，采用如下技术方案：

33、第一获取模块，用于获取待评估的网络安全模型、第一数据和第一测试数据集；

34、第二获取模块，用于基于所述第一数据获取评估指标、第二测试数据集和问卷；

35、第一评估模块，用于基于所述评估指标、所述第一测试数据集对所述网络安全模型进行风险评估，获取第一分值；

36、第二评估模块，用于基于所述评估指标、所述第二测试数据集对所述网络安全模型进行风险评估，获取第二分值；

37、第三获取模块，用于基于所述问卷对所述网络安全模型进行合规性评估，获取第三分值；

38、等级确定模块，用于基于所述第一分值、所述第二分值、所述第三分值确定所述网络安全模型的等级；

39、其中，所述网络安全模型为机器学习模型；所述第一数据为网络安全模型的元数据；所述评估指标从指标库中选择，所述指标库包括数据泄露率、数据完整率、输入数据可用率、指令可控率、隐私保护率、鲁棒性、准确率、精确率、吞吐率、请求率、源ip访问率、系统文件完整率、系统文件可用率、数据丢失率、漏洞利用率、平均绝对误差、对数损失、相对绝对误差中的至少一项或者多项。

40、第三方面，本公开实施例还提供了一种电子设备，采用如下技术方案：

41、所述电子设备包括：

42、至少一个处理器；以及，

43、与所述至少一个处理器通信连接的存储器；其中，

44、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上任一所述的网络安全模型综合评估方法。

45、第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行以上任一所述的网络安全模型综合评估方法。

46、本公开实施例提供的网络安全模型综合评估方法，通过使用评估指标、第一测试数据集、第二测试数据集和问卷，可以从不同的角度对网络安全模型进行评估，并分别得到第一、第二、第三分值，基于这三种分值能够更加全面的体现网络安全模型的性能和效果，以便更好地理解和比较不同模型在综合评估中的表现，从而更加精准的对网络安全模型划分等级。

47、上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

技术特征：

1.一种网络安全模型综合评估方法，其特征在于，包括：

2.根据权利要求1所述的网络安全模型综合评估方法，其特征在于，所述第一数据包括第一模型数据；所述获取待评估的网络安全模型、第一数据包括：

3.根据权利要求1所述的网络安全模型综合评估方法，其特征在于，所述评估指标包括一类指标和二类指标；所述第一分值为f1：

4.根据权利要求3所述的网络安全模型综合评估方法，其特征在于，所述第二分值为f2：

5.根据权利要求4所述的网络安全模型综合评估方法，其特征在于，所述基于所述第一分值、所述第二分值、所述第三分值确定所述网络安全模型的等级包括：

6.根据权利要求1所述的网络安全模型综合评估方法，其特征在于，还包括：

7.根据权利要求6所述的网络安全模型综合评估方法，其特征在于，还包括：

8.一种网络安全模型综合评估系统，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求1-7任一所述的网络安全模型综合评估方法。

技术总结
本公开实施例公开了一种网络安全模型综合评估方法及系统、电子设备、存储介质。其中，方法包括：获取待评估的网络安全模型、第一数据和第一测试数据集；基于所述第一数据获取评估指标、第二测试数据集和问卷；基于所述评估指标、所述第一测试数据集对所述网络安全模型进行风险评估，获取第一分值；基于所述评估指标、所述第二测试数据集对所述网络安全模型进行风险评估，获取第二分值；基于所述问卷对所述网络安全模型进行合规性评估，获取第三分值；基于所述第一分值、所述第二分值、所述第三分值确定所述网络安全模型的等级。该方法能够基于评估指标、测试数据集和问卷对网络安全模型进行综合性评估，为网络安全模型划分出精准的等级。

技术研发人员：王世峰
受保护的技术使用者：北京天融信网络安全技术有限公司
技术研发日：
技术公布日：2024/4/17