一种电力领域人工智能模型成熟度评估方法及系统与流程

本发明涉及人工智能，尤其涉及一种电力领域人工智能模型成熟度评估方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、人工智能算法模型的成熟度直接影响人工智能在基层的应用价值。随着人工智能技术在电力领域的深化应用，例如输电线路无人机巡检(比如基于图像进行设备识别或故障识别)、变电站机器人运维自动化(比如基于图像进行故障分类)等业务对算法模型精度达到实用化水平、摆脱人为干预的需求越来越迫切。

3、但是，目前电力专用的人工智能算法技术在实用化过程中仍需要逐步提升优化，因此科学量化人工智能模型的性能是重点工作。

4、目前，对基于机器学习的人工智能模型的评估指标，主要是查全率、查准率和错误率等指标，比如：查准率又称为精确率，是正确预测为正的类别占所有预测为正类别的占比；查全率又称为召回率，是正确预测为正的样本占标注为正样本的比例。此类评价指标虽然可以在理论环境下对模型性能进行对比，但是，评价指标的波动在实际应用环境下，对于模型的使用成效并不能得到直观反馈。

技术实现思路

1、为了解决上述问题，本发明提出了一种电力领域人工智能模型成熟度评估方法及系统，合理设置评估指标对模型的成熟度进行评估，为模型的上线运行提供数据支撑。

2、在一些实施方式中，采用如下技术方案：

3、一种电力领域人工智能模型成熟度评估方法，包括：

4、获取待评估模型的性能指标数据，所述性能指标数据包括待评估模型的发现率、误检比和处理速率指标；

5、基于指标值计算得到对每一个指标的评估得分；

6、对每一个指标的评估得分进行加权求和，得到模型的成熟度评估结果。

7、其中，待评估模型的发现率指标具体为：

8、待评估模型输出正确框的总数，占待评估模型对应的测试样本中标准框总数的百分比。

9、待评估模型的误检比指标具体为：

10、待评估模型全部输出框的数量与输出正确框数量的差值，占待评估模型对应的测试图像中标准框总数的百分比。

11、待评估模型的处理速率指标具体为：待评估模型对单个样本识别所用的时间。

12、基于指标值计算得到对每一个指标的评估得分，具体为：

13、发现率得分＝发现率×100；

14、

15、

16、对每一个指标的评估得分进行加权求和，得到模型的成熟度评估结果，具体为：

17、

18、其中，x为发现率得分、误检比得分与处理速率得分的加权求和结果。

19、根据模型的成熟度得分，确定待检测模型的成熟度等级；所述成熟度等级包括具备实验环境测试条件、具备试点应用条件和具备实用化应用条件。

20、在另一些实施方式中，采用如下技术方案：

21、一种电力领域人工智能模型成熟度评估系统，包括：

22、指标获取模块，用于获取待评估模型的性能指标数据，所述性能指标数据包括待评估模型的发现率、误检比和处理速率指标；

23、指标得分模块，用于基于指标值计算得到对每一个指标的评估得分；

24、成熟度评估模块，用于对每一个指标的评估得分进行加权求和，得到模型的成熟度评估结果。

25、在另一些实施方式中，采用如下技术方案：

26、一种终端设备，其包括处理器和存储器，处理器用于实现指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的电力领域人工智能模型成熟度评估方法。

27、在另一些实施方式中，采用如下技术方案：

28、一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的电力领域人工智能模型成熟度评估方法。

29、与现有技术相比，本发明的有益效果是：

30、(1)本发明创造性的提出了一种电力领域人工智能模型成熟度评估方法，选取模型的发现率、误检比和处理速率作为评估指标，利用模型识别过程中的正确框和标准框的数量，计算评估指标值；评估指标的选取更好的体现了实际应用对模型的真实需求，解决了现有评估指标无法直观判断模型成效的问题。

31、(2)本发明提出了一种模型成熟度得分的计算方法，将各评估指标值的得分进行权值计算，计算得到成熟度得分，进而根据得分划分模型的成熟度等级；可以更加准确、清晰的反馈整个研发周期模型成效的变化，提高了模型成熟度评估的准确性。

32、本发明通过成熟度等级划分，量化电力人工智能模型上线条件，为规模化应用提供技术支撑。

33、本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。

技术特征：

1.一种电力领域人工智能模型成熟度评估方法，其特征在于，包括：

2.如权利要求1所述的一种电力领域人工智能模型成熟度评估方法，其特征在于，待评估模型的发现率指标具体为：

3.如权利要求1所述的一种电力领域人工智能模型成熟度评估方法，其特征在于，待评估模型的误检比指标具体为：

4.如权利要求1所述的一种电力领域人工智能模型成熟度评估方法，其特征在于，待评估模型的处理速率指标具体为：待评估模型对单张图像识别所用的时间。

5.如权利要求1所述的一种电力领域人工智能模型成熟度评估方法，其特征在于，基于指标值计算得到对每一个指标的评估得分，具体为：

6.如权利要求1所述的一种电力领域人工智能模型成熟度评估方法，其特征在于，对每一个指标的评估得分进行加权求和，得到模型的成熟度评估结果，具体为：

7.如权利要求1或6所述的一种电力领域人工智能模型成熟度评估方法，其特征在于，根据模型的成熟度得分，确定待检测模型的成熟度等级；所述成熟度等级包括具备实验环境测试条件、具备试点应用条件和具备实用化应用条件。

8.一种电力领域人工智能模型成熟度评估系统，其特征在于，包括：

9.一种终端设备，其包括处理器和存储器，处理器用于实现指令；存储器用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-7任一项所述的电力领域人工智能模型成熟度评估方法。

10.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-7任一项所述的电力领域人工智能模型成熟度评估方法。

技术总结
本发明公开了一种电力领域人工智能模型成熟度评估方法及系统，包括：获取待评估模型的性能指标数据，所述性能指标数据包括待评估模型的发现率、误检比和处理速率指标；基于指标值计算得到对每一个指标的评估得分；对每一个指标的评估得分进行加权求和，得到模型的成熟度评估结果。本发明选取模型的发现率、误检比和处理速率作为评估指标，利用模型识别过程中的正确框和标准框的数量，计算评估指标值；评估指标的选取更好的体现了实际应用对模型的真实需求，解决了现有评估指标无法直观判断模型成效的问题。

技术研发人员：王琦,任佳颖,王勇,刘晗,徐康,周大洲,韩元凯,杨月琛,刘珅岐,邓华,武侠,梁天,战捷,鲍娌娜
受保护的技术使用者：国网智能科技股份有限公司
技术研发日：
技术公布日：2024/3/11