一种模型性能评价方法、装置、设备及存储介质与流程

文档序号:25520492发布日期:2021-06-18 20:07阅读:来源:国知局

技术特征:

1.一种模型性能评价方法,其特征在于,包括:

获取待评价的目标模型,所述目标模型的待评价因素以及与所述目标模型对应的模型数据;

根据所述待评价因素在预设评价指标集中确定待评价指标,并获取各所述待评价指标对应的权重;

根据所述模型数据确定各所述待评价指标对应的指标得分,并根据各所述指标得分与对应的权重确定所述待评价因素对应的模型综合评分。

2.根据权利要求1所述的方法,其特征在于,所述目标模型的待评价因素包括:样本评价因素、特征评价因素、模型评价因素、前端监控评价因素和后端监控评价因素。

3.根据权利要求2所述的方法,其特征在于,所述根据所述待评价因素在预设评价指标集中确定待评价指标,包括:

若所述待评价因素为所述样本评价因素,则所述待评价指标包括样本数量、正负样本占比、特征数量和特征缺失率;

若所述待评价因素为所述特征评价因素,则所述待评价指标包括单调特征占比、预测能力特征占比、稳定特征占比和弱相关性特征占比;

若所述待评价因素为所述模型评价因素,则所述待评价指标包括准确性评价指标、模型区分度评价指标、提升图、模型稳定性评价指标和模型迁移率;

若所述待评价因素为所述前端监控评价因素,则所述待评价指标包括稳定特征占比和模型稳定性评价指标;

若所述待评价因素为所述后端监控评价因素,则所述待评价指标包括模型区分度评价指标和模型迁移率。

4.根据权利要求1所述的方法,其特征在于,所述获取各所述待评价指标对应的权重之前,还包括:

基于层次分析法确定所述预设评价指标集中各评价指标的层次总排序;

根据所述层次总排序确定各所述评价指标的权重。

5.根据权利要求4所述的方法,其特征在于,所述基于层次分析法确定所述预设评价指标集中各评价指标的层次总排序,包括:

根据预设决策目标、预设决策准则和决策对象间的相互关系构造层次结构图;其中,所述预设决策准则包括待评价因素,所述决策对象包括所述预设评价指标集中各评价指标;

根据所述层次结构图中各层次中各元素间的重要性标度构造判断矩阵;

对所述判断矩阵进行一致性检验,并在检验成功时根据所述判断矩阵对所述层次结构图中各层次进行层次单排序;

根据各层次对应的层次单排序确定所述预设评价指标集中各评价指标的层次总排序。

6.根据权利要求5所述的方法,其特征在于,所述对所述判断矩阵进行一致性检验,包括:

确定所述判断矩阵的最大特征值和矩阵阶数;

将所述最大特征值与所述矩阵阶数的差确定为第一差值,将所述矩阵阶数与一的差确定为第二差值,并将所述第一差值与所述第二差值的比值确定为所述判断矩阵的一致性指标;

根据所述矩阵阶数确定所述判断矩阵的随机一致性指标,并将所述一致性指标与对应随机一致性指标的比值确定为一致性比率;

若所述一致性比率位于预设比率阈值范围内,则确定一致性检验成功。

7.根据权利要求5所述的方法,其特征在于,所述根据各层次对应的层次单排序确定所述预设评价指标集中各评价指标的层次总排序,包括:

根据各层次对应的层次单排序确定所述预设评价指标集中各评价指标相对于所述预设决策目标相对重要性的排序权值;

根据所述排序权值确定各所述评价指标进行排序后的层次总排序;

其中,所述排序由所述层次结构图中的最高层向最底层依次进行。

8.根据权利要求5所述的方法,其特征在于,所述根据各层次对应的层次单排序确定所述预设评价指标集中各评价指标的层次总排序之后,还包括:

对所述层次总排序进行一致性检验,并将检验成功的层次总排序确定为各所述评价指标的层次总排序。

9.根据权利要求3所述的方法,其特征在于,所述准确性评价指标包括准确率、精确率、召回率、误伤率和f1分数中的至少一种。

10.根据权利要求3所述的方法,其特征在于,所述模型区分度评价指标包括接受者工作特征曲线面积和k-s检验指标中的至少一种。

11.根据权利要求1所述的方法,其特征在于,所述模型数据包括训练集数据、测试集数据、线上评分集数据和线上运行集数据,所述根据所述模型数据确定各所述待评价指标对应的指标得分,包括:

确定与各所述待评价指标对应的预设评价标准,所述预设评价标准中待评价指标的数值与模型性能呈正相关关系;

根据与所述待评价指标对应的模型数据与所述预设评价标准确定所述待评价指标对应的指标得分。

12.根据权利要求1所述的方法,其特征在于,所述根据各所述指标得分与对应的权重确定所述待评价因素对应的模型综合评分,包括:

确定各所述指标得分与对应的权重的乘积;

将各所述乘积的和确定为所述待评价因素对应的模型综合评分。

13.一种模型性能评价装置,其特征在于,包括:

模型获取模块,用于获取待评价的目标模型,所述目标模型的待评价因素以及与所述目标模型对应的模型数据;

指标确定模块,用于根据所述待评价因素在预设评价指标集中确定待评价指标,并获取各所述待评价指标对应的权重;

评分确定模块,用于根据所述模型数据确定各所述待评价指标对应的指标得分,并根据各所述指标得分与对应的权重确定所述待评价因素对应的模型综合评分。

14.一种计算机设备,其特征在于,包括存储器以及一个或多个处理器;

所述存储器,用于存储一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-12中任一项所述的模型性能评价方法。

15.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-12中任一项所述的模型性能评价方法。


技术总结
本发明实施例公开了一种模型性能评价方法、装置、设备及存储介质。该方法包括:获取待评价的目标模型,目标模型的待评价因素以及与目标模型对应的模型数据;根据待评价因素在预设评价指标集中确定待评价指标,并获取各待评价指标对应的权重;根据模型数据确定各待评价指标对应的指标得分,并根据各指标得分与对应的权重确定待评价因素对应的模型综合评分。本发明实施例的技术方案,解决了现有模型评价中评价维度不全面、模型评价体系不完善的问题,提升了对目标模型性能评价的针对性,提高了获取到的模型评价结果的准确性和可信度。

技术研发人员:郑晓华;陈青山;许国良;康祖荫
受保护的技术使用者:建信金融科技有限责任公司
技术研发日:2021.03.31
技术公布日:2021.06.18
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1