一种数据质量评估方法及装置、电子设备、存储介质与流程

文档序号:30754527发布日期:2022-07-13 10:16阅读:来源:国知局

技术特征:
1.一种数据质量评估方法,其特征在于,包括:获取待评估数据;其中,所述待评估数据是金融数据;根据各预设指标的预设评分规则,分别计算所述待评估数据在各第一预设周期的各所述预设指标初始评分;根据所述预设指标初始评分和预设时间衰减规则,分别计算各所述预设指标综合评分;展示各所述预设指标综合评分。2.根据权利要求1所述的方法,其特征在于,在所述展示各预设指标综合评分之前,还包括:根据预设权重规则对所述各预设指标综合评分进行加权计算,生成数据质量综合评分;以及在所述展示各预设指标综合评分时,展示所述数据质量综合评分。3.根据权利要求1或2所述的方法,其特征在于:所述第一预设周期的数量是第一预设数量,所述第一预设数量大于1,且所述第一预设数量的所述第一预设周期在时间轴上是连续的;对于任一预设指标,所述根据所述预设指标初始评分和预设时间衰减规则,分别计算各所述预设指标综合评分,具体包括:获取第二预设数量的所述预设指标初始评分,计算第一平均值;获取第三预设数量的所述预设指标初始评分,计算第二平均值;根据预设时间衰减规则对所述第一平均值和所述第二平均值进行时间加权,生成所述预设指标综合评分;其中,所述第二预设数量与所述第三预设数量的和等于所述第一预设数量,且与所述第二预设数量的所述预设指标初始评分对应的所述第一预设周期在时间轴上均早于与所述第三预设数量的所述预设指标初始评分对应的所述第一预设周期;所述预设时间衰减规则是距离当前时间越近,时间权重系数越大。4.根据权利要求1或2所述的方法,其特征在于,所述预设指标包括完整性、准确性、稳定性、重复性、规范性和及时性中的至少两个。5.根据权利要求4所述的方法,其特征在于,若所述预设指标是完整性,所述预设评分规则包括:若所述待评估数据是时数据或日数据,判断所述待评估数据在所述第一预设周期是否有新增数据,若是,则校验自定义规则,若否,则不扣分;若所述待评估数据是周数据、月数据或年数据,通过反推的方式获取所述待评估数据的上一次执行时间,并判断在所述上一次执行时间至所述第一预设周期的截止时间之间,是否有增量数据,若是,则校验自定义规则,若否,则不扣分。6.根据权利要求5所述的方法,其特征在于,所述自定义规则包括:基于预设空值规则统计所述待评估数据在所述第一预设周期的空值总量,判断所述空值总量是否大于预设总量,若是,则扣除预设分值,若否,则不扣分。7.根据权利要求4所述的方法,其特征在于,若所述预设指标是及时性,所述预设评分规则包括:若所述待评估数据是时数据,计算历史数据在第二预设周期的相同时间点的平均启动
时间,将所述待评估数据在第一预设周期的启动时间与相同时间点的平均启动时间相减,生成实际延迟时间;根据实际延迟时间和预设扣分标准,计算及时性初始评分;若所述待评估数据是日数据、周数据、月数据或年数据,计算历史数据在第三预设周期的任务平均启动时间,计算待评估数据在第一预设周期相对于任务平均启动时间的任务波动率,判断任务波动率是否大于第三预设波动率,若是,则扣除预设分值,若否,则不扣分。8.一种数据质量评估装置,其特征在于,包括:获取模块,用于获取待评估数据;其中,所述待评估数据是金融数据;预设指标初始评分计算模块,用于根据各预设指标的预设评分规则,分别计算所述待评估数据在各第一预设周期的各所述预设指标初始评分;预设指标综合评分计算模块,用于根据所述预设指标初始评分和预设时间衰减规则,分别计算各所述预设指标综合评分;展示模块,用于展示各预设指标综合评分。9.一种电子设备,其特征在于:包括存储器和处理器,所述存储器上存储有能够被所述处理器加载并执行如权利要求1-7任一项所述的方法的计算机程序。10.一种计算机可读存储介质,其特征在于:存储有能够被处理器加载并执行如权利要求1-7任一项所述的方法的计算机程序。

技术总结
本发明涉及数据处理的技术领域,其包括一种数据质量评估方法及装置、电子设备、存储介质,其中,数据质量评估方法包括:获取待评估数据;其中,待评估数据是金融数据;根据各预设指标的预设评分规则,分别计算待评估数据在各第一预设周期的各预设指标初始评分;根据预设时间衰减规则分别计算各预设指标综合评分;展示各预设指标综合评分。本发明利用多个预设指标从多个维度对数据质量进行评分,并按照分值的方式向用户展示数据各个维度的评估质量,方便用户快速定位数据存在的问题,提高了数据清理的效率。的效率。的效率。


技术研发人员:赵柯 于洋 高经郡
受保护的技术使用者:北京科杰科技有限公司
技术研发日:2022.04.15
技术公布日:2022/7/12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1