一种数据影响度分析方法、装置、电子设备及存储介质与流程

文档序号:23396168发布日期:2020-12-22 14:04阅读:来源:国知局

技术特征:

1.一种数据影响度分析方法,其特征在于,包括:

建立元数据对象之间的数据关系;

获取当前元数据对象;

查找与所述当前元数据对象相同的历史元数据对象;

将所述数据关系中,所述历史元数据对象对应的数据关系,确定为所述当前元数据对象对应的当前数据关系;

根据所述当前数据关系生成元数据影响度分析结果;所述元数据影响度分析结果包括但不限于元数据属性变化的业务影响、数据问题范围警告及业务数据错误源定位。

2.根据权利要求1所述的方法,其特征在于,所述建立元数据对象之间的数据关系包括:

获取用于建立所述元数据对象之间的依赖性关系的样本数据,所述样本数据包括sql文件、加工文件、存储过程日志文件和hive的运行日志文件;

依据所述样本数据确定所述元数据对象之间依赖性的数据关系。

3.根据权利要求2所述的方法,其特征在于,建立元数据对象之间的数据关系包括:

获取用于建立所述元数据对象之间的数据关系的样本数据;

分析所述元数据对象的特性及其规律,根据所述特性及其规律,确定所述人工智能模型的模型结构及其模型参数;

使用所述样本数据,对所述模型结构和所述模型参数进行训练和测试,确定所述元数据对象之间的数据关系模型。

4.根据权利要求3所述的方法,其特征在于,所述获取用于建立所述元数据对象之间的数据关系的样本数据包括:

收集元数据的加工记录和元数据对象之间的原始数据关系;

对所述元数据的加工记录进行分析,选取与所述元数据对象之间的原始数据关系相关的数据作为所述元数据的加工记录数据;

将所述元数据对象之间的原始数据关系和所述元数据的加工记录数据构成数据对,作为样本数据。

5.根据权利要求4所述的方法,其特征在于,对所述模型结构和所述模型参数进行训练包括:

选取所述样本数据中的一部分数据作为训练样本,将所述训练样本中的所述元数据对象输入到所述模型结构,通过所述模型结构的损失函数、激活函数和所述模型参数进行训练,得到训练后的模型结构和模型参数;

确定所述训练后的模型结构和模型参数与所述训练样本中的相应元数据对象之间的数据关系的实际训练误差在预设训练误差范围内;

当所述实际训练误差在所述预设训练误差范围内,确定对所述模型结构和所述模型参数的所述训练完成。

6.根据权利要求5所述的方法,其特征在于,对所述模型结构和所述模型参数进行测试,包括:

选取所述样本数据中的另一部分数据作为测试样本,将所述测试样本中的所述元数据对象输入到所述训练完成的所述模型结构中,以所述损失函数、激活函数和所述训练完成的所述模型参数进行测试,得到测试后的模型结构和模型参数;

确定所述测试后的模型结构和模型参数与所述测试样本中的相应元数据对象之间的数据关系的实际测试误差是否在设定测试误差范围内;

当所述实际测试误差在所述设定测试误差范围内,确定对所述模型结构和所述模型参数的所述测试完成。

7.根据权利要求6所述的方法,其特征在于,对所述模型结构和所述模型参数进行训练还包括:

当所述实际训练误差不满足所述设定训练误差时,通过所述模型结构的误差损失函数更新所述模型参数;

通过所述模型结构的所述损失函数、激活函数和更新后的所述模型参数进行重新训练,直至所述重新训练后的实际训练误差满足所述设定训练误差;

和/或,

对所述模型结构和所述模型参数进行测试,还包括:

当所述实际测试误差不满足所述设定测试误差时,对所述模型结构和所述模型参数进行重新训练,直至所述重新训练后的实际测试误差满足所述设定测试误差。

8.一种数据影响度分析装置,其特征在于,包括:

建立模块,用于利用人工智能模型的自学能力,建立元数据对象之间的数据关系;

获取模块,用于获取当前元数据对象;

查找模块,用于查找与所述当前元数据对象相同的历史元数据对象;

匹配模块,用于将所述数据关系中,所述历史元数据对象对应的数据关系,确定为所述当前元数据对象对应的当前数据关系;

分析模块,用于根据所述当前数据关系生成元数据影响度分析结果;所述元数据影响度分析结果包括但不限于元数据属性变化的业务影响、数据问题范围警告及业务数据错误源定位。

9.电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据影响度分析方法的步骤。

10.计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据影响度分析方法的步骤。


技术总结
本申请属于人工智能技术领域,可应用于自然语言处理技术领域中,例如病历分析、医疗报告解读、电子病历自动生成等。本申请提供了一种数据影响度分析方法,包括:建立元数据对象之间的数据关系;获取当前元数据对象;查找与所述当前元数据对象相同的历史元数据对象;将所述数据关系中,所述历史元数据对象对应的数据关系,确定为所述当前元数据对象对应的当前数据关系;根据所述当前数据关系生成元数据影响度分析结果;所述元数据影响度分析结果包括但不限于元数据属性变化的业务影响、数据问题范围警告及业务数据错误源定位。本申请分析方法提高了数据影响度分析的准确性,降低了数据维护的成本,提高了用户使用的满意度。

技术研发人员:韩小强
受保护的技术使用者:平安国际智慧城市科技股份有限公司
技术研发日:2020.09.25
技术公布日:2020.12.22
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1