一种数据治理方法、装置、设备及其存储介质与流程

文档序号:36413949发布日期:2023-12-19 10:20阅读:来源:国知局

技术特征:

1.一种数据治理方法,其特征在于,包括下述步骤:

2.根据权利要求1所述的数据治理方法,其特征在于,所述预设采集周期包括采集起始时间和采集结束时间,所述基于所述埋点,获得预设采集周期内被访问数据的访问记录的步骤,具体包括:

3.根据权利要求2所述的数据治理方法,其特征在于,所述元数据信息表中记录了所述目标大数据平台内所有数据的存储文件库、存储文件名、存储文件类型、数据存储路径、有效时限、入库时间以及访问权限,所述表征信息包括存储表征信息、时效表征信息和安全表征信息,所述根据预设的元数据信息表,获得目标大数据平台内所有数据的表征信息的步骤,具体包括:

4.根据权利要求3所述的数据治理方法,其特征在于,所述基于所述访问记录和所述表征信息,进行综合分析,获得综合分析结果的步骤,具体包括:

5.根据权利要求4所述的数据治理方法,其特征在于,所述根据所述表征信息、所述访问类别和预设的治理机制,对所述目标大数据平台内所有数据进行治理的步骤,具体包括:

6.根据权利要求3或5所述的数据治理方法,其特征在于,所述根据所述目标数据的存储表征信息以及预设的数据暂存文件,将所述目标数据转移到所述数据暂存文件的步骤,具体包括:

7.根据权利要求4所述的数据治理方法,其特征在于,所述元数据信息表中还记录了存储数据的文件内数据量,在执行所述根据所述表征信息、所述访问类别和预设的治理机制,对所述目标大数据平台内所有数据进行治理的步骤之后,所述方法还包括:

8.一种数据治理装置,其特征在于,包括:

9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的数据治理方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的数据治理方法的步骤。


技术总结
本申请实施例属于金融科技技术领域,应用于金融大数据治理场景中,涉及一种数据治理方法、装置、设备及其存储介质,包括识别预设的数据统一访问入口地址,并在所述访问入口地址处进行埋点;基于埋点,获得预设采集周期内被访问数据的访问记录;根据预设的元数据信息表,获得目标大数据平台内所有数据的表征信息;基于访问记录和表征信息,进行综合分析,获得综合分析结果;通过综合分析结果,确定被访问数据的访问类别;根据表征信息、访问类别和预设的治理机制,对目标大数据平台内所有数据进行治理。保证了被访问数据的可用性,也通过定期处理,减小了金融业务大数据架构下的数据存储压力,保证了金融业务系统稳定性。

技术研发人员:卢显锋
受保护的技术使用者:中国平安财产保险股份有限公司
技术研发日:
技术公布日:2024/1/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1