一种基于大数据的数据治理方法和系统

文档序号:24640413发布日期:2021-04-09 20:53阅读:来源:国知局

技术特征:

1.一种基于大数据的数据治理方法,其特征在于,所述方法包含:

步骤s1:启动数据节点发起数据治理,并确定数据治理范围;

步骤s2:在数据治理范围的确定过程中确定控制节点;

步骤s3:控制节点基于系统图确定数据治理子图;

步骤s4:基于数据治理子图作数据交换和共享。

2.根据权利要求1所述的基于大数据的数据治理方法,其特征在于,所述启动条件,具体为:当收到启动触发指令时,启动条件满足。

3.根据权利要求2所述的基于大数据的数据治理方法,其特征在于,为特定数据节点设置定时装置,当定时时间点到达时,所述特定数据节点成为启动数据节点。

4.根据权利要求3所述的基于大数据的数据治理方法,其特征在于,所述满足启动条件的启动数据节点发起数据治理并得到数据治理范围,具体为:启动数据节点随机选择p个直接相连的数据节点,发起启动指令给所述p个数据节点并将所述p个数据节点归入当前数据治理范围;所述p个数据节点中的每个数据节点重复随机选择p个直接相连的数据节点、发起启动指令、归入当前数据治理范围的步骤,直到终止条件满足;

在发起启动指令之前,将接收到的启动指令中上一级数据节点的历史平均繁忙程度和当前数据节点的繁忙程度比较,将其中的繁忙程度较小者及其对应的数据节点标识包含在启动指令中发出;

所述终止条件为:当前数据治理范围中的数据节点数量达到预设数量;

当前数据节点在发出启动指令前,请求将其选择的p个数据节点加入数据治理范围,如果加入所述p个数据节点后未超过数据治理范围大小,则允许并将所述p个数据节点加入数据治理范围;如果加入所述p个节点后超过数据治理范围,则终止条件满足,后续发出的加入数据范围的请求将均被拒绝;数据治理范围为参与本次数据治理的数据节点集合;数据治理范围的大小为数据节点集合的大小。

5.根据权利要求4所述的基于大数据的数据治理方法,其特征在于,预设数量为1000。

6.一种采用权利要求1-5中任一项的基于大数据的数据治理方法的基于大数据的数据治理系统,其特征在于,所述系统包括:多个相互连接的数据节点,所述数据节点用于保存业务系统的数据;数据节点之间存在或不存在直接连接关系;将数据节点及其连接关系用系统图表示;每个数据节点为系统图中的一个节点。

7.根据权利要求6所述的基于大数据的数据治理系统,其特征在于,业务系统的数据为大数据。

8.根据权利要求7所述的基于大数据的数据治理系统,其特征在于,客户端用于发起数据访问请求,并从业务系统接收业务系统访问请求的请求结果。

9.根据权利要求8所述的基于大数据的数据治理系统,其特征在于,业务系统的数据保存在一个或多个数据节点上。

10.根据权利要求9所述的基于大数据的数据治理系统,其特征在于,数据节点还用于根据数据治理指令作数据转移和共享。


技术总结
本发明涉及一种基于大数据的数据治理方法和系统,所述方法包括:步骤S1:启动数据节点发起数据治理,并确定数据治理范围;步骤S2:在数据治理范围的确定过程中确定控制节点;步骤S3:控制节点基于系统图确定数据治理子图;步骤S4:基于数据治理子图作数据交换和共享;本发明能有效的减小内存和cpu的繁忙程度,大大提高了数据访问效率;实现业务系统对应数据节点之间的数据交换和共享,实现数据治理的目标,提升数据的价值。能够提供多层次有安全保障的数据治理,将集中式数据治理转换成部分随机分布式安全治理,通过局部数据交换和重定向实现高效的数据治理。

技术研发人员:郑玮琨;盘思乐;梁麟
受保护的技术使用者:深圳信息职业技术学院
技术研发日:2021.03.09
技术公布日:2021.04.09
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1