1.本发明涉及计算机软件领域,尤其涉及一种数据血缘关系管理方法、系统及存储介质。
背景技术:2.伴随互联网行业的高速发展,大数据已经成为新的趋势和常态。许多大型网站、大型企业每天生产大量的数据。在交通、物流、电商、市政、工业生产等领域,大量数据每天不断累积。在对这些大量数据进行分析处理、挖掘有用信息的过程中,需要进行数据采集、数据清洗、数据预处理、数据存储、数据分析、数据挖掘等过程。在这个过程中,数据流转多种存储介质,并在多种存储介质中以多种形式进行流转或存储。如何记录、管理和展示数据在流转过程种的关联关系,成为一个必备的需求应运而生,而这些数据流转过程中的关联关系就是大数据血缘关系。
3.现有技术是通过创建数据仓库,在数据仓库中创建大量的数据关联关系表,来存储和管理数据流转中的数据血缘关系。而数据仓库由传统的关系型数据库来构建完成,当数据量越来越大,数据源类型越来越多,就需要在关系型数据库中创建越来越多的关联关系表用于记录数据之间的血缘关系。导致数据血缘关系的管理复杂度高,查询效率低的问题。
技术实现要素:4.为解决上述技术问题,本发明实施例期望提供一种数据血缘关系管理方法、系统及存储介质,能够降低数据血缘关系的管理复杂度,并提高查询效率。
5.本发明的技术方案是这样实现的:
6.本发明实施例中一种数据管理系统,所述系统包括:
7.数据构造解析器;
8.与所述数据构造解析器连接的语法树构造解析器;
9.与所述语法树构造解析器连接的图数据库模块;其中,
10.所述数据构造解析器,用于对从业务系统发送的数据源变动数据进行解析,得到数据血缘关系结构数据;
11.所述语法树构造解析器,用于将所述数据血缘关系结构数据转换成与所述图数据库模块适配的多层语法树实例;
12.所述图数据库模块,用于存储并管理所述多层语法树实例对应的图结构数据,所述图结构数据用于表征所述多层语法树实例中每个节点的图属性数据和不同节点之间的数据血缘关系路径;所述图属性数据包括每个节点对应的数据表和/或数据表字段。
13.在上述系统中,所述系统还包括:处理器;所述处理器分别与所述数据构造解析器、所述语法树构造解析器和所述图数据库模块连接;
14.所述处理器,用于层次遍历所述多层语法树实例的每个节点,在所述多层语法树
实例的每个节点处采集每个节点对应的图结构数据。
15.在上述系统中,所述系统还包括:与所述数据构造解析器连接的数据血缘写入接口模块;
16.所述数据血缘写入接口模块,用于从所述业务系统接收所述数据源变动数据,并将所述数据源变动数据传输至所述数据构造解析器,所述数据源变动数据为所述业务系统按照预设数据格式对存储结构变化数据进行记录封装得到的数据,所述存储结构变化数据为所述业务系统中数据源的数据存储结构和/或数据源关系变动时产生的数据。
17.在上述系统中,所述系统还包括:与所述处理器连接的数据血缘读取接口模块;
18.所述数据血缘读取接口模块,用于接收所述业务系统发送的数据血缘读取请求,并从所述数据血缘读取请求中确定出数据节点标识;
19.所述处理器,用于调用所述数据节点标识对应的查询语句,从所述图数据库模块中查找所述数据节点标识对应的目标血缘关系信息;所述目标血缘关系信息为由所述数据节点标识确定的数据节点之间的血缘关系路径。
20.在上述系统中,所述语法树构造解析器,还用于构造所述目标血缘关系信息对应的数据血缘结构;
21.所述数据构造解析器,还用于根据所述业务系统对应的数据格式,对所述目标数据血缘关系结构进行封装,得到目标血缘关系展示数据。
22.在上述系统中,所述数据血缘读取接口模块,还用于将所述目标血缘关系展示数据发送至所述业务系统,以供所述业务系统在可视化界面显示所述目标血缘关系展示数据。
23.本发明实施例提供一种数据血缘关系管理方法,所述方法包括:
24.从业务系统接收数据源变动数据,所述数据源变动数据为所述业务系统按照预设数据格式对存储结构变化数据进行记录封装得到的数据,所述存储结构变化数据为所述业务系统中数据源的数据存储结构和/或数据源关系变动时产生的数据;
25.调用数据构造解析器,对所述数据源变动数据进行解析,得到数据血缘关系结构数据;
26.调用语法树构造解析器,将所述数据血缘关系结构数据转换成与所述图数据库模块适配的多层语法树实例;
27.将所述多层语法树实例对应的图结构数据存储至图数据库模块中,以利用所述图数据库模块对所述图结构数据进行数据管理,所述图结构数据用于表征所述多层语法树实例中每个节点的图属性数据和不同节点间的数据血缘关系路径;所述图属性数据包括每个节点对应的数据表和/或数据表字段。
28.在上述方法中,所述调用语法树构造解析器,将所述数据血缘关系结构数据转换成与所述图数据库模块适配的多层语法树实例之后,所述将所述多层语法树实例对应的图结构数据存储至图数据库模块中之前,所述方法还包括:
29.层次遍历所述多层语法树实例的每个节点,在所述多层语法树实例的每个节点处采集每个节点对应的图结构数据。
30.在上述方法中,所述将所述图结构数据存储至图数据库模块中之后,所述方法还包括:
31.当接收到业务系统发送的数据血缘读取请求时,从所述数据血缘读取请求中确定出数据节点标识;
32.利用所述数据节点标识对应的查询语句,从所述图数据库模块中查找所述数据节点标识对应的目标血缘关系信息;
33.调用所述语法树构造解析器,构造所述目标血缘关系信息对应的目标数据血缘关系结构;所述目标血缘关系信息为由所述数据节点标识确定的数据节点之间的血缘关系路径;
34.根据所述业务系统对应的数据格式对所述目标数据血缘关系结构进行封装,得到目标血缘关系展示数据。
35.在上述方法中,所述根据所述业务系统对应的数据格式对所述目标数据血缘关系结构进行封装,得到目标血缘关系展示数据之后,所述方法还包括:
36.将所述目标血缘关系展示数据发送至所述业务系统,以供所述业务系统在可视化界面显示所述目标血缘关系展示数据。
37.本发明实施例提供一种数据管理系统,所述系统包括:
38.数据接收单元,用于从业务系统接收数据源变动数据,所述数据源变动数据为所述业务系统按照预设数据格式对存储结构变化数据进行记录封装得到的数据,所述存储结构变化数据为所述业务系统中数据源的数据存储结构和/或数据源关系变动时产生的数据;
39.数据解析单元,用于对所述数据源变动数据进行解析,得到数据血缘关系结构数据;
40.数据转换单元,用于将所述数据血缘关系结构数据转换成与所述图数据库模块适配的多层语法树实例;
41.数据存储单元,用于将所述多层语法树实例对应的图结构数据存储至图数据库模块中,以利用所述图数据库模块对所述图结构数据进行数据管理,所述图结构数据用于表征所述多层语法树实例中每个节点的图属性数据和不同节点间的数据血缘关系路径;所述图属性数据包括每个节点对应的数据表和/或数据表字段。
42.本发明实施例提供一种存储介质,其上存储有计算机程序,应用于数据管理系统,该计算机程序被处理器执行时实现如上述任一项所述的方法。
43.本发明实施例提供了一种数据血缘关系管理方法、系统及存储介质,该系统可以包括:数据构造解析器;与数据构造解析器连接的语法树构造解析器;与语法树构造解析器连接的图数据库模块;其中,数据构造解析器,用于对从业务系统发送的数据源变动数据进行解析,得到数据血缘关系结构数据;语法树构造解析器,用于将数据血缘关系结构数据转换成与图数据库模块适配的多层语法树实例;图数据库模块,用于存储并管理多层语法树实例对应的图结构数据,图结构数据用于表征多层语法树实例中每个节点的图属性数据和不同节点之间的数据血缘关系路径;图属性数据包括每个节点对应的数据表和/或数据表字段。采用上述系统实现方案,数据管理系统将数据血缘关系结构数据转换成多层语法树实例,并将多层语法树实例对应的图结构数据存储至图数据库模块中,在图数据库模块中通过对每个节点的访问即可获取该节点的数据血缘关系结构,进而降低了数据血缘关系的管理复杂度,提高了查询效率。
附图说明
44.图1为本发明实施例提供的一种数据管理系统的结构示意图一;
45.图2为本发明实施例提供的一种示例性的数据管理系统的系统组成示意图;
46.图3为本发明实施例提供的一种数据血缘关系管理方法的流程图一;
47.图4为本发明实施例提供的一种示例性的数据管理系统将数据血缘关系存储至agensgraph的流程示意图;
48.图5为本发明实施例提供的一种数据血缘关系管理方法的流程图二;
49.图6为本发明实施例提供的一种示例性的数据管理系统从agensgraph中读取数据血缘关系的流程示意图;
50.图7为本发明实施例提供的一种数据管理系统的结构示意图二。
具体实施方式
51.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
52.实施例一
53.本发明实施例提供一种数据管理系统1,如图1所示,该数据管理系统1包括:
54.数据构造解析器10;
55.与所述数据构造解析器10连接的语法树构造解析器11;
56.与所述语法树构造解析器11连接的图数据库模块12;其中,
57.所述数据构造解析器10,用于对从业务系统发送的数据源变动数据进行解析,得到数据血缘关系结构数据;
58.所述语法树构造解析器11,用于将所述数据血缘关系结构数据转换成与所述图数据库模块适配的多层语法树实例;
59.所述图数据库模块12,用于存储并管理所述多层语法树实例对应的图结构数据,所述图结构数据用于表征所述多层语法树实例中每个节点的图属性数据和不同节点间的数据血缘关系路径;所述图属性数据包括每个节点对应的数据表和/或数据表字段。
60.本发明实施例提供的一种数据管理系统适用于对业务系统中多个数据源的关联关系进行管理的场景下。
61.本发明实施例中,业务系统中包括多个类型的数据源,多个类型的数据源可以根据自身的数据结构对同一数据进行不同维度的存储。此时,对于存储了相同数据的不同类型数据源之间存在数据血缘关系。当业务系统对数据源中的数据结构和/或数据源关系进行了增加、修改或删除操作时,业务系统向数据管理系统发送数据源变动数据。
62.本发明实施例中,数据源包括但不限于mysql、hive、vertica、oracle、postgresql等,具体的根据实际进行选择,本发明实施例不做具体的限定。
63.本发明实施例中,业务系统向数据管理系统发送json格式的数据源变动数据,数据管理系统调用数据构造解析器将json格式的数据源变动数据进行解析,得到数据血缘关
系结构数据;之后,数据管理系统调用语法树构造解析器构建数据血缘关系结构数据对应的多层语法树实例;数据管理系统将多层语法树实例对应的图结构数据写入图数据库模块(agensgraph)中存储。
64.可选的,如图1所示,所述系统还包括:处理器13;所述处理器13分别与所述数据构造解析器10、所述语法树构造解析器11和所述图数据库模块12连接;
65.所述处理器13,用于层次遍历所述多层语法树实例的每个节点,在所述多层语法树实例的每个节点处采集每个节点对应的图结构数据。
66.本发明实施例中,当数据关系系统调用语法树构造解析器将数据血缘关系转换成多层语法树实例之后,处理器层次遍历多层语法树实例的每个节点,并采集每个节点对应的图结构数据。
67.在具体的实施例的过程中,上述处理器13可以为特定用途集成电路(asic,application specific integrated circuit)、数字信号处理器(dsp,digital signal processor)、数字信号处理设备(dspd,digital signal processing device)、可编程逻辑设备(pld,programmable logic device)、现场可编程门阵列(fpga,field programmable gate array)、cpu、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本发明实施例不作具体限定。
68.可选的,所述系统1还包括:与所述数据构造解析器10连接的数据血缘写入接口模块;
69.所述数据血缘写入接口模块,用于从所述业务系统接收所述数据源变动数据,并将所述数据源变动数据传输至所述数据构造解析器,所述数据源变动数据为所述业务系统按照预设数据格式对存储结构变化数据进行记录封装得到的数据,所述存储结构变化数据为所述业务系统中数据源的数据存储结构和/或数据源关系变动时产生的数据。
70.本发明实施例中,在数据流转过程中的业务系统对数据源中的进行数据表的创建、修改和删除,字段的创建、修改和删除等变动操作;或者对数据源关系进行创建、修改或删除等变动操作时,业务系统产生存储结构变化数据,业务系统按照预设数据格式生成数据源变动数据,数据管理系统调用数据血缘写入接口模块接收数据源变动数据。
71.本发明实施例中,预设数据格式可以为数据源系统和数据管理系统预先约定的数据格式。
72.示例性的,预设数据格式为json数据格式。
73.可以理解的是,业务系统与数据管理系统之间预先约定预设数据格式,业务系统可以按照预设数据格式将存储结构变化数据格式转换为预设数据格式的数据源变动数据,当数据源系统的类型不断增加时,本发明实施例中的数据管理系统对于不同格式的存储结构变化数据具有很好的可扩展性。
74.可选的,所述系统还包括:与所述处理器连接的数据血缘读取接口模块;
75.所述数据血缘读取接口模块,用于接收所述业务系统发送的数据血缘读取请求,并从所述数据血缘读取请求中确定出数据节点标识;
76.所述处理器13,用于调用所述数据节点标识对应的查询语句,从所述图数据库模块中查找所述数据节点标识对应的目标血缘关系信息;所述目标血缘关系信息为由所述数据节点标识确定的数据节点之间的血缘关系路径。
77.本发明实施例中,用户可以在业务系统的可视化界面上查询数据的血缘关系,具体的,用户在可视化界面上输入数据节点标识,并点击数据血缘关系查询按钮,此时,可视化界面将数据节点标识添加至数据血缘读取请求中,并将数据血缘读取请求发送至数据管理系统,数据管理系统调用数据血缘读取接口模块接收数据血缘对请求,并从数据血缘读取请求中确定出数据节点标识。
78.本发明实施例中,数据血缘读取请求调用查询语句从agensgraph中查找数据节点标识对应的目标血缘关系信息。
79.本发明实施例中,查询语句可以为cypher查询语句或者postgresql查询语句,具体的根据实际情况进行选择,本发明实施例不做具体的限定。
80.可选的,所述语法树构造解析器11,还用于构造所述目标血缘关系信息对应的目标数据血缘关系结构;
81.所述数据构造解析器10,还用于根据所述业务系统对应的数据格式,对所述目标数据血缘关系结构进行封装,得到目标血缘关系展示数据。
82.本发明实施例中,数据管理系统调用语法数构造解析器,将目标血缘关系信息构造成目标数据血缘关系结构,之后,数据管理系统调用数据构造解析器,构造出可视化界面展示所需的json数据格式的目标血缘关系展示数据。
83.可选的,所述数据血缘读取接口模块,还用于将所述目标血缘关系展示数据发送至所述业务系统,以供所述业务系统在可视化界面显示所述目标血缘关系展示数据。
84.本发明实施例中,数据管理系统调用数据血缘读取接口模块将目标血缘关系展示数据发送至业务系统,业务系统根据目标血缘关系展示数据绘制数据节点对应的数据血缘关系图,并在业务系统的可视化界面上展示数据血缘关系图。
85.示例性的,图2为数据管理系统的系统组成图,数据管理系统包括数据血缘写入接口、json数据构造解析器、图结构语法数构造解析器、agensgraph和数据血缘读取接口,其中,数据管理系统通过数据血缘写入接口与数据源进行数据交互,数据管理系统通过数据血缘读取接口与可视化界面进行数据交互。json数据构造解析器负责对数据源系统传入的json数据进行解析和对从agensgraph查询出的数据进行封装;语法树构造解析器负责对数据源传入的、并经json数据构造解析器解析后的数据构建图结构数据语法树和对从agensgraph查询出的数据血缘关系构建图结构数据语法树;agensgraph存储数据血缘的图结构数据,并提供写入和查询能力。
86.可以理解的是,数据管理系统将数据血缘关系转换成多层语法树实例,并将多层语法树实例对应的图结构数据存储至图数据库模块中,在图数据库模块中通过对每个节点的访问即可获取该节点的数据血缘关系,进而降低了数据血缘关系的管理复杂度,提高了查询效率。
87.实施例二
88.本发明实施例提供一种数据血缘关系管理方法,如图3所示,该方法可以包括:
89.s101、从业务系统接收数据源变动数据,数据源变动数据为业务系统按照预设数据格式对存储结构变化数据进行记录封装得到的数据,存储结构变化数据为业务系统中数据源的数据存储结构和/或数据源关系变动时产生的数据。
90.需要说明的是,本发明实施例提出的一种数据血缘管理管理方法由实施例一种的
数据管理系统执行实现,具体的数据管理系统的内部连接关系及各部分具体的执行内容如实施例一所示,在此不再赘述。
91.本发明实施例中,在数据流转过程中的业务系统对数据源中的进行数据表的创建、修改和删除,字段的创建、修改和删除等变动操作;或者对数据源关系进行创建、修改或删除等变动操作时,业务系统产生存储结构变化数据,业务系统按照预设数据格式生成数据源变动数据,数据管理系统调用数据血缘写入接口模块接收数据源变动数据。
92.本发明实施例中,数据源包括但不限于mysql、hive、vertica、oracle、postgresql等,具体的根据实际进行选择,本发明实施例不做具体的限定。
93.本发明实施例中,预设数据格式可以为数据源系统和数据管理系统预先约定的数据格式。
94.示例性的,预设数据格式为json数据格式。
95.s102、调用数据构造解析器,对数据源变动数据进行解析,得到数据血缘关系结构数据。
96.当数据管理系统从业务系统接收数据源变动数据之后,数据管理系统调用数据构造解析器对数据源变动数据进行解析,得到数据血缘关系结构数据。
97.本发明实施例中,json数据格式的数据源变动数据的存储形式为《key,value》,数据构造解析器通过解析key获取其携带的value值(数据血缘关系)。
98.s103、调用语法树构造解析器,将数据血缘关系结构数据转换成与图数据库模块适配的多层语法树实例。
99.当数据管理系统对数据源变动数据进行解析,得到数据血缘关系结构数据之后,数据管理系统调用语法树构造解析器,将数据血缘关系转换成与图数据库模块适配的多层语法树实例。
100.本发明实施例中,数据管理系统调用语法树构造解析器,将json数据个数的数据血缘关系结构数据转换成agensgraph对应的多层语法树实例,之后,数据管理系统层次遍历多层语法树实例的每个节点,在多层语法树实例的每个节点处采集每个节点对应的图结构数据。
101.s104、将多层语法树实例对应的图结构数据存储至图数据库模块中,以利用图数据库模块对图结构数据进行数据管理,图结构数据用于表征多层语法树实例中每个节点的图属性数据和不同节点间的数据血缘关系路径;图属性数据包括每个节点对应的数据表和/或数据表字段。
102.当数据管理系统将数据血缘关系转换成与图数据库模块适配的多层语法树实例之后,数据管理系统将多层语法树实例对应的图结构数据存储至图数据库模块中,数据管理系统利用图数据库模块对图结构数据进行数据管理。
103.本发明实施例中,数据管理系统将采集到的多层语法树实例对应的图结构数据写入图数据库模块(agensgraph)中进行存储。
104.示例性的,如图4所示,数据管理系统将数据血缘关系写入agensgraph的过程为:
105.1、数据管理系统调用血缘数据写入接口create_lineage接收json格式的数据血缘关系;
106.2、数据管理系统解析json格式的数据血缘关系,生成多层语法树实例;
107.3、数据管理系统层次遍历多层语法树实例的各个节点,在每个节点采集对应的节点数据;
108.4、数据管理系统把采集到的节点数据存储到agensgraph中。
109.可以理解的是,数据管理系统将数据血缘关系转换成多层语法树实例,并将多层语法树实例对应的图结构数据存储至图数据库模块中,在图数据库模块中通过对每个节点的访问即可获取该节点的数据血缘关系,进而降低了数据血缘关系的管理复杂度,提高了查询效率。
110.进一步地,数据管理系统将图结构数据存储至图数据库模块之后,即s104之后,数据管理系统还可以读取图数据库模块中的过程,如图5所示,具体包括:
111.s201、当接收到业务系统发送的数据血缘读取请求时,从数据血缘读取请求中确定出数据节点标识。
112.本发明实施例中,用户在业务系统的可视化界面上输入数据节点标识,并点击数据血缘关系查询按钮,此时,可视化界面将数据节点标识添加至数据血缘读取请求中,并将数据血缘读取请求发送至数据管理系统,数据管理系统调用数据血缘读取接口模块接收数据血缘对请求,并从数据血缘读取请求中确定出数据节点标识。
113.s202、利用数据节点标识对应的查询语句,从图数据库模块中查找数据节点标识对应的目标血缘关系信息;目标血缘关系信息为由数据节点标识确定的数据节点之间的血缘关系路径。
114.当数据管理系统从数据血缘读取请求中确定出数据节点标识之后,数据管理系统利用查询语句,从图数据库模块中查找数据节点标识对应的目标血缘关系信息。
115.本发明实施例中,查询语句可以为cypher查询语句或者postgresql查询语句,具体的根据实际情况进行选择,本发明实施例不做具体的限定。
116.s203、调用语法树构造解析器,构造目标血缘关系信息对应的目标数据血缘关系结构。
117.当数据管理系统从图数据库模块中查找到数据节点标识对应的目标血缘关系信息之后,数据管理系统调用语法树构造解析器,构造目标血缘关系信息对应的目标数据血缘关系结构。
118.s204、根据可视化界面对应的数据格式对目标数据血缘关系结构进行封装,得到目标血缘关系展示数据。
119.当数据管理系统构造目标血缘关系信息对应的目标数据血缘关系结构之后,数据管理系统根据可视化界面对应的数据格式,对目标数据血缘关系结构进行封装,得到目标血缘关系展示数据。
120.本发明实施例中,数据管理系统调用数据构造解析器,对目标数据血缘关系进行构造,构造出可视化界面展示所需的json数据格式的目标血缘关系展示数据。
121.进一步地,数据管理系统将目标血缘关系展示数据发送至业务系统,以供业务系统在可视化界面显示目标血缘关系展示数据。
122.本发明实施例中,数据管理系统调用数据血缘读取接口模块将目标血缘关系展示数据发送至可视化界面,可视化界面根据目标血缘关系展示数据绘制数据节点对应的数据血缘关系图,并在可视化界面上展示数据血缘关系图。
123.示例性的,如图6所示,数据管理系统从agensgraph中读取数据血缘关系的过程为:
124.1、数据管理系统调用数据血缘读取接口read_lineage接收数据节点标识;
125.2、数据管理系统从agensgraph查询数据节点标识对应的目标血缘关系信息;
126.3、数据管理系统调用语法树解析器,将目标血缘关系信息构造成抽象路径结构数据,并返回给可视化界面;
127.4、可视化界面根据返回的json数据,绘制页面血缘关系图。
128.本发明实施例提供一种数据管理系统7,如图7所示,包括:
129.数据接收单元70,用于从业务系统接收数据源变动数据,所述数据源变动数据为所述业务系统按照预设数据格式对存储结构变化数据进行记录封装得到的数据,所述存储结构变化数据为所述业务系统中数据源的数据存储结构和/或数据源关系变动时产生的数据;
130.数据解析单元71,用于对所述数据源变动数据进行解析,得到数据血缘关系结构数据;
131.数据转换单元72,用于将所述数据血缘关系结构数据转换成与所述图数据库模块适配的多层语法树实例;
132.数据存储单元73,用于将所述多层语法树实例对应的图结构数据存储至图数据库模块中,以利用所述图数据库模块对所述图结构数据进行数据管理,所述图结构数据用于表征所述多层语法树实例中每个节点的图属性数据和不同节点间的数据血缘关系路径;所述图属性数据包括每个节点对应的数据表和/或数据表字段。
133.在上述实施例中,所述系统还包括:节点遍历单元;
134.所述节点遍历单元,用于层次遍历所述多层语法树实例的每个节点,在所述多层语法树实例的每个节点处采集每个节点对应的图结构数据。
135.在上述实施例中,所述系统还包括:确定单元、查找单元、构造单元和封装单元;
136.所述确定单元,用于当接收到业务系统发送的数据血缘读取请求时,从所述数据血缘读取请求中确定出数据节点标识;
137.所述查找单元,用于利用所述数据节点标识对应的查询语句,从所述图数据库模块中查找所述数据节点标识对应的目标血缘关系信息;所述目标血缘关系信息为由所述数据节点标识确定的数据节点之间的血缘关系路径;
138.所述构造单元,用于调用所述语法树构造解析器,构造所述目标血缘关系信息对应的数据血缘结构;
139.所述封装单元,用于根据所述业务系统对应的数据格式对所述目标数据血缘关系结构进行封装,得到目标血缘关系展示数据。
140.在上述实施例中,所述系统还包括:发送单元;
141.所述发送单元,用于将所述目标血缘关系展示数据发送至所述业务系统,以供所述业务系统在可视化界面显示所述目标血缘关系展示数据。
142.本发明实施例提供一种存储介质,上述存储介质存储有一个或者多个程序,上述一个或者多个程序可被一个或者多个处理器执行,应用于数据管理系统中,该程序被处理器执行时实现以下方法:
143.从业务系统接收数据源变动数据,所述数据源变动数据为所述业务系统按照预设数据格式对存储结构变化数据进行记录封装得到的数据,所述存储结构变化数据为所述业务系统中数据源的数据存储结构和/或数据源关系变动时产生的数据;
144.调用数据构造解析器,对所述数据源变动数据进行解析,得到数据血缘关系结构数据;
145.调用语法树构造解析器,将所述数据血缘关系结构数据转换成与所述图数据库模块适配的多层语法树实例;
146.将所述多层语法树实例对应的图结构数据存储至图数据库模块中,以利用所述图数据库模块对所述图结构数据进行数据管理,所述图结构数据用于表征所述多层语法树实例中每个节点的图属性数据和不同节点间的数据血缘关系路径;所述图属性数据包括每个节点对应的数据表和/或数据表字段。
147.可选的,所述调用语法树构造解析器,将所述数据血缘关系结构数据转换成与所述图数据库模块适配的多层语法树实例;之后,所述将所述多层语法树实例对应的图结构数据存储至图数据库模块中之前,所述方法还包括:
148.层次遍历所述多层语法树实例的每个节点,在所述多层语法树实例的每个节点处采集每个节点对应的图结构数据。
149.可选的,所述将所述图结构数据存储至图数据库模块中之后,所述方法还包括:
150.当接收到业务系统发送的数据血缘读取请求时,从所述数据血缘读取请求中确定出数据节点标识;
151.利用所述数据节点标识对应的查询语句,从所述图数据库模块中查找所述数据节点标识对应的目标血缘关系信息;
152.调用所述语法树构造解析器,构造所述目标血缘关系信息对应的数据血缘关系结构;所述目标血缘关系信息为由所述数据节点标识确定的数据节点之间的血缘关系路径;
153.根据所述业务系统对应的数据格式对所述目标数据血缘关系结构进行封装,得到目标血缘关系展示数据。
154.可选的,所述根据所述业务系统对应的数据格式对所述目标数据血缘关系结构进行封装,得到目标血缘关系展示数据之后,所述方法还包括:
155.将所述目标血缘关系展示数据发送至所述业务系统,以供所述业务系统在可视化界面显示所述目标血缘关系展示数据。
156.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
157.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
158.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质
(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,网络功能部署服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
159.以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。