一种基于标识解析的数据管理方法、系统和存储介质与流程

所属的技术人员知道，本发明可以实现为方法、系统和存储介质。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)，只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

背景技术：

1、随着数字化转型的持续推进，各行业和企业均形成了规模不一的数据资产。这些数据经过数据治理形成各式各样的数据产品，为企业或行业内外部提供服务。数据治理的任务就是在资源最小化的情况下实现行业和企业大数据服务的最大化。传统数据治理方法是构建数据湖，并将全量或者核心数据从业务系统中进行抽取，经过数据清洗、建模，加工成数据产品，最后进行数据产品发布形成行业或者企业可应用的资源或者能力。

2、然而，这种治理方案需要数据在业务数据库、数据湖和数据建模数据库中同时存储。首先，工业用户一般业务逻辑和业务数据间关联关系复杂，需要较为专业的模型进行支撑。这种情况下数据湖如果保持数据在业务系统中的数据模型，就会影响数据在数据湖中的二次建模，如果舍弃业务系统中的数据模型就会严重影响对原业务的深度分析和应用。其次，将数据从原始业务数据库抽取加工后录入数据湖的方式也给管理带来诸多不便：一是该模式使得数据在发生变更时，需要复杂的业务逻辑对数据的一致性进行维护；二是随着知识图谱的发展，大量半结构化、非结构化数据也成为研究对象，这部分数据消耗的存储空间普遍较大。在同一个平台上的两个甚至多个数据库对同一项数据存储本身也是一种资源的浪费。

3、因此，亟需提供一种技术方案解决上述问题。

技术实现思路

1、为解决上述技术问题，本发明提供了一种基于标识解析的数据管理方法、系统和存储介质。

2、本发明的一种基于标识解析的数据管理方法的技术方案如下：

3、构建每个业务数据表单对应的数据对象，并获取每个数据对象的属性标签；

4、基于每个数据对象及对应的属性标签，构建知识图谱模型；

5、利用标识解析方法，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型。

6、本发明的一种基于标识解析的数据管理方法的有益效果如下：

7、本发明的方法通过标识解析技术建立实体与原始业务数据的映射关系，减少了原始数据在平台中的存储次数，从而降低了数据治理和应用工作给数据湖存储的要求，实现了数据在平台中单一节点维护，避免了数据从业务系统进入数据湖数据同步和数据一致性的维护工作。

8、在上述方案的基础上，本发明的一种基于标识解析的数据管理方法还可以做如下改进。

9、进一步，业务数据表单的类型包括：结构化业务数据表单和非结构化业务数据表单；

10、获取任一数据对象的属性标签的步骤，包括：

11、当任一数据对象对应的业务数据表单为结构化业务数据表单时，将该结构化业务数据表单的结构化属性项作为该数据对象的属性标签；

12、当任一数据对象对应的业务数据表单为非结构化业务数据表单时，将该非结构化业务数据表单的元数据属性项作为该数据对象的属性标签。

13、进一步，基于每个数据对象及对应的属性标签，构建知识图谱模型的步骤，包括：

14、将每个数据对象作为实体，并将每个属性标签作为属性，并以每个实体与属性为节点，每个实体与实体之间的关系以及每个实体与属性之间的关系为边，构建所述知识图谱模型。

15、进一步，还包括：

16、对每个数据对象分别进行标识编码，得到每个数据对象的目标编码值；

17、利用标识解析方法，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型的步骤，包括：

18、利用所述标识解析方法，并根据每个数据对象的目标编码值，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型。

19、进一步，还包括：

20、从所述关联映射模型中，确定目标属性对应的目标数据对象，并根据所述目标数据对象的目标编码值，确定所述目标属性对应的业务数据表单。

21、本发明的一种基于标识解析的数据管理系统的技术方案如下：

22、包括：处理模块、构建模块和运行模块；

23、所述处理模块用于：构建每个业务数据表单对应的数据对象，并获取每个数据对象的属性标签；

24、所述构建模块用于：基于每个数据对象及对应的属性标签，构建知识图谱模型；

25、所述运行模块用于：利用标识解析方法，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型。

26、本发明的一种基于标识解析的数据管理系统的有益效果如下：

27、本发明的系统通过标识解析技术建立实体与原始业务数据的映射关系，减少了原始数据在平台中的存储次数，从而降低了数据治理和应用工作给数据湖存储的要求，实现了数据在平台中单一节点维护，避免了数据从业务系统进入数据湖数据同步和数据一致性的维护工作。

28、在上述方案的基础上，本发明的一种基于标识解析的数据管理系统还可以做如下改进。

29、进一步，业务数据表单的类型包括：结构化业务数据表单和非结构化业务数据表单；所述处理模块具体用于：

30、当任一数据对象对应的业务数据表单为结构化业务数据表单时，将该结构化业务数据表单的结构化属性项作为该数据对象的属性标签；

31、当任一数据对象对应的业务数据表单为非结构化业务数据表单时，将该非结构化业务数据表单的元数据属性项作为该数据对象的属性标签。

32、进一步，所述构建模块具体用于：

33、将每个数据对象作为实体，并将每个属性标签作为属性，并以每个实体与属性为节点，每个实体与实体之间的关系以及每个实体与属性之间的关系为边，构建所述知识图谱模型。

34、进一步，还包括：编码模块；所述编码模块用于：

35、对每个数据对象分别进行标识编码，得到每个数据对象的目标编码值；

36、所述运行模块具体用于：

37、利用所述标识解析方法，并根据每个数据对象的目标编码值，建立所述知识图谱模型中的每个数据对象与对应的业务数据表单之间的关联映射模型。

38、本发明的一种存储介质的技术方案如下：

39、存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本发明的基于标识解析的数据管理方法的步骤。