基于复杂网络的高维元数据管理系统和方法与流程

[0001]
本公开涉及计算机技术领域，尤其涉及一种基于复杂网络的高维元数据管理系统和方法。


背景技术：

[0002]
随着大数据时代的到来以及各企业业务的持续发展，企业在业务发展的过程中累积了大量的数据资产。通过数据分析和数据挖掘为企业的决策提供有效的指引，通过数据驱动业务，成为众多企业着重发展的目标。
[0003]
元数据管理作为数据管理框架中一项重要的管理职能，被广泛地应用于企业的数据管理体系中。元数据是指描述数据的数据，是对数据进行描述、解释、定位使其更方便检索、使用或管理的数据。元数据包括技术元数据和业务元数据。其中，技术元数据是从数据结构和数据处理细节方面对数据进行技术化描述，业务元数据是从业务术语、业务描述、业务指标和业务规则对数据进行描述。
[0004]
然而，在元数据管理系统中，技术元数据一旦确定，很难修改，无法满足企业不断发展的业务需求。


技术实现要素：

[0005]
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于复杂网络的高维元数据管理系统和方法。
[0006]
第一方面，本公开提供一种基于复杂网络的高维元数据管理系统，包括：业务对象生成模块、关联节点获取模块、关联关系解析模块和元数据加工模块，业务对象生成模块与关联节点获取模块连接，关联节点获取模块与关联关系解析模块连接，关联关系解析模块与元数据加工模块连接；所述业务对象生成模块，用于根据至少两个原始节点生成业务对象；所述关联节点获取模块，用于获取所述业务对象的关联节点；所述关联关系解析模块，用于获取所述业务对象和所述关联节点之间的关联关系；所述元数据加工模块，用于根据所述业务对象、所述关联节点和所述关联关系形成复杂网络。
[0007]
可选的，还包括：元数据查询模块，与所述元数据加工模块连接，用于接收查询请求，所述查询请求包括业务对象，并用于根据所述业务对象查询所述业务对象对应的复杂网络，所述复杂网络以所述业务对象为中心节点，包含所述业务对象的关联节点以及所述业务对象和所述关联节点之间的关联关系；可视化展示模块，与所述元数据查询模块连接，用于对所述业务对象对应的复杂网络进行可视化展示。
[0008]
可选的，所述关联节点获取模块具体用于：
获取所述至少两个原始节点分别对应的关联节点集合；获取目标关联节点为所述业务对象的关联节点，其中，所述目标关联节点包含在至少两个关联节点集合中。
[0009]
可选的，所述关联关系解析模块具体用于：通过人工智能机器学习方法对所述业务对象和所述关联节点之间的关联关系进行探查；或者；获取数据库的审计日志，使用结构化查询语言（structured query language, sql）解析内核技术，获取所述业务对象和所述关联节点之间的关联关系。
[0010]
第二方面，本公开提供一种基于复杂网络的高维元数据管理方法，包括：根据至少两个原始节点生成业务对象；获取所述业务对象的关联节点；获取所述业务对象和所述关联节点之间的关联关系；根据所述业务对象、所述关联节点和所述关联关系形成复杂网络。
[0011]
可选的，还包括：接收查询请求，所述查询请求包括业务对象；根据所述业务对象查询所述业务对象对应的复杂网络，所述复杂网络以所述业务对象为中心节点，包含所述业务对象的关联节点以及所述业务对象和所述关联节点之间的关联关系；对所述业务对象对应的复杂网络进行可视化展示。
[0012]
可选的，所述获取所述业务对象的关联节点，包括：获取所述至少两个原始节点分别对应的关联节点集合；获取目标关联节点为所述业务对象的关联节点，其中，所述目标关联节点包含在至少两个关联节点集合中。
[0013]
可选的，所述获取所述业务对象和所述关联节点之间的关联关系，包括：通过人工智能机器学习方法对所述业务对象和所述关联节点之间的关联关系进行探查；或者；获取数据库的审计日志，使用sql解析内核技术，获取所述业务对象和所述关联节点之间的关联关系。
[0014]
第三方面，本公开提供一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第二方面任一项所述方法的步骤。
[0015]
第四方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第二方面任一项所述的方法的步骤。
[0016]
本公开实施例提供的技术方案与现有技术相比具有如下优点：元数据管理系统包括：业务对象生成模块、关联节点获取模块、关联关系解析模块和元数据加工模块，用于根据至少两个原始节点生成业务对象，获取业务对象的关联节点，并获取业务对象和关联节点之间的关联关系，根据业务对象、关联节点和关联关系形成复杂网
络。由于原始节点代表了技术元数据，根据原始节点生成业务对象并形成以业务对象为中心节点的复杂网络，实现了技术元数据和业务元数据的融合，从而，使得元数据管理系统能够更好地适应企业不断发展的业务需求，提高了元数据管理的灵活性和有效性，提升了数据资产的价值。
附图说明
[0017]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0018]
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0019]
图1为本公开提供的一种基于复杂网络的高维元数据管理系统的结构示意图；图2为本公开提供的另一种基于复杂网络的高维元数据管理系统的结构示意图；图3为本公开提供的一种基于复杂网络的高维元数据管理方法实施例的流程示意图；图4为本公开提供的另一种基于复杂网络的高维元数据管理方法实施例的流程示意图；图5为本公开提供的再一种基于复杂网络的高维元数据管理方法实施例的流程示意图。
具体实施方式
[0020]
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
[0021]
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
[0022]
元数据管理系统通过获取各个数据系统的元数据信息来建立数据模型，分析数据之间的关联关系，为企业建立数据管理体系提供了可靠、便捷的工具支持，便于企业更加有效的发掘和利用数据资产的价值。元数据按照用途可以分成技术元数据和业务元数据。技术元数据是描述数据系统中技术领域相关概念、关系和规则的数据，常见的技术元数据包括：数据库、表、字段、字段长度、字段类型等。业务元数据是描述数据系统中业务领域相关概念、关系和规则的数据，常见的业务元数据包括：业务定义、业务术语、业务规则、业务指标等。其中，技术元数据一旦确定，很难修改，随着业务的发展，已无法满足新的业务需求。
[0023]
本公开实施例提供的元数据管理系统用于根据原始节点生成业务对象，并获取业务对象的关联节点以及业务对象和关联节点之间的关联关系，形成以业务对象为中心节点的复杂网络，建立了技术元数据和业务元数据的对应关系，实现了技术元数据和业务元数据的融合，从而，使得元数据管理系统能够更好地适应企业不断发展的业务需求，提高了元数据管理的灵活性和有效性，提升了数据资产的价值。
[0024]
下面以几个具体的实施例对本公开的技术方案进行描述，对于相同或者类似的概
念，可以相互参考，不再每处一一赘述。
[0025]
图1为本公开实施例提供的一种基于复杂网络的高维元数据管理系统的结构示意图，如图1所示，本公开实施例中的元数据管理系统包括：业务对象生成模块101、关联节点获取模块102、关联关系解析模块103和元数据加工模块104。
[0026]
其中，业务对象生成模块101与关联节点获取模块102连接，关联节点获取模块102与关联关系解析模块103连接，关联关系解析模块103与元数据加工模块104连接。
[0027]
业务对象生成模块101，用于根据至少两个原始节点生成业务对象。
[0028]
其中，原始节点可以是技术元数据中的表和或字段，业务对象可以由业务人员根据具体需求设置，本公开对此不做限制。
[0029]
一种可能的实现方式为：在技术元数据对应的复杂网络中，业务对象生成模块101用于确定至少两个原始节点。在技术元数据对应的复杂网络中，节点包括：库、表和字段，关联关系包括：创建和包含，即库和表之间的关联关系是创建，表和字段之间的关联关系是包含。原始节点可以是表和或字段，以字段为例，业务对象生成模块101用于将技术元数据中的字段复制生成业务元数据中的业务字段，还用于根据业务字段组合生成业务对象。
[0030]
可选的，业务对象生成模块101还可以用于根据业务需求动态调整已生成的业务对象包含的原始节点。
[0031]
关联节点获取模块102，用于获取业务对象的关联节点。
[0032]
其中，关联节点包括但不限于以下几种：系统目录、数据库、表、字段、主题域、主题、业务字段和业务对象，本公开对此不做限制。
[0033]
可选的，关联节点获取模块102，具体用于：获取至少两个原始节点分别对应的关联节点集合。
[0034]
获取目标关联节点为业务对象的关联节点。
[0035]
其中，目标关联节点包含在至少两个关联节点集合中。
[0036]
以业务对象包含原始节点a和原始节点b为例，关联节点获取模块102用于获取a对应的关联节点集合为{节点c、节点d}，还用于获取b对应的关联节点集合为{节点c、节点e}，则关联节点获取模块102根据同时出现在a对应的关联节点集合和b对应的关联节点集合中的节点获取目标关联节点，即，关联节点获取模块102获取的目标关联节点为节点c。
[0037]
以业务对应包含原始节点a、原始节点b和原始节点c为例，关联节点获取模块102用于获取a对应的关联节点集合为{节点d、节点e}，还用于获取b对应的关联节点集合为{节点d、节点f}，还用于获取c对应的关联节点集合为{节点d、节点f}，则关联节点获取模块102根据在a对应的关联节点集合中、b对应的关联节点集合中和c对应的关联节点集合中至少出现两次的节点确定目标关联节点，即关联节点获取模块102获取的目标关联节点为节点d和节点f。
[0038]
关联关系解析模块103，用于获取业务对象和关联节点之间的关联关系。
[0039]
可选的，关联关系解析模块103具体用于通过人工智能机器学习方法对业务对象和关联节点之间的关联关系进行探查。
[0040]
其中，人工智能学习方法包括但不限于以下几种：路径查找算法、中心度算法、社区发现算法和谱聚类算法，本公开对此不做限制。
[0041]
关联关系可以根据实际需求进行预先设置，包括但不限于以下几种：拥有、创建、包含、关联、流向、指向、业务关联、业务拥有、业务连接，本公开对此不做限制。
[0042]
关联关系解析模块具体用于通过人工智能机器学习方法对业务对象和关联节点之间是否存在预先设置的关联关系进行探查。
[0043]
可选的，关联关系解析模块103具体还用于获取数据库的审计日志，使用sql解析内核技术，获取业务对象和关联节点之间的关联关系。
[0044]
一种可能的实现方式为：关联关系解析模块103用于获取数据库的审计日志，根据业务对象包含的原始节点和关联节点从审计日志中提取sql语句；还用于使用sql解析内核技术进行词法分析和句法解析，获取业务对象包含的原始节点和关联节点之间的关联关系。
[0045]
元数据加工模块104，用于根据业务对象、关联节点和关联关系形成复杂网络。
[0046]
可选的，以业务对象、业务对象包含的业务字段和业务对象的关联节点为复杂网络的节点，以业务对象和业务字段之间的关联关系、业务对象和关联节点之间的关联关系为复杂网络的边，形成以业务对象为中心节点的复杂网络。其中，业务对象和业务字段之间的关系是业务拥有，若业务对象的关联节点为另一业务对象，则业务对象和业务对象之间的关系为业务连接。
[0047]
可选的，元数据加工模块104，还可以用于将以业务对象为中心节点的复杂网络导入图数据库进行存储。
[0048]
本实施例中的元数据管理系统包括：业务对象生成模块、关联节点获取模块、关联关系解析模块和元数据加工模块，业务对象生成模块用于根据至少两个原始节点生成业务对象，关联节点获取模块用于获取业务对象的关联节点，关联关系解析模块用于获取业务对象和关联节点之间的关联关系，元数据加工模块用于根据业务对象、关联节点和关联关系形成复杂网络。由于原始节点代表了技术元数据，根据原始节点生成业务对象并形成以业务对象为中心节点的复杂网络，实现了技术元数据和业务元数据的融合，并且可以根据业务需求的变化动态地调整业务对象包含的原始节点，从而，能够更好地适应企业不断发展的业务需求，提高了元数据管理的灵活性和有效性，提升了数据资产的价值。
[0049]
图2为本公开实施例提供的另一种基于复杂网络的高维元数据管理系统的结构示意图，图2是在图1的基础上，还包括：元数据查询模块105和可视化展示模块106。
[0050]
其中，元数据加工模块104与元数据查询模块105连接，元数据查询模块105与可视化展示模块106连接。
[0051]
元数据查询模块105用于接收查询请求。
[0052]
其中，查询请求包括业务对象。
[0053]
元数据查询模块105，还用于根据业务对象查询业务对象对应的复杂网络。
[0054]
其中，复杂网络以业务对象为中心节点，包含业务对象的关联节点以及业务对象和关联节点之间的关联关系；可选的，元数据查询模块105具体用于根据业务对象查询图数据库获取业务对象的相邻顶点和边，则相邻顶点为业务对象的关联节点，边为业务对象和关联节点之间的关联关系。
[0055]
关联节点包括至少两个业务字段，业务对象和业务字段之间的关联关系是业务拥有。
[0056]
可视化展示模块106，用于对业务对象对应的复杂网络进行可视化展示。
[0057]
可选的，可视化展示模块106具体用于通过图形界面对业务对象对应的复杂网络进行可视化展示。
[0058]
本实施例中的元数据管理系统还包括：元数据查询模块和可视化展示模块，元数据查询模块用于根据业务对象查询业务对象对应的复杂网络，复杂网络以业务对象为中心节点，包含业务对象的关联节点以及业务对象和关联节点之间的关联关系，并通过可视化展示模块对业务对象对应的复杂网络进行可视化展示，直观地展示出业务对象对应的复杂网络，为业务人员提供了简单可用的数据服务，从而，能够更快地适应企业不断发展的业务需求，有利于企业更好地挖掘数据之间的联系，提升了数据资产的价值。
[0059]
图3为本公开提供的一种基于复杂网络的高维元数据管理方法实施例的流程示意图，如图3所示，本实施例的方法包括：s301：根据至少两个原始节点生成业务对象。
[0060]
其中，原始节点可以是技术元数据中的表和或字段，业务对象可以由业务人员根据具体需求设置，本公开对此不做限制。
[0061]
一种可能的实现方式为：在技术元数据对应的复杂网络中，确定至少两个原始节点。在技术元数据对应的复杂网络中，节点包括：库、表和字段，关联关系包括：创建和包含，即库和表之间的关联关系是创建，表和字段之间的关联关系是包含。原始节点可以是表和或字段，以字段为例，将技术元数据中的字段复制生成业务元数据中的业务字段，根据业务字段组合生成业务对象。
[0062]
可选的，还可以根据业务需求动态调整已生成的业务对象包含的原始节点。
[0063]
s302：获取业务对象的关联节点。
[0064]
其中，关联节点包括但不限于以下几种：系统目录、数据库、表、字段、主题域、主题、业务字段和业务对象，本公开对此不做限制。
[0065]
一种可能的实现方式为：如图4所示，s3021：获取至少两个原始节点分别对应的关联节点集合。
[0066]
s3022：获取目标关联节点为业务对象的关联节点。
[0067]
其中，目标关联节点包含在至少两个关联节点集合中。
[0068]
s303：获取业务对象和关联节点之间的关联关系。
[0069]
一种可能的实现方式为：通过人工智能机器学习方法对业务对象和关联节点之间的关联关系进行探查。
[0070]
其中，人工智能学习方法包括但不限于以下几种：路径查找算法、中心度算法、社区发现算法和谱聚类算法，本公开对此不做限制。
[0071]
关联关系可以根据实际需求进行预先设置，包括但不限于以下几种：拥有、创建、包含、关联、流向、指向、业务关联、业务拥有、业务连接，本公开对此不做限制。
[0072]
另一种可能的实现方式为：获取数据库的审计日志，使用sql解析内核技术，获取
业务对象和关联节点之间的关联关系。
[0073]
可选的，获取数据库的审计日志，根据业务对象包含的原始节点和关联节点从审计日志中提取sql语句，使用sql解析内核技术进行词法分析和句法解析，获取业务对象包含的原始节点和关联节点之间的关联关系。
[0074]
s304：根据业务对象、关联节点和关联关系形成复杂网络。
[0075]
可选的，以业务对象、业务对象包含的业务字段和业务对象的关联节点为复杂网络的节点，以业务对象和业务字段之间的关联关系、业务对象和关联节点之间的关联关系为复杂网络的边，形成以业务对象为中心节点的复杂网络。其中，业务对象和业务字段之间的关系是业务拥有，若业务对象的关联节点为另一业务对象，则业务对象和业务对象之间的关系为业务连接。
[0076]
可选的，将以业务对象为中心节点的复杂网络导入图数据库进行存储。
[0077]
本实施例，根据至少两个原始节点生成业务对象，获取业务对象的关联节点，并获取业务对象和关联节点之间的关联关系，根据业务对象、关联节点和关联关系形成复杂网络。由于原始节点代表了技术元数据，根据原始节点生成业务对象并形成以业务对象为中心节点的复杂网络，实现了技术元数据和业务元数据的融合，从而，使得元数据管理系统能够更好地适应企业不断发展的业务需求，提高了元数据管理的灵活性和有效性，提升了数据资产的价值。
[0078]
图5为本公开提供的再一种基于复杂网络的高维元数据管理方法实施例的流程示意图，图5是在图4的基础上，还包括：s305：接收查询请求。
[0079]
其中，查询请求包括业务对象。
[0080]
s306：根据业务对象查询业务对象对应的复杂网络。
[0081]
其中，复杂网络以业务对象为中心节点，包含业务对象的关联节点以及业务对象和关联节点之间的关联关系。
[0082]
可选的，根据业务对象查询图数据库中业务对象的相邻顶点和边，则相邻顶点为业务对象的关联节点，边为业务对象和关联节点之间的关联关系。
[0083]
关联节点包括至少两个业务字段，业务对象和业务字段之间的关联关系是业务拥有。
[0084]
s307：对业务对象对应的复杂网络进行可视化展示。
[0085]
可选的，通过图形界面对业务对象对应的复杂网络进行可视化展示。
[0086]
本实施例，根据业务对象查询业务对象对应的复杂网络，并通过可视化展示模块对业务对象对应的复杂网络进行可视化展示，直观地展示出业务对象对应的复杂网络，为业务人员提供了简单可用的数据服务，从而，使得元数据管理系统能够更快地适应企业不断发展的业务需求，有利于企业更好地挖掘数据之间的联系，提升了数据资产的价值。
[0087]
本公开实施例提供了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可以实现图3到图5任一所示方法的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0088]
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图3到图5任一所示方法实施例的技术方案。
[0089]
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0090]
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。