数据处理方法、装置、电子设备及存储介质与流程

本公开涉及数据处理，特别涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术：

1、随着业务系统的不断发展，业务系统相关的各类数据可以以数据表的形式通过大数据中心进行维护，而业务系统的各个业务节点可以按照需求调用数据表。为了确保大数据中心中数据的安全性，以及提高不同业务节点调用数据的效率，相关业务节点的业务人员可以使用视图进行数据调用。视图用于维护该业务节点意图调用的数据的索引信息。

2、通常，每个业务节点对应的视图只依赖于该业务节点具备调用权限的数据或者视图，基于此，在包含多级视图的业务系统中，无法获知大数据中心中数据表以及各级视图的调用链路，从而导致无法维护大数据中心及各级视图。

技术实现思路

1、本公开提供了一种数据处理方法、装置、电子设备及存储介质。

2、第一方面，本公开提供了一种数据处理方法，该数据处理方法包括：

3、获取大数据中心的元数据，所述元数据包括数据表集中每个数据表的元数据，以及视图集中每个视图的元数据，所述数据表集是指预存储在所述大数据中心中的多个数据表的集合，所述视图集是指所述大数据中心对应的业务系统中创建的多个视图的集合；

4、根据获取到的元数据确定依赖关系集，所述依赖关系集记载了每个数据表与至少一个视图之间的依赖关系，以及记载了每个视图与至少一个视图之间的依赖关系，所述依赖关系集包括多个依赖关系，所述依赖关系包括一个数据表与一个视图之间的依赖关系、或两个视图之间的依赖关系；

5、根据所述依赖关系集确定每个数据表的链路依赖关系，所述链路依赖关系包括依赖视图层级和每个依赖视图层级关联的视图；

6、根据获取到的元数据和每个数据表的链路依赖关系生成数仓表，所述数仓表记载了每个数据表的元数据、每个视图的元数据以及每个数据表的链路依赖关系。

7、第二方面，本公开提供了一种数据处理装置，该数据处理装置包括：

8、获取模块，用于获取大数据中心的元数据，所述元数据包括数据表集中每个数据表的元数据，以及视图集中每个视图的元数据，所述数据表集是指预存储在所述大数据中心中的多个数据表的集合，所述视图集是指所述大数据中心对应的业务系统中创建的多个视图的集合；

9、确定模块，用于根据获取到的元数据确定依赖关系集，所述依赖关系集记载了每个数据表与至少一个视图之间的依赖关系，以及记载了每个视图与至少一个视图之间的依赖关系，所述依赖关系集包括多个依赖关系，所述依赖关系包括一个数据表与一个视图之间的依赖关系、或两个视图之间的依赖关系；

10、所述确定模块，还用于根据所述依赖关系集确定每个数据表的链路依赖关系，所述链路依赖关系包括依赖视图层级和每个依赖视图层级关联的视图；

11、生成模块，用于根据获取到的元数据和每个数据表的链路依赖关系生成数仓表，所述数仓表记载了每个数据表的元数据、每个视图的元数据以及每个数据表的链路依赖关系。

12、第三方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的数据处理方法。

13、第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述的数据处理方法。

14、第五方面，本公开提供了一种计算机程序，所述计算机程序存储在计算机可读存储介质中，所述计算机程序在被处理器执行时实现上述的数据处理方法。

15、本公开所提供的实施例中，大数据中心预部署数据表集中每个数据表的元数据，以及视图集中每个视图的元数据，进一步的，本公开技术方案根据元数据确定依赖关系集，依赖关系集包括每个数据表与至少一个视图之间的依赖关系，以及记载了每个视图与至少一个视图之间的依赖关系。由于依赖关系是由数据调用产生的，基于此，本公开技术方案根据依赖关系集每个数据表的链路依赖关系，所述链路依赖关系包括依赖视图层级和每个依赖视图层级关联的视图，根据获取到的元数据和每个数据表的链路依赖关系生成数仓表，所述数仓表记载了每个数据表的元数据、每个视图的元数据以及每个数据表的链路依赖关系，从而有利于维护大数据中心中的数据表及各级视图的调用链路。

16、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述数据表包括报表，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，针对每个数据表，根据所述依赖关系集确定所述数据表的链路依赖关系的具体实现方式有：

4.根据权利要求1所述的方法，其特征在于，所述数据表的元数据包括表标识和表字段信息，所述视图的元数据包括视图字段信息；

5.根据权利要求1所述的方法，其特征在于，所述视图的元数据包括视图标识和视图字段信息；

6.根据权利要求1所述的方法，其特征在于，所述视图的元数据包括所述视图的视图创建语句；所述视图创建语句指示所述视图依赖的数据表，和/或指示所述视图依赖的视图。

7.根据权利要求1所述的方法，其特征在于，所述根据获取到的元数据确定依赖关系集包括：

8.一种数据处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-7中任一项所述的方法。

技术总结
本公开提供了一种数据处理方法、装置、电子设备及存储介质，所述方法包括：获取大数据中心的元数据，元数据包括数据表集中每个数据表的元数据，以及视图集中每个视图的元数据；根据获取到的元数据确定依赖关系集；根据所述依赖关系集确定每个数据表的链路依赖关系，所述链路依赖关系包括依赖视图层级和每个依赖视图层级关联的视图；根据获取到的元数据和每个数据表的链路依赖关系生成数仓表，数仓表记载了每个数据表的元数据、每个视图的元数据以及每个数据表的链路依赖关系。本方法根据元数据获知数据表与视图、视图与视图之间的依赖关系，进而确定每个数据表的链路依赖关系，从而有利于维护大数据中心中的数据表及各级视图。

技术研发人员：谢朝胜,蒋宁,王辉,冯仕炳,曹锐,曾琳铖曦,吴海英,伍应标
受保护的技术使用者：马上消费金融股份有限公司
技术研发日：
技术公布日：2024/2/6