元数据生成方法、数据查询方法、系统、设备及存储介质与流程

本说明书一个或多个实施例涉及数据库，尤其涉及一种元数据生成方法、数据查询方法、数据库系统、电子设备及计算机可读存储介质。

背景技术：

1、元数据(metadata)，又称中介数据、中继数据，为描述数据的数据(data aboutdata)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。其使用目的在于：识别资源；评价资源；追踪资源在使用过程中的变化；实现简单高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。

2、相关技术中的数据库，对于元数据的定义是基于单个物理表来定义，即每个物理表对应一份元数据；但是，在一个或多个数据库中存储的多个物理表可能来源相同，基于单个物理表定义元数据的方式导致元数据过于分散，会割裂了数据之间的联系。

技术实现思路

1、有鉴于此，本说明书一个或多个实施例提供一种元数据生成方法、数据查询方法、数据库系统、电子设备及计算机可读存储介质。

2、为实现上述目的，本说明书一个或多个实施例提供技术方案如下：

3、根据本说明书一个或多个实施例的第一方面，提出了一种元数据生成方法，包括：

4、从至少一个数据库获取待处理的若干物理表；

5、根据各个所述物理表的逻辑结构，对所述若干物理表进行分类，获得至少一个类别；其中，所述逻辑结构根据物理表的数据结构和/或物理表所属的逻辑数据模型确定；任一类别中的不同物理表的逻辑结构相同；

6、针对于每个类别创建元数据；其中，每个类别的元数据包括基本信息和物理信息，所述基本信息用于描述该类别的逻辑结构，所述物理信息用于描述属于该类别的各个物理表的存储情况。

7、可选的，所述若干物理表包括由逻辑数据模型物理化得到的第一物理表和不属于任何逻辑数据模型的第二物理表；

8、所述根据各个所述物理表的逻辑结构，对所述若干物理表进行分类，获得至少一个类别，包括：

9、对所述若干物理表中的所有第一物理表进行分类，获取至少一个类别；任一类别中的不同第一物理表由同一逻辑数据模型物理化得到；

10、对于所述若干物理表中的第二物理表，检测是否存在目标类别的数据结构与所述第二物理表的数据结构相同；若是，将所述第二物理表加入所述目标类别中；若否，根据所述第二物理表构建新的类别。

11、可选的，对于任一类别，若所述类别包括由同一逻辑数据模型物理化得到的第一物理表，所述类别的数据结构根据所述由同一逻辑数据模型物理化得到的第一物理表的数据结构确定。

12、可选的，若由同一逻辑数据模型物理化得到的不同第一物理表的数据结构因不同数据库的部署算法不同导致存在差异，在统计具有相同数据结构的第一物理表的数量之后，所述类别的数据结构根据数量较高者的第一物理表的数据结构确定；

13、其中，所述元数据中的物理信息包括所述不同第一物理表的数据结构的差异信息。

14、可选的，任一类别中的不同物理表的数据结构相同指示不同物理表的字段名称、字段类型和/或字段描述相同。

15、可选的，所述若干物理表包括由逻辑数据模型物理化得到的第一物理表和不属于任何逻辑数据模型的第二物理表；

16、属于同一类别的所有第二物理表的字段名称、字段类型和字段描述均相同；

17、其中，若两张第二物理表来自不同的数据库，且所述两张第二物理表的字段类型满足预设的不同数据库之间的字段类型映射关系，则所述两张第二物理表的字段类型相同。

18、可选的，所述若干物理表从同一数据库中获取；或者，

19、所述若干物理表从至少两个数据库中获取；其中，若所述至少两个数据库部署在不同的云环境中；所述元数据还包括环境信息，所述环境信息用于描述所述类别中的各个物理表所处的云环境。

20、可选的，还包括：

21、响应于在所述数据库中新建物理表的操作，根据新建的物理表的逻辑结构，查找是否存在与新建的物理表匹配的类别；

22、若是，在所述匹配的类别的元数据中新增用于指示所述新建的物理表的存储情况的物理信息；

23、若否，根据所述新建的物理表构建新的类别，并生成该类别对应的元数据。

24、可选的，所述物理信息包括以下至少一种：所述物理表的字段信息、统计信息、血缘关系和物理表的质量信息；

25、其中，所述统计信息包括以下至少一种：所述物理表的存储空间、访问热度、产出所述物理表的计算任务和资源消耗信息；所述统计信息按照预设周期进行周期性更新。

26、根据本说明书一个或多个实施例的第二方面，提出了一种数据查询方法，包括：

27、响应于数据查询请求，根据元数据确定存储有所述数据查询请求指示的数据的候选物理表；其中，所述元数据基于第一方面任意一项所述的元数据生成方法生成；

28、从候选物理表中选择目标物理表，并将所述数据查询请求发送给所述目标物理表对应的目标数据库引擎，以由所述目标数据库引擎对所述目标物理表进行查询获得数据查询结果。

29、可选的，所述目标物理表是基于以下至少一种因素从候选物理表中选定的：

30、所述数据查询请求的实时性要求、各个候选物理表所在的数据库节点的剩余带宽、以及在将所述数据查询请求发送给各个候选物理表对应的数据库引擎之后返回的查询计划；所述查询计算指示所述数据查询请求的查询开销。

31、根据本说明书一个或多个实施例的第三方面，提出了一种数据库系统，包括元数据生成装置、数据查询装置和至少一个数据库；所述若干物理表从所述数据库中获取；

32、所述元数据生成装置用于执行第一方面任意一项所述的方法；

33、所述数据查询方法用于执行第二方面任意一项所述的方法。

34、根据本说明书实施例的第四方面，提供一种电子设备，包括：

35、处理器；

36、用于存储处理器可执行指令的存储器；

37、其中，所述处理器执行所述可执行指令时，用于实现第一方面所述的方法。

38、根据本说明书实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。

39、本说明书的实施例提供的技术方案可以包括以下有益效果：

40、本说明书实施例中，基于物理表的逻辑结构对若干物理表进行分类得到至少一个类别，任一类别中的不同物理表的逻辑结构相同，并生成每个类别的元数据，实现逻辑结构相同的不同物理表对应同一份元数据，从而能够更为高效且便捷地管理来自同一来源的数据。

41、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种元数据生成方法，包括：

2.根据权利要求1所述的方法，所述若干物理表包括由逻辑数据模型物理化得到的第一物理表和不属于任何逻辑数据模型的第二物理表；

3.根据权利要求2所述的方法，对于任一类别，若所述类别包括由同一逻辑数据模型物理化得到的第一物理表，所述类别的数据结构根据所述由同一逻辑数据模型物理化得到的第一物理表的数据结构确定。

4.根据权利要求3所述的方法，若由同一逻辑数据模型物理化得到的不同第一物理表的数据结构因不同数据库的部署算法不同导致存在差异，在统计具有相同数据结构的第一物理表的数量之后，所述类别的数据结构根据数量较高者的第一物理表的数据结构确定；

5.根据权利要求1至4任意一项所述的方法，任一类别中的不同物理表的数据结构相同指示不同物理表的字段名称、字段类型和/或字段描述相同。

6.根据权利要求5所述的方法，所述若干物理表包括由逻辑数据模型物理化得到的第一物理表和不属于任何逻辑数据模型的第二物理表；

7.根据权利要求1至4任意一项所述的方法，所述若干物理表从同一数据库中获取；或者，

8.根据权利要求1所述的方法，还包括：

9.根据权利要求1所述的方法，所述物理信息包括以下至少一种：所述物理表的字段信息、统计信息、血缘关系和物理表的质量信息；

10.一种数据查询方法，包括：

11.根据权利要求10所述的方法，所述目标物理表是基于以下至少一种因素从候选物理表中选定的：

12.一种数据库系统，包括元数据生成装置、数据查询装置和至少一个数据库；所述若干物理表从所述数据库中获取；

13.一种电子设备，包括：

14.一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如权利要求1至11中任一项所述方法的步骤。

技术总结
本说明书一个或多个实施例提供一种元数据生成方法、数据查询方法、数据库系统、电子设备及计算机可读存储介质。元数据生成方法包括：从至少一个数据库获取待处理的若干物理表；根据各个所述物理表的逻辑结构，对所述若干物理表进行分类，获得至少一个类别；其中，所述逻辑结构根据物理表的数据结构和/或物理表所属的逻辑数据模型确定；任一类别中的不同物理表的逻辑结构相同；针对于每个类别创建元数据；其中，每个类别的元数据包括基本信息和物理信息，所述基本信息用于描述该类别的逻辑结构，所述物理信息用于描述属于该类别的各个物理表的存储情况。实现逻辑结构相同的不同物理表对应同一份元数据。

技术研发人员：陈国庆
受保护的技术使用者：阿里云计算有限公司
技术研发日：
技术公布日：2024/1/13