一种数据服务方法及相关设备与流程

本说明书一个或多个实施例涉及元数据，尤其涉及一种数据服务方法及相关设备。

背景技术：

1、元数据是一种描述数据的数据，在企业中，无论哪里有数据，都有相应的元数据。只有存在完整而准确的元数据，才能更好地理解数据并充分利用数据的价值。大部分互联网业务以及决策往往依赖数据服务的支撑，并且，伴随着如今愈发复杂的业务发展，对不同平台的数据的组织与应用有着更高的要求。

2、因此，如何针对不同平台的海量数据，向用户提供高效、便捷的数据服务是亟待解决的问题。

技术实现思路

1、有鉴于此，本说明书一个或多个实施例提供一种数据服务方法及相关设备。

2、为实现上述目的，本说明书一个或多个实施例提供了一种数据服务方法，应用于元数据服务系统，所述元数据服务系统中分布式存储了元数据模型以及与所述元数据模型对应的索引信息；所述方法包括：

3、获取与待更新的第一元数据模型对应的第二元数据模型；

4、基于分布式锁的控制，将所述元数据服务系统中存储的所述第一元数据模型更新为所述第二元数据模型，以及，将所述元数据服务系统中存储的与所述第一元数据模型对应的第一索引信息同步更新为第二索引信息。

5、在又一示出的实施方式中，所述元数据服务系统在分布式存储元数据模型以及与所述元数据模型对应的索引信息时所采用的数据库类型为key-value数据库。

6、在又一示出的实施方式中，所述基于分布式锁的控制，将所述元数据服务系统中存储的所述第一元数据模型更新为所述第二元数据模型，以及，将所述元数据服务系统中存储的与所述第一元数据模型对应的第一索引信息同步更新为第二索引信息，包括：

7、基于分布式锁的控制，在所述元数据服务系统中新增所述第二元数据模型，删除所述第一元数据模型，并对所述第二元数据模型进行加锁，以禁止为所述第二数据模型匹配索引信息；以及，

8、在所述元数据服务系统中新增与所述第二元数据模型对应的所述第二索引信息，删除与所述第一元数据模型对应的所述第一索引信息，并对所述第二元数据模型进行解锁，以允许为所述第二元数据模型匹配索引信息。

9、在又一示出的实施方式中，还包括：

10、基于所述元数据服务系统中存储的多个元数据模型，通过拓扑配置生成与所述多个元数据模型对应的拓扑图；其中，所述拓扑图包含多个节点，每一个节点对应一个元数据模型，节点之间的连线对应元数据模型之间的关联关系。

11、在又一示出的实施方式中，还包括：

12、获取目标查询语句，所述目标查询语句中包括查询对象和查询条件；其中，所述查询对象包括所述元数据服务系统中存储的目标元数据模型，所述查询条件包括所述元数据服务系统中存储的一个或多个索引信息；

13、基于所述目标查询语句，生成针对所述目标元数据模型的目标查询流程；

14、基于所述目标查询流程，在所述元数据服务系统存储的多个元数据模型中进行查询，获得查询结果；所述查询结果包括所述目标元数据模型。

15、在又一示出的实施方式中，所述基于所述目标查询语句，生成针对所述目标元数据模型的目标查询流程，包括：

16、基于所述目标查询语句，确定与所述一个或多个索引信息对应的一个或多个元数据模型；

17、基于所述一个或多个元数据模型，在所述拓扑图中确定出针对所述目标元数据模型的目标查询路径，以生成所述目标查询流程；其中，

18、所述目标查询路径包括依次相连的多个查询节点，所述多个查询节点中的最后一个查询节点为所述目标元数据模型，所述多个查询节点还包括所述一个或多个元数据模型中的至少部分。

19、在又一示出的实施方式中，所述多个查询节点中还包括在所述拓扑图中与所述目标元数据模型和/或所述一个或多个元数据模型关联的元数据模型。

20、在又一示出的实施方式中，所述基于所述一个或多个元数据模型，在所述拓扑图中确定出针对所述目标元数据模型的目标查询路径，包括：

21、基于所述一个或多个元数据模型，在所述拓扑图中确定出针对所述目标元数据模型的原始查询路径；

22、基于预设的路径优化规则，对所述原始查询路径进行优化，得到所述目标查询路径；其中，所述目标查询路径包含的查询节点少于所述原始查询路径包含的查询节点。

23、在又一示出的实施方式中，所述路径优化规则包括递归优化，所述递归优化包括基于关联推导的优化和基于索引区分度的优化中的一种或多种。

24、在又一示出的实施方式中，还包括：

25、解析所述目标查询语句，以确定所述目标查询语句是否合法；若所述目标查询语句合法，则基于所述目标查询语句，生成针对所述目标元数据模型的目标查询流程。

26、在又一示出的实施方式中，所述目标查询语句为tql语言的查询语句或者sql语言的查询语句。

27、相应地，本说明书还提供了一种数据服务装置，应用于元数据服务系统，所述元数据服务系统中分布式存储了元数据模型以及与所述元数据模型对应的索引信息；所述装置包括：

28、模型获取单元，用于获取与待更新的第一元数据模型对应的第二元数据模型；

29、更新单元，用于基于分布式锁的控制，将所述元数据服务系统中存储的所述第一元数据模型更新为所述第二元数据模型，以及，将所述元数据服务系统中存储的与所述第一元数据模型对应的第一索引信息同步更新为第二索引信息。

30、在又一示出的实施方式中，所述元数据服务系统在分布式存储元数据模型以及与所述元数据模型对应的索引信息时所采用的数据库类型为key-value数据库。

31、在又一示出的实施方式中，所述更新单元，具体用于：

32、基于分布式锁的控制，在所述元数据服务系统中新增所述第二元数据模型，删除所述第一元数据模型，并对所述第二元数据模型进行加锁，以禁止为所述第二数据模型匹配索引信息；以及，

33、在所述元数据服务系统中新增与所述第二元数据模型对应的所述第二索引信息，删除与所述第一元数据模型对应的所述第一索引信息，并对所述第二元数据模型进行解锁，以允许为所述第二元数据模型匹配索引信息。

34、在又一示出的实施方式中，所述装置还包括：

35、拓扑配置单元，用于基于所述元数据服务系统中存储的多个元数据模型，通过拓扑配置生成与所述多个元数据模型对应的拓扑图；其中，所述拓扑图包含多个节点，每一个节点对应一个元数据模型，节点之间的连线对应元数据模型之间的关联关系。

36、在又一示出的实施方式中，所述装置还包括：

37、查询语句获取单元，用于获取目标查询语句，所述目标查询语句中包括查询对象和查询条件；其中，所述查询对象包括所述元数据服务系统中存储的目标元数据模型，所述查询条件包括所述元数据服务系统中存储的一个或多个索引信息；

38、查询流程生成单元，用于基于所述目标查询语句，生成针对所述目标元数据模型的目标查询流程；

39、查询单元，用于基于所述目标查询流程，在所述元数据服务系统存储的多个元数据模型中进行查询，获得查询结果；所述查询结果包括所述目标元数据模型。

40、在又一示出的实施方式中，所述查询流程生成单元，具体用于：

41、基于所述目标查询语句，确定与所述一个或多个索引信息对应的一个或多个元数据模型；

42、基于所述一个或多个元数据模型，在所述拓扑图中确定出针对所述目标元数据模型的目标查询路径，以生成所述目标查询流程；其中，

43、所述目标查询路径包括依次相连的多个查询节点，所述多个查询节点中的最后一个查询节点为所述目标元数据模型，所述多个查询节点还包括所述一个或多个元数据模型中的至少部分。

44、在又一示出的实施方式中，所述多个查询节点中还包括在所述拓扑图中与所述目标元数据模型和/或所述一个或多个元数据模型关联的元数据模型。

45、在又一示出的实施方式中，所述查询流程生成单元，具体用于：

46、基于所述一个或多个元数据模型，在所述拓扑图中确定出针对所述目标元数据模型的原始查询路径；

47、基于预设的路径优化规则，对所述原始查询路径进行优化，得到所述目标查询路径；其中，所述目标查询路径包含的查询节点少于所述原始查询路径包含的查询节点。

48、在又一示出的实施方式中，所述路径优化规则包括递归优化，所述递归优化包括基于关联推导的优化和基于索引区分度的优化中的一种或多种。

49、在又一示出的实施方式中，所述装置还包括：

50、解析单元，用于解析所述目标查询语句，以确定所述目标查询语句是否合法；若所述目标查询语句合法，则基于所述目标查询语句，生成针对所述目标元数据模型的目标查询流程。

51、在又一示出的实施方式中，所述目标查询语句为tql语言的查询语句或者sql语言的查询语句。

52、相应地，本说明书还提供了一种计算机设备，包括：存储器和处理器；所述存储器上存储有可由所述处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行如上述各实施方式所述的数据服务方法。

53、相应地，本说明书还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行如上述各实施方式所述的数据服务方法。

54、综上所述，本技术在分布式存储了元数据模型的基础上，又分布式存储了元数据模型对应的索引信息，从而构建了既包含元数据模型又包含索引信息的元数据服务系统。如此，本技术不仅可以基于分布式存储极强的扩展能力，保证海量元数据模型和其对应索引信息的存储，还保证了针对海量元数据模型仍然可以实现较强的索引能力，满足用户的查询需求。进一步地，本技术还通过分布式锁的控制，使得元数据模型的更新与其对应的索引信息的更新保持一致，从而保证索引的准确性，保证数据查询的效率。

55、此外，本技术还通过拓扑配置生成了元数据服务系统中所包含的多个元数据模型对应的拓扑图，该拓扑图中包含了多个元数据模型之间的关联关系，为后续实现更加灵活、便捷、高效的数据查询服务提供了有效支撑。