一种基于应用元数据的数据服务调用链构建方法

本发明涉及数据服务，特别涉及一种基于应用元数据的数据服务调用链构建方法。

背景技术：

1、数据服务是指通过封装数据生成的api服务，可以提供给上层应用服务，它是连接前台业务和数据的桥梁。数据服务技术体系在巨型信息系统、大数据中心等场景中都有普遍应用，如华为数据底座、阿里数据中台等。元数据是关于数据的数据。应用元数据，是元数据的重要一类，指用于定义和描述数据的服务、操作和管理等应用的数据。应用元数据可以用来描述数据服务相关操作，适用于通过其对数据服务调用链进行构建和监控。

2、数据服务监控治理的基础，就是构建出从应用服务，到数据服务，再到数据存储的调用链。因数据血缘分析的需要，对于数据服务的监控和治理成为尤其关键的一环。特别是，伴随着复杂巨系统的膨胀，数据服务的数量规模同步增大，数据服务的治理成为了系统运维管理面临的主要问题之一，亟待解决。

技术实现思路

1、本发明实施例的目的是提供一种基于应用元数据的数据服务调用链构建方法，通过运用应用元数据的建模方法，结合使用埋点数据采集、数据库访问语言解析等技术手段，基于不修改调用接口和响应返回文件流的最小代码调整基础上，构建出应用服务、数据服务、数据库表的调用链关系，进而实现对数据服务的监控和治理，并支撑复杂巨系统的运维保障。

2、为解决上述技术问题，本发明实施例的第一方面提供了一种基于应用元数据的数据服务调用链构建方法，包括如下步骤：

3、基于预设应用元数据模型通过埋点方法异步采集应用元数据；

4、基于所述应用元数据，通过dql对数据服务访问的数据库进行解析，得到数据库基本信息和数据结构，构建数据服务与数据库之间的调用关系；

5、基于所述应用元数据和数据库调用关系，进行调用链拼接，得到数据服务调用链。

6、进一步地，所述基于预设应用元数据模型通过埋点方法异步采集应用元数据，包括：

7、基于调用操作类型不同，相应设置埋点位置，其中调用操作类型包括：数据修改操作、数据订阅操作和数据发布操作；

8、基于所述埋点位置，通过web过滤器实现调用请求头获取，基于线程局部变量实现服务内部的参数传递，采集各所述埋点位置的应用元数据。

9、进一步地，所述基于调用操作类型不同，相应设置埋点位置，包括：

10、所述数据修改操作的埋点位置包括：应用服务发送调用请求、数据服务收到调用请求、数据服务返回调用结果和应用服务收到调用结果；

11、所述数据订阅操作的埋点位置包括：应用服务发送订阅请求和应用服务收到订阅回执；

12、所述数据发布操作的埋点位置包括：数据服务发布更新数据和应用服务收到更新数据。

13、进一步地，所述通过dql对数据服务访问的数据库进行解析结构，得到数据库基本信息和数据结构，包括：

14、基于解析数据服务中访问得到的数据库地址，得到数据库基本信息。

15、进一步地，所述数据结构包括：静态数据结构、动态数据结构和发布数据结构；

16、所述静态数据结构为所述数据服务操作的全量数据结构，从数据服务注册起就确定的数据结构；

17、所述动态数据结构为所述数据服务在带调用条件下操作的数据结构，其结构与所述调用条件相对应；

18、所述发布数据结构包括：底层数据变更部分的数据结构和数据服务推送的变更数据的数据结构。

19、进一步地，所述通过dql对数据服务访问的数据库进行解析，得到数据库基本信息和数据结构，包括：

20、针对数据服务静态数据结构，通过运行态同步解析或非运行态异步解析获取数据库的数据结构；

21、所述运行态同步解析为在数据服务执行不带条件的查询操作时，监控数据服务访问出口，对其dql进行解析；

22、所述非运行态异步解析为异步查找和拼接数据服务中的dql，并进行解析。

23、进一步地，所述通过dql对数据服务访问的数据库进行解析，得到数据库基本信息和数据结构，包括：

24、针对数据服务动态数据结构，通过运行态同步解析或非运行态异步解析获取数据库的数据结构；或，

25、基于所述静态数据结构，对调用条件进行解析并使其作用于所述静态数据结构，得到所述动态数据结构。

26、进一步地，所述通过dql对数据服务访问的数据库进行解析，得到数据库基本信息和数据结构，包括：

27、当所述发布数据结构的数据为所述数据服务操作数据库触发的发布数据时，获取数据发布来源，基于所述运行态同步解析进行解析；

28、当所述发布数据结构的数据为所述数据服务相应的数据库以外的数据库触发的发布数据时，解析返回数据的数据结构，并将其与静态数据结构进行匹配。

29、进一步地，所述基于所述应用元数据和所述数据库，进行调用链拼接，得到数据服务调用链，包括：

30、基于所述应用元数据，通过匹配所述应用元数据的唯一标识，得到所述应用服务与数据服务的调用关系；

31、基于解析得到的所述数据库访问所述应用元数据，构建数据服务和数据的访问关系；

32、基于所述应用元数据进行调用链拼接，得到数据服务调用链。

33、进一步地，所述基于所述应用元数据，通过匹配所述应用元数据的唯一标识，得到所述应用服务与数据服务的调用关系，包括：

34、获取所述应用元数据的父级标识和唯一标识，基于所述父级标识和所述唯一标识确定不同所述应用元数据的调用关系和时序关系；

35、基于不同所述应用元数据的调用关系和时序关系，通过数据库访问应用元数据的父级标识和唯一表示进行匹配，得到应用服务、数据服务和数据库表之间的调用关系。

36、相应地，本发明实施例的第二方面提供了一种基于应用元数据的数据服务调用链构建装置，包括：

37、应用元数据采集模块，其用于基于预设应用元数据模型通过埋点方法异步采集应用元数据；

38、数据解析模块，其用于基于所述应用元数据，通过dql对数据服务访问的数据库进行解析，得到数据库基本信息和数据结构，构建数据服务与数据库之间的调用关系；

39、调用链拼接模块，其用于基于所述应用元数据和数据库调用关系，进行调用链拼接，得到数据服务调用链。

40、相应地，本发明实施例的第三方面还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述基于应用元数据的数据服务调用链构建方法。

41、此外，本发明实施例的第四方面还提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述基于应用元数据的数据服务调用链构建方法。

42、本发明实施例的上述技术方案具有如下有益的技术效果：

43、通过运用应用元数据的建模方法，结合使用埋点数据采集、数据库访问语言解析等技术手段，基于不修改调用接口和响应返回文件流的最小代码调整基础上，构建出应用服务、数据服务、数据库表的调用链关系，进而实现对数据服务的监控和治理，并支撑复杂巨系统的运维保障。