数据网关及基于数据网关的数据服务方法与流程

本申请涉及计算机，具体涉及一种数据网关及基于数据网关的数据服务方法。

背景技术：

1、大数据平台沉淀了许多数据表，对业务有着极大的信息价值，但由于存储在多种不同的介质，不同下游使用方对数据访问的方案和性能要求不同；缺少严格的数据权限管控和审计功能；开发工作相对复杂，以及下游对数据接口的需求多，导致数据接口开发的人力总成本高等因素，导致数据信息在大数据平台和下游业务方之间流动不畅。

技术实现思路

1、本申请实施例提供一种数据网关及基于数据网关的数据服务方法，可以提供统一的数据查询接口协议，以及适配不同的数据存储介质，提升了数据查询效率。

2、一方面，本申请实施例提供一种数据网关，所述数据网关包括：

3、协议层，用于提供统一的数据查询接口协议，以在接收到针对不同数据源的数据查询请求时，基于所述数据查询接口协议获得所述数据查询请求对应的sql查询语句；

4、sql解析器，用于对所述sql查询语句进行解析，以提取所述sql查询语句中的基础信息；

5、执行器，用于根据所述基础信息确定待访问的目标数据库，并生成所述目标数据库可执行的目标sql查询语句；

6、数据流连接器，用于对所述目标sql查询语句执行数据查询操作，以从所述目标数据库中得到数据查询结果，并将所述数据查询结果返回至所述执行器；

7、所述执行器还用于对所述数据查询结果进行统一化处理，以转化成通用数据格式的数据查询结果，并将所述通用数据格式的数据查询结果进行输出。

8、另一方面，本申请实施例提供一种基于数据网关的数据服务方法，

9、所述数据网关包括协议层、sql解析器、执行器和数据流连接器，所述方法包括：

10、在接收到针对不同数据源的数据查询请求时，基于所述协议层提供的统一的数据查询接口协议，获得所述数据查询请求对应的sql查询语句；

11、基于所述sql解析器对所述sql查询语句进行解析，以提取所述sql查询语句中的基础信息；

12、通过所述执行器根据所述基础信息确定待访问的目标数据库，并生成所述目标数据库可执行的目标sql查询语句；

13、基于所述数据流连接器对所述目标sql查询语句执行数据查询操作，以从所述目标数据库中得到数据查询结果，并将所述数据查询结果返回至所述执行器；

14、基于所述执行器对所述数据查询结果进行统一化处理，以转化成通用数据格式的数据查询结果，并将所述通用数据格式的数据查询结果进行输出。

15、本申请实施例提供的数据网关包括协议层、sql解析器、执行器和数据流连接器；协议层用于提供统一的数据查询接口协议，以在接收到针对不同数据源的数据查询请求时，基于数据查询接口协议获得数据查询请求对应的sql查询语句；sql解析器用于对sql查询语句进行解析，以提取sql查询语句中的基础信息；执行器用于根据基础信息确定待访问的目标数据库，并生成目标数据库可执行的目标sql查询语句；数据流连接器用于对目标sql查询语句执行数据查询操作，以从目标数据库中得到数据查询结果，并将数据查询结果返回至执行器；执行器还用于对数据查询结果进行统一化处理，以转化成通用数据格式的数据查询结果，并将通用数据格式的数据查询结果进行输出。本申请实施例可以提供统一的数据查询接口协议，以及适配不同的数据存储介质，提升了数据查询效率。

技术特征：

1.一种数据网关，其特征在于，所述数据网关包括：

2.如权利要求1所述的数据网关，其特征在于，所述执行器还用于对所述通用数据格式的数据查询结果进行自定义函数的逻辑处理，并将进行自定义函数的逻辑处理后的数据查询结果进行输出。

3.如权利要求1所述的数据网关，其特征在于，所述执行器用于生成所述目标数据库可执行的目标sql查询语句，包括：根据所述基础信息对所述sql查询语句进行sql语法适配重写，以生成所述目标数据库可执行的目标sql查询语句。

4.如权利要求1所述的数据网关，其特征在于，所述数据流连接器包括多种数据库连接器，各个数据库连接器适配不同的数据库；

5.如权利要求4所述的数据网关，其特征在于，若所述目标数据库连接器包括多个目标数据库连接器，则对应的所述目标数据库包括多个目标数据库；

6.如权利要求1所述的数据网关，其特征在于，所述数据网关还包括鉴权模块，用于根据所述基础信息对所述数据查询请求对应的对象身份进行鉴权验证，以输出鉴权信息；

7.如权利要求1所述的数据网关，其特征在于，所述数据网关还包括限频模块，用于根据所述基础信息对所述数据查询请求进行不同粒度的频率限制。

8.如权利要求1所述的数据网关，其特征在于，所述数据网关还包括日志模块，用于根据所述基础信息对所述数据查询请求进行记录。

9.如权利要求1所述的数据网关，其特征在于，所述数据网关还包括监控模块，用于根据所述基础信息对所述数据查询请求监控，在监控到所述数据查询请求为异常访问时，生成异常访问告警信息。

10.一种基于数据网关的数据服务方法，其特征在于，所述数据网关包括协议层、sql解析器、执行器和数据流连接器，所述方法包括：

技术总结
本申请公开一种数据网关及基于数据网关的数据服务方法，数据网关包括：协议层，用于提供统一的数据查询接口协议，以在接收到针对不同数据源的数据查询请求时，基于数据查询接口协议获得数据查询请求对应的SQL查询语句；SQL解析器，用于对SQL查询语句进行解析，以提取SQL查询语句中的基础信息；执行器，用于根据基础信息确定待访问的目标数据库，并生成目标数据库可执行的目标SQL查询语句；数据流连接器，用于对目标SQL查询语句执行数据查询操作，以从目标数据库中得到数据查询结果，并将数据查询结果返回至执行器；执行器还用于对数据查询结果进行统一化处理，以转化成通用数据格式的数据查询结果，并将通用数据格式的数据查询结果进行输出。

技术研发人员：陈津桥,青焓,彭小勇,陈睿
受保护的技术使用者：富途网络科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/13