一种基于数据湖的数据访问方法与流程

本发明涉及数据访问，具体为一种基于数据湖的数据访问方法。

背景技术：

1、数据湖是指使用大型二进制对象或者文件格式来存储数据的系统，被用于统一存储数据，既包括原系统中的原始副本，也包括转换后的数据，数据湖由于具有汇聚不同类型的数据、架构可扩展，以及能够提供实时分析等优点，因此，被越来越多地应用到各种领域中，例如，物流领域、制造领域、项目经营、企业管理等。

2、但是由于数据湖内存在着多种异构数据，其在访问其他数据库时存在着访存接口不统一的状况，管理系统中的计算引擎通过预先配置的与待访问的数据源相匹配的访问接口，向待访问数据源发送数据访问请求，进而，待访问的数据源接收到数据访问请求并向计算引擎反馈数据访问请求对应的响应结果，访问接口的开发数量比较大，构建过程繁琐，加大了数据湖的开发难度，因此提出一种基于数据湖的数据访问方法。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于数据湖的数据访问方法，解决了数据湖内存在着多种异构数据，其在访问其他数据库时存在着访存接口不统一的状况，管理系统中的计算引擎通过预先配置的与待访问的数据源相匹配的访问接口，向待访问数据源发送数据访问请求，进而，待访问的数据源接收到数据访问请求并向计算引擎反馈数据访问请求对应的响应结果，访问接口的开发数量比较大，构建过程繁琐，加大了数据湖的开发难度的问题。

3、(二)技术方案

4、为实现上述目的，本发明提供如下技术方案：

5、一种基于数据湖的数据访问方法，包括以下步骤：

6、s1：数据湖划分，将数据湖划分用于存储监测数据的模拟数据池，用于存储执行应用时产生的临时数据的应用数据池，数据湖中包括多个计算引擎、多个数据源、虚拟引擎装置；

7、s2：计算引擎，数据湖的虚拟引擎装置设置有与每个计算引擎相匹配的第一类访问接口，以及与每个数据源相匹配的第二类访问接口，计算引擎通过与自身相匹配的第一类访问接口，向所述虚拟引擎装置发送数据访问请求和待访问的数据源的标识信息，并接收所述虚拟引擎装置反馈的与所述数据访问请求对应的响应结果；

8、s3：接收请求，虚拟引擎装置在接收到所述数据访问请求和所述标识信息后，基于目标访问接口，向具有所述标识信息的数据源发送所述数据访问请求；以及，将具有所述标识信息的数据源反馈的响应结果，反馈至发出所述数据访问请求的计算引擎；分类程序对数据湖提出的访问请求作出判断归属操作，然后通过该归属所属的数据单元将访问请求转换为规定格式的数据请求脚本；

9、s4：结果反馈，当数据源接收到所述数据访问请求时，确定所述数据访问请求对应的响应结果，并将所确定的响应结果反馈给所述虚拟引擎装置；

10、s5：请求信息分析，数据单元将转换后的数据请求脚本发送给待访问数据库，待访问数据库在接收到数据请求脚本后对数据请求脚本的请求信息进行分析，并根据数据请求脚本的请求信息在待访问数据库内搜索相应的需求数据；

11、s6：数据传输，待访问数据库将需求数据传输到发送数据请求脚本的数据单元中，数据单元将该需求数据传输给提出访问请求的数据湖。

12、作为本发明再进一步的方案，所述s2中包括获取模块，获取数据湖中的第一类访问接口进行访问操作。

13、进一步的，所述s3中所述目标访问接口为与具有所述标识信息的数据源相匹配的第二类访问接口。

14、在前述方案的基础上，所述s3中分类程序判断访问请求的归属即判断该访问请求是由模拟数据池、应用数据池、对象数据池、文档数据池中的哪一个提出的。

15、进一步的，所述s3中数据单元包括模拟数据单元、应用数据单元、对象数据单元、文档数据单元，模拟数据池提出的访问请求由模拟数据单元转换为规定格式的数据请求脚本；应用数据池提出的访问请求由应用数据单元转换为规定格式的数据请求脚本；对象数据池提出的访问请求由对象数据单元转换为规定格式的数据请求脚本；文档数据池提出的访问请求由文档数据单元转换为规定格式的数据请求脚本。

16、在前述方案的基础上，所述s4中包括储存模块，储存模块分别存储数据湖的元数据，采用不同的存储模式存储的元数据之间，具有至少一种相同的信息。

17、(三)有益效果

18、与现有技术相比，本发明提供了一种基于数据湖的数据访问方法，具备以下有益效果：

19、1、本发明中，每个计算引擎可以利用虚拟引擎装置上所设置的与自身相匹配的第一类访问接口，以及与待访问的数据源相匹配的第二类访问接口，对待访问的数据源进行数据访问。

20、2、本发明中，无需为每个计算引擎开发与每个数据源相匹配的访问接口，从而，极大地减少了访问接口的开发数量，降低了构建过程的繁琐程度。

21、3、本发明中，可以通过各个数据池所属的数据单元来对该数据池提出的访问请求作出转换，进行分析的数据请求脚本，讲数据再通过数据单元传输回各个数据池中，解决了访问其他数据库时存在着访存接口不统一的问题。

技术特征：

1.一种基于数据湖的数据访问方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于数据湖的数据访问方法，其特征在于，所述s2中包括获取模块，获取数据湖中的第一类访问接口进行访问操作。

3.根据权利要求1所述的一种基于数据湖的数据访问方法，其特征在于，所述s3中所述目标访问接口为与具有所述标识信息的数据源相匹配的第二类访问接口。

4.根据权利要求1所述的一种基于数据湖的数据访问方法，其特征在于，所述s3中分类程序判断访问请求的归属即判断该访问请求是由模拟数据池、应用数据池、对象数据池、文档数据池中的哪一个提出的。

5.根据权利要求4所述的一种基于数据湖的数据访问方法，其特征在于，所述s3中数据单元包括模拟数据单元、应用数据单元、对象数据单元、文档数据单元，模拟数据池提出的访问请求由模拟数据单元转换为规定格式的数据请求脚本；应用数据池提出的访问请求由应用数据单元转换为规定格式的数据请求脚本；对象数据池提出的访问请求由对象数据单元转换为规定格式的数据请求脚本；文档数据池提出的访问请求由文档数据单元转换为规定格式的数据请求脚本。

6.根据权利要求1所述的一种基于数据湖的数据访问方法，其特征在于，所述s4中包括储存模块，储存模块分别存储数据湖的元数据，采用不同的存储模式存储的元数据之间，具有至少一种相同的信息。

技术总结
本发明涉及数据访问技术领域，且公开了一种基于数据湖的数据访问方法，包括以下步骤：S1：数据湖划分，将数据湖划分用于存储监测数据的模拟数据池，用于存储执行应用时产生的临时数据的应用数据池，数据湖中包括多个计算引擎、多个数据源、虚拟引擎装置；S2：计算引擎，数据湖的虚拟引擎装置设置有与每个计算引擎相匹配的第一类访问接口，以及与每个数据源相匹配的第二类访问接口；S3：接收请求；S4：结果反馈。本发明无需为每个计算引擎开发与每个数据源相匹配的访问接口，从而，极大地减少了访问接口的开发数量，降低了构建过程的繁琐程度，解决了访问其他数据库时存在着访存接口不统一的问题。

技术研发人员：李伟,孙希奎,徐加利,杨林,王卜堂,王磊,付永杰,李建阳,张冬冬,山耀宾,王斌
受保护的技术使用者：山东能源集团有限公司
技术研发日：
技术公布日：2024/1/15