本发明涉及数据管理,尤其涉及一种数据管理方法、系统、设备及存储介质。
背景技术:
1、由于企业的数据散落在各个子系统中,各个子系统使用的数据存储在不同的数据库中,需要从多个不同种类型的数据库查找到与查询需求对应的数据。
2、目前,传统的从数据库中进行数据查询管理的方法,需要采用不同的结构化查询语句(structured query language,sql),从每个sql语句对应的数据库中查找到与查询需求所匹配的数据,整体查询管理过程复杂,程序接口过多,系统集成困难,每查询一种数据库就需要更换一种查询语句,操作繁琐,查询效率低下;若将多个数据库中存储的数据以统一的格式存储至一个数据库中,以便于基于同一个查询语句进行查找管理,则需要采用特定的提取、转换与加载工具,在工具的加工处理过程中,数据链路周期变长,还需要对数据进行分层处理,对多种数据库所对应的sql函数学习和调优,流程复杂且增加了多种工作成本。
技术实现思路
1、本发明提供了一种数据管理方法、系统、设备及存储介质,解决了不同数据库对应的查询语言存在差异化的问题,能够及时进行数据的查询分析与管理,无需利用特定工具对多源数据库进行格式统一建设,降低工作成本。
2、第一方面,本公开实施例提供了一种数据管理方法,应用于数据管理系统,所述数据管理系统包括若干协调节点及若干工作节点,且所述数据管理系统与至少一个数据库连接,包括:
3、通过所述协调节点,接收前端所发送数据查询请求,并确定所述数据查询请求对应的结构化查询语句sql;
4、通过所述协调节点,对所述结构化查询语句sql进行语句分析与任务划分,形成至少一个子查询语句并确定所述子查询语句对应的目标数据库,将所述子查询语句下发至所述工作节点;
5、通过所述工作节点,根据所述子查询语句从所述目标数据库中进行数据查找,确定每个所述子查询语句对应的查询结果;
6、通过所述工作节点,将所述查询结果回传至所述协调节点进行汇总,在所述协调节点形成目标查询结果并将所述目标查询结果反馈至所述前端。
7、第二方面,本公开实施例提供了一种数据管理系统,包括若干协调节点及若干工作节点,所述数据管理系统与至少一个数据库连接;
8、所述协调节点,用于接收前端所发送数据查询请求,并确定所述数据查询请求对应的结构化查询语句sql,对所述结构化查询语句sql进行语句分析与任务划分,形成至少一个子查询语句并确定所述子查询语句对应的目标数据库,将所述子查询语句下发至所述工作节点,接收并汇总所述工作节点回传的查询结果,形成目标查询结果并将所述目标查询结果反馈至所述前端;
9、所述工作节点,用于根据所述子查询语句从所述目标数据库中进行数据查找,确定每个所述子查询语句对应的查询结果,将所述查询结果回传至所述协调节点。
10、第三方面,本公开实施例提供了一种电子设备,包括:
11、至少一个处理器;以及
12、与至少一个处理器通信连接的存储器;其中,
13、存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行上述第一方面实施例提供的一种数据管理方法。
14、第四方面,本公开实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现上述第一方面实施例提供的一种数据管理方法。
15、本发明实施例的一种数据管理方法、系统、设备及存储介质,通过所述协调节点,接收前端所发送数据查询请求,并确定所述数据查询请求对应的结构化查询语句sql;通过所述协调节点,对所述结构化查询语句sql进行语句分析与任务划分,形成至少一个子查询语句并确定所述子查询语句对应的目标数据库,将所述子查询语句下发至所述工作节点;通过所述工作节点,根据所述子查询语句从所述目标数据库中进行数据查找,确定每个所述子查询语句对应的查询结果;通过所述工作节点,将所述查询结果回传至所述协调节点进行汇总,形成目标查询结果并将所述目标查询结果反馈至所述前端。上述技术方案,采用统一的结构化查询语句sql,解决了不同数据库对应的查询语言存在差异化的问题,能够及时进行数据的查询分析与管理,无需利用特定工具对多源数据库进行格式统一建设,降低工作成本。
16、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种数据管理方法,其特征在于,应用于数据管理系统,所述数据管理系统包括若干协调节点及若干工作节点,且所述数据管理系统与至少一个数据库连接,包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述结构化查询语句sql进行语句分析与任务划分,形成至少一个子查询语句并确定所述子查询语句对应的目标数据库,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述子查询语句从所述目标数据库中进行数据查找,确定每个所述子查询语句对应的查询结果,包括:
4.根据权利要求1所述的方法,其特征在于,还包括:
5.根据权利要求4所述的方法,其特征在于,还包括:
6.根据权利要求1所述的方法,其特征在于,还包括:
7.根据权利要求6所述的方法,其特征在于,还包括:
8.一种数据管理系统,其特征在于,包括若干协调节点及若干工作节点,所述数据管理系统与至少一个数据库连接;
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的一种数据管理方法。