基于多数据源的数据处理方法、装置、电子设备及介质与流程

本申请属于数据处理，尤其涉及一种基于多数据源的数据处理方法、装置、电子设备及介质。

背景技术：

1、目前企业各大业务系统初期以烟囱式建设，数据源多种多样，各业务系统间数据关联无法统一，在统计过程中出现了各种数据质量问题。目前传统的数据处理方式最大的问题是不能将分散的数据有效的整合起来，只能处理一个环境下的数据，不能与其他数据中心联系起来使用。例如，在存在多个数据源的情况下，由于数据源中存储的数据格式多种多样，在从数据源中获取数据时，只能对每个数据源进行针对性处理，得到查询数据，导致数据获取效率较低。

技术实现思路

1、本申请实施例提供一种基于多数据源的数据处理方法、装置、电子设备及介质，能够采用统一的方式从多个数据源中获取数据，数据获取效率高。

2、第一方面，本申请实施例提供一种基于多数据源的数据处理方法，方法包括：

3、获取多个数据源的元数据信息；

4、根据每个所述数据源的元数据信息，对每个所述数据源中数据表的字段进行标注，得到每个所述数据源对应的配置信息，所述配置信息包括为数据源中的数据表标注的维度，以及标注的指标，其中，多个数据源中相同维度的字段标注为相同的维度编码，不同维度的字段标注为不同的维度编码；

5、接收用户输入的查询信息，所述查询信息包括m个维度和n个指标，m、n均为正整数；

6、根据所述查询信息和每个所述数据源对应的配置信息，生成i个查询语句，i为正整数；

7、利用i个所述查询语句对多个所述数据源进行查询，得到查询结果。

8、第二方面，本申请实施例提供了一种基于多数据源的数据处理装置，装置包括：

9、获取模块，用于获取多个数据源的元数据信息；

10、标注模块，用于根据每个所述数据源的元数据信息，对每个所述数据源中数据表的字段进行标注，得到每个所述数据源对应的配置信息，所述配置信息包括为数据源中的数据表标注的维度，以及标注的指标，其中，多个数据源中相同维度的字段标注为相同的维度编码，不同维度的字段标注为不同的维度编码；

11、接收模块，用于接收用户输入的查询信息，所述查询信息包括m个维度和n个指标，m、n均为正整数；

12、生成模块，用于根据所述查询信息和每个所述数据源对应的配置信息，生成i个查询语句，i为正整数；

13、查询模块，用于利用i个所述查询语句对多个所述数据源进行查询，得到查询结果。

14、第三方面，本申请实施例提供了一种电子设备，设备包括：处理器以及存储有计算机程序指令的存储器；

15、所述处理器执行所述计算机程序指令时实现如第一方面所述的方法。

16、第四方面，本申请实施例提供了一种计算机存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面所述的方法。

17、第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如第一方面所述的方法。

18、本申请实施例的基于多数据源的数据处理方法、装置、电子设备及介质，对多个数据源中的数据表的字段进行标注，以统一不同数据源中相同业务含义的字段的维度编码，便于对不同数据源采用统一的方式查询数据，提高数据获取效率。

技术特征：

1.一种基于多数据源的数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述查询信息和每个所述数据源对应的配置信息，生成i个查询语句包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述查询信息和每个所述数据源对应的配置信息，生成i个查询语句包括：

4.根据权利要求2或3所述的方法，其特征在于，所述根据v个所述数据表的表名，生成i个查询语句，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，在所述内存中对l个所述数据源返回的查询结果进行数据拼装，得到目标数据表，包括：

7.根据权利要求5所述的方法，其特征在于，在所述内存中对l个所述数据源返回的查询结果进行数据拼装，得到目标数据表，包括：

8.一种基于多数据源的数据处理装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7中任意一项所述的方法。

技术总结
本申请公开了一种基于多数据源的数据处理方法、装置、电子设备及介质，其中，所述方法包括：获取多个数据源的元数据信息；根据每个数据源的元数据信息，对每个数据源中数据表的字段进行标注，得到每个数据源对应的配置信息，配置信息包括为数据源中的数据表标注的维度，以及标注的指标，其中，多个数据源中相同维度的字段标注为相同的维度编码，不同维度的字段标注为不同的维度编码；接收用户输入的查询信息，查询信息包括M个维度和N个指标，M、N均为正整数；根据查询信息和每个数据源对应的配置信息，生成I个查询语句，I为正整数；利用I个查询语句对多个数据源进行查询，得到查询结果。

技术研发人员：权雪菲
受保护的技术使用者：中国移动通信集团辽宁有限公司
技术研发日：
技术公布日：2024/10/21