数据接入方法、电子设备及计算机可读存储介质与流程

本申请涉及数据处理，特别是涉及数据接入方法、电子设备及计算机可读存储介质。

背景技术：

1、随着大数据技术的快速发展，通过接入不同产品的数据，以对各种数据进行大数据分析，是大数据技术的一项重要内容。

2、现有技术中，通常是基于配置文件获取数据接入阶段需要的上游数据源信息、数据接入对象信息、数据接入指标信息，进而基于配置的信息进行转换生成标准的数据接入任务。

3、然而，上述方法中的配置文件强依赖上游数据接入产品，一套配置文件只能适用于同一上游接入源(物理模型)，不能兼容其余版本的物理模型，一旦上游物理模型更新，就需要用户对配置文件进行更新维护，导致配置文件的维护成本增大，从而降低了数据接入的效率，无法很好地满足实际业务场景的数据接入需求。

技术实现思路

1、本申请主要解决的技术问题是提供数据接入方法、电子设备及计算机可读存储介质，能够解决现有技术中无法利用配置文件高效接入数据的问题。

2、为解决上述技术问题，本申请采用的第一技术方案是提供一种数据接入方法，包括：通过配置界面提供的配置文件获取到多个源表字段对应的多个第一元信息、多个目标表字段对应的多个第二元信息以及多个配置映射信息；其中，配置映射信息包括预设源表字段与预设目标表字段之间的预设映射公式；基于多个第一元信息与多个第二元信息对多个配置映射信息进行检测，并基于检测结果为每个目标表字段生成对应的实际映射信息；其中，实际映射信息为对应的配置映射信息中的预设映射公式或映射为空；根据每个目标表字段对应的实际映射信息将源表字段的数据接入到目标表字段中。

3、其中，基于多个第一元信息与多个第二元信息对多个配置映射信息进行检测，并基于检测结果为每个目标表字段生成对应的实际映射信息的步骤，包括：将每个目标表字段对应的第二元信息与多个配置映射信息中对应的预设目标表字段的元信息进行匹配，以确定多个配置映射信息中是否存在与每个目标表字段对应的配置映射信息；响应于目标表字段存在对应的配置映射信息，将对应的配置映射信息中预设源表字段的元信息与多个第一元信息进行匹配，并基于对应的匹配结果将目标表字段对应的实际映射信息设置为配置映射信息中的预设映射公式或映射为空；响应于目标表字段不存在对应的配置映射信息，将目标表字段对应的实际映射信息设置为空。

4、其中，将每个目标表字段对应的第二元信息与多个配置映射信息中对应的预设目标表字段的元信息进行匹配，以确定多个配置映射信息中是否存在与每个目标表字段对应的配置映射信息的步骤，包括：响应于某一配置映射信息中存在与第二元信息匹配的预设目标表字段的元信息，确定目标表字段存在对应的配置映射信息；响应于任一配置映射信息中均不存在与第二元信息匹配的预设目标表字段的元信息，确定目标表字段不存在配置映射信息。

5、其中，响应于目标表字段存在对应的配置映射信息，将对应的配置映射信息中预设源表字段的元信息与多个第一元信息进行匹配，并基于对应的匹配结果将目标表字段对应的实际映射信息设置为配置映射信息中的预设映射公式或映射为空的步骤，包括：响应于多个第一元信息中存在与对应的配置映射信息中预设源表字段的元信息匹配的第一元信息，将目标表字段对应的实际映射信息设置为对应的配置映射信息中的预设映射公式；响应于多个第一元信息中不存在与对应的配置映射信息中预设源表字段的元信息匹配的第一元信息，将目标表字段对应的实际映射信息设置为空。

6、其中，基于多个第一元信息与多个第二元信息对多个配置映射信息进行检测，并基于检测结果为每个目标表字段生成对应的实际映射信息的步骤，还包括：响应于多个第二元信息中不存在与配置映射信息中预设源表字段的元信息匹配的第二元信息，删除配置映射信息。

7、其中，根据每个目标表字段对应的实际映射信息将源表字段的数据接入到目标表字段中的步骤，包括：响应于目标表字段对应的实际映射信息为对应的配置映射信息中的预设映射公式，按照预设映射公式对匹配的第一元信息进行计算，并将计算结果接入到目标表字段中；响应于目标表字段对应的实际映射信息为映射为空，将目标表字段设置为空值。

8、其中，通过配置界面提供的配置文件获取到多个源表字段对应的多个第一元信息、多个目标表字段对应的多个第二元信息以及多个配置映射信息的步骤，包括：通过配置界面获取到配置文件；对配置文件进行解析，得到配置参数；其中，配置参数包括源数据库、目标数据库与多个配置映射信息；从源数据库与目标数据库中获取到源表字段对应的多个第一元信息以及目标表字段对应的多个第二元信息。

9、其中，源数据库与目标数据库包括多种类型的数据库；从源数据库与目标数据库中获取到源表字段对应的多个第一元信息以及目标表字段对应的多个第二元信息的步骤，包括：分别获取到源数据库与目标数据库对应的数据库类型；基于不同的数据库类型从字段获取函数中调用对应的操作指令，并根据操作指令获取到对应的数据库接口；其中，字段获取函数中包括多个操作指令，每个操作指令提供一个数据库接口；利用对应的数据库接口从源数据库与目标数据库中获取到源表字段对应的多个第一元信息以及目标表字段对应的多个第二元信息。

10、为解决上述技术问题，本申请采用的第二技术方案是提供一种电子设备，包括：存储器，用于存储程序数据，程序数据被执行时实现如上述的数据接入方法中的步骤；处理器，用于执行存储器存储的程序数据以实现如上述的数据接入方法中的步骤。

11、为解决上述技术问题，本申请采用的第三技术方案是提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的数据接入方法中的步骤。

12、本申请的有益效果是：区别于现有技术，本申请提供数据接入方法、电子设备及计算机可读存储介质，通过配置文件获取到源表字段对应的第一元信息、目标表字段对应的第二元信息以及配置映射信息，以及基于第一元信息、第二元信息对配置映射信息进行检测，并基于检测结果为每个目标表字段生成对应的实际映射信息，能够利用从上游数据接入端和下游目标端获取的元信息对配置文件中提供的配置映射信息进行校验以及补充，以使同一配置文件可以适配不同版本的物理模型，从而降低了配置文件的维护成本，继而提高了数据接入的效率。通过上述方法，本申请提高了配置文件对多个物理模型的兼容性，能够最大限度地满足实际业务场景的数据接入需求。

技术特征：

1.一种数据接入方法，其特征在于，包括：

2.根据权利要求1所述的数据接入方法，其特征在于，

3.根据权利要求2所述的数据接入方法，其特征在于，

4.根据权利要求3所述的数据接入方法，其特征在于，

5.根据权利要求4所述的数据接入方法，其特征在于，

6.根据权利要求5所述的数据接入方法，其特征在于，

7.根据权利要求1所述的数据接入方法，其特征在于，

8.根据权利要求7所述的数据接入方法，其特征在于，

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～8任一项所述的数据接入方法中的步骤。

技术总结
本申请公开了数据接入方法、电子设备及计算机可读存储介质，包括：通过配置界面提供的配置文件获取到多个源表字段对应的多个第一元信息、多个目标表字段对应的多个第二元信息以及多个配置映射信息；配置映射信息包括预设源表字段与预设目标表字段之间的预设映射公式；基于多个第一元信息与多个第二元信息对多个配置映射信息进行检测，并基于检测结果为每个目标表字段生成对应的实际映射信息；实际映射信息为对应的配置映射信息中的预设映射公式或映射为空；根据每个目标表字段对应的实际映射信息将源表字段的数据接入到目标表字段中。本申请能够提高配置文件对多个物理模型的兼容性，从而最大限度地满足实际业务场景的数据接入需求。

技术研发人员：俞择,陈立力,周明伟,王龙
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：
技术公布日：2024/1/15