综合数据处理方法及系统与流程

本发明涉及软件开发，尤其涉及一种综合数据处理方法及系统。

背景技术：

1、在现代企业环境中，高效的项目管理是成功的关键因素之一。为了有效跟踪员工的工作时间与项目进度，企业普遍依赖内部管理工具。传统的软件开发方法，如手动编码，不仅耗时长，成本高，还可能拖延项目进度。这种方法通常需要开发人员花费数周甚至数月的时间来编写大量代码并进行测试。

2、目前存在一些低代码开发的数据处理方法以解决手动编码效率低的问题，但在某些情况下，使用低代码的数据处理方法可能会导致性能问题或限制应用程序的功能，应用范围较窄，通用性较差。

技术实现思路

1、本发明提供一种综合数据处理方法及系统，用以解决现有技术中使用低代码的数据处理方法可能会导致性能问题或限制应用程序的功能，应用范围较窄，通用性较差的缺陷，实现有效地从多样化的数据源中获取、处理和分发数据，支持各种数据分析和业务流程的需求。这种方法的应用有助于提高数据处理的灵活性、通用性和效率，同时提升数据分析、处理、分发的可靠性或精确性。

2、本发明提供一种综合数据处理方法，该综合数据处理方法包括：确定目标数据的数据源约束信息；基于所述数据源约束信息，获取所述目标数据；对所述目标数据进行数仓分层处理，得到待分发数据；基于目标系统期望信息，确定目标接口，并基于所述目标接口分发所述待分发数据。

3、根据本发明提供的一种综合数据处理方法，所述基于所述数据源约束信息，获取所述目标数据，包括：在所述数据源约束信息具有数据库连接信息，但缺失标准接口信息的情况下，基于hadoop生态圈中的sqoop组件，获取所述目标数据。

4、根据本发明提供的一种综合数据处理方法，所述基于所述数据源约束信息，获取所述目标数据，包括：在所述数据源约束信息具有标准接口信息的情况下，基于jar文件格式获取所述目标数据。

5、根据本发明提供的一种综合数据处理方法，所述基于所述数据源约束信息，获取所述目标数据，包括：在所述数据源约束信息既缺失数据库连接信息，又缺失标准接口信息的情况下，基于备选接口获取所述目标数据。

6、根据本发明提供的一种综合数据处理方法，所述基于所述数据源约束信息，获取所述目标数据，包括：在所述数据源约束信息为用户离线上传模式的情况下，间隔目标周期获取所述目标数据。

7、根据本发明提供的一种综合数据处理方法，所述对所述目标数据进行数仓分层处理，得到待分发数据，包括：基于hive数仓的ods层、dwd层、dws层和ads层对所述目标数据进行数仓分层处理，得到所述待分发数据。

8、根据本发明提供的一种综合数据处理方法，所述基于目标系统期望信息，确定目标接口，并基于所述目标接口分发所述待分发数据，包括：在所述目标系统期望信息包括内网标记的情况下，基于kong服务器向内网系统分发所述待分发数据；在所述目标系统期望信息包括外网标记的情况下，基于api gee向外网系统分发所述待分发数据。

9、本发明还提供一种综合数据处理系统，该综合数据处理系统包括：确定模块，用于确定目标数据的数据源约束信息；获取模块，用于基于所述数据源约束信息，获取所述目标数据；处理模块，用于对所述目标数据进行数仓分层处理，得到待分发数据；分发模块，用于基于目标系统期望信息，确定目标接口，并基于所述目标接口分发所述待分发数据。

10、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述综合数据处理方法的步骤。

11、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述综合数据处理方法的步骤。

12、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述综合数据处理方法的步骤。

13、本发明提供的综合数据处理方法及系统，可以有效地从多样化的数据源中获取、处理和分发数据，支持各种数据分析和业务流程的需求。这种方法的应用有助于提高数据处理的灵活性、通用性和效率，同时提升数据分析、处理、分发的可靠性或精确性。

技术特征：

1.一种综合数据处理方法，其特征在于，包括：

2.根据权利要求1所述的综合数据处理方法，其特征在于，所述基于所述数据源约束信息，获取所述目标数据，包括：

3.根据权利要求1所述的综合数据处理方法，其特征在于，所述基于所述数据源约束信息，获取所述目标数据，包括：

4.根据权利要求1所述的综合数据处理方法，其特征在于，所述基于所述数据源约束信息，获取所述目标数据，包括：

5.根据权利要求1所述的综合数据处理方法，其特征在于，所述基于所述数据源约束信息，获取所述目标数据，包括：

6.根据权利要求1至5中任一项所述的综合数据处理方法，其特征在于，所述对所述目标数据进行数仓分层处理，得到待分发数据，包括：

7.根据权利要求1至5中任一项所述的综合数据处理方法，其特征在于，所述基于目标系统期望信息，确定目标接口，并基于所述目标接口分发所述待分发数据，包括：

8.一种综合数据处理系统，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述综合数据处理方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述综合数据处理方法的步骤。

技术总结
本发明涉及软件开发技术领域，本发明提供一种综合数据处理方法及系统，该综合数据处理方法包括：确定目标数据的数据源约束信息；基于所述数据源约束信息，获取所述目标数据；对所述目标数据进行数仓分层处理，得到待分发数据；基于目标系统期望信息，确定目标接口，并基于所述目标接口分发所述待分发数据。本发明提供的综合数据处理方法及系统，可以有效地从多样化的数据源中获取、处理和分发数据，支持各种数据分析和业务流程的需求。这种方法的应用有助于提高数据处理的灵活性、通用性和效率，同时提升数据分析、处理、分发的可靠性或精确性。

技术研发人员：周强,张小波
受保护的技术使用者：凌动智硕（武汉）信息科技有限公司
技术研发日：
技术公布日：2024/6/11