一种用于大数据集成的全自动化方法及系统与流程

本发明涉及计算机领域，尤其涉及一种用于大数据集成的全自动化方法及系统。

背景技术：

1、目前同步数据需要手动维护源数据源和目标数据源，当源数据源增加表或字段后，需要再手动将新增的表和字段维护到同步过程中，费事费力，还容易出错。

技术实现思路

1、本发明的目的是提供一种用于大数据集成的全自动化方法及系统。

2、本发明所提供的用于大数据集成的全自动化方法，包括如下步骤：

3、s1用于获取源数据源的步骤；

4、s2用于将源数据源与目标数据源进行比对，并得出比对结果的步骤；

5、s3用于将源数据源同步至目标数据源的步骤。

6、优选的，所述s1用于获取源数据源的步骤，包括：

7、s11用于调用定时调库模块接口定时获取源数据源。

8、优选的，所述s2用于将源数据源与目标数据源进行比对，并得出比对结果的步骤，包括：

9、s21用于对源数据源进行扫描，并与目标数据源进行比对，并得出比对结果的步骤；

10、s22用于将比对结果发送至下游服务器的步骤；

11、s23用于从下游服务器获取反馈结果，执行下一步指令的步骤。

12、优选的，所述s23用于从下游服务器获取反馈结果，执行下一步指令的步骤，包括：

13、s231用于判断反馈结果，若反馈结果同意同步，则继续执行s3；若反馈结果不同意同步，则任务完成的步骤。

14、优选的，所述s3用于将源数据源同步至目标数据源的步骤，包括：s31若源数据源相比于目标数据源有新增表和字段信息，则将新增的表和字段同步到目标数据源中；

15、s32若源数据源相比于目标数据源有减少的表和字段信息，则将减少的表和字段在目标数据源中删除。

16、优选的，本发明所提供的用于大数据集成的全自动化方法，还包括监控系统的存活状况和异常状况的步骤。

17、优选的，本发明所提供的用于大数据集成的全自动化方法，还包括生成日志的步骤。

18、本发明所提供的用于大数据集成的全自动化系统，包括如下模块：

19、s1用于获取源数据源的模块；

20、s2用于将源数据源与目标数据源进行比对，并得出比对结果的模块；

21、s3用于将源数据源同步至目标数据源的模块。

22、优选的，所述s1用于获取源数据源的模块，包括：

23、s11用于调用定时调库模块接口定时获取源数据源的子模块。

24、优选的，所述s2用于将源数据源与目标数据源进行比对，并得出比对结果的模块，包括：

25、s21用于对源数据源进行扫描，并与目标数据源进行比对，并得出比对结果的子模块；

26、s22用于将比对结果发送至下游服务器的子模块；

27、s23用于从下游服务器获取反馈结果，执行下一步指令的子模块。

28、优选的，所述s23用于从下游服务器获取反馈结果，执行下一步指令的子模块，包括：

29、s231用于判断反馈结果，若反馈结果同意同步，则继续执行s3；若反馈结果不同意同步，则任务完成的单元。

30、优选的，所述s3用于将源数据源同步至目标数据源的模块，包括：s31若源数据源相比于目标数据源有新增表和字段信息，则将新增的表和字段同步到目标数据源中的子模块；

31、s32若源数据源相比于目标数据源有减少的表和字段信息，则将减少的表和字段在目标数据源中删除的子模块。

32、优选的，本发明所提供的用于大数据集成的全自动化系统，还包括监控系统的存活状况和异常状况的模块。

33、优选的，本发明所提供的用于大数据集成的全自动化系统，还包括生成日志的模块。

34、本发明所提供的用于大数据集成的全自动化方法，可自动发现源数据源新增的表和字段，并自动维护到同步过程中，大大节省了员工的开发时间，提高了开发效率。

技术特征：

1.一种用于大数据集成的全自动化方法，其特征在于，包括如下步骤：

2.如权利要求1所述的用于大数据集成的全自动化方法，其特征在于，所述s1用于获取源数据源的步骤，包括：

3.如权利要求2所述的用于大数据集成的全自动化方法，其特征在于，所述s2用于将源数据源与目标数据源进行比对，并得出比对结果的步骤，包括：

4.如权利要求3所述的用于大数据集成的全自动化方法，其特征在于，所述s23用于从下游服务器获取反馈结果，执行下一步指令的步骤，包括：

5.如权利要求4所述的用于大数据集成的全自动化方法，其特征在于，所述s3用于将源数据源同步至目标数据源的步骤，包括：

6.如权利要求5所述的用于大数据集成的全自动化方法，其特征在于，还包括监控系统的存活状况和异常状况的步骤。

7.如权利要求6所述的用于大数据集成的全自动化方法，其特征在于，还包括生成日志的步骤。

8.一种用于大数据集成的全自动化系统，其特征在于，包括如下模块：

9.如权利要求8所述的用于大数据集成的全自动化系统，其特征在于，所述s1用于获取源数据源的模块，包括：

10.如权利要求9所述的用于大数据集成的全自动化系统，其特征在于，所述s2用于将源数据源与目标数据源进行比对，并得出比对结果的模块，包括：

11.如权利要求10所述的用于大数据集成的全自动化系统，其特征在于，所述s23用于从下游服务器获取反馈结果，执行下一步指令的子模块，包括：

12.如权利要求11所述的用于大数据集成的全自动化系统，其特征在于，所述s3用于将源数据源同步至目标数据源的模块，包括：

13.如权利要求12所述的用于大数据集成的全自动化系统，其特征在于，还包括监控系统的存活状况和异常状况的模块。

14.如权利要求13所述的用于大数据集成的全自动化系统，其特征在于，还包括生成日志的模块。

技术总结
本发明公开了一种用于大数据集成的全自动化方法，其方法部分包括如下步骤：S1用于获取源数据源的步骤；S2用于将源数据源与目标数据源进行比对，并得出比对结果的步骤；S3用于将源数据源同步至目标数据源的步骤。本发明所公开的用于大数据集成的全自动化方法，可自动发现源数据源新增的表和字段，并自动维护到同步过程中，大大节省了员工的开发时间，提高了开发效率。

技术研发人员：金家芳,李忠龙,方志强
受保护的技术使用者：上海维信荟智金融科技有限公司
技术研发日：
技术公布日：2024/1/14