一种大数据集成系统的制作方法

本发明涉及数据集成系统，更具体地说是指一种大数据集成系统。

背景技术：

1、大数据从业人员使用大数据平台的时候，会进行数据采集，根据业务系统所使用的数据库或接口协议，进行离线或实时的数据采集集成，数据集成后会进行其他etl（数据仓库技术，extract-transform-load）操作；现有技术的大数据平台数据服务系统更多是离线采集数据，且只支持数据源连接方式进行采集，这样导致的结果是如果有实时需求，则现在采集系统无法满足需求，并且现有技术更多是jdbc技术连接数据源，不支持restful或webservice协议进行数据采集。

2、综上所述，现有的系统的目前较多厂商的数据服务模块只能构建jdbc连接数据源，然后进行同步，协议模式单一；目前数据集成更多是离线数据集成，不支持实时数据集成，同步方式单一。

3、因此，有必要设计一种新系统，实现支持多种数据集成方式，支持多种同步方式。

技术实现思路

1、本发明的目的在于克服现有技术的缺陷，提供一种大数据集成系统。

2、为实现上述目的，本发明采用以下技术方案：一种大数据集成系统，包括：数据源管理单元、协议管理单元以及引擎单元；

3、所述数据源管理单元，用于利用协议对数据源进行增加、删除、查询和修改；

4、所述协议管理单元，用于管理内置的协议；

5、所述引擎单元，用于将所述协议相关的数据转为执行的逻辑，且启动数据集成任务；

6、所述协议包括restful协议、webservice协议、mq协议、jdbc协议，所述协议对应后端框架中映射的一种javabean类，所有协议的具体参数值统一存储在mysql数据库的协议表中；

7、所述引擎单元包括spring引擎、datax引擎以及flink引擎；

8、所述spring引擎，用于将restful协议和webservice协议进行转换并启动集成任务；

9、所述datax引擎，用于异构数据源离线同步；

10、所述flink引擎，用于数据分发以及并行化计算。

11、其进一步技术方案为：所述数据源管理单元，用于在前端界面通过组装json参数，形成json报文，restful协议将json报文传递给后端，后端使用springboot框架，持久层使用springdatajpa框架根据所述json报文对mysql中的数据源表中的数据源进行记录的增加、删除、查询和修改。

12、其进一步技术方案为：所述spring引擎包括显示层、控制层、业务层以及数据层；

13、所述控制层，用于处理用户发送的请求；

14、所述业务层，用于实现业务逻辑；

15、所述数据层，用于访问数据库以进行数据操作；

16、所述显示层，用于显示数据。

17、其进一步技术方案为：所述控制层，用于接收restful接口，使用函数注解引入业务接口，引入的业务接口交由springioc进行生命周期的管理。

18、其进一步技术方案为：所述业务层调用数据层或者控制层，返回数据对象do或者业务对象bo。

19、其进一步技术方案为：所述数据层，用于访问数据库进行数据的操作，以取得结果集，将结果集中的数据取出封装到vo类对象之后返回给业务层。

20、其进一步技术方案为：所述datax引擎，包括：数据采集模块、数据写入模块以及连接模块；

21、所述数据采集模块，用于采集数据源的数据，将数据发送给连接模块；

22、所述数据写入模块，用于向所述连接模块取数据，并将数据写入到目的端；

23、所述连接模块，用于连接数据采集模块以及数据写入模块，作为数据采集模块和数据写入模块的数据传输通道，并处理缓冲、流控、并发以及数据转换内容。

24、其进一步技术方案为：所述flink引擎包括：业务模块、任务执行模块以及任务管理模块；

25、所述业务模块，用于给终端提供向flink系统提交用户任务的功能；

26、所述任务执行模块，用于作为业务执行节点，执行具体的用户任务；

27、所述任务管理模块，用于作为管理节点，管理所有的所述任务执行模块，并决策用户任务在对应的任务执行模块中执行。

28、本发明与现有技术相比的有益效果是：本发明通过设置数据源管理单元、协议管理单元以及引擎单元，系统内置多种协议，包括restful协议、webservice协议、mq协议、jdbc协议，设置多种不同类型的引擎，对数据进行不同形式的处理，实现支持多种数据集成方式，支持多种同步方式。

29、下面结合附图和具体实施例对本发明作进一步描述。

技术特征：

1.一种大数据集成系统，其特征在于，包括：数据源管理单元、协议管理单元以及引擎单元；

2.根据权利要求1所述的一种大数据集成系统，其特征在于，所述数据源管理单元，用于在前端界面通过组装json参数，形成json报文，restful协议将json报文传递给后端，后端使用springboot框架，持久层使用springdatajpa框架根据所述json报文对mysql中的数据源表中的数据源进行记录的增加、删除、查询和修改。

3.根据权利要求2所述的一种大数据集成系统，其特征在于，所述spring引擎包括显示层、控制层、业务层以及数据层；

4.根据权利要求3所述的一种大数据集成系统，其特征在于，所述控制层，用于接收restful接口，使用函数注解引入业务接口，引入的业务接口交由springioc进行生命周期的管理。

5.根据权利要求4所述的一种大数据集成系统，其特征在于，所述业务层调用数据层或者控制层，返回数据对象do或者业务对象bo。

6.根据权利要求5所述的一种大数据集成系统，其特征在于，所述数据层，用于访问数据库进行数据的操作，以取得结果集，将结果集中的数据取出封装到vo类对象之后返回给业务层。

7.根据权利要求3所述的一种大数据集成系统，其特征在于，所述datax引擎，包括：数据采集模块、数据写入模块以及连接模块；

8.根据权利要求3所述的一种大数据集成系统，其特征在于，所述flink引擎包括：业务模块、任务执行模块以及任务管理模块；

技术总结
本发明实施例公开了一种大数据集成系统。所述方法包括：包括：数据源管理单元、协议管理单元以及引擎单元；所述数据源管理单元，用于利用协议对数据源进行增加、删除、查询和修改；所述协议管理单元，用于管理内置的协议；所述引擎单元，用于将所述协议相关的数据转为执行的逻辑，且启动数据集成任务。通过实施本发明实施例的系统可实现支持多种数据集成方式，支持多种同步方式。

技术研发人员：王伟伟,邓安明,何世甲,廖冰,张梁
受保护的技术使用者：杭州端点网络科技有限公司
技术研发日：
技术公布日：2024/1/13