一种基于插件式架构的数据集成系统及方法与流程

本发明涉及数据集成领域，尤其涉及一种基于插件式架构的数据集成系统及方法。

背景技术：

1、数据集成是在企业数据管理中的一个关键步骤。它涉及将来自多个异构数据源的数据集成在一起，以便进行统一的数据分析和处理。在当前的数据集成环境中，数据源的多样性和动态性是一大挑战。数据源的多样性主要体现在数据类型、数据格式、数据结构以及数据质量等方面。这就要求数据集成技术必须具有处理各种类型数据的能力，而这往往会导致数据集成规则的复杂性大大提高。同时，数据源的动态性也给数据集成带来了困难。在实际的数据环境中，数据源可能会随着业务需求的变化而不断地增加或者删除，数据源的结构和格式也可能会随着时间的推移而发生变化。这就要求数据集成技术必须具有很高的灵活性和适应性，能够快速地响应数据源的变化。

2、然而，现有的数据集成技术往往无法很好地处理数据源的多样性和动态性。在数据集成的过程中，需要定义一系列的集成规则来处理不同的数据源。当数据源发生变化时，比如新增一个数据源，或者原有数据源的结构或格式发生变化时，都需要重新定义或者修改这些集成规则。这无疑增加了数据集成的工作量，降低了数据集成的效率，同时也增加了数据集成的复杂性。

技术实现思路

1、本发明所要解决的是现有的数据集成技术往往无法很好地处理数据源的多样性和动态性，增加了数据集成的工作量，降低了数据集成的效率，同时也增加了数据集成的复杂性的问题，为了解决上述技术问题，本发明提供了一种基于插件式架构的数据集成系统及方法。

2、第一个方面，提供了一种基于插件式架构的数据集成系统，包括：至少一种数据源插件、至少一种数据处理插件、至少一种数据目标插件和插件管理器，每种类型的数据源对应一种数据源插件，每种类型的数据处理任务对应一种数据处理插件，每种类型的数据目标对应一种数据目标插件，其中：

3、每种所述数据源插件用于连接对应类型的数据源，并从连接的数据源读取数据，每种所述数据处理插件用于对所述数据源插件读取的数据执行对应类型的数据处理任务，每种所述数据目标插件用于将所述数据处理插件处理后的数据存储到目标位置，所述插件管理器用于获取用户指令，根据所述用户指令对每种所述数据源插件、每种所述数据处理插件和每种所述数据目标插件进行管理。

4、在第一个方面的一种可能实现中，所述插件管理器具体用于获取加载指令，根据所述加载指令确定用户需要读取的数据源类型、数据处理任务类型和数据目标类型，根据所述数据源类型选择对应的数据源插件，根据所述数据处理任务类型选择对应的数据处理插件，根据所述数据目标类型选择对应的数据目标插件，加载选择的数据源插件、数据处理插件和数据目标插件。

5、在第一个方面的一种可能实现中，所述插件管理器还用于获取卸载指令，根据所述卸载指令对加载的数据源插件、数据处理插件和数据目标插件中的至少一个进行卸载。

6、在第一个方面的一种可能实现中，所述插件管理器还用于获取更新指令，根据所述更新指令确定需要加载的新的数据源插件、数据处理插件或数据目标插件，将新的数据源插件、数据处理插件或数据目标插件替换已经加载的对应的插件。

7、在第一个方面的一种可能实现中，所述插件管理器还用于获取配置指令，根据所述配置指令对加载的数据源插件、数据处理插件和数据目标插件的参数进行配置。

8、在第一个方面的一种可能实现中，所述插件管理器与加载的数据源插件、数据处理插件和数据目标插件之间独立运行。

9、在第一个方面的一种可能实现中，所述数据源插件包括：用于连接关系数据库的数据源插件、用于连接nosql数据库的数据源插件、用于连接文件系统的数据源插件、用于连接api的数据源插件和用于连接数据流的数据源插件。

10、在第一个方面的一种可能实现中，所述数据处理插件包括：用于执行数据清洗任务的数据处理插件、用于执行数据转换任务的数据处理插件和用于执行数据融合任务的数据处理插件。

11、在第一个方面的一种可能实现中，所述数据目标插件包括：用于将数据存储到数据库的数据目标插件、用于将数据存储到数据仓库的数据目标插件、用于将数据存储到文件系统的数据目标插件和用于将数据存储到数据湖的数据目标插件。

12、第二个方面，提供了一种基于插件式架构的数据集成方法，使用如上述任意可能实现的方案所述的数据集成系统进行数据管理，包括：

13、插件管理器获取加载指令，根据所述加载指令确定用户需要读取的数据源类型、数据处理任务类型和数据目标类型，根据所述数据源类型选择对应的数据源插件，根据所述数据处理任务类型选择对应的数据处理插件，根据所述数据目标类型选择对应的数据目标插件，加载选择的数据源插件、数据处理插件和数据目标插件；

14、被加载的数据源插件连接对应类型的数据源，并从连接的数据源读取数据；

15、被加载的数据处理插件对数据源插件读取的数据执行对应类型的数据处理任务；

16、被加载的数据目标插件将数据处理插件处理后的数据存储到目标位置。

17、本方案通过引入插件式的架构，将数据集成规则模块化，每个插件处理一种类型的数据源，由于每种类型的数据源、数据处理任务和数据目标都有对应的插件，用户可以根据实际需求灵活选择和组合插件，当数据源发生变化时，只需要增加或者修改相应的插件，而无需修改整个数据集成规则。这将极大地简化数据集成的过程，降低数据集成的复杂性，提高数据集成的效率，最终实现高效、灵活、可扩展的数据集成，大大提高了数据集成的灵活性，可以更好地适应不断变化的数据环境。

18、本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

技术特征：

1.一种基于插件式架构的数据集成系统，其特征在于，包括：至少一种数据源插件、至少一种数据处理插件、至少一种数据目标插件和插件管理器，每种类型的数据源对应一种数据源插件，每种类型的数据处理任务对应一种数据处理插件，每种类型的数据目标对应一种数据目标插件，其中：

2.根据权利要求1所述的基于插件式架构的数据集成系统，其特征在于，所述插件管理器具体用于获取加载指令，根据所述加载指令确定用户需要读取的数据源类型、数据处理任务类型和数据目标类型，根据所述数据源类型选择对应的数据源插件，根据所述数据处理任务类型选择对应的数据处理插件，根据所述数据目标类型选择对应的数据目标插件，加载选择的数据源插件、数据处理插件和数据目标插件。

3.根据权利要求2所述的基于插件式架构的数据集成系统，其特征在于，所述插件管理器还用于获取卸载指令，根据所述卸载指令对加载的数据源插件、数据处理插件和数据目标插件中的至少一个进行卸载。

4.根据权利要求2所述的基于插件式架构的数据集成系统，其特征在于，所述插件管理器还用于获取更新指令，根据所述更新指令确定需要加载的新的数据源插件、数据处理插件或数据目标插件，将新的数据源插件、数据处理插件或数据目标插件替换已经加载的对应的插件。

5.根据权利要求2所述的基于插件式架构的数据集成系统，其特征在于，所述插件管理器还用于获取配置指令，根据所述配置指令对加载的数据源插件、数据处理插件和数据目标插件的参数进行配置。

6.根据权利要求2所述的基于插件式架构的数据集成系统，其特征在于，所述插件管理器与加载的数据源插件、数据处理插件和数据目标插件之间独立运行。

7.根据权利要求1所述的基于插件式架构的数据集成系统，其特征在于，所述数据源插件包括：用于连接关系数据库的数据源插件、用于连接nosql数据库的数据源插件、用于连接文件系统的数据源插件、用于连接api的数据源插件和用于连接数据流的数据源插件。

8.根据权利要求1所述的基于插件式架构的数据集成系统，其特征在于，所述数据处理插件包括：用于执行数据清洗任务的数据处理插件、用于执行数据转换任务的数据处理插件和用于执行数据融合任务的数据处理插件。

9.根据权利要求1所述的基于插件式架构的数据集成系统，其特征在于，所述数据目标插件包括：用于将数据存储到数据库的数据目标插件、用于将数据存储到数据仓库的数据目标插件、用于将数据存储到文件系统的数据目标插件和用于将数据存储到数据湖的数据目标插件。

10.一种基于插件式架构的数据集成方法，其特征在于，使用如权利要求1至9中任一项所述的数据集成系统进行数据管理，包括：

技术总结
本发明公开了一种基于插件式架构的数据集成系统，涉及数据集成领域。包括：至少一种数据源插件、至少一种数据处理插件、至少一种数据目标插件和插件管理器，每种类型的数据源对应一种数据源插件，每种类型的数据处理任务对应一种数据处理插件，每种类型的数据目标对应一种数据目标插件，插件管理器用于获取用户指令，根据用户指令对每种数据源插件、每种数据处理插件和每种数据目标插件进行管理。本发明提供的数据集成系统，极大地简化了数据集成的过程，降低了数据集成的复杂性，提高了数据集成的效率，最终实现高效、灵活、可扩展的数据集成，大大提高了数据集成的灵活性，可以更好地适应不断变化的数据环境。

技术研发人员：李俊峰,陈傲寒,李鉴,潘海春,尹国强,熊剑,鲍秀峰,王宝德
受保护的技术使用者：北京优锘科技股份有限公司
技术研发日：
技术公布日：2024/4/8