构建和维护数据管道的方法、装置、电子设备及存储介质与流程

本公开涉及计算机，尤其涉及一种通过客户端为目标数据平台构建和维护数据管道的方法、装置、电子设备、非瞬时计算机可读存储介质以及计算机程序产品。

背景技术：

1、数据管道(也可以称为etl管道)是一套数据处理流程，其包括将数据从数据源提取出来，对数据进行转换和清洗，以及将经转换和清洗后的数据加载到目标数据平台。对于大数据应用来说，数据管道的使用非常普遍。在数据管道的构建阶段，需要完成的操作包括定义数据模型、编写数据处理逻辑、对接上下游系统(数据源和目标数据平台)等。和上下游系统的对接以及数据处理逻辑都需要进行反复的修改和验证。在维护阶段，当数据格式发生变化时，也需要对数据处理逻辑进行相应的调整。

2、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

1、本公开提供了一种通过客户端为目标数据平台构建和维护数据管道的方法、装置、电子设备、非瞬时计算机可读存储介质以及计算机程序产品。

2、根据本公开的第一方面，提供了一种通过客户端为目标数据平台构建数据管道的方法，所述数据管道包括数据采集组件、数据处理组件和数据加载组件，所述方法包括：创建所述数据采集组件，所述数据采集组件用于采集原始数据；向所述客户端提供所述数据采集组件所采集到的原始数据以供用户确定所述原始数据是否满足采集需求；响应于从所述客户端接收到所述原始数据满足所述采集需求的指示，创建所述数据处理组件，所述数据处理组件用于对所述原始数据进行处理以得到处理数据；向所述客户端提供所述处理数据以供所述用户确定所述处理数据是否满足处理需求；以及响应于从所述客户端接收到所述处理数据满足所述处理需求的指示，创建所述数据加载组件，所述数据加载组件用于将所述处理数据加载到所述目标数据平台。

3、根据本公开的第二方面，提供了一种通过客户端为目标数据平台维护数据管道的方法，包括：响应于从所述客户端接收到修改所述目标数据平台的原数据管道的指示，构建临时数据管道，所述临时数据管道包括所述原数据管道的数据采集组件副本、所述原数据管道的数据处理组件副本和临时数据加载组件，其中，所述数据采集组件副本用于采集原始数据，所述数据处理组件副本用于对所述原始数据进行处理以得到处理数据，所述临时数据加载组件用于丢弃所述原始数据和所述处理数据，以免所述原始数据和所述处理数据进入所述目标数据平台；响应于从所述客户端接收到用于修改所述数据采集组件副本的配置的第三信息，修改所述数据采集组件副本的配置；向所述客户端提供修改后的数据采集组件副本所采集到的原始数据以供用户确定所述原始数据是否满足采集需求；响应于从所述客户端接收到所述原始数据满足所述采集需求的指示，并且响应于从所述客户端接收到用于修改所述数据处理组件副本的配置的第四信息，修改所述数据处理组件副本的配置；向所述客户端提供经由修改后的数据处理组件副本处理后的处理数据以供所述用户确定所述处理数据是否满足处理需求；以及响应于从所述客户端接收到所述处理数据满足所述处理需求的指示，创建数据加载组件以替换所述临时数据加载组件并停用所述原数据管道，所述数据加载组件用于将所述处理数据加载到所述目标数据平台。

4、根据本公开的第三方面，提供了一种通过客户端为目标数据平台构建数据管道的装置，所述数据管道包括数据采集组件、数据处理组件和数据加载组件，所述装置包括：第一创建模块，所述第一创建模块被配置为创建所述数据采集组件，所述数据采集组件用于采集原始数据；第一提供模块，所述第一提供模块被配置为向所述客户端提供所述数据采集组件所采集到的原始数据以供用户确定所述原始数据是否满足采集需求；第二创建模块，所述第二创建模块被配置为响应于从所述客户端接收到所述原始数据满足所述采集需求的指示，创建所述数据处理组件，所述数据处理组件用于对所述原始数据进行处理以得到处理数据；第二提供模块，所述第二提供模块被配置为向所述客户端提供所述处理数据以供所述用户确定所述处理数据是否满足处理需求；以及第三创建模块，所述第三创建模块被配置为响应于从所述客户端接收到所述处理数据满足所述处理需求的指示，创建所述数据加载组件，所述数据加载组件用于将所述处理数据加载到所述目标数据平台。

5、根据本公开的第四方面，提供了一种通过客户端为目标数据平台维护数据管道的装置，所述装置包括：构建模块，所述构建模块被配置为响应于从所述客户端接收到修改所述目标数据平台的原数据管道的指示，构建临时数据管道，所述临时数据管道包括所述原数据管道的数据采集组件副本、所述原数据管道的数据处理组件副本和临时数据加载组件，其中，所述数据采集组件副本用于采集原始数据，所述数据处理组件副本用于对所述原始数据进行处理以得到处理数据，所述临时数据加载组件用于丢弃所述原始数据和所述处理数据，以免所述原始数据和所述处理数据进入所述目标数据平台；第一修改模块，所述第一修改模块被配置为响应于从所述客户端接收到用于修改所述数据采集组件副本的配置的第三信息，修改所述数据采集组件副本的配置；第三提供模块，所述第三提供模块被配置为向所述客户端提供修改后的数据采集组件副本所采集到的原始数据以供用户确定所述原始数据是否满足采集需求；第二修改模块，所述第二修改模块被配置为响应于从所述客户端接收到所述原始数据满足所述采集需求的指示，并且响应于从所述客户端接收到用于修改所述数据处理组件副本的配置的第四信息，修改所述数据处理组件副本的配置；第四提供模块，所述第四提供模块被配置为向所述客户端提供经由修改后的数据采集处理副本处理后的处理数据以供所述用户确定所述处理数据是否满足处理需求；以及替换模块，所述替换模块被配置为响应于从所述客户端接收到所述处理数据满足所述处理需求的指示，创建数据加载组件以替换所述临时数据加载组件并停用所述原数据管道，所述数据加载组件用于将所述处理数据加载到所述目标数据平台。

6、根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器，所述存储器存储有计算机程序，所述计算机程序在被所述至少一个处理器执行时，使所述至少一个处理器执行根据本公开的方法。

7、根据本公开的第六方面，提供了一种存储有计算机程序的非瞬时计算机可读存储介质，所述计算机程序在被处理器执行时，使处理器执行根据本公开的方法。

8、根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时，使处理器执行根据本公开的方法。

9、根据本公开的一个或多个实施例，在数据管道的构建阶段，通过向客户端提供数据采集组件所采集到的原始数据和向客户端提供经由数据处理组件处理后的处理数据，使得能够在数据管道的构建过程中实时捕捉并查看数据采集组件和数据处理组件的处理结果，在确定数据采集组件和数据处理组件的处理结果符合预期后才创建数据加载组件以连接到目标数据平台，因此提高了构建数据管道的效率。

10、根据本公开的一个或多个实施例，在数据管道的维护阶段，通过构建包括原数据管道的数据采集组件副本、原数据管道的数据处理组件副本和临时数据加载组件的临时数据管道，实时捕捉并查看修改后数据采集组件副本和修改后数据处理组件的处理结果，并将调试完成后的临时数据管道替代原数据管道以连接到目标数据平台，因此，能够既不影响原数据管道的运行，又提高维护数据管道的效率。

11、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。