一种流水线任务执行结果的统计方法、装置、设备及介质与流程

本发明涉及数据传递，尤其涉及一种流水线任务执行结果的统计方法、装置、设备及介质。

背景技术：

1、流水线任务(pipeline task)是指一系列有前后关联的任务按照顺序执行，流水线任务通常是指在软件开发和持续集成/持续部署过程中，自动化执行的一系列任务或步骤。这些任务被组织成流水线，以自动化的方式完成代码的构建、测试、部署等操作。流水线任务的目的是提高开发效率，减少人为错误，确保软件质量和快速迭代。实际生产环境中通常需要使用流水线的任务都会有多个分支，某些场景下需要等待各分支的所有任务都执行成功才能执行下游步操作，所以在任务执行结果的统计上就需要一定的设计。

2、执行结果一般有两种统计方法，第一种方法：在流水线任务开始的位置等待下游的任务节点执行结果，依次类推一级等待一级。第二种方法：流水线的每个任务节点执行结果都保存到数据库中，增加一个定时任务去扫描当前流水线的所有任务节点执行结果是否都为成功。

3、然而，前者需要逐级等待执行结果，如果任务深度太高的情况下会占用大量的资源不能释放，导致系统资源浪费；后者需要提前知道当前流水线的任务节点的个数，这局限了流水线任务的动态增加和减少，需求变动的时候需要修改方案来适配。

技术实现思路

1、本发明提供了一种流水线任务执行结果的统计方法、装置、设备及介质，以降低统计任务执行结果所需的资源消耗，并支持动态增减任务节点。

2、根据本发明的一方面，提供了一种流水线任务执行结果的统计方法，包括：

3、接收上游节点发送的流水线任务标识和第一随机数；

4、若任务执行成功且存在下游任务节点，则生成第二随机数，将所述第一随机数、所述第二随机数和所述流水线任务标识确定为反馈消息，并向下游任务节点发送所述流水线任务标识和所述第二随机数；

5、若任务执行成功且不存在下游任务节点，则将所述第一随机数和所述流水线任务标识确定为反馈消息；

6、向执行结果统计进程发送所述反馈消息，用于指示所述执行结果统计进程根据反馈消息中的流水线任务标识，对属于目标流水线任务的节点所发送的反馈消息中的随机数进行异或运算，并在运算结果为零时确定所述目标流水线任务执行成功。

7、根据本发明的另一方面，提供了一种流水线任务执行结果的统计装置，包括：

8、数据获取模块，用于接收上游节点发送的流水线任务标识和第一随机数；

9、第一数据整理模块，用于若任务执行成功且存在下游任务节点，则生成第二随机数，将所述第一随机数、所述第二随机数和所述流水线任务标识确定为反馈消息，并向下游任务节点发送所述流水线任务标识和所述第二随机数；

10、第二数据整理模块，用于若任务执行成功且不存在下游任务节点，则将所述第一随机数和所述流水线任务标识确定为反馈消息；

11、消息发送模块，用于向执行结果统计进程发送所述反馈消息，用于指示所述执行结果统计进程根据反馈消息中的流水线任务标识，对属于目标流水线任务的节点所发送的反馈消息中的随机数进行异或运算，并在运算结果为零时确定所述目标流水线任务执行成功。

12、根据本发明的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本发明任一实施例所述的流水线任务执行结果的统计方法。

13、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

14、至少一个处理器；以及

15、与所述至少一个处理器通信连接的存储器；其中，

16、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的流水线任务执行结果的统计方法。

17、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的流水线任务执行结果的统计方法。

18、本发明实施例通过节点在执行成功时生成、传递或反馈随机数，并由执行结果统计进程对随机数进行异或运算，基于异或运算的特性解决了任务流水线在执行结果统计时的资源占用不能释放、统计方法和任务节点个数解耦的问题。

19、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种流水线任务执行结果的统计方法，其特征在于，应用于流水线任务的任务节点，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，若所述下游任务节点的数量为多个，则所述生成第二随机数包括：

3.根据权利要求1或2所述的方法，其特征在于，每一随机数带有生成该随机数的节点的节点标识，用于在异或运算时区分数值相同的随机数。

4.根据权利要求1所述的方法，其特征在于，所述任务节点是任务开始前已规划好的原有任务节点或任务开始后重新规划的新增任务节点。

5.根据权利要求1所述的方法，其特征在于，所述执行结果统计进程中存在多个消息队列，消息队列、流水线任务和流水线任务标识一一对应。

6.根据权利要求5所述的方法，其特征在于，所述执行结果统计进程被具体配置为：

7.一种流水线任务执行结果的统计装置，其特征在于，部署于流水线任务的任务节点，所述装置包括：

8.根据权利要求7所述的装置，其特征在于，若所述下游任务节点的数量为多个，则所述第一数据整理模块包括随机数生成单元，用于为每一下游任务节点生成一个第二随机数；

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的流水线任务执行结果的统计方法。

技术总结
本发明公开了一种流水线任务执行结果的统计方法、装置、设备及介质。该方法包括：接收上游节点发送的流水线任务标识和第一随机数；若任务执行成功且存在下游任务节点，则生成第二随机数，将所述第一随机数、所述第二随机数和所述流水线任务标识确定为反馈消息，并向下游任务节点发送所述流水线任务标识和所述第二随机数；若任务执行成功且不存在下游任务节点，则将所述第一随机数和所述流水线任务标识确定为反馈消息；向执行结果统计进程发送所述反馈消息。本发明实施例可以降低统计任务执行结果所需的资源消耗，并支持动态增减任务节点。

技术研发人员：程捷
受保护的技术使用者：北京博睿宏远数据科技股份有限公司
技术研发日：
技术公布日：2024/11/11