数据处理方法、装置和计算机可读存储介质与流程

本申请涉及计算机，尤其涉及一种数据处理方法、装置和计算机可读存储介质。

背景技术：

1、目前，为满足业务发展和日常运营的需要，电信运营商各类系统都存在大量的业务数据需要准确性保障，对于百亿千亿级的业务数据准确性层面一直以来都没有一套成熟的系统化的管理方案。传统的管理模式是通过维护人员对业务的了解，然后对业务数据进行人工分析和修复。但是，现有依靠人工进行数据处理的方法效率低，无法满足生产需求。

技术实现思路

1、本申请实施例通过提供一种数据处理方法、装置和计算机可读存储介质，旨在解决现有依靠人工进行数据处理，导致数据处理效率低的问题。

2、为实现上述目的，本申请一方面提供一种数据处理方法，所述方法包括：

3、获取目标业务的业务数据，根据所述业务数据配置所述目标业务各个处理节点对应的处理任务；

4、根据所述目标任务的待审核数据配置所述目标业务的稽核任务以及修复任务；

5、按照所述处理任务、所述稽核任务以及所述修复任务的配置顺序生成所述目标业务的任务集，以在执行所述目标业务时依次执行所述任务集中的各个任务。

6、可选地，所述根据所述业务数据配置所述目标业务各个处理节点对应的处理任务的步骤包括：

7、根据所述业务数据获取所述目标业务的业务属性信息；

8、根据所述业务属性信息配置所述目标业务各个处理节点对应的处理任务。

9、可选地，所述根据所述目标任务的待审核数据配置所述目标业务的稽核任务以及修复任务的步骤包括：

10、根据所述目标任务的待审核数据确定所述稽核任务的稽核模板；

11、根据所述稽核模板配置所述目标业务的稽核任务；

12、获取所述稽核任务对应的稽核数据，根据所述稽核数据配置所述修复任务。

13、可选地，所述按照所述处理任务、所述稽核任务以及所述修复任务的配置顺序生成所述目标业务的任务集的步骤之后，包括：

14、依次调用所述任务集中的各个处理任务对所述目标业务的业务数据进行处理，获取每个所述处理任务的处理结果；

15、调用所述任务集中的稽核任务对各个所述处理任务的所述处理结果进行稽核得到稽核结果；

16、在所述稽核结果与第一预设结果不一致时，调用所述任务集中的修复任务进行修复操作。

17、可选地，所述调用所述任务集中的稽核任务对各个所述处理任务的所述处理结果进行稽核得到稽核结果的步骤包括：

18、调用所述任务集中的稽核任务将每个所述处理结果与对应的第二预设结果进行稽核，得到所述稽核结果；

19、或者，根据所述处理结果获取相同的业务数据对应的至少两个数据报表，以及调用所述任务集中的稽核任务将预设数量的所述数据报表进行稽核，得到所述稽核结果。

20、可选地，所述按照所述处理任务、所述稽核任务以及所述修复任务的配置顺序生成所述目标业务的任务集的步骤之后，包括：

21、获取所述目标业务的任务配置信息；

22、根据所述任务配置信息获取所述任务集中各个所述任务的分片数量；

23、按照所述分片数量对各个所述任务进行分片得到各个任务分片，将各个所述任务分片分发至执行器，以使所述执行器执行每个所述任务分片。

24、可选地，所述将各个所述任务分片分发至执行器的步骤之前，包括：

25、获取容器编排平台的容器调度接口，根据所述容器调度接口启动所述容器编排平台；

26、向所述容器编排平台发送处理各个所述任务所需的容器数量，其中，所述容器编排平台根据所述容器数量启动所述容器，并通过所述容器对应的执行器执行每个所述任务分片。

27、此外，为实现上述目的，本申请另一方面还提供一种数据处理装置，所述数据处理装置包括第一配置模块、第二配置模块和处理模块，其中：

28、所述第一配置模块，用于获取目标业务的业务数据，根据所述业务数据配置所述目标业务各个处理节点对应的处理任务；

29、所述第二配置模块，用于根据所述目标任务的待审核数据配置所述目标业务的稽核任务以及修复任务；

30、所述处理模块，用于按照所述处理任务、所述稽核任务以及所述修复任务的配置顺序生成所述目标业务的任务集，以在执行所述目标业务时依次执行所述任务集中的各个任务。

31、此外，为实现上述目的，本申请另一方面还提供一种数据处理装置，所述数据装置包括存储器、处理器及存储在存储器上并在所述处理器上运行数据处理程序，所述处理器执行所述数据处理程序时实现如上所述数据处理方法的步骤。

32、此外，为实现上述目的，本申请另一方面还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上所述数据处理方法的步骤。

33、本申请提出一种数据处理方法，通过获取目标业务的业务数据，根据业务数据配置目标业务各个处理节点对应的处理任务；根据目标任务的待审核数据配置目标业务的稽核任务以及修复任务；按照处理任务、稽核任务以及修复任务的配置顺序生成目标业务的任务集，以在执行目标业务时依次执行任务集中的各个任务。本申请通过将多个任务组成一个完整的业务，实现了业务数据的单元化拆分和组合，从而提高系统业务数据准确性和处理效率。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.如权利要求1所述的数据处理方法，其特征在于，所述根据所述业务数据配置所述目标业务各个处理节点对应的处理任务的步骤包括：

3.如权利要求1所述的数据处理方法，其特征在于，所述根据所述目标任务的待审核数据配置所述目标业务的稽核任务以及修复任务的步骤包括：

4.如权利要求1所述的数据处理方法，其特征在于，所述按照所述处理任务、所述稽核任务以及所述修复任务的配置顺序生成所述目标业务的任务集的步骤之后，包括：

5.如权利要求4所述的数据处理方法，其特征在于，所述调用所述任务集中的稽核任务对各个所述处理任务的所述处理结果进行稽核得到稽核结果的步骤包括：

6.如权利要求1所述的数据处理方法，其特征在于，所述按照所述处理任务、所述稽核任务以及所述修复任务的配置顺序生成所述目标业务的任务集的步骤之后，包括：

7.如权利要求6所述的数据处理方法，其特征在于，所述将各个所述任务分片分发至执行器的步骤之前，包括：

8.一种数据处理装置，其特征在于，所述数据处理装置包括第一配置模块、第二配置模块和处理模块，其中：

9.一种数据处理装置，其特征在于，所述装置包括存储器、处理器及存储在存储器上并在所述处理器上运行数据处理程序，所述处理器执行所述数据处理程序时实现如权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请公开了一种数据处理方法、装置和计算机可读存储介质，数据处理方法包括：获取目标业务的业务数据，根据业务数据配置目标业务各个处理节点对应的处理任务；根据目标任务的待审核数据配置目标业务的稽核任务以及修复任务；按照处理任务、稽核任务以及修复任务的配置顺序生成目标业务的任务集，以在执行目标业务时依次执行任务集中的各个任务。本申请通过将多个任务组成一个完整的业务，实现了业务数据的单元化拆分和组合，从而提高系统业务数据准确性和处理效率。

技术研发人员：章清云,戴安妮,郭岳,叶晓龙,周韶华,史军艇,舒锋
受保护的技术使用者：中国移动通信集团浙江有限公司
技术研发日：
技术公布日：2024/1/12