一种数据处理方法、设备及存储介质与流程

本申请涉及一种数据处理方法、设备及存储介质。

背景技术：

1、目前，大数据平台的调度优化方案大多采用削峰填谷的方式，旨在将在作业调度高峰期间运行的作业在调度低谷期运行，使大数据平台在各个时间阶段资源利用达到平衡，数据作业运行效率最优；另一种方式是计算出大数据平台作业调度高峰期作业所需的资源缺口，在有资源缺口的时候对数据作业任务并行度进行调整，或者加入更多资源以保证高峰期作业运行完成。

2、这两种方式在特定条件下工作都比较理想，但和现实情况却有一定的差异。比如大数据平台中的资源往往有限，尤其在资源使用高峰期并没有足够资源或者不能及时分配足够的资源给每一个作业。另一方面，将作业高峰期的作业调度时间改到作业低谷期，可能不符合业务要求的任务完成时间。因此，如何利用大数据平台中有限的资源做出对业务收益最大化的决策是目前需要解决的问题。

技术实现思路

1、有鉴于此，本申请实施例期望提供一种数据处理方法、设备及存储介质。

2、为达到上述目的，本申请的技术方案是这样实现的：

3、根据本申请的一方面，提供一种数据处理方法，包括：

4、确定待处理数据的属性信息；

5、根据所述属性信息和历史处理信息，确定数据的并行处理策略；

6、其中，所述属性信息至少包括所述待处理数据的数据量、所述待处理数据的完成时限。

7、上述方案中，所述确定待处理数据的属性信息，包括：

8、通过所述历史处理信息确定所述待处理数据的数据量，基于所述数据量确定所述待处理数据的完成时限；其中，所述历史处理信息包括所述已处理数据的历史处理效率信息和历史处理数据量信息。

9、上述方案中，所述根据所述属性信息和历史处理信息，确定数据的并行处理策略，包括：

10、基于所述历史处理信息确定不同并行处理策略对应的数据处理效率和数据处理量，其中，所述历史处理数据表征所述已处理数据的历史处理效率；

11、基于所述不同并行处理策略对应的数据处理效率确定所述待处理数据在不同并行处理策略下的预计完成时间和预计完成数据量；

12、基于所述预计完成时间和所述预计完成数据量，确定所述待处理数据的并行处理策略。

13、上述方案中，所述属性信息中还包括有数据优先级权重值；

14、所述基于所述预计完成时间和所述预计完成数据量，确定所述待处理数据的并行处理策略，包括

15、基于所述优先级权重值将预计完成时间处于所述待处理数据的完成时限内、且预计完成数据量满足处理条件的并行处理策略确定为数据的并行处理策略。

16、上述方案中，所述方法还包括以下至少之一：

17、基于所述待处理数据的数据源确定所述待处理数据的数据优先权重值；

18、基于所述待处理数据的所述数据量和所述完成时限，确定所述待处理数据的数据优先权重值；

19、基于所述待处理数据的敏感度值，确定所述待处理数据的数据优先权重值。

20、上述方案中，所述方法还包括：

21、基于所述并行处理策略，对所述待处理数据进行处理。

22、上述方案中，所述待处理数据包括有多个数据优先级权重值，每个优先级权重值对应不同类型的数据；

23、所述基于所述并行处理策略，对所述待处理数据进行处理，包括：

24、将所述每个优先级权重值进行比较，得到优先级序列；

25、基于所述并行处理策略和所述优先级序列对所述待处理数据进行处理。

26、根据本申请的另一方面，提供一种电子设备，包括：

27、确定单元，用于确定待处理数据的属性信息；以及用于根据所述属性信息和历史处理信息，确定数据的并行处理策略；

28、其中，所述属性信息至少包括所述待处理数据的数据量、所述待处理数据的完成时限。

29、根据本申请的第三方面，提供一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行上述数据处理方法中任一项所述的方法步骤。

30、根据本申请的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述数据处理方法中任一项所述的方法步骤。

技术特征：

1.一种数据处理方法，包括：

2.根据权利要求1所述的方法，所述确定待处理数据的属性信息，包括：

3.根据权利要求1所述的方法，所述根据所述属性信息和历史处理信息，确定数据的并行处理策略，包括：

4.根据权利要求3所述的方法，所述属性信息中还包括有数据优先级权重值；

5.根据权利要求4所述的方法，所述方法还包括以下至少之一：

6.根据权利要求1所述的方法，所述方法还包括：

7.根据权利要求6所述的方法，所述待处理数据包括有多个数据优先级权重值，每个优先级权重值对应不同类型的数据；

8.一种电子设备，包括：

9.一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述的方法步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行权利要求1至7任一项所述的方法步骤。

技术总结
本申请提供一种数据处理方法，所述方法包括：确定待处理数据的属性信息；根据所述属性信息和历史处理信息，确定数据的并行处理策略；其中，所述属性信息至少包括所述待处理数据的数据量、所述待处理数据的完成时限。

技术研发人员：李思民,马立志,曾鸣
受保护的技术使用者：联想（北京）有限公司
技术研发日：
技术公布日：2024/1/15