大数据函数资源消耗评估方法及装置与流程

本发明涉及大数据，具体而言，涉及一种大数据函数资源消耗评估方法及装置。

背景技术：

1、大数据函数为可用于大数据产品进行海量数据计算的、功能固定的程序段。在大数据处理过程中，用户可以根据业务逻辑自定义大数据函数，这些函数会在计算过程中消耗大数据集群中的资源。不同的函数的在函数处理逻辑、处理数据量以及调用次数上存在差异，这就导致不同的函数消耗的资源也不同。某些函数使用频率较低但占用了大量的大数据资源，在大数据系统部署这样的函数容易造成资源浪费。因此，现有技术需要一种能够准确的对大数据函数的资源消耗进行评估的方案，以在函数部署到大数据系统之前对函数的资源消耗情况进行评估，进而提高大数据集群的资源使用率。

技术实现思路

1、本发明为了解决上述背景技术中的至少一个技术问题，提出了一种大数据函数资源消耗评估方法及装置。

2、为了实现上述目的，根据本发明的一个方面，提供了一种大数据函数资源消耗评估方法，该方法包括：

3、在不调用函数的情况下遍历数据样例，得到第一资源消耗量；

4、在只调用目标函数的情况下遍历所述数据样例，得到第二资源消耗量；

5、根据所述第一资源消耗量和所述第二资源消耗量确定第三资源消耗量，其中，所述第三资源消耗量用于表示调用所述目标函数产生的额外资源消耗量；

6、根据所述第三资源消耗量以及所述数据样例的数据记录数确定所述目标函数对应的每条数据平均资源消耗量；

7、根据所述每条数据平均资源消耗量以及大数据系统的数据记录数，确定所述目标函数在所述大数据系统中的预估资源消耗量。

8、可选的，根据所述每条数据平均资源消耗量以及大数据系统的数据记录数，确定所述目标函数在所述大数据系统中的预估资源消耗量，具体包括：

9、根据所述每条数据平均资源消耗量、所述大数据系统的数据记录数以及所述目标函数的预估调用次数，确定所述目标函数在所述大数据系统中的预估资源消耗量。

10、可选的，所述大数据函数资源消耗评估方法，还包括：

11、根据所述大数据系统的剩余可用资源量以及所述预估资源消耗量，生成所述目标函数的使用建议。

12、可选的，所述使用建议具体包括第一建议和第二建议，其中，所述第一建议用于表示不建议在所述大数据系统中使用所述目标函数，所述第二建议用于表示可以在所述大数据系统中使用所述目标函数；

13、根据所述大数据系统的剩余可用资源量以及所述预估资源消耗量，生成所述目标函数的使用建议，具体包括：

14、若所述剩余可用资源量小于所述预估资源消耗量，生成所述第一建议；

15、若所述剩余可用资源量大于或等于所述预估资源消耗量，生成所述第二建议。

16、可选的，所述大数据函数资源消耗评估方法，还包括：

17、在生成所述第一建议之后，将所述每条数据平均资源消耗量和所述预估资源消耗量发送给所述目标函数的开发端，以使所述开发端基于所述每条数据平均资源消耗量和所述预估资源消耗量，通过对所述目标函数的函数处理逻辑进行修改，来对所述目标函数的资源消耗进行优化。

18、可选的，所述数据样例为基于所述大数据系统的数据建立的，所述数据样例中的数据能够覆盖所述目标函数的最长数据覆盖路径。

19、可选的，所述大数据函数资源消耗评估方法，还包括：

20、从所述大数据系统获取所述大数据系统的数据记录数。

21、可选的，资源消耗量具体为计算单元消耗量，各所述计算单元包含的cpu数量和内存数量相同。

22、为了实现上述目的，根据本发明的另一方面，提供了一种大数据函数资源消耗评估装置，该装置包括：

23、第一数据样例处理单元，用于在不调用函数的情况下遍历数据样例，得到第一资源消耗量；

24、第二数据样例处理单元，用于在只调用目标函数的情况下遍历所述数据样例，得到第二资源消耗量；

25、资源消耗量计算单元，用于根据所述第一资源消耗量和所述第二资源消耗量确定第三资源消耗量，其中，所述第三资源消耗量用于表示调用所述目标函数产生的额外资源消耗量；

26、每条数据平均资源消耗量计算单元，用于根据所述第三资源消耗量以及所述数据样例的数据记录数确定所述目标函数对应的每条数据平均资源消耗量；

27、预估资源消耗量确定单元，用于根据所述每条数据平均资源消耗量以及大数据系统的数据记录数，确定所述目标函数在所述大数据系统中的预估资源消耗量。

28、为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述大数据函数资源消耗评估方法的步骤。

29、为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述大数据函数资源消耗评估方法的步骤。

30、为了实现上述目的，根据本发明的另一方面，还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述大数据函数资源消耗评估方法的步骤。

31、本发明的有益效果为：

32、本发明实施例先基于数据样例确定调用目标函数产生的额外资源消耗量，进而根据数据样例的数据记录数以及调用目标函数产生的额外资源消耗量确定所述目标函数对应的每条数据平均资源消耗量，进而根据所述每条数据平均资源消耗量以及大数据系统的数据记录数确定所述目标函数在所述大数据系统中的预估资源消耗量，由此实现了准确的评估目标函数在所述大数据系统中的资源消耗量的有益效果，有助于减少使用频率较低但占用了大量的大数据资源的函数部署到大数据系统中，进而有助于提高大数据集群的资源使用率。此外，本发明的大数据函数资源消耗评估方法可独立部署，不依赖大数据系统的资源消耗，有助于降低大数据系统的资源消耗。

技术特征：

1.一种大数据函数资源消耗评估方法，其特征在于，包括：

2.根据权利要求1所述的大数据函数资源消耗评估方法，其特征在于，根据所述每条数据平均资源消耗量以及大数据系统的数据记录数，确定所述目标函数在所述大数据系统中的预估资源消耗量，具体包括：

3.根据权利要求1或2所述的大数据函数资源消耗评估方法，其特征在于，还包括：

4.根据权利要求3所述的大数据函数资源消耗评估方法，其特征在于，所述使用建议具体包括第一建议和第二建议，其中，所述第一建议用于表示不建议在所述大数据系统中使用所述目标函数，所述第二建议用于表示可以在所述大数据系统中使用所述目标函数；

5.根据权利要求4所述的大数据函数资源消耗评估方法，其特征在于，还包括：

6.根据权利要求1所述的大数据函数资源消耗评估方法，其特征在于，所述数据样例为基于所述大数据系统的数据建立的，所述数据样例中的数据能够覆盖所述目标函数的最长数据覆盖路径。

7.根据权利要求1所述的大数据函数资源消耗评估方法，其特征在于，还包括：

8.根据权利要求1所述的大数据函数资源消耗评估方法，其特征在于，资源消耗量具体为计算单元消耗量，各所述计算单元包含的cpu数量和内存数量相同。

9.一种大数据函数资源消耗评估装置，其特征在于，包括：

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任意一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至8任意一项所述方法的步骤。

12.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至8任意一项所述方法的步骤。

技术总结
本发明实施例公开了一种大数据函数资源消耗评估方法及装置，可用于金融领域或其他技术领域，该方法包括：在不调用函数的情况下遍历数据样例，得到第一资源消耗量；在只调用目标函数的情况下遍历所述数据样例，得到第二资源消耗量；根据所述第一资源消耗量和所述第二资源消耗量确定第三资源消耗量，其中，所述第三资源消耗量用于表示调用所述目标函数产生的额外资源消耗量；根据所述第三资源消耗量以及所述数据样例的数据记录数确定所述目标函数对应的每条数据平均资源消耗量；根据所述每条数据平均资源消耗量以及大数据系统的数据记录数，确定所述目标函数在所述大数据系统中的预估资源消耗量。本发明有助于提高大数据系统的资源利用率。

技术研发人员：王能,袁一,徐嘉禛,林丹
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/1/15