管理推理过程的方法、电子设备和计算机程序产品与流程

本公开的实施方式总体上涉及机器学习领域，具体地涉及基于机器学习模型来管理推理过程的方法、电子设备和计算机程序产品。

背景技术：

1、近年来，随着人工智能技术的进步，机器学习技术已经推动了许多领域的发展。与此同时，机器学习模型也变得越来越复杂，这导致在训练机器学习模型以及后期使用机器学习模型进行推理过程涉及多种类型的大量计算资源。目前已经提出了使用云环境中的专用计算资源来训练机器学习模型以及使用训练好的机器学习模型进行推理的技术方案。随着硬件技术和边缘计算技术的发展，各种边缘设备已经具备了计算和存储能力。此时，如何利用这些边缘设备的资源来执行推理过程，成为一个研究热点。

技术实现思路

1、本公开的实施方式提供了管理推理过程的方法、电子设备和计算机程序产品。

2、在本公开的第一方面中，提供了一种用于管理推理过程的方法，该推理过程是基于机器学习模型来实现的。在该方法中，基于定义机器学习模型的计算图，确定用于实现推理过程的一组函数之间的依赖关系。在位于边缘计算网络中的至少一个边缘设备中，获取可用于执行推理过程的一组计算单元。从一组计算单元中选择用于执行一组函数的至少一个计算单元。使得至少一个计算单元基于依赖关系来执行一组函数。

3、在本公开的第二方面中，提供了一种电子设备。该设备包括：至少一个处理单元；以及至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，以使得所述电子设备执行根据本公开的第一方面的方法。

4、在本公开的第三方面中，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，机器可执行指令用于执行根据本公开的第一方面的方法。

5、提供
技术实现要素：
部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的实施方式的关键特征或必要特征，也无意限制本公开的实施方式的范围。

技术特征：

1.一种用于管理推理过程的方法，所述推理过程基于机器学习模型来实现，所述方法包括：

2.根据权利要求1所述的方法，其中选择所述至少一个计算单元包括：

3.根据权利要求2所述的方法，其中选择所述至少一个计算单元进一步包括：

4.根据权利要求1所述的方法，其中选择所述至少一个计算单元包括：从所述一组计算单元中选择不同的计算单元来分别用于执行所述一组函数中的不同的函数。

5.根据权利要求1所述的方法，其中使得所述至少一个计算单元执行所述一组函数包括：

6.根据权利要求5所述的方法，其中确定所述多个并行函数包括：

7.根据权利要求1所述的方法，其中使得所述至少一个计算单元执行所述一组函数包括：

8.根据权利要求1所述的方法，其中使得所述至少一个计算单元执行所述一组函数包括：

9.根据权利要求1所述的方法，其中所述方法是基于在动态链接库中定义的应用编程接口来实现，以及所述方法由使用所述推理过程的主应用程序来调用。

10.根据权利要求1所述的方法，其中所述一组计算单元包括基于以下至少任一项的硬件架构：中央处理单元、图形处理单元、专用硬件加速器、现场可编程门阵列、以及片上系统。

11.一种电子设备，包括：

12.根据权利要求11所述的设备，其中选择所述至少一个计算单元包括：

13.根据权利要求12所述的设备，其中选择所述至少一个计算单元进一步包括：

14.根据权利要求11所述的设备，其中选择所述至少一个计算单元包括：从所述一组计算单元中选择不同的计算单元来分别用于执行所述一组函数中的不同的函数。

15.根据权利要求11所述的设备，其中使得所述至少一个计算单元执行所述一组函数包括：

16.根据权利要求15所述的设备，其中确定所述多个并行函数包括：

17.根据权利要求11所述的设备，其中使得所述至少一个计算单元执行所述一组函数包括：

18.根据权利要求11所述的设备，其中使得所述至少一个计算单元执行所述一组函数包括：

19.根据权利要求11所述的设备，其中：

20.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令用于执行根据权利要求1至10中的任一项所述的方法。

技术总结
本公开的实施方式涉及管理推理过程的方法、电子设备和计算机程序产品。在此，推理过程基于机器学习模型来实现。在一种方法中，基于定义机器学习模型的计算图，确定用于实现推理过程的一组函数之间的依赖关系。在位于边缘计算网络中的至少一个边缘设备中，获取可用于执行推理过程的一组计算单元。从一组计算单元中选择用于执行一组函数的至少一个计算单元。使得至少一个计算单元基于依赖关系来执行一组函数。利用本公开的示例性实现方式，充分利用边缘计算网络中的多种计算单元实现推理过程，从而简化推理过程的管理并且提高推理过程的效率。

技术研发人员：刘金鹏,何斌,王子嘉,贾真
受保护的技术使用者：伊姆西IP控股有限责任公司
技术研发日：
技术公布日：2024/1/11