并行机器学习模型的公平同步比较的制作方法

本发明的实施例的领域涉及并行机器学习(ml)算法或模型的公平比较。

背景技术：

1、存在许多并行ml算法以及甚至更多的实现和变型。关于模型和/或算法的术语并行涉及在网格、集群、云等上以分布式或联合方式运行以提高性能。这些ml算法和/或模型在所需的计算、存储器、联网带宽、网络等待时间、盘存储要求和特殊硬件(例如，gpu、asic等)方面不同。例如，支持向量机(svm)具有高计算复杂度和相对低的存储器要求。卷积神经网络(cnn)具有中等计算复杂度和中等存储器要求；k-近邻神经网络(knn)计算复杂度高，内存需求高。另一个示例可以涉及联合学习相对于分布式学习，每个联合学习具有不同的网络利用模式，并且因此具有不同的带宽和延迟要求。另一个例子是节点本地资源需求相对于总体资源需求和理想分布特性(例如均匀分布)的比例。因此，不同的并行ml算法，甚至是相同算法的不同实现，不同地执行：取决于它们所应用的特定ml问题(即，数据)；并且取决于不同的硬件配置和体系结构。

技术实现思路

1、实施例涉及并行机器学习模型的公平比较。一个实施例提供了一种使用计算设备来比较多个算法的性能的方法。该方法包括由计算设备接收多个机器以进行评估。计算设备还接收要分配给多个算法的资源总量。计算设备还将资源总量的公平份额分配给多个算法中的每个算法。计算设备还使用所分配的资源总量的公平份额来执行多个算法中的每个算法。计算设备还基于描述多个算法中的每个算法的任何给定资源分配的硬件相对效用的多个硬件相对效用度量中的至少一个硬件相对效用度量，比较多个算法中的每个算法的性能。实施例以公平和分布式的方式显著地改进了同时对不同算法的基准测试和/或比较。结果，实施例显著地提供了当跨不同的(并行)算法(诸如包括但不限于机器学习(ml)、仿真或搜索的算法或模型)划分有限的分布式计算资源时，使得消除或减轻源于不同的理想硬件要求/偏好的偏差。一些特征考虑了优化ml模型中的更高分布程度和资源异质性的(负面)影响，并且有助于改善“公平性”的优点。一些其它特征有助于使用相同的单个资源池来同时比较ml算法或模型的性能(例如，准确性)的优点。

2、可以包括一个或多个以下特征。在一些实施例中，该方法还可以包括多个算法包括机器学习算法、仿真算法或搜索算法。根据执行时间、准确度、度量或其组合来比较每个算法的性能。

3、在一些实施例中，该方法还可以包括：用于多个算法中的每个算法的输入包括资源类型的集合和包括所需硬件资源的资源束。

4、在一个或多个实施例中，该方法可以进一步包括，每个算法的输入进一步包括资源优选配置文件，该资源优选配置文件包括多个硬件相对效用度量，消除或减轻了由于多个算法的不同硬件要求或偏好而产生的偏差，并且多个硬件相对效用度量基于资源分配指数、资源分布指数和资源方差指数。

5、在一个或多个实施例中，该方法可以包括根据多个硬件相对效用度量，将最优总体资源分配计算为相对硬件效用跨多个算法的帕累托最优、公平或宽松公平分布。

6、在一些实施例中，所述方法可进一步包含以多个资源束确定硬件资源到所述多个算法中的每一者的最优分配。

7、参考以下描述、所附权利要求和附图，将理解本实施例的这些和其它特征、方面和优点。

技术特征：

1.一种使用计算设备来比较多个算法的性能的方法，所述方法包括：

2.根据权利要求1所述的方法，其中所述多个算法包括机器学习算法、模拟算法或搜索算法。

3.根据权利要求2所述的方法，其中所述多个算法中的每个算法的所述性能在执行时间、准确度、度量或其组合方面被比较。

4.根据权利要求2所述的方法，其中所述多个算法中的每个算法的输入包括资源类型的集合和包括所需硬件资源的资源束。

5.根据权利要求4所述的方法，其中：

6.根据权利要求5所述的方法，还包括：

7.根据权利要求1所述的方法，还包括：

8.一种用于比较多个算法的性能的计算机程序产品，所述计算机程序产品包括具有随其体现的程序指令的计算机可读存储介质，所述程序指令能够由处理器执行以使所述处理器：

9.根据权利要求8所述的计算机程序产品，其中所述多个算法包括机器学习算法、仿真算法或搜索算法。

10.根据权利要求9所述的计算机程序产品，其中所述机器学习算法中的每个机器学习算法的性能在执行时间、准确度、度量或其组合方面进行比较。

11.根据权利要求9所述的计算机程序产品，其中所述多个算法中的每个算法的输入包括资源类型集合及包含所需硬件资源的资源束。

12.根据权利要求11所述的计算机程序产品，其中：

13.根据权利要求12所述的计算机程序产品，其中能够由所述处理器执行的所述程序指令还使所述处理器：

14.根据权利要求9所述的计算机程序产品，其中能够由所述处理器执行的所述程序指令还使所述处理器：

15.一种装置，包括：

16.根据权利要求15所述的装置，其中所述多个算法包括机器学习算法、模拟算法或搜索算法。

17.根据权利要求16所述的装置，其中所述算法中的每个算法的所述性能按照执行时间、准确度、度量或其组合来比较。

18.根据权利要求16所述的装置，其中所述多个算法中的每个算法的输入包括资源类型的集合和包括所需硬件资源的资源束。

19.根据权利要求18所述的装置，其中：

20.根据权利要求19所述的装置，其中由所述处理器可执行的所述程序指令还使所述处理器：

技术总结
一种使用计算设备来比较多个算法的性能的方法，该方法包括由计算设备接收多个算法以进行评估。计算设备还接收要分配给多个算法的资源总量。计算设备还将资源总量的公平份额分配给多个算法中的每个算法。计算设备还使用所分配的资源总量的公平份额来执行多个算法中的每个算法。计算设备还基于描述用于多个算法中的每个算法的任何给定资源分配的硬件相对效用的多个硬件相对效用度量中的至少一个硬件相对效用度量，比较多个算法中的每个算法的性能。

技术研发人员：R·恩格尔,A·梅加海德,E·K·巴特勒,N·拉姆钱达尼,王优也
受保护的技术使用者：国际商业机器公司
技术研发日：
技术公布日：2024/2/1