模型运行方法及相关设备与流程

本申请中实施方式涉及模型运行，尤其涉及一种模型运行方法及相关设备。

背景技术：

1、算力通常可以用于衡量电子设备执行计算任务的效率和速度。对于具备计算能力的电子设备来说，其上设置有可以执行逻辑运算的计算单元，如cpu。算力是计算单元性能的综合体现。随着机器学习、人工智能等技术的发展，电子设备被用于运行相关模型，以实现一些具体的任务。

2、相关技术通常会利用电子设备中的指定计算单元执行模型运行任务，但是，当指定计算单元算力不足以用来运行模型时，需要等待指定计算单元算力恢复至足以运行模型的程度再利用该指定计算单元运行模型。由此可见，相关技术存在算力利用率较低的问题。

技术实现思路

1、有鉴于此，本申请多个实施方式致力于提供一种模型运行方法及相关设备，可以提升单设备用于模型运行时的算力利用率。

2、本申请的一个实施方式提供一种模型运行方法，包括：确定第一待运行模型分别对应于同一设备内多个计算单元的第一资源预占用值；根据各第一资源预占用值以及所述多个计算单元分别对应的剩余资源值，从所述多个计算单元中选取可运行所述第一待运行模型的计算单元作为目标计算单元；利用所述目标计算单元运行所述第一待运行模型。

3、可选的，所述多个计算单元包括以下至少2种：中央处理器、图形处理器、计算机视觉任务处理单元、视频图像合成任务处理单元。

4、可选的，根据各第一资源预占用值以及所述多个计算单元分别对应的剩余资源值，从所述多个计算单元中选取可运行所述第一待运行模型的计算单元作为目标计算单元的步骤，包括：根据所述多个计算单元之间的调用优先级，依次比对各计算单元的剩余资源值与相应的第一资源预占用值，以确定出大于第一资源预占用值的剩余资源值作为目标剩余资源值；将所述目标剩余资源值对应的计算单元确定为可运行所述第一待运行模型的目标计算单元；或者，按照剩余资源值之间的大小顺序，从最大的剩余资源值对应的计算单元开始，依次比对各计算单元的剩余资源值与相应的第一资源预占用值，以确定出大于第一资源预占用值的剩余资源值作为目标剩余资源值；将所述目标剩余资源值对应的计算单元确定为可运行所述第一待运行模型的目标计算单元。

5、可选的，所述方法还包括：在接收到第一待执行任务的情况下，确定所述第一待执行任务指示运行的第一模型；其中，所述第一模型至少包括所述第一待运行模型和第二待运行模型；根据所述第一待运行模型对应于所述目标计算单元的资源预占用值，更新所述目标计算单元的剩余资源值；确定所述第二待运行模型对应于所述多个计算单元的第二资源预占用值；根据各第二资源预占用值以及所述多个计算单元分别对应的剩余资源值，从所述多个计算单元中选取可运行所述第二待运行模型的计算单元。

6、可选的，所述方法还包括：在可运行所述第二待运行模型的计算单元为所述目标计算单元，且所述目标计算单元的剩余资源值小于相应第二资源预占用值的情况下，将所述第二待运行模型记入对应于所述目标计算单元的待运行队列；其中，所述目标计算单元用于按照所述待运行队列中的记入顺序或模型优先级依次运行相应模型；或者，在可运行所述第二待运行模型的计算单元非所述目标计算单元的情况下，触发可运行所述第二待运行模型的计算单元运行所述第二待运行模型。

7、可选的，所述方法还包括：在接收到第二待执行任务的情况下，确定所述第二待执行任务指示运行的第二模型；在利用所述多个计算单元中至少一个计算单元运行第一模型的过程中，从所述多个计算单元中确定用于运行所述第二模型的指定计算单元，并预加载所述第二模型；在检测到所述第一模型运行结束后，卸载所述第一模型并利用所述指定计算单元运行所述第二模型。

8、可选的，所述方法还包括：加载常驻模型，并基于所述常驻模型对应的资源预占用值确定所述多个计算单元分别对应的剩余资源值。

9、本申请的一个实施方式提供一种模型运行装置，包括：资源预占用值确定模块，用于确定第一待运行模型分别对应于同一设备内多个计算单元的第一资源预占用值；计算单元分配模块，用于根据各第一资源预占用值以及所述多个计算单元分别对应的剩余资源值，从所述多个计算单元中选取可运行所述第一待运行模型的计算单元作为目标计算单元；模型运行模块，用于利用所述目标计算单元运行所述第一待运行模型。

10、本申请的一个实施方式提供一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如前述的模型运行方法。

11、本申请的一个实施方式提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序被处理器执行时能够实现如前述的模型运行方法。

12、本申请的一个实施方式提供一种计算机程序产品，计算机程序产品用于实现如前述的模型运行方法。

13、在本申请提供的多个实施方式中，确定第一待运行模型分别对应于同一设备内多个计算单元的第一资源预占用值；根据各第一资源预占用值以及所述多个计算单元分别对应的剩余资源值，从所述多个计算单元中选取可运行所述第一待运行模型的计算单元作为目标计算单元；利用所述目标计算单元运行所述第一待运行模型。这样可以将同一设备内多个计算单元的剩余资源值作为综合考虑因素，并据此确定出用于运行第一待运行模型的目标计算单元，相关技术仅通过指定计算单元运行模型的方案，存在指定计算单元算力不足而其他计算单元算力充足但未被充分利用的问题，与之相比，本申请可以提升单设备用于模型运行时的算力利用率。

技术特征：

1.一种模型运行方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述多个计算单元包括以下至少2种：中央处理器、图形处理器、计算机视觉任务处理单元、视频图像合成任务处理单元。

3.根据权利要求1所述的方法，其特征在于，根据各第一资源预占用值以及所述多个计算单元分别对应的剩余资源值，从所述多个计算单元中选取可运行所述第一待运行模型的计算单元作为目标计算单元的步骤，包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1～6中任一项所述的方法，其特征在于，所述方法还包括：

8.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如权利要求1至7中任一项所述的模型运行方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序被处理器执行时能够实现如权利要求1至7中任一项所述的模型运行方法。

10.一种计算机程序产品，其特征在于，计算机程序产品用于实现如权利要求1至7中任一项所述的模型运行方法。

技术总结
本申请实施方式提供了一种模型运行方法及相关设备。模型运行方法包括：确定第一待运行模型分别对应于同一设备内多个计算单元的第一资源预占用值；根据各第一资源预占用值以及所述多个计算单元分别对应的剩余资源值，从所述多个计算单元中选取可运行所述第一待运行模型的计算单元作为目标计算单元；利用所述目标计算单元运行所述第一待运行模型。模型运行方法及相关设备可以提升单设备用于模型运行时的算力利用率。

技术研发人员：请求不公布姓名,请求不公布姓名
受保护的技术使用者：上海智元新创技术有限公司
技术研发日：
技术公布日：2025/3/31