一种资源分配方法及相关设备与流程

本技术涉及计算机领域，尤其涉及一种资源分配方法及相关设备。

背景技术：

1、随着人工智能(artificial intelligence，ai)领域的飞速发展，越来越多的感知、规控等深度学习算法被学术界、工业界提出，而此类算法需要使用专门处理人工智能中大量计算任务的ai芯片。

2、ai芯片的计算核心主要由多个计算单元，例如ai核(ai core)，构成，负责执行标量、向量和张量相关的计算密集型算子。随着ai芯片中ai核与需要计算的计算模型(例如，神经网络模型)增多，ai核与计算模型如何匹配也成为当前研究热点，一般开发人员会根据经验将不同的计算模型分配给不同的计算单元。

3、但上述分配方法具有很大的主观性和不确定性，这样会导致资源利用率较低。

技术实现思路

1、本技术提供一种资源分配方法，用于提高计算资源的利用率。本技术还提供了相应的装置、计算设备、智能终端、计算机可读存储介质及芯片装置等。

2、本技术第一方面提供一种资源分配方法，该方法包括：对计算设备包括的m个计算单元分组，得到n个资源组，n小于等于m；获取计算设备支持的x个计算模型，x大于等于1；触发n个资源组分别运行x个计算模型，以得到第一运行结果，第一运行结果包括x个计算模型中每个计算模型的n个运行结果；根据第一运行结果和预设知识库从x个计算模型中确定出第一信心模型，预设知识库指示运行结果与资源组间的分配关系，第一信心模型的运行结果匹配n个资源组中的第一资源组；绑定第一信心模型与第一资源组。

3、本技术中，以执行主体为计算设备为例，计算设备为包含ai芯片的设备，例如智能终端，该ai芯片包括m个计算单元，即包括m个ai核，m个ai核都相同，计算设备可以从智能终端中获取到ai芯片所包括的m个ai核的信息。计算设备获取到计算设备支持的x个计算模型，其中x大于等于1。具体的，计算设备通过选取计算模型所在路径，完成计算模型的加载。

4、本技术中，在对m个计算单元分组时，需要根据所有的可能分组情况进行分组，从而在后续可以判断出哪种分组情况最优，即需要对m个计算单元进行多次分组，穷举出所有的分组情况，每种情况下，每个资源组所包含的计算单元的数量不限定，只需要每个资源组所包含的计算单元的和为m即可，即要求分组时不能存在计算单元被重复分组或遗漏。

5、本技术中的预设知识库为预先建立好的知识库，存在大量根据经验得到的分配规则，预设知识库用于指示运行结果与资源组间的分配关系。

6、该第一方面，通过对计算设备的计算单元进行分组，触发资源组分别运行计算模型，以得到运行结果，并根据运行结果和预设知识库从计算模型中确定出信心模型，其中预设知识库指示运行结果与资源组间的分配关系，信心模型的运行结果匹配资源组中的第一资源组，最后绑定第一信心模型与第一资源组，从而提供了一种较优的计算资源分配方案，提高了计算资源的利用率。

7、在第一方面的一种可能的实现方式中，上述步骤：绑定第一信心模型与第一资源组之后，该方法还包括：将第一信心模型分配给第一资源组运行，将x个计算模型中除第一计算模型外的x-1个计算模型分别分配给n个资源组运行，以确定出第二信心模型并绑定第二信心模型与第二资源组，直至根据预设知识库无法确定新的分配关系。

8、该种可能的实现方式中，基于预设知识库可以重复寻优，提升了方案的完整性。

9、在第一方面的一种可能的实现方式中，该方法还包括：获取x个计算模型中每个计算模型的静态参数，静态参数为计算模型单独在m个计算单元中运行得到的；将静态参数写入预设知识库；分配关系包括静态参数、运行结果与资源组间的分配关系。

10、该种可能的实现方式中，获取到每个计算模型的静态参数，并增加至预设知识库的分配关系中，进一步提升了分配的准确性。

11、在第一方面的一种可能的实现方式中，上述步骤：绑定第一信心模型与第一资源组之后，该方法还包括：获取计算设备的剩余资源，剩余资源包括m个计算单元能够提供的算力、带宽、内存、可计算时间中的至少一种；根据剩余资源确定第三信心模型，第三信心模型为对剩余资源占用率最高的计算模型；触发n个资源组分别运行第三计算模型，并将x个计算模型中的其他计算模型随机分配给n个资源组运行，以得到第二运行结果，第二运行结果包括第三计算模型以及其他计算模型的运行结果；根据第二运行结果从n个资源组中确定出第三信心模型对应的第三资源组；绑定第三信心模型与第三资源。

12、该种可能的实现方式中，基于预设知识库，可以确定出多个计算模型和资源组之间的部分绑定关系，但存在还有剩下的计算模型没有与资源组绑定的情况，此时可以基于计算设备的剩余资源进一步寻优，不仅提升了方案的完整性，还进一步提高了分配的准确性。

13、在第一方面的一种可能的实现方式中，上述步骤：绑定第三信心模型与第三资源之后，该方法还包括：确定第四信心模型，直至剩余资源的占比小于设定阈值或无法确定出新的信心模型。

14、该种可能的实现方式中，基于剩余资源可以重复寻优，提升了方案的完整性。

15、在第一方面的一种可能的实现方式中，上述步骤：绑定第三信心模型与第三资源之后，该方法还包括：将其他计算模型分别或随机分配给n个资源组运行，以得到第三运行结果；根据第三运行结果从n个资源组中确定出其他计算模型对应的第四资源组；绑定其他计算模型与第四资源组。

16、该种可能的实现方式中，当基于预设知识库和剩余资源都无法将全部的计算模型绑定或分配时，还可以随机分配或穷举剩下的情况，选取其中的最优绑定方案，提升了方案的完整性和可实现性。

17、在第一方面的一种可能的实现方式中，n为计算设备支持的最大分组数。

18、该种可能的实现方式中，n应该小于或等于计算设备支持的最大分组数，当n为于计算设备支持的最大分组数时，即将m个计算单元分为数量最多的资源组时，将计算模型与资源组绑定的分配可能性增加，得到最优绑定关系的可能性也相应提高。

19、在第一方面的一种可能的实现方式中，上述步骤：对计算设备包括的m个计算单元分组，得到n个资源组包括：根据最大分组数和预设分组规则对m个计算单元进行多次分组，预设分组规则包括对m个计算单元进行分组的分组效果信息。

20、该种可能的实现方式中，根据最大分组数对m个计算单元进行多次分组，从而可以获取到不同分组情况的运行结果，从而可以确定出效果最佳的分组情况，且根据预设分组规则可以预先排除效果不好的分组情况，提升了分组效率和后续的运行效率。

21、在第一方面的一种可能的实现方式中，该方法还包括：获取多次分组中每次分组的分组价值，分组价值基于x个计算模型中的每个计算模型对绑定的资源的占用率确定；输出分组报告，分组报告包括每次分组中x个计算模型中的每个计算模型与资源组的绑定情况和对应的分组价值。

22、该种可能的实现方式中，输出报告提供了多种分组情况和详细信息，用户可以根据自身的需求调整分组，提升了用户体验。

23、本技术第二方面，提供了一种资源分配装置，用于执行上述第一方面或第一方面的任意可能的实现方式中的方法。具体地，该资源分配装置包括用于执行上述第一方面或第一方面的任意可能的实现方式中的方法的模块或单元，如：获取单元、分组单元、触发单元、确定单元和绑定单元。

24、本技术第三方面提供一种计算设备，该计算设备包括处理器、内存和存储有计算机程序的计算机可读存储介质；处理器与计算机可读存储介质耦合，处理器上运行的计算机执行指令，当计算机执行指令被处理器执行时，处理器执行如上述第一方面或第一方面任意一种可能的实现方式的方法。可选地，该计算设备还可以包括输入/输出(input/output，i/o)接口，该存储有计算机程序的计算机可读存储介质可以是存储器。

25、本技术第四方面提供一种智能终端，该智能终端包括本技术第二方面提供的资源分配装置或第三方面提供的计算设备。

26、在第四方面的一种可能的实现方式中，该智能终端还包括m个计算单元，处理器用于调用存储器中的程序代码以将m个计算单元分为n个资源组。

27、本技术第五方面提供一种存储一个或多个计算机执行指令的计算机可读存储介质，当计算机执行指令被处理器执行时，处理器执行如上述第一方面或第一方面任意一种可能的实现方式的方法。

28、本技术第六方面提供一种存储一个或多个计算机执行指令的计算机程序产品，当计算机执行指令被处理器执行时，处理器执行如上述第一方面或第一方面任意一种可能的实现方式的方法。

29、本技术第七方面提供了一种芯片装置，该芯片装置包括至少一个处理器和接口，该接口用于接收数据和/或信号，至少一个处理器用于支持计算设备实现上述第一方面或第一方面任意一种可能的实现方式中所涉及的功能。在一种可能的设计中，芯片装置还可以包括存储器，存储器，用于保存计算设备必要的程序指令和数据。该芯片装置，可以由芯片构成，也可以包含芯片和其他分立器件。

30、从以上技术方案可以看出，本技术具有以下优点：

31、通过对计算设备的计算单元进行分组，触发资源组分别运行计算模型，以得到运行结果，并根据运行结果和预设知识库从计算模型中确定出信心模型，其中预设知识库指示运行结果与资源组间的分配关系，信心模型的运行结果匹配资源组中的第一资源组，最后绑定第一信心模型与所述第一资源组，从而提供了一种较优的计算资源分配方案，提高了计算资源的利用率。