人工智能模型分布式处理系统及其操作方法与流程

本公开涉及一种用于通过使用多个装置对人工智能模型执行分布式处理的系统及其操作方法。

背景技术：

1、根据设备上人工智能(ai)技术，可基于电子装置中提供的ai模型来处理各种数据，而无需与云服务器进行数据收发。例如，电子装置可通过使用包括在电子装置中的ai模型和电子装置的硬件配置来实时执行各种操作，而不需要使用云服务器。因此，根据设备上ai技术，在电子装置中收集的用户相关数据不被发送到外部，而是被电子装置本身操作，因此，在保护用户个人信息和数据处理速度方面存在优点。

2、然而，当根据设备上ai技术在电子装置内处理ai模型时，存在处理性能受电子装置中提供的硬件限制的缺点。

3、因此，需要一种处理ai模型的方法，其中可最小化由于电子装置的硬件引起的处理性能的限制，同时在保护用户个人信息和数据处理速度方面保持设备上ai技术的优点。

技术实现思路

1、技术问题

2、本公开旨在解决上述问题，并且提供一种用于对人工智能(ai)模型执行分布式处理的系统。

3、此外，本公开提供了一种计算机可读记录介质，其上记录有用于在计算机上执行该方法的程序。要实现的技术目的不限于上述技术目的，并且可存在其他技术目的。

4、技术方案

5、根据本公开的一个方面，提供了一种由第一电子装置对人工智能模型执行分布式处理的方法。该方法可包括：获得用于对所述人工智能模型执行分布式处理的第二电子装置的性能信息；通过对所述人工智能模型进行分割来获得多个分割模型；基于所述性能信息来估计关于将由所述第二电子装置处理的所述多个分割模型中的每个分割模型的处理时间；基于所估计的处理时间，从所述多个分割模型中确定所述第二电子装置被请求处理的至少一个分割模型；以及通过向所述第二电子装置请求处理所确定的至少一个分割模型，对所述人工智能模型执行分布式处理。

6、所述多个分割模型可通过基于所述性能信息对所述人工智能模型进行分割来获得。

7、获得所述多个分割模型的步骤可包括：将包括在所述人工智能模型中的多个层中的至少一个层识别为用于分割的层；以及获得所述多个分割模型，其中，每个分割模型包括所识别的层作为输出层。

8、可基于从每个层输出的数据的大小、所述第一电子装置与所述第二电子装置之间的数据速率、层是否可被第二电子装置以加速方式处理中的至少一个来识别用于对人工智能模型进行分割的层。

9、用于由第一电子装置对人工智能模型执行分布式处理的所述方法还可包括：从所述第二电子装置接收所述至少一个分割模型的处理结果，以及基于所述处理结果中包括的关于所述第二电子装置处理所述至少一个分割模型的时间的信息来更新所述第二电子装置的性能信息。

10、所述第一电子装置可顺序地处理包括所述第二电子装置被请求处理的至少一个分割模型的多个分割模型。

11、当在所述第一电子装置处理所述多个分割模型的同时从所述第二电子装置接收到处理尚未完成的分割模型的处理结果时，可基于接收到的处理结果，从所述多个分割模型中的其所述处理结果被接收的分割模型开始顺序地执行处理。

12、根据本公开的一方面，提供了一种由第二电子装置对人工智能模型执行分布式处理的方法。所述方法可包括：当针对通过对所述人工智能模型进行分割获得的多个分割模型，基于所述第二电子装置的处理时间确定所述第二电子装置被请求处理的至少一个分割模型时，从第一电子装置接收针对所述至少一个分割模型的处理请求，其中，所述处理时间是基于所述第二电子装置的性能信息估计的；处理所述至少一个分割模型；以及将所述至少一个分割模型的处理结果发送到所述第一电子装置，使得对所述人工智能模型执行分布式处理。

13、除了所述第二电子装置处理所述多个分割模型所消耗的时间之外，所述第二电子装置的处理时间还可包括：所述第二电子装置从所述第一电子装置接收针对所述至少一个分割模型的处理请求所消耗的时间，以及针对所述第一电子装置从所述第二电子装置接收所述至少一个分割模型的处理结果所消耗的时间所估计的时间。

14、所述第二电子装置的性能信息可包括：在所述第二电子装置中提供的硬件信息和关于与所述第二电子装置的操作处理能力相关的所述第二电子装置的状态的信息中的至少一个。

15、当接收到所述处理请求时，所述第二电子装置可从所述至少一个分割模型开始顺序地处理所述人工智能模型的所述多个分割模型，所述多个分割模型包括以下分割模型：针对该分割模型的处理请求未从所述第一电子装置被接收到。

16、当在所述第二电子装置顺序地处理所述多个分割模型的同时从所述第一电子装置接收到针对处理尚未开始的分割模型的处理请求时，可基于所述处理请求从针对其的处理请求被接收到的分割模型开始顺序地执行处理。

17、当从所述第一电子装置接收到针对处理结果最近被提供给所述第一电子装置的分割模型或在该分割模型之前处理的分割模型的处理请求时，第二电子装置可向所述第一电子装置重新发送最近发送到所述第一电子装置的该分割模型的处理结果。

18、根据本公开的一方面，提供了一种被配置为通过使用多个电子装置对人工智能模型执行分布式处理的系统。该系统包括第一电子装置和第二电子装置，其中，所述第一电子装置被配置为：获得用于对所述人工智能模型执行分布式处理的第二电子装置的性能信息，通过对所述人工智能模型进行分割来获得多个分割模型，基于所述性能信息估计关于将由所述第二电子装置处理的所述多个分割模型中的每个分割模型的处理时间，基于所估计的处理时间从所述多个分割模型中确定所述第二电子装置被请求处理的至少一个分割模型，并且向所述第二电子装置请求处理所确定的至少一个分割模型，使得对所述人工智能模型执行分布式处理；所述第二电子装置被配置为：当针对通过对所述人工智能模型进行分割获得的多个分割模型，基于所述第二电子装置的处理时间确定所述第二电子装置被请求处理的至少一个分割模型时，从所述第一电子装置接收对所述至少一个分割模型的处理请求，处理所述至少一个分割模型，并且将所述至少一个分割模型的处理结果发送到所述第一电子装置，使得对所述人工智能模型执行分布式处理，其中，所述处理时间是基于所述第二电子装置的性能信息估计的。

19、根据本公开的一方面，提供了一种计算机可读记录介质，其上记录有用于执行在第一电子装置上执行分布式处理的方法的程序。所述方法可包括：获得用于对所述人工智能模型执行分布式处理的第二电子装置的性能信息；通过对所述人工智能模型进行分割来获得多个分割模型；基于所述性能信息来估计关于将由所述第二电子装置处理的所述多个分割模型中的每个分割模型的处理时间；基于所估计的处理时间，从所述多个分割模型中确定所述第二电子装置被请求处理的至少一个分割模型；以及通过向所述第二电子装置请求处理所确定的至少一个分割模型，对所述人工智能模型执行分布式处理。

20、根据本公开的一方面，提供了一种计算机可读记录介质，其上记录有用于执行在第二电子装置上执行分布式处理的方法的程序。所述方法可包括：当针对通过对所述人工智能模型进行分割获得的多个分割模型，基于所述第二电子装置的处理时间确定所述第二电子装置被请求处理的至少一个分割模型时，从第一电子装置接收对所述至少一个分割模型的处理请求，其中，所述处理时间是基于所述第二电子装置的性能信息估计的；处理所述至少一个分割模型；以及将所述至少一个分割模型的处理结果发送到所述第一电子装置，使得对所述人工智能模型执行分布式处理。

21、根据本公开的一方面，提供了一种被配置为对人工智能模型执行分布式处理的第一电子装置。所述电子装置可包括：存储器，存储所述人工智能模型；至少一个处理器，被配置为：获得用于对所述人工智能模型执行分布式处理的第二电子装置的性能信息，通过对所述人工智能模型进行分割来获得多个分割模型，基于所述性能信息来估计关于将由所述第二电子装置处理的所述多个分割模型中的每个分割模型的处理时间，基于所估计的处理时间，从所述多个分割模型中确定所述第二电子装置被请求处理的至少一个分割模型；以及通信器，被配置为向所述第二电子装置请求处理所述至少一个分割模型，使得对所述人工智能模型执行分布式处理。

22、第一电子装置可顺序地处理所述多个分割模型，并且可基于在通过由所述第一电子装置顺序地处理所述多个分割模型获得的结果和通过由所述第二电子装置处理所述至少一个分割模型获得的结果之中的由所述第一电子装置首先获得的处理结果，对所述人工智能模型执行分布式处理。

23、根据本公开的一方面，提供了一种被配置为对人工智能模型执行分布式处理的第二电子装置。所述电子装置包括：通信器，被配置为基于所述第二电子装置针对多个分割模型的处理时间，从第一电子装置接收所述多个分割模型中的至少一个分割模型，其中，所述多个分割模型是通过对所述人工智能模型进行分割获得的，所述处理时间是基于所述第二电子装置的性能信息估计的；存储器，存储所述至少一个分割模型；以及至少一个处理器，被配置为处理所述至少一个分割模型，并且通过所述通信器向所述第一电子装置发送所述至少一个分割模型的处理结果，使得对所述人工智能模型执行分布式处理。

24、当从所述第一电子装置接收到针对处理结果最近被提供给所述第一电子装置的分割模型或在该分割模型之前处理的分割模型的处理请求时，所述第二电子装置可向所述第一电子装置重新发送最近发送到所述第一电子装置的该分割模型的处理结果。