具有动态卸载的深度学习推理的分割的制作方法

文档序号:26012769发布日期:2021-07-23 21:33阅读:来源:国知局

技术特征:

1.一种方法,所述方法包括:

将神经网络的训练后的神经网络模型解析成包括多个节点的数据流图,所述神经网络与边缘设备、连接所述边缘设备和云计算平台的互连以及所述云计算平台相关联;

生成所述数据流图的遍历次序;

向所述边缘设备和所述云计算平台中的每一个指派相应的负载水平范围;

剖析所述多个节点的至少一部分在所述边缘设备和所述云计算平台的所述相应的负载水平范围之上的性能;以及

基于所述多个节点的所述至少一部分的剖析性能确定所述数据流图的分割点。

2.根据权利要求1所述的方法,其中所述多个节点表示对应的张量以及对所述对应的张量的关联操作。

3.根据权利要求2所述的方法,其中所述多个节点中的每一个均还包括一个或多个边缘,对应的节点的一个或多个边缘中的每一个均表示所述对应的节点对所述对应的节点的一个或多个相邻节点的依赖性。

4.根据权利要求3所述的方法,其中将所述相应的负载水平范围指派给所述边缘设备和所述云计算平台中的每一个包括:

向所述边缘设备和所述云计算平台中的每一个指派来自所述相应的负载水平范围的相应的负载水平以创建负载组合,所述负载组合是通过组合所述相应的负载水平范围而导出的负载组合中的一个。

5.根据权利要求4所述的方法,其中对于所述边缘设备和所述云计算平台剖析所述多个节点中的每一个在不同的负载水平下的性能包括,对于每个负载组合:

标识所述数据流图的遍历次序中的一个或多个边缘;

对于所述标识的一个或多个边缘中的每个边缘,通过将测试分割点放置在所述对应的边缘处来计算出对应的等待时间;

选择具有期望特性的解决方案配置;以及

将所述解决方案配置存储到查找表中。

6.根据权利要求5所述的方法,其中标识所述数据流图的遍历次序中的所述一个或多个边缘包括:

确定所述边缘设备的存储器容量;

基于所述存储器容量确定所述边缘设备能够执行的所述多个节点中的节点的范围;以及

基于所述节点的范围限制要标识的所述一个或多个边缘。

7.根据权利要求5所述的方法,其中基于所述多个节点的所述至少一部分的剖析性能确定所述数据流图的分割点包括:

参考所述查找表;

从所述查找表中选择具有所述期望特性的分割配置;以及

将所述分割配置的测试分割点标识为所述数据流图的分割点。

8.根据权利要求1所述的方法,其中所述生成的所述数据流图的遍历次序是所述数据流图的多个可能的遍历次序中的一个。

9.一种系统,所述系统包括:

一个或多个处理器;以及

通信地耦合到所述一个或多个处理器的存储器,所述存储器存储可由所述一个或多个处理器执行的计算机可执行模块,当被执行时,所述计算机可执行模块执行关联操作,所述计算机可执行模块包括:

解析模块,所述解析模块被配置成将神经网络的训练后的网络模型解析成包括多个节点的数据流图,所述神经网络与边缘设备、连接所述边缘设备和云计算平台的互连以及所述云计算平台相关联;

遍历模块,所述遍历模块被配置成生成所述数据流图的遍历次序,所述生成的所述数据流图的遍历次序是所述数据流图的多个可能的遍历次序中的一个;

负载指派模块,所述负载指派模块被配置成向所述边缘设备和所述云计算平台中的每一个指派相应的负载水平范围;

剖析模块,所述剖析模块被配置成剖析所述多个节点的至少一部分在所述边缘设备和所述云计算平台的所述相应的负载水平范围之上的性能;以及

分割模块,所述分割模块被配置成基于所述多个节点的至少一部分的剖析性能确定所述数据流图的分割点。

10.根据权利要求9所述的系统,其中所述多个节点中的每一个均表示对应的张量以及对所述对应的张量的关联操作并且包括一个或多个边缘,对应的节点的一个或多个边缘中的每一个均表示所述对应的节点对所述对应的节点的一个或多个相邻节点的依赖性。

11.根据权利要求10所述的系统,其中所述负载指派模块还被配置成向所述边缘设备和所述云计算平台中的每一个指派来自所述相应的负载水平范围的相应的负载水平以创建负载组合,所述负载组合是通过组合所述相应的负载水平范围而导出的可能的负载组合中的一个。

12.如段落k所述的系统,其中所述剖析模块还被配置成,对于每个负载组合:

标识所述数据流图的遍历次序中的一个或多个边缘;

对于所述标识的一个或多个边缘中的每个边缘,通过将测试分割点放置在所述对应的边缘处来计算出对应的等待时间;

选择具有期望特性的解决方案配置;并且

将所述解决方案配置存储到查找表中。

13.根据权利要求12所述的系统,其中所述剖析模块还被配置成对于每个负载组合通过以下步骤来标识所述数据流图的遍历次序中的一个或多个边缘:

确定边缘设备的存储器容量;

基于所述存储器容量确定所述边缘设备能够执行的所述多个节点中的节点的范围;以及

基于所述节点的范围限制要标识的所述一个或多个边缘。

14.根据权利要求12所述的系统,其中所述分割模块还被配置成:

参考所述查找表;

从所述查找表中选择具有期望特性的分割配置;并且

将所述分割配置的测试分割点标识为所述数据流图的分割点。

15.一种计算机可读存储介质,所述计算机可读存储介质存储可由一个或多个处理器执行的计算机可读指令,当由所述一个或多个处理器执行时,所述计算机可读指令使所述一个或多个处理器执行操作,所述操作包括:

将神经网络的训练后的神经网络模型解析成包括多个节点的数据流图,所述神经网络与边缘设备、连接所述边缘设备和云计算平台的互连以及所述云计算平台相关联;

生成所述数据流图的遍历次序;向所述边缘设备和所述云计算平台中的每一个指派相应的负载水平范围;

剖析所述多个节点的至少一部分在所述边缘设备和所述云计算平台的所述相应的负载水平范围之上的性能;以及

基于所述多个节点的所述至少一部分的剖析性能确定所述数据流图的分割点。

16.根据权利要求15所述的计算机可读存储介质,其中所述多个节点中的每一个均表示对应的张量以及对所述对应的张量的关联操作并且包括一个或多个边缘,对应的节点的一个或多个边缘中的每一个均表示所述对应的节点对所述对应的节点的一个或多个相邻节点的依赖性。

17.根据权利要求16所述的计算机可读存储介质,其中将所述相应的负载水平指派给所述边缘设备和所述云计算平台中的每一个包括:

向所述边缘设备和所述云计算平台中的每一个指派来自所述相应的负载水平范围的相应的负载水平以创建负载组合,所述负载组合是通过组合所述相应的负载水平范围而导出的负载组合中的一个。

18.根据权利要求17所述的计算机可读存储介质,其中对于所述边缘设备和所述云计算平台剖析所述多个节点中的每一个在不同的负载水平下的性能包括,对于每个负载组合:

标识所述数据流图的遍历次序中的一个或多个边缘;

对于所述标识的一个或多个边缘中的每个边缘,通过将测试分割点放置在所述对应的边缘处来计算出对应的等待时间;

选择具有期望特性的解决方案配置;以及

将所述解决方案配置存储到查找表中。

19.根据权利要求18所述的计算机可读存储介质,其中标识所述数据流图的遍历次序中的所述一个或多个边缘包括:

确定所述边缘设备的存储器容量;

基于所述存储器容量确定所述边缘设备能够执行的所述多个节点中的节点的范围;以及

基于所述节点的范围限制要标识的所述一个或多个边缘。

20.根据权利要求18所述的计算机可读存储介质,其中基于所述多个节点的所述至少一部分的剖析性能确定所述数据流图的分割点包括:

参考所述查找表;

选择具有期望特性的分割配置;以及

将所述分割配置的测试分割点标识为所述数据流图的分割点。


技术总结
提供了用于通过以下步骤基于系统波动和可用资源分割学习推理来改进学习推理性能的系统和方法:将神经网络的训练后的神经网络模型解析成具有多个节点的数据流图;生成所述数据流图的遍历次序;向每个边缘设备、连接所述边缘设备和云计算平台的互连以及所述云计算平台指派负载水平范围;对于所述边缘设备和所述云计算平台剖析每个节点在所述负载水平范围之上的性能;以及基于每个节点的剖析性能确定所述数据流图的分割点。通过使用存储所述剖析性能的查找表,可以按需容易地重新分割所述数据流图以便改进性能。

技术研发人员:车帅;陈国洋;李颖敏
受保护的技术使用者:阿里巴巴集团控股有限公司
技术研发日:2019.11.21
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1