用于功率感知硬件的机器学习模型缩放系统的制作方法

文档序号:33939318发布日期:2023-04-26 00:00阅读:27来源:国知局

本文中所描述的实施例一般涉及人工智能(ai)、机器学习(ml)和神经架构搜索(nas)技术,并且尤其涉及用于硬件感知ai/ml模型搜索的技术。


背景技术:

1、机器学习(ml)是对通过经验和通过使用数据而自动改进的计算机算法的研究。执行机器学习涉及创建统计模型(或简称为“模型”),所述统计模型被配置成处理数据以做出预测和/或推理。ml算法使用样本数据(称为“训练数据”)和/或基于过去的经验来建立模型,以便在没有被明确编程为这么做的情况下做出预测或决策。ml模型在资源消耗、速度、准确度和其它性能度量方面的效率部分基于用于ml模型的模型参数和/或超参数(hyperparameter)的数量和类型。对模型参数和/或超参数的改变能够极大地影响给定ml模型的性能。尤其是,减少参数的数量可能降低模型的准确度,但与模型具有大量参数相比,可允许模型运行得更快并使用更少的存储器。

2、ml模型设计是漫长的过程,其涉及用于调整给定ml模型的结构、参数和/或超参数的训练和验证的高度迭代循环。对于诸如深度神经网络(dnn)等的较大ml架构,训练和验证可能是特别耗时且资源密集的。传统的ml设计技术还可能需要超出许多用户的能力范围(beyond the reach of many users)的相对大量的计算资源。此外,在许多情况下,这些ml模型(例如,dnn)没有针对跨不同硬件平台(例如,不同的中央处理单元(cpu)、图形处理单元(gpu)、移动装置、片上系统(soc)装置、物联网(iot)装置等)的推理而特别优化。

3、代替手动设计ml模型,可使用神经架构搜索(nas)算法来自动发现用于特定任务的理想ml模型(参见例如abdelfattah等人的“zero-cost proxies for lightweightnas”,arxiv abs/2101.08134(2021年1月20日)(“[abdelfattah]”))。nas是将架构工程自动化的过程。然而,nas也可能是耗时且计算密集的。通常,使用nas可能花费许多小时或许多天来完全训练单个神经网络(参见[abdelfattah])。传统的nas技术是耗时的并且在计算上渴求资源。


技术实现思路



技术特征:

1. 一种作为机器学习模型交换(mlms)系统而采用的设备,所述设备包括:

2.如权利要求1所述的设备,其中,所述处理器电路模块被配置成操作所述mlms引擎来执行所述mlms。

3.如权利要求2所述的设备,其中,为了执行所述mlms,所述处理器电路模块被配置成操作所述mlms引擎来执行神经架构搜索(nas)算法以发现所述替换ml模型。

4. 如权利要求2所述的设备,其中,在部署所当前部署的ml模型之前,所述接口电路模块被配置成获得参考ml模型,并且所述处理器电路模块被配置成:

5.如权利要求4所述的设备,其中,为了执行所述mlms,所述处理器电路模块被配置成操作所述mlms引擎以:

6.如权利要求1所述的设备,其中,所述接口电路模块被配置成获得ml配置,其中所述ml配置包括用于触发所述mlms的执行的阈值。

7.如权利要求6所述的设备,其中,用于触发所述mlms的执行的所述阈值包括应用质量度量,其中所述应用质量度量包括所当前部署的ml模型的性能度量阈值,在达到或超过所述性能度量阈值时,触发所述mlms的所述执行。

8.如权利要求6所述的设备,其中,用于触发所述mlms的执行的所述阈值包括系统约束,其中所述系统约束包括所述hw平台的一个或多个系统参数的阈值,在达到或超过所述阈值时,触发所述mlms的所述执行。

9.如权利要求1所述的设备,其中,所述上下文信息包括所述hw平台的操作的当前模式,并且所述hw平台的操作的所述当前模式包括以下项之一:睡眠模式、空闲模式、唤醒模式、和突发模式。

10.如权利要求1所述的设备,其中,所述上下文信息包括所述hw平台的系统状态信息(ssi),并且所述ssi包括以下项中的一项或多项:所述hw平台的各个hw组件的温度、计算能力、存储器利用率、电源状态信息、操作系统信息、和所述各个hw组件的半导体工艺。

11.如权利要求1所述的设备,其中,所述上下文信息包括关于所述hw平台周围的环境的物理环境信息(pei),并且所述pei包括以下项中的一项或多项:所述hw平台的位置的当前温度、湿度、水分、海拔、环境光、环境音量、和天气数据。

12.如权利要求1所述的设备,其中,所述上下文信息包括所述hw平台的联网环境信息(nei),并且所述nei包括以下项中的一项或多项:信道状态条件、网络连接性度量、数据传输速率、和网络参数。

13.如权利要求1-12中任一项所述的设备,其中,所述设备是所述hw平台,或者所述设备是所述hw平台的组件。

14.如权利要求1-12中任一项所述的设备,其中,所述设备与所述hw平台分离。

15.如权利要求1-12中任一项所述的设备,其中,所述hw平台是以下项之一:物联网(iot)装置、无人机、自主交通工具、客户端装置、网络设备、网络元件、边缘服务器、或云计算服务的一个或多个云计算节点。

16.如权利要求1-12中任一项所述的设备,其中,所述hw平台是边缘计算节点,所述mlms引擎是由所述边缘计算节点操作的第一边缘应用或服务,并且所述处理器电路模块被配置成:

17.一种用于执行机器学习模型交换(mlms)策略的方法,所述方法包括:

18.如权利要求17所述的方法,其中,所述方法包括:

19. 如权利要求17所述的方法,其中,所述方法包括:

20.如权利要求19所述的方法,其中,所述确定所述替换ml模型包括:

21. 如权利要求20所述的方法,其中,所述确定用相应候选ml模型替换所当前部署的ml模型的所述数据传输成本包括:

22.如权利要求17所述的方法,其中,所述方法包括:

23.如权利要求17所述的方法,其中,所述上下文信息包括以下项中的一项或多项:所述hw平台的操作的当前模式、所述hw平台的系统状态信息、关于所述hw平台周围的环境的物理环境信息、以及关于所述hw平台的网络条件的联网环境信息。

24.如权利要求17所述的方法,其中,所述计算节点是所述hw平台,或者所述计算节点是所述hw平台的组件。

25.如权利要求17所述的方法,其中,所述hw平台是与所述计算节点不同的装置。

26.如权利要求17所述的方法,其中,所述hw平台是以下项之一:物联网(iot)装置、无人机、机器人、自主交通工具、客户端装置、网络设备、网络元件、边缘服务器、或云计算服务的一个或多个云计算节点。

27.如权利要求17所述的方法,其中,所述hw平台是边缘计算节点,并且所述方法包括:

28.至少一个计算机可读存储介质,包括指令,其中,由计算节点的一个或多个处理器执行所述指令将使所述计算节点执行如权利要求17-27中任一项所述的方法。


技术总结
本公开涉及机器学习模型交换(MLMS)框架,其用于以能量和通信高效的方式来选择和互换机器学习(ML)模型,同时使ML模型适配于系统约束的实时变化。MLMS框架包括ML模型搜索策略,该ML模型搜索策略能够使ML模型灵活地适配于种类众多的计算系统和/或环境变化。通过使用基于相似性的ML模型选择过程来实现能量和通信效率,该基于相似性的ML模型选择过程从当前部署的ML模型中选择在经预训练参数中具有最多重叠的替换ML模型,以最小化存储器写操作开销。可描述和/或要求保护其它实施例。

技术研发人员:D·J·卡明斯,J·P·穆尼奥斯,S·昆都,S·尼图尔斯里达尔,M·尚金
受保护的技术使用者:英特尔公司
技术研发日:
技术公布日:2024/1/11
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1