用于深度学习加速器和随机存取存储器的智能低功率模式的制作方法

文档序号:34370201发布日期:2023-06-05 01:30阅读:21来源:国知局

本文中所公开的至少一些实施例大体上涉及集成电路装置中的功率管理,且更尤其涉及但不限于由用于人工神经网络(ann),例如经由机器学习和/或深度学习配置的ann的加速器使用的存储器的功率管理。


背景技术:

1、人工神经网络(ann)使用神经元网络来处理所述网络的输入,且产生来自所述网络的输出。

2、举例来说,网络中的每一神经元接收一组输入。到神经元的一些输入可以是网络中的某些神经元的输出;并且到神经元的一些输入可以是提供到神经网络的输入。网络中的神经元当中的输入/输出关系表示网络中的神经元连接性。

3、举例来说,每一神经元可分别针对其输入具有偏置、激活函数和一组突触权重。激活函数可以呈阶跃函数、线性函数、对数s型(log-sigmoid)函数等形式。网络中的不同神经元可以具有不同激活函数。

4、举例来说,每一神经元可产生其输入与其偏置的加权和,且接着产生作为加权和的函数的输出,所述输出是使用神经元的激活函数计算出的。

5、ann的输入与输出之间的关系一般来说由ann模型限定,所述ann模型包含表示网络中的神经元的连接性的数据,以及每一神经元的偏置、激活函数和突触权重。基于给定ann模型,计算装置可被配置成从到网络的给定一组输入计算网络的输出。

6、举例来说,到ann网络的输入可基于相机输入而产生;并且来自ann网络的输出可为对例如事件或对象等项目的识别。

7、一般来说,可使用监督方法来训练ann,其中调整ann中的参数以最小化或减少与相应输入相关联或由相应输入产生的已知输出与经由将输入应用于ann而产生的所计算输出之间的误差。监督学习/训练方法的实例包含强化学习和具有误差校正的学习。

8、替代地或组合地,可使用无监督方法来训练ann,其中由给定一组输入产生的精确输出在训练完成之前是未知的。可训练ann将项目分类成多个类别,或将数据点分类成集群。

9、可以采用多种训练算法用于复杂的机器学习/训练范例。

10、深度学习使用机器学习的多个层以从输入数据逐渐地提取特征。举例来说,较低层可被配置成识别图像中的边缘;且较高层可被配置成基于使用较低层检测到的边缘而识别图像中所捕获的项目,例如人脸、对象、事件等。深度学习可经由人工神经网络(ann)实施,例如深度神经网络、深度信念网络、递归神经网络和/或卷积神经网络。

11、深度学习已应用于许多应用领域,例如计算机视觉、语音/音频辨识、自然语言处理、机器翻译、生物信息学、药物设计、医疗图像处理、游戏等。


技术实现思路



技术特征:

1.一种装置,其包括:

2.根据权利要求1所述的装置,其中所述第一存储器群组被配置成独立于所述随机存取存储器中的第二存储器群组的功率模式在所述第一时间点进入所述第一功率模式;且所述第一存储器群组被配置成独立于所述第二存储器群组的功率模式在所述第二时间点进入所述第二功率模式。

3.根据权利要求2所述的装置,其中所述第一存储器群组在所述第一功率模式下比在所述第二功率模式下消耗更少功率。

4.根据权利要求3所述的装置,其中所述第一存储器群组在低于所述第二功率模式下的第二电压的所述第一功率模式下的第一电压下供电。

5.根据权利要求3所述的装置,其中所述第一存储器群组被配置成根据低于所述第二功率模式下的第二时钟频率的所述第一功率模式下的第一时钟频率操作。

6.根据权利要求3所述的装置,其中所述第一存储器群组在处于所述第一功率模式时周期性地断电。

7.根据权利要求3所述的装置,其进一步包括:

8.根据权利要求7所述的装置,其进一步包括:

9.根据权利要求3所述的装置,其中由所述至少一个处理单元执行所述指令产生由所述人工神经网络的一部分计算出的识别所述第一时间点和所述第二时间点的数据。

10.根据权利要求3所述的装置,其中由至少所述第二数据表示的所述指令包含使得所述功率管理器起始所述第一存储器群组的所述第一功率模式且起始所述第一存储器群组的所述第二功率模式的指令。

11.根据权利要求8所述的装置,其进一步包括:

12.根据权利要求11所述的装置,其中所述至少一个处理单元包含被配置成对指令的两个矩阵操作数进行操作的矩阵-矩阵单元;

13.根据权利要求12所述的装置,其中所述随机存取存储器和所述深度学习加速器形成于单独集成电路裸片上且由硅穿孔(tsv)连接;且所述装置进一步包括:

14.一种方法,其包括:

15.根据权利要求14所述的方法,其中通过减小电源电压、减小时钟频率或通过周期性地断开电源或其任何组合,所述第一存储器群组在所述第一功率模式下比在所述第二功率模式下消耗更少功率。

16.根据权利要求15所述的方法,其进一步包括:

17.根据权利要求16所述的方法,其进一步包括:

18.根据权利要求17所述的方法,其进一步包括:

19.一种设备,其包括:

20.根据权利要求19所述的设备,其中所述第一存储器群组在所述第一功率模式下比在所述第二功率模式下消耗更少功率;且所述第一时间点、所述第二时间点,和对所述存储器映射的调整基于由存储于所述存储器中的所述第二数据表示的所述指令的执行结果。


技术总结
描述了与深度学习加速器和存储器相关的系统、装置和方法。举例来说,集成电路装置可被配置成执行具有矩阵操作数的指令且配置有包含具有独立功率模式的多个存储器群组的随机存取存储器。所述随机存取存储器被配置成存储数据,其表示人工神经网络的参数且表示可由所述深度学习加速器执行以执行矩阵计算从而产生所述人工神经网络的输出的指令。在所述指令的执行期间,功率管理器可调整映射到所述存储器群组中的存储器地址的分组且调整所述存储器群组的功率模式以降低功耗且避免性能影响。

技术研发人员:P·卡利
受保护的技术使用者:美光科技公司
技术研发日:
技术公布日:2024/1/13
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1