同时执行长短期记忆胞计算的神经网络单元的制作方法

文档序号:12178191阅读:来源:国知局

技术特征:

1.一种装置,其特征在于,包括:

一输出缓冲器,用以装载N个文字,该N个文字分配至N/J个互斥的输出缓冲文字群组内,该输出缓冲文字群组具有该N个文字中的J个文字,J大于3,N至少是J的十六倍;

一个由N个处理单元构成的阵列,该N个处理单元分配至N/J个互斥的处理单元群组,该处理单元群组具有该N个处理单元中的J个处理单元,各该处理单元群组对应该N/J个输出缓冲文字群组的其中之一,各该处理单元包括一累加器与一算术单元,该累加器具有一输出,该算术单元对输入执行运算以产生一第一结果累加至该累加器,该输入包括该累加器输出;以及

多个启动函数单元,选择性地对于该累加器的该输出执行一启动函数以产生结果提供至该N个输出缓冲文字;

其中,对于该具有J个处理单元的N/J个处理单元群组中的各该处理单元群组而言:

该处理单元群组的该J个处理单元中的第一,第二,第三与第四处理单元与该多个启动函数单元中的至少一个启动函数单元分别计算一长短期记忆胞的一输入闸,一遗忘闸,一输出闸与一候选状态,以写入该相对应输出缓冲文字群组中的相对应第一,第二,第三与第四文字。

2.根据权利要求1所述的装置,其特征在于,该输出缓冲器包括一屏蔽输入,用以控制该N个文字的其中之一维持其原本数值或是利用该多个启动函数单元的其中之一透过对该输出缓冲文字的该相对应处理单元的该累加器输出执行一启动函数所产生的该结果进行更新。

3.根据权利要求2所述的装置,其特征在于,对于各该输出缓冲文字群组,该屏蔽输入控制该输出缓冲文字群组的该J个文字中的第一,第二,第三与第四文字,以计算出来的该输入闸,该遗忘闸,该输出闸与该候选状态进行更新。

4.根据权利要求3所述的装置,其特征在于,该屏蔽输入控制该输出缓冲文字群组的该J个文字中的该第一,第二与第三文字,在不同于更新该J个文字的该第一,第二与第三文字的时间内,以该输入闸,该遗忘闸,与该输出闸进行更新。

5.根据权利要求3所述的装置,其特征在于,对于该具有J个处理单元的N/J个处理单元群组中的各该处理单元群组,该J个处理单元的其中之一与该多个启动函数单元的其中之一利用分别接收自该输出缓冲文字群组的该J个文字中的该第二,第三与第四文字的该输入闸,该遗忘闸与该候选状态,以及该长短期记忆胞的一当前状态,计算该长短期记忆胞的一新状态。

6.根据权利要求5所述的装置,其特征在于,还包括:

一随机存取存储器,该J个处理单元的该其中之一从该随机存取存储器读取该长短期记忆胞的该当前状态,并且该输出缓冲器将该长短期记忆胞的该新状态写入该随机存取存储器作为该长短期记忆胞在下一个时间步骤中的一当前状态。

7.根据权利要求5所述的装置,其特征在于,对于该具有J个处理单元的N/J个处理单元群组中的各该处理单元群组,该J个处理单元的其中之一与该多个启动函数单元的其中之一:

计算该长短期记忆胞的该新状态的一启动函数;以及

利用该输出闸与该长短期记忆胞的该新状态的该启动函数计算该长短期记忆胞的一新输出。

8.根据权利要求7所述的装置,其特征在于,还包括:

一随机存取存储器,该J个处理单元从该随机存取存储器读取该长短期记忆胞的一当前输出,并且该输出缓冲器将该长短期记忆胞的该新输出写入该随机存取存储器。

9.根据权利要求1所述的装置,其特征在于,该处理单元群组的该J个处理单元中的该第一,第二,第三与第四处理单元同时计算相对应的该第一结果以累加至其相对应的累加器,以及该多个启动函数单元中的至少一个该启动函数单元对该相对应第一结果执行一启动函数以计算该相对应输入闸,遗忘闸,输出闸与候选状态。

10.根据权利要求9所述的装置,其特征在于,该多个启动函数单元包括N个启动函数单元,对应于该N个处理单元;该N个启动函数单元同时从该相对应的处理单元接收该累加器输出并计算该输入闸,该遗忘闸,该输出闸与该候选状态。

11.根据权利要求9所述的装置,其特征在于,该多个启动函数单元的数量少于N并由该N个处理单元共享。

12.根据权利要求1所述的装置,其特征在于,该多个启动函数单元包括硬件查找表。

13.根据权利要求1所述的装置,其特征在于,该J个处理单元中的该第一,第二,第三与第四处理单元与该多个启动函数单元中的至少一个该启动函数单元,利用该长短期记忆胞的一输出与相对应权重以及利用该长短期记忆胞的一输入与相对应权重,分别计算该输入闸,遗忘闸,输出闸与候选状态。

14.根据权利要求13所述的装置,其特征在于,各该处理单元群组的该J个处理单元中的该第一,第二,第三与第四处理单元从该输出缓冲器读取该当前输出。

15.根据权利要求13所述的装置,其特征在于,还包括:

一随机存取存储器,各该处理单元群组的该J个处理单元中的该第一,第二,第三与第四处理单元将该输入从该随机存取存储器读入该长短期记忆胞。

16.根据权利要求13所述的该装置,其特征在于,还包括:

一随机存取存储器,各该处理单元群组的该J个处理单元中的该第一,第二,第三与第四处理单元从该随机存取存储器读取该权重。

17.根据权利要求1所述的装置,其特征在于,各该处理单元包括:

第一与第二多任务缓存器,各该多任务缓存器包括:

至少J+1个输入,该J+1个输入中的一第一输入从一存储器接收一操作数,该J+1个输入中的其它J个输入接收该相对应输出缓冲文字群组的该J个文字;

一输出;以及

一控制输入,用以控制对于该J+1个输入的选择以提供至该输出;

其中,该算术单元具有第一,第二与第三输入,该第一与第二输入分别用以接收该第一与第二多任务缓存器的输出,该第三输入用以接收该累加器输出。

18.根据权利要求1所述的装置,其特征在于,还包括:

一存储器,用以装载由该N个处理单元与该多个启动函数单元执行以实现关联于该N/J个处理单元群组的该N/J个长短期记忆胞的相对应计算的一程序的指令。

19.根据权利要求18所述的装置,其特征在于,该程序包括一循环组,该循环组被执行复数次,以实现相对应多个时间步骤中关联于该N/J个处理单元群组的该N/J个长短期记忆胞的相对应计算。

20.一种运作一装置的方法,该装置具有一输出缓冲器,一个由N个处理单元构成的阵列与多个启动函数单元,其中,该输出缓冲器用以装载N个文字,该N个文字分配至N/J个互斥的输出缓冲文字群组内,该输出缓冲文字群组具有该N个文字中的J个文字,J大于3,N至少是J的十六倍,该N个处理单元分配至N/J个互斥的处理单元群组,该处理单元群组具有该N个处理单元中的J个处理单元,各该处理单元群组对应该N/J个输出缓冲文字群组的其中之一,各该处理单元包括一累加器与一算术单元,该累加器具有一输出,该算术单元对输入执行运算以产生一第一结果累加至该累加器,该输入包括该累加器输出,该多个启动函数单元选择性地对于该累加器的该输出执行一启动函数以产生结果提供至该N个输出缓冲文字,该方法包括:

对于该具有J个处理单元的N/J个处理单元群组中的各该处理单元群组:

利用该处理单元群组的该J个处理单元中的第一,第二,第三与第四处理单元与该多个启动函数单元中的至少一个启动函数单元分别计算一长短期记忆胞的一输入闸,一遗忘闸,一输出闸与一候选状态,以写入该相对应输出缓冲文字群组中的相对应第一,第二,第三与第四文字。

21.根据权利要求20所述的方法,其特征在于,还包括:

利用一屏蔽输入,控制该N个文字的其中之一维持其原本数值或是利用该多个启动函数单元的其中之一透过对该输出缓冲文字的该相对应处理单元的该累加器输出执行一启动函数所产生的该结果进行更新。

22.根据权利要求21所述的方法,其特征在于,还包括:

对于各该输出缓冲文字群组,利用该屏蔽输入控制该输出缓冲文字群组的该J个文字中的第一,第二,第三与第四文字,以计算出来的该输入闸,该遗忘闸,该输出闸与该候选状态进行更新。

23.根据权利要求22所述的方法,其特征在于,还包括:

利用该屏蔽输入控制该输出缓冲文字群组的该J个文字中的该第一,第二与第三文字,在不同于更新该J个文字的该第一,第二与第三文字的时间内,以该输入闸,该遗忘闸,与该输出闸进行更新。

24.根据权利要求22所述的方法,其特征在于,还包括:

对于该具有J个处理单元的N/J个处理单元群组中的各该处理单元群组,利用该J个处理单元的其中之一与该多个启动函数单元的其中之一利用分别接收自该输出缓冲文字群组的该J个文字中的该第二,第三与第四文字的该输入闸,该遗忘闸与该候选状态,以及该长短期记忆胞的一当前状态,计算该长短期记忆胞的一新状态。

25.根据权利要求20所述的方法,其特征在于,还包括:

利用该J个处理单元中的该第一,第二,第三与第四处理单元与该多个启动函数单元中的至少一个该启动函数单元,利用该长短期记忆胞的一输出与相对应权重以及利用该长短期记忆胞的一输入与相对应权重,分别计算该输入闸,遗忘闸,输出闸与候选状态。

26.根据权利要求25所述的方法,其特征在于,还包括:

利用各该处理单元群组的该J个处理单元中的该第一,第二,第三与第四处理单元从该输出缓冲器读取该当前输出。

27.一种编码于至少一非瞬时计算机可使用媒体以供一计算机装置使用的一计算机程序产品,其特征在于,包括:

内含于该媒体的计算机可使用程序代码,用以描述一装置,该计算机可使用程序代码包括:

第一程序代码,用以描述一输出缓冲器,该输出缓冲器用以装载N个文字,该N个文字分配至N/J个互斥的输出缓冲文字群组内,该输出缓冲文字群组具有该N个文字中的J个文字,J大于3,N至少是J的十六倍;

第二程序代码,用以描述一个由N个处理单元构成的阵列,该N个处理单元分配至N/J个互斥的处理单元群组,该处理单元群组具有该N个处理单元中的J个处理单元,各该处理单元群组对应该N/J个输出缓冲文字群组的其中之一,各该处理单元包括一累加器与一算术单元,该累加器具有一输出,该算术单元对输入执行运算以产生一第一结果累加至该累加器,该输入包括该累加器输出;以及

第三程序代码,用以描述多个启动函数单元,该多个启动函数单元选择性地对于该累加器的该输出执行一启动函数以产生结果提供至该N个输出缓冲文字;

其中,对于该具有J个处理单元的N/J个处理单元群组中的各该处理单元群组而言:

该处理单元群组的该J个处理单元中的第一,第二,第三与第四处理单元与该多个启动函数单元中的至少一个启动函数单元分别计算一长短期记忆胞的一输入闸,一遗忘闸,一输出闸与一候选状态,以写入该相对应输出缓冲文字群组中的相对应第一,第二,第三与第四文字。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1