本发明涉及人工智能领域,特别涉及一种人工智能加速器及其运作方法。
背景技术:
1、近年来,随着人工智能(artificial intelligence,ai)相关应用蓬勃发展,人工智能演算法的复杂度与运算时间持续上升,同时也提升了人工智能加速器(aiaccelerator)的使用需求。
2、目前人工智能加速器的设计主要聚焦在如何提高运算速度及适应新的演算法,然而从系统应用的角度来看,除了加速器本身的运算速度,资料传输速度亦是一个影响整体效能的关键因素。
3、相关技术中,增加运算单元的数量以及储存装置的传输通道可以提高运算速度以及提高资料传输速度,然而,新增的运算单元以及传输通道将导致人工智能加速器中的控制命令变得更为复杂,而且传输这些控制命令也会占用大量的时间及频宽。
4、另外,现有的技术例如near-memory processing(nmp),function-in memory(fim),processing-in-memory(pim)仍然采用传统的risc指令集实作控制指令。然而,为了控制多个定序器(sequencer)中的多个控制暂存器,必须发送多个指令才能实现,如此将进一步提高指令传输的负担(overhead)。
技术实现思路
1、有鉴于此,本发明提出一种人工智能加速器及其运作方法,使用封装式指令的机制减少指令传输的负担,并利用资料传输单元来提升人工智能加速器的性能。
2、依据本发明一实施例的一种人工智能加速器,包括外部指令派遣器、第一资料存取单元、第二资料存取单元、总体缓冲器、内部指令派遣器以及资料指令切换器。外部指令派遣器用于接收位址及存取资讯。外部指令派遣器依据位址发送存取资讯至第一资料存取单元及第二资料存取单元之一。第一资料存取单元电性连接外部指令派遣器及总体缓冲器。第一资料存取单元依据存取资讯从储存装置取得第一资料,以及发送第一资料至总体缓冲器。第二资料存取单元电性连接外部指令派遣器。第二资料存取单元依据存取资讯从储存装置取得第二资料,以及发送第二资料。资料指令切换器电性连接第二资料存取单元、总体缓冲器及内部指令派遣器。资料指令切换器从第二资料存取单元取得位址及第二资料,依据位址将第二资料发送至总体缓冲器及内部指令派遣器之一。
3、依据本发明一实施例的一种人工智能加速器的运作方法,其中,人工智能加速器包括外部资料派遣器、第一资料存取单元、第二资料存取单元、总体缓冲器、内部指令派遣器以及资料指令切换器。所述人工智能加速器的运作方法包括下列步骤:
4、外部指令派遣器接收位址及存取资讯。外部指令派遣器依据位址发送存取资讯至第一资料存取单元及第二资料存取单元之一。当存取资讯被发送至第一资料存取单元时,第一资料存取单元依据存取资讯从储存装置取得第一资料,第一资料存取单元发送第一资料至总体缓冲器。当存取资讯被发送至第二资料存取单元时,第二资料存取单元依据存取资讯从储存装置取得第二资料并发送第二资料及位址至资料指令切换器,资料指令切换器依据位址将第二资料发送至总体缓冲器及内部指令派遣器之一。
5、综上所述,本发明提出的人工智能加速器及其运作方法通过资料存取单元取得资料或指令的设计可以有效降低人工智能加速器的指令传输负担,从而提升人工智能加速器的性能。
6、以上有关本发明所提供内容的说明及以下的实施方式的说明仅仅是为了说明的目的,并非为了限制本发明的范围。并且提供本发明范围更进一步的解释。
1.一种人工智能加速器,包括:
2.根据权利要求1所述的人工智能加速器,其中,该位址及该存取资讯为汇流排格式。
3.根据权利要求1所述的人工智能加速器,其中:
4.一种人工智能加速器的运作方法,其中,该人工智能加速器包括一外部资料派遣器、一总体缓冲器、一第一资料存取单元、一第二资料存取单元、一内部指令派遣器以及一资料指令切换器,所述人工智能加速器的运作方法包括:
5.根据权利要求4所述的人工智能加速器的运作方法,其中,该位址及该存取资讯为汇流排格式。
6.根据权利要求4所述的人工智能加速器的运作方法,其中,该位址为第一位址、该存取资讯为第一存取资讯,还包括:
7.根据权利要求6所述的人工智能加速器的运作方法,其中,该第二位址及该第二存取资讯为汇流排格式。