卷积特征处理方法、芯片、设备及介质与流程

本申请涉及计算机及通信，具体而言，涉及一种卷积特征处理方法、卷积特征处理芯片、电子设备及计算机可读存储介质。

背景技术：

1、脉动阵列在现代ai处理器中有着广泛应用，脉动阵列可以提供很高的计算密度，在ai运算场景中，卷积层和全连接层中输入特征(feature)会和卷积核(weight)进行多次乘加运算，通常feature会进行多次数据复用，weight可以常驻于脉动阵列中，feature流过脉动阵列，即可完成与weight的乘加运算，实现对卷积特征的处理。

2、其中，脉动阵列通常为二维形式，由于其计算密集型的特点，相邻处理单元(pe)间需要使用寄存器进行打拍，来缓解物理实现过程中布局布线的压力，其中，pe间增加的寄存器给设计带来了额外的复杂性：对于输入的weight，需要输入三角化阵列将输入的水平weight转换为三角化的形式，对于完成与weight的乘加运算后输出的部分和(partialsum)，需要输出三角化阵列将输出的三角化形式的结果转换为水平输出的形式，但输出三角化阵列需要大量寄存器进行打拍处理，占用的芯片面积较大；且在将输出的部分和转换为水平后，通常需要控制逻辑同时控制每列输出的累加过程，控制逻辑的扇出很大，加大了芯片物理实现的布局布线难度，增大了卷积特征的处理功耗，使得卷积特征的处理成本较高。

技术实现思路

1、本申请的实施例提供了一种卷积特征处理方法、卷积特征处理芯片、电子设备、计算机可读存储介质及计算机程序产品，可以降低了卷积特征的处理功耗，且降低了卷积特征的处理成本。

2、本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

3、第一方面，本申请实施例提供了一种卷积特征处理方法，包括：生成用于控制卷积特征进行累加处理的控制信号；将所述控制信号沿着列向进行打拍处理，并按照打拍时序将所述控制信号传输至脉动阵列的每列处理单元所对应的累加单元，其中，所述脉动阵列包括多列处理单元，每列处理单元对应于一个累加单元；获取所述累加单元基于每列处理单元当前时刻的卷积特征部分和，以及上一时刻的累加结果进行累加处理得到的当前时刻的累加结果，所述上一时刻的累加结果是所述每列处理单元所对应的累加单元基于所述控制信号获得的；存储所述每列处理单元当前时刻的累加结果，以根据存储的累加结果生成卷积特征向量。

4、第二方面，本申请实施例还提供了一种卷积特征处理芯片，所述芯片包括：访问控制单元，和与访问控制单元连接的多个累加单元，多个累加单元与脉动阵列的多列处理单元一一对应；所述累加单元的第一输入端口与所述访问控制单元的输出端口连接，所述累加单元的第二输入端口与对应的列处理单元的输出端口连接；其中，所述访问控制单元用于生成用于控制卷积特征进行累加处理的控制信号，并将所述控制信号沿着列向进行打拍处理，以传输至每列处理单元所对应的累加单元；所述累加单元用于基于所述访问控制单元输出的控制信号获得上一时刻的累加结果，并基于对应的列处理单元当前时刻输出的卷积特征部分和，以及上一时刻的累加结果进行累加处理得到当前时刻的累加结果；所述访问控制单元还用于获取所述累加单元输出的当前时刻的累加结果，存储所述每列处理单元当前时刻的累加结果，以根据存储的累加结果生成卷积特征向量。

5、在本申请的一实施例，所述芯片还包括依次连接的多个寄存器，每个所述寄存器对应一个所述累加单元；其中，多个寄存器中的首个寄存器与所述访问控制单元连接，用于接收所述访问控制单元输出的控制信号，并对所述控制信号进行打拍处理后，输出所述控制信号；其他寄存器用于接收上一个寄存器输出的控制信号，并对所述控制信号进行打拍处理后，传输至下一个寄存器和下一个寄存器对应的累加单元。

6、在本申请的一实施例中，所述累加单元包括存储器和加法器，所述加法器与所述存储器连接，其中，所述存储器的输入端口与所述访问控制单元的输出端口连接，所述加法器的输入端口与对应的列处理单元的输出端口连接；所述存储器用于基于所述控制信号读取所述上一时刻的累加结果，将所述上一时刻的累加结果传输至所述加法器中；所述加法器用于获取对应的列处理单元的当前时刻的卷积特征部分和，将读取的上一时刻的累加结果与所述当前时刻的卷积特征部分和进行累加处理得到的所述当前时刻的累加结果；所述存储器还用于基于所述控制信号对所述加法器输出的所述当前时刻的累加结果进行存储。

7、在本申请的一实施例中，所述访问控制单元包括数据选择器、加法器和寄存器；所述数据选择器的输出端口与所述加法器的输入端口连接；所述加法器的输出端口与所述寄存器的输入端口连接；所述寄存器的输出端口与所述数据选择器的输入端口连接；所述数据选择器用于从起始地址和所述加法器输出的读地址中选择当前地址；所述加法器用于对所述当前地址和写地址的增量进行加法计算，得到当前的读地址，并将当前的读地址传输至所述数据选择器，所述起始地址和所述写地址的增量是基于所接到的卷积指令得到的；所述加法器还用于将当前的读地址传输至寄存器进行打拍处理得到写地址。

8、第三方面，本申请实施例提供了一种电子设备，包括一个或多个处理器，所述处理器包括卷积特征处理芯片；存储装置，用于存储一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的卷积特征处理方法。

9、第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使电子设备执行如上所述的卷积特征处理方法。

10、第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，电子设备的处理器从所述计算机可读存储介质读取并执行所述计算机程序，使得所述电子设备执行如上所述的卷积特征处理方法。

11、在本申请的实施例所提供的技术方案中，集中生成用于控制卷积特征进行累加处理的控制信号，将控制信号沿着列向进行打拍处理，来匹配三角化输出数据，以便于后续去除三角化阵列，降低芯片面积，且每列处理单元对应的累加单元所需的控制信号都是打拍产生的，按照打拍时序的控制信号只负责一列处理单元所对应的累加单元，减小了布局布线的难度，降低了处理成本，且每列处理单元所对应的累加单元基于控制信号获得上一时刻的累加结果，并基于每列处理单元当前时刻的卷积特征部分和，以及上一时刻的累加结果进行累加处理得到的当前时刻的累加结果，进而获取每列处理单元当前时刻的累加结果，并进行存储，以根据存储的累加结果生成卷积特征向量；即每列处理单元输出的卷积特征部分和直接进行累加操作，无需进行繁杂的打拍操作，降低了卷积特征的芯片处理功耗，进一步降低了处理成本。

12、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种卷积特征处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述控制信号包括读地址和读使能信号；所述获取所述累加单元基于每列处理单元当前时刻的卷积特征部分和，以及上一时刻的累加结果进行累加处理得到的当前时刻的累加结果，包括：

3.根据权利要求1所述的方法，其特征在于，所述脉动阵列的每列处理单元使用流水线设计；所述生成用于控制卷积特征进行累加处理的控制信号，包括：

4.根据权利要求3所述的方法，其特征在于，所述获取所述累加单元基于每列处理单元当前时刻的卷积特征部分和，以及上一时刻的累加结果进行累加处理得到的当前时刻的累加结果，包括：

5.根据权利要求2所述的方法，其特征在于，所述控制信号还包括写地址和写使能信号，所述写地址与所述读地址对应同一存储位置；所述存储所述每列处理单元当前时刻的累加结果，包括：

6.根据权利要求5所述的方法，其特征在于，所述生成用于控制卷积特征进行累加处理的控制信号，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述起始地址和写地址的增量生成所述控制信号，包括：

8.根据权利要求7所述的方法，其特征在于，所述基于所述起始地址获取当前地址，包括：

9.根据权利要求1所述的方法，其特征在于，所述根据存储的累加结果生成卷积特征向量，包括：

10.根据权利要求9所述的方法，其特征在于，所述基于将每列处理单元当前时刻的累加结果存储至对应存储器的存储时间，获取所述存储器中所存储的累加结果对应的转移时间，包括：

11.根据权利要求1至10任一项所述的方法，其特征在于，所述将所述控制信号沿着列向进行打拍处理，并按照打拍时序将所述控制信号传输至脉动阵列的每列处理单元所对应的累加单元，包括：

12.一种卷积特征处理芯片，其特征在于，所述芯片包括：访问控制单元和，与所述访问控制单元连接的多个累加单元，多个累加单元与脉动阵列的多列处理单元一一对应；

13.根据权利要求12所述的芯片，其特征在于，所述芯片还包括依次连接的多个寄存器，每个所述寄存器对应一个所述累加单元；其中，多个寄存器中的首个寄存器与所述访问控制单元连接，用于接收所述访问控制单元输出的控制信号，并对所述控制信号进行打拍处理后，输出所述控制信号；

14.根据权利要求12所述的芯片，其特征在于，所述累加单元包括存储器和加法器，所述加法器与所述存储器连接，其中，

15.根据权利要求12所述的芯片，其特征在于，所述访问控制单元包括数据选择器、加法器和寄存器；

16.一种电子设备，其特征在于，包括：

17.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使电子设备执行权利要求1至11中的任一项所述的方法。

技术总结
本申请的实施例公开了一种卷积特征处理方法、芯片、设备及介质，该方法包括：生成用于控制卷积特征进行累加处理的控制信号；将控制信号沿着列向进行打拍处理，并按照打拍时序将控制信号传输至脉动阵列的每列处理单元所对应的累加单元，获取累加单元基于每列处理单元当前时刻的卷积特征部分和，以及上一时刻的累加结果进行累加处理得到的当前时刻的累加结果，上一时刻的累加结果是每列处理单元所对应的累加单元基于控制信号获得的；存储每列处理单元当前时刻的累加结果，以根据存储的累加结果生成卷积特征向量。本申请实施例的技术方案，可以降低了卷积特征的处理功耗，且降低了卷积特征的处理成本。

技术研发人员：任子木
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15