一种基于液体状态机的脉冲神经网络架构

本发明涉及人工智能领域和类脑智能芯片，具体涉及基于液体状态机的脉冲神经网络架构。

背景技术：

1、近年以来，人工智能和深度学习相关技术迅速发展，在各个领域包括图像识别、无人机、智能家居等方面都得到了广泛的应用，极大地改变了人们的生活方式。基于人工神经网络学习的系统可以处理十分复杂的任务，但由于其在复杂任务下极高的数据量，缓慢的运行速度、不低的功耗，很难应用在一些要求实时性高、功耗低的场景中去。同时，随着人们对神经元以及神经系统的研究更加深入，脉冲神经网络与神经形态处理器越来越成为研究的热点。液体状态机是近年来提出的一种基于脉冲神经网络的神经计算模型，可以被映射于神经形态处理器中运行。由于具有简便的计算过程和丰富的动态特性，基于液体状态机的神经形态处理架构拥有强大的计算能力，继而得到广泛的研究与应用。

2、但是目前神经形态处理器仍对于更低的功耗、硬件资源，更强的性能有着强烈的需求，同时液体状态机储备池层中大量的连接参数往往使得液体状态机模型在数字神经形态处理器的运行中需要消耗大量的硬件资源。

技术实现思路

1、本发明的目的在于提供一种基于液体状态机的脉冲神经网络架构，以解决现有技术在运行中需要消耗大量硬件资源的问题。

2、为了实现上述目的，本发明采用的技术方案如下：

3、一种基于液体状态机的脉冲神经网络架构，其特征在于：包括存储层神经元阵列和学习层神经元阵列，分别用于模拟储存层和学习层；

4、所述储存层神经元阵列包括权重生成与概率发射模块，配置为具有第一线性反馈寄存器和第二线性反馈寄存器，在突触前脉冲来临时，通过读取指定的随机数种子存储器中的随机数种子，使得第一线性反馈寄存器产生固定的随机数序列，生成突触后神经元与不同的突触前神经元的权重，并在时间步结束时判断是否发射脉冲进入脉冲缓存器中，所述判断是否发射脉冲进入脉冲缓存器中的条件为：通过时间步进位判断信号将突触后神经元和该时间步内所有脉冲来源的突触前神经元的突触权重的加值与第二线性反馈寄存器产生的随机数进行对比；

5、所述学习层神经元阵列包括if神经元模块、膜电位存储电路、权重存储电路、以及权重学习模块，所述if神经元模块配置为更新神经元膜电位并判断神经元膜电位是否超过阈值，并在超过阈值时发射脉冲；所述权重学习模块配置为计算对应时间步内到达突触后神经元的脉冲的个数，并根据个数与学习率更新存储在权重存储电路中的权重。

6、进一步，在所述储存层神经元阵列内具有兴奋神经元脉冲储存器和抑制神经元脉冲储存器，所述兴奋神经元脉冲储存器用于储存兴奋神经元，所述抑制神经元脉冲储存器用于储存抑制神经元，所述兴奋神经元发射的脉冲对突触后神经元脉冲发射起到正面作用，所述抑制神经元发射的脉冲会对突触后神经元脉冲发射起到抑制作用，并且只有兴奋神经元会与神经网络中的输入层进行稀疏连接以及与输出层进行全连接。

7、进一步，在每一个时间步内部，每次当神经元接受脉冲时，会积累脉冲来源神经元与该神经元突触权重作为发射的概率，其中当兴奋神经元作为脉冲来源神经元，则会增加突触后神经元发射脉冲的概率，当抑制神经元作为脉冲来源神经元，则会减少突触后神经元发射脉冲的概率，并且在时间步结束时，根据积累的概率发射脉冲，并且清零积累的概率。进一步，所述脉冲神经网络架构还包括输出层，所述输出层神经元采用突触后神经元，当突触后神经元接收到突触前神经元发射的脉冲，就会驱动突触后神经元按照下式输出突触后神经元膜电位，

8、vj(t)＝vj(tpre)+ws，ij

9、其中，j表示突触后神经元下标，i表示突触前神经元下标，tpre表示上一次突触后神经元膜电位更新的时刻，vj为突触后神经元膜电位，ws，ij是突触权重。

10、进一步，所述权重学习模块根据下式更新存储在权重存储电路中的权重，

11、δw＝μ·ξi(t)·∑t(st)；

12、

13、其中μ代表学习率，∑t(st)代表时间t内突触前神经元传递脉冲的数量的总和，ri的值则表示突触后神经元在时间t内是否发射有脉冲，1为有，0为无；ζi(t)分别根据ri的值以及突触后神经元是否为该次训练样本代表的类别中的目标神经元得到不同的值；δw则作为突触权重需要更新的大小，所述时间t为时间步长。

14、本发明的有益效果：

15、本发明提出的神经形态系统硬件框架能够在高速并行计算时减少硬件资源消耗量，保证网络的性能的同时达到低硬件资源消耗的目的；其原因在于，相比于传统神经形态系统硬件框架需要大量存储器资源存储存储层神经元之间权重，本发明仅使用数量较少的线性反馈移位寄存器产生的随机数生成神经元权重，减少了存储器资源的利用；

16、本发明基于液体状态机的脉冲神经网络的架构，与传统的脉冲神经网络中神经元输入积累发射模型与权重存储机制相比，通过脉冲传递时神经元概率发射和权重动态生成的方式，并根据突触前神经元传递脉冲的数量决定突触权重改变的幅度构建了整体脉冲循环脉冲神经网络，根据突触前神经元传递脉冲的数量决定突触权重改变的幅度的方法可以适配神经元概率发射，经过算法验证可以保证在图像识别识别率不下降的情况下，保证了网络的性能。

17、提出的神经形态系统支持片上学习，由于相比于传统神经形态系统硬件框架需要大量存储器资源存储存储层神经元之间权重，本发明提出的神经形态系统硬件框架仅使用数量较少的线性反馈移位寄存器产生的随机数生成神经元权重，降低了硬件功耗，因此具有更高的性能。其高性能处理十分适用于边缘计算和移动计算。

技术特征：

1.一种基于液体状态机的脉冲神经网络架构，其特征在于：包括存储层神经元阵列和学习层神经元阵列，分别用于模拟储存层和学习层；

2.根据权利要求1所述的基于液体状态机的脉冲神经网络架构，其特征在于：在所述储存层神经元阵列内具有兴奋神经元脉冲储存器和抑制神经元脉冲储存器，所述兴奋神经元脉冲储存器用于储存兴奋神经元脉冲，所述抑制神经元脉冲储存器用于储存抑制神经元脉冲，所述兴奋神经元发射的脉冲对突触后神经元脉冲发射起到正面作用，所述抑制神经元发射的脉冲会对突触后神经元脉冲发射起到抑制作用，并且只有兴奋神经元会与神经网络中的输入层进行稀疏连接以及与输出层进行全连接，所述权重生成与概率发射模块所发射的脉冲会根据突触后神经元为兴奋神经元与抑制神经元，分别将所发射脉冲送入兴奋神经元脉冲缓存器与抑制神经元脉冲缓存器中，兴奋神经元脉冲缓存器会将脉冲再次同时送进学习层神经元阵列与权重生成与概率发射模块中，所述抑制神经元脉冲缓存器会将脉冲再次送入权重生成与概率发射模块中；所述抑制作用为在权重生成与概率发射模块中减小突触权重，使得发射脉冲前需要将突触权重与第二线性反馈寄存器产生的随机数进行对比时，发射概率更低，所述正面作用为在权重生成与概率发射模块中增加突触权重，使得发射脉冲前需要将突触权重与第二线性反馈寄存器产生的随机数进行对比时，发射概率更高。

3.根据权利要求2所述的基于液体状态机的脉冲神经网络架构，其特征在于：在每一个时间步内部，每次当神经元接受脉冲时，会积累脉冲来源神经元与该神经元突触权重作为发射的概率，其中当兴奋神经元作为脉冲来源神经元，则会增加突触后神经元发射脉冲的概率，当抑制神经元作为脉冲来源神经元，则会减少突触后神经元发射脉冲的概率，并且在时间步结束时，根据积累的概率发射脉冲，并且清零积累的概率。

4.根据权利要求1所述的基于液体状态机的脉冲神经网络架构，其特征在于：所述脉冲神经网络架构还包括输出层，所述输出层神经元采用突触后神经元，当突触后神经元接收到突触前神经元发射的脉冲，就会驱动突触后神经元按照下式输出突触后神经元膜电位，

5.根据权利要求1所述的基于液体状态机的脉冲神经网络架构，其特征在于：所述权重学习模块根据下式更新存储在权重存储电路中的权重，

技术总结
本发明涉及一种基于液体状态机的脉冲神经网络架构，包括存储层神经元阵列和学习层神经元阵列，分别用于模拟储存层和学习层；所述储存层神经元阵列包括权重生成与概率发射模块，配置为具有第一线性反馈寄存器和第二线性反馈寄存器，在突触前脉冲来临时，通过读取指定的随机数种子存储器中的随机数种子，使得第一线性反馈寄存器产生固定的随机数序列，生成突触后神经元与不同的突触前神经元的权重；所述学习层神经元阵列包括IF神经元模块、膜电位存储电路、权重存储电路、以及权重学习模块。本发明能够在高速并行计算时减少硬件资源消耗量，保证网络的性能的同时达到低硬件资源消耗的目的。

技术研发人员：石匆,陈乐毅,田敏,何俊贤,王腾霄,王海冰,喻剑依,高灏然
受保护的技术使用者：重庆大学
技术研发日：
技术公布日：2024/1/14