用于人工神经网络的突触器件和人工神经网络的制作方法
【专利摘要】本发明提供了一种用于人工神经网络的突触器件，所述人工神经网络包括多个神经元，所述多个神经元之间通过突触器件阵列相互连接，所述突触器件阵列包括多个突触器件，所述突触器件包括：两个、三个或更多个并联连接的突触单元。本发明还提供了一种包括这种突触器件的人工神经网络。
【专利说明】用于人工神经网络的突触器件和人工神经网络
【技术领域】
[0001] 本发明涉及用于人工神经网络的突触器件和人工神经网络。
【背景技术】
[0002] 人工神经网络是一种模仿生物神经网络的装置，其应用机器学习算法，可以用于 完成对各类信息如图像、声音的识别、分类等任务。一般而言，一个人工神经网络可以包括 多个神经元和用于将神经元彼此互连的突触器件的阵列。作为示例，图1示意性示出了神 经元1和与之相连的两个突触（synapse)器件Wl和W2。分别经由突触器件W 1和W2与神 经元1相连的另外两个神经元（未示出）对神经元1的激励信号用X1和X 2表示。神经元 1例如可以用传统的CMOS电路实现。突触器件W1和W2例如可以由阻变器件（RRAM)实现。 更具体地，突触器件W 1和W2例如可以由基于金属氧化物的阻变器件（TMO-RRAM)实现。
[0003] 在人工神经网络完成某个特定任务之前，需要进行训练，即通过重置（RESET)操 作改变与一个神经元相连的突触器件的RRAM的电阻值，使得它对某个特定类型的输入敏 感。图2示意性示出了对与神经元1相连的一个突触器件1进行训练的电路示意图。如图 所示，重置电压V被施加到突触器件W i,以改变突触器件Wi的电阻值。然而，在低功 耗工作区中，RRAM的电参数（例如电阻值）具有相当大的涨落。即使对于处于同一状态的 RRAM，在施加相同的重置电压后，它们的电参数的变化也可能具有很大差异。这会影响人工 神经网络训练的可靠性，从而降低人工神经网络在工作时的正确率。
【发明内容】
[0004] 为解决现有技术中的至少一个问题而提出本发明。
[0005] 本发明的一个方面提供了一种用于人工神经网络的突触器件，所述人工神经网络 包括多个神经元，所述多个神经元之间通过突触器件阵列相互连接，所述突触器件阵列包 括多个突触器件，所述突触器件包括：两个、三个或更多个并联连接的突触单元。
[0006] 可选地，每个突触单元由阻变器件构成。
[0007] 可选地，每个突触单元包括串联连接的阻变器件和整流器件。
[0008] 可选地，所述整流器件是二极管；并且/或者所述阻变器件是基于金属氧化物的 阻变器件TMO-RRAM。
[0009] 可选地，当整流器件是二极管时：所述二极管的参数是基于所述突触器件的重置 电压V确定的；或者所述突触器件的重置电压V是根据所述二极管的参数确定的，其中：所 述二极管的参数包括二极管的反向饱和电流I s、阈值电压Vt和理想因子n ;并且在人工神 经网络的训练期间，通过在所述突触器件上施加所述重置电压来使得所述突触器件对特定 类型的输入敏感。
[0010] 可选地，所述突触器件的重置电压是根据该突触器件中的二极管的平均参数值确 定的。
[0011] 可选地，该突触器件满足以下关系式： TlVt /1sR V + Ic^R、 _2]
[0013] 其中，y = ff(x)是乘积对数函数，即方程X = yey的解，I是流过所述二极管和与 所述二极管串联的阻变器件的电流，R是与所述二极管串联的阻变器件的电阻值。
[0014] 可选地，所述突触器件的重置电压V、所述二极管的反向饱和电流Is、阈值电压V t 和理想因子n被确定为使得电流I与电阻值R的对数IogR成近似线性关系。
[0015] 可选地，当电流I与电阻值R的对数IogR成近似线性关系时，电流I与电阻值R 的对数IogR的线性拟合的相关系数尽可能接近1。
[0016] 本发明的另一方面提供了一种人工神经网络，包括多个神经元，所述多个神经元 之间通过突触器件阵列相互连接，所述突触器件阵列包括多个如上所述的突触器件。
【专利附图】
【附图说明】
[0017] 参考附图并结合以下详细说明，可以更加清楚本发明的上述和其他优点。附图意 在说明而非限制本发明。在附图中，相同或相似的部件由相同或相似的附图标记表示。
[0018] 图1示意性示出了人工神经网络中的一个神经元和与之相连的两个突触器件；
[0019] 图2示意性示出了对与神经元相连的一个突触器件进行训练的电路示意图；
[0020] 图3示意性示出了根据本发明实施例的突触器件及对其进行训练时的电路连接 示意图；
[0021] 图4示意性示出了通过选择二极管参数和重置电压，来实现流过二极管的电流和 与其串联的RRAM器件的电阻对数值之间的近似线性关系；
[0022] 图5示意性示出了根据本发明另一实施例的突触器件及对其进行训练时的电路 连接示意图；以及
[0023] 图6示意性示出了包括根据本发明实施例的突触器件的人工神经网络的系统仿 真结果。
【具体实施方式】
[0024] 以下参考附图描述本发明的优选实施方式。应当理解，以下实施方式是示例性而 非穷举性的，其仅用于说明本发明的原理，而并非意在限制本发明的范围。
[0025] 图3示意性示出了根据本发明实施例的突触器件W/及对其进行训练时的电路连 接示意图。该突触器件W/的一端连接到重置电压V，另一端连接到神经元1。如图3所示， 该突触器件W/包括并联连接的两个突触单元U 1和U2。突触单元U1包括串联连接的第一 RRAM阻变器件R 1和第一整流器件D1，突触单元U2包括串联连接的第二RRAM阻变器件R 2和 第二整流器件D2。该RRAM阻变器件例如可以利用基于金属氧化物的阻变器件TMO-RRAM来 实现。电路中的整流器件可以由二极管实现。
[0026] 在该实施例中，为了抑制RRAM器件的电参数（例如电阻值）涨落对突触器件的不 利影响，利用两个RRAM器件共同实现一个突触器件，以起到取平均的效果。
[0027] 作为图3所示实施例的替代实施方式，可以将单个RRAM器件改成并联的两个RRAM 器件，而省略图中所示的整流器件，则该并联的两个RRAM器件的电导值是这两个RRAM器件 电导值的算术平均值。
[0028] 但是，由于RRAM器件阻值的变化幅度呈指数依赖关系，通过将二极管与RRAM器件 串联来对RRAM器件的电导值进行几何平均，则可以更有效抑制单个RRAM器件的电参数涨 落的影响，极大地提高人工神经网络工作的正确率。
[0029] 通过适当地选择二极管参数或重置电压V可以实现良好的几何平均效果。以突触 单元U1为例,记二极管D 1的反向饱和电流为Is,阈值电压为Vt,理想因子为n。当RRAM器 件R 1的阻值为R时，如果在突触器件Wi'的两端加上一个固定的重置电压V，则流过RRAM器 件R 1和二极管D1的电流I满足方程：
[0030]
【权利要求】
1. 一种用于人工神经网络的突触器件，所述人工神经网络包括多个神经元，所述多个 神经元之间通过突触器件阵列相互连接，所述突触器件阵列包括多个突触器件，所述突触 器件包括： 两个、三个或更多个并联连接的突触单元。
2. 根据权利要求1所述的突触器件，其中每个突触单元由阻变器件构成。
3. 根据权利要求1所述的突触器件，其中每个突触单元包括串联连接的阻变器件和整 流器件。
4. 根据权利要求3所述的突触器件，其中： 所述整流器件是二极管；并且/或者 所述阻变器件是基于金属氧化物的阻变器件TMO-RRAM。
5. 根据权利要求4所述的突触器件，其中，当整流器件是二极管时： 所述二极管的参数是基于所述突触器件的重置电压V确定的；或者 所述突触器件的重置电压V是根据所述二极管的参数确定的， 其中： 所述二极管的参数包括二极管的反向饱和电流Is、阈值电压Vt和理想因子η ;并且 在人工神经网络的训练期间，通过在所述突触器件上施加所述重置电压来使得所述突 触器件对特定类型的输入敏感。
6. 根据权利要求5所述的突触器件，其中所述突触器件的重置电压是根据该突触器件 中的二极管的平均参数值确定的。
7. 根据权利要求5或6所述的突触器件，其中满足以下关系式：
其中，y = W(X)是乘积对数函数，即方程X = yey的解，I是流过所述二极管和与所述 二极管串联的阻变器件的电流，R是与所述二极管串联的阻变器件的电阻值。
8. 根据权利要求7所述的突触器件，其中所述突触器件的重置电压V、所述二极管的反 向饱和电流Is、阈值电压V t和理想因子η被确定为使得电流I与电阻值R的对数IogR成 近似线性关系。
9. 根据权利要求8所述的突触器件，其中当电流I与电阻值R的对数IogR成近似线性 关系时，电流I与电阻值R的对数IogR的线性拟合的相关系数尽可能接近1。
10. -种人工神经网络，包括多个神经元，所述多个神经元之间通过突触器件阵列相互 连接，所述突触器件阵列包括多个根据权利要求1-6中任一项所述的突触器件。
【文档编号】G06N3/06GK104376362SQ201410673774
【公开日】2015年2月25日 申请日期:2014年11月21日 优先权日:2014年11月21日
【发明者】康晋锋, 毕颖杰, 龙云, 高滨, 陈冰, 刘晓彦 申请人:北京大学