一种抑制硬件RC芯片过拟合的方法及装置

本公开属于人工智能领域，具体涉及一种抑制硬件rc芯片过拟合的方法及装置。

背景技术：

1、储备池计算(reservoir computing，rc)是由循环神经网络(rnn)衍生而来的一种新型计算框架，具有结构简单、训练成本低的特点。rc的基本思想是通过一个确定的具有丰富动态特性的储备池，将输入从低维空间映射到高维空间，然后通过一个简单的读出节点获得网络输出，只需要训练读出层的连接权重。这使得网络在获得良好的建模精度的同时，大大降低了其训练的计算复杂度。rc已经引起了各个研究领域的相当大的关注，特别是在时间序列相关任务的背景下。

2、与其他神经网络相比，rc的一个优点是大部分的权重不需要自适应更新，因此其电路简单，适合硬件实现。然而，rc不可避免地面临过拟合的挑战，这是神经网络的一个常见问题。过拟合导致训练数据的预测误差小，而测试数据的预测误差大。我们不希望模型只会准确预测在训练时见过的数据，原因很简单：当将来部署该模型时，模型需要判断从未见过的数据。只有当模型真正发现了一种泛化模式时，才会做出有效的预测。更正式地说，我们的目标是发现某些模式，这些模式捕捉到了训练集潜在总体的规律。困难在于，当训练模型时，只能访问数据中的小部分样本。当收集到更多的数据时，会发现之前找到的明显关系并不成立。将模型在训练数据上拟合的比在潜在分布中更接近的现象称为过拟合。

3、传统的解决rc过拟合的方案通常涉及基于软件的正则化算法，如dropout、枝剪或噪声注入。在基于真实器件发展的硬件rc芯片中实现基于软件的正则化算法可能是困难的，因为需要设计复杂的外围电路，这将给硬件rc芯片带来额外的电路面积和能量消耗。

技术实现思路

1、针对现有技术中的不足，本公开的目的在于提供一种抑制硬件rc芯片过拟合的方法，该方法能够利用硬件rc芯片工作时自身产生的噪声信号对硬件rc芯片进行过拟合抑制，无需使用专门的外围电路产生噪声，从而能够避免给硬件rc芯片带来额外的电路面积和能量消耗。

2、为实现上述目的，本公开提供以下技术方案：

3、一种抑制硬件rc芯片过拟合的方法，包括如下步骤：

4、s100：对硬件rc芯片工作时产生的噪声信号以第一采样间隔进行采样，以获得第一采样信号；

5、s200：对第一采样间隔进行调整以获得第二采样间隔；

6、s300对硬件rc芯片工作时产生的噪声信号以第二采样间隔进行采样，以获得第二采样信号；

7、s400：对第二采样信号的信噪比进行调整，以获得具有新信噪比的第三采样信号；

8、s500：将第三采样信号注入硬件rc芯片，以对硬件rc芯片进行过拟合抑制。

9、优选的，步骤s100中，所述噪声信号包括且不限于1/f噪声、高斯噪声和随机电报噪声。

10、优选的，步骤s200中，通过设置不同的采样频率，以对第一采样间隔进行调整。

11、优选的，步骤s300中，所述第三采样信号的信噪比为32db～1 10db。

12、优选的，步骤s400中，所述第三采样信号通过加法或乘法注入硬件rc芯片。

13、优选的，步骤s400中，所述第三采样信号注入硬件rc芯片的部位包括以下任一：硬件rc芯片储备池全部的连接权重、循环连接权重及非循环连接权重。

14、本公开还提供一种抑制硬件rc芯片过拟合的装置，包括：

15、第一获取模块，用于对硬件rc芯片工作时产生的噪声信号以第一采样间隔进行采样，以获得第一采样信号；

16、调整模块，用于对第一采样间隔进行调整以获得第二采样间隔；

17、第二获取模块，用于对硬件rc芯片工作时产生的噪声信号以第二采样间隔进行采样，以获得第二采样信号；

18、第三获取模块，用于对第二采样信号的信噪比进行调整，以获得具有新信噪比的第三采样信号；

19、注入模块，用于将第三采样信号注入硬件rc芯片，以对硬件rc芯片进行过拟合抑制。

20、优选的，所述硬件rc芯片包括输入层、储备池层、输出层，其中，充当储备池的器件包括且不限于自旋振荡器、铁电场效应晶体管及忆阻器。

21、本公开还提供一种电子设备，包括：

22、存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，

23、所述处理器执行所述程序时实现如前任一所述的方法。

24、本公开还提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行如前任一所述的方法。

25、与现有技术相比，本公开带来的有益效果为：

26、1、本公开将硬件rc芯片工作时产生的通常被认为对硬件rc芯片是不良干扰的噪声用于抑制过拟合方面，避免了给硬件rc芯片带来额外的电路面积和能量消耗；

27、2、本公开通过采用硬件rc芯片工作时产生的各种噪声来抑制硬件rc芯片的过拟合，应用在硬件rc芯片储备池中连接权重的不同部分中所获得的有益效果不同，便于调控；

28、3、本公开通过采样频率控制模块可以调整噪声的采样频率，通过向硬件rc芯片中注入不同采样频率的噪声，可以得到不同的过拟合抑制效果，便于调控；

29、4、本公开通过信噪比控制模块可以调整噪声与信号的信噪比大小，通过调整信噪比大小，可以得到不同的过拟合抑制效果，便于调控。

技术特征：

1.一种抑制硬件rc芯片过拟合的方法，包括如下步骤：

2.根据权利要求1所述的方法，其中，优选的，步骤s100中，所述噪声信号包括且不限于1/f噪声、高斯噪声和随机电报噪声。

3.根据权利要求1所述的方法，其中，步骤s200中，通过设置不同的采样频率，以对第一采样间隔进行调整。

4.根据权利要求1所述的方法，其中，步骤s300中，所述第三采样信号的信噪比为32db～110db。

5.根据权利要求1所述的方法，其中，步骤s400中，所述第三采样信号通过加法或乘法注入硬件rc芯片。

6.根据权利要求1所述的方法，其中，步骤s400中，所述第三采样信号注入硬件rc芯片的部位包括以下任一：硬件rc芯片储备池全部的连接权重、循环连接权重及非循环连接权重。

7.一种抑制硬件rc芯片过拟合的装置，包括：

8.根据权利要求7所述的装置，其中，所述硬件rc芯片包括输入层、储备池层、输出层，其中，充当储备池的器件包括且不限于自旋振荡器、铁电场效应晶体管及忆阻器。

9.一种电子设备，包括：

10.一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至6任一所述的方法。

技术总结
本公开揭示了一种抑制硬件RC芯片过拟合的方法，包括如下步骤：S100：对硬件RC芯片工作时产生的噪声信号以第一采样间隔进行采样，以获得第一采样信号；S200：对第一采样间隔进行调整以获得第二采样间隔；S300：对硬件RC芯片工作时产生的噪声信号以第二采样间隔进行采样，以获得第二采样信号；S400：对第二采样信号的信噪比进行调整，以获得具有新信噪比的第三采样信号；S500：将第三采样信号注入硬件RC芯片，以对硬件RC芯片进行过拟合抑制。

技术研发人员：柴正,高亚威,周雪,闵泰
受保护的技术使用者：西安交通大学
技术研发日：
技术公布日：2024/3/12