智能光计算终身学习架构系统与装置

本发明涉及机器学习任务，特别是涉及智能光计算终身学习架构系统与装置。

背景技术：

1、在大规模数据集的推动下，机器学习任务变得越来越多样化和复杂化。机器智能的一个悬而未决的问题是人工智能体如何以更智能的方式传播并具有强大的学习能力以逐渐学习多任务。随着摩尔定律的终结，能耗成为当今电神经网络方法向更广泛任务推广的主要障碍，尤其是在终端/边缘设备中。当前迫切需要寻找下一代计算模式，以突破电神经网络(ann)的物理限制。大规模智能计算是实现日益丰富和复杂的机器学习任务的首要保障。如今基于传统电计算处理器的人工智能面临着功耗墙的限制，阻碍了它们可持续的性能改进。

2、光就是这样一种计算模式，它可以克服电计算的固有局限性，并将能源效率、处理速度和计算吞吐量提高几个数量级。这些非凡的特性已被用来构建特定应用的光学架构，以解决基本的数学和信号处理问题，其性能远远超过现有电子处理器的性能。简单的视觉处理任务，如手写数字识别和显着性检测，已得到波光学模拟或小型光学计算系统的有效验证。同时，一些工作将光学计算单元与各种电神经网络相结合，以扩大onn的规模和灵活性，例如深度光学、傅立叶神经网络和混合光电卷积网络。然而，传统的基于光学的实现仅限于小范围的应用，并且无法持续学习多种任务的经验知识以适应新环境。主要原因是它们继承了传统电计算系统普遍存在的问题：学习新知识时会扰乱之前学到的知识，在接受新任务训练时迅速遗忘以前学习过的任务，即“灾难性遗忘”。这些已有的onn无法充分利用光内在的稀疏性和并行性，最终导致大规模机器学习任务的网络容量和可扩展性较差。

3、不同的是，人类具有逐渐吸收、学习和记忆知识的能力。特别是，神经元和突触仅在有任务需要处理时才执行工作，其中有两个重要的神经认知机制参与：稀疏神经元连接和并行任务处理，它们共同促进了人脑终身学习。因此在onn中，基于光学算子固有稀疏性和并行性可以自然地从生物神经元推广到光神经元，模仿人脑结构和功能的光计算框架展示了其缓解上述问题的潜力，在构建可行的终身学习计算系统方面显示出比电神经网络更多的优势。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明提出了一种智能光计算终身学习架构系统，设计了一种终身学习光神经网络(l2onn)，用于实现多任务及高性能的机器智能。受益于大规模光连接中固有的稀疏性和并行性，l2onn天然地模仿了人脑中神经元和突触的终身学习机制。它通过自适应地激活相干光场中的稀疏光连接来学习每个任务，同时通过逐渐扩大激活连接来逐步获得对各种任务的经验信息。多任务光学特征由分配有不同波长的多光谱表征并行处理。

3、本发明的另一个目的在于提出一种智能光计算终身学习架构装置。

4、为达上述目的，本发明一方面提出一种智能光计算终身学习架构系统，所述系统包括多光谱表征层、终身学习光神经网络层和电网络读出层，其中，

5、所述多光谱表征层，用于将原始输入的包含多任务的电信号通过多光谱表征为不同波长的相干光；

6、所述终身学习光神经网络层，包括光学系统的傅立叶平面中级联的稀疏光卷积层，通过对输入级联的稀疏光卷积层不同波长的相干光进行终身学习光神经网络的多任务逐步训练，并通过所述终身学习光神经网络层输出最终空间光信号；

7、所述电网络读出层，用于识别所述最终空间光信号检测得到的最终光学输出数据，以得到多任务识别结果。

8、另外，根据本发明上述实施例的智能光计算终身学习架构系统还可以具有以下附加的技术特征：

9、进一步地，在本发明的一个实施例中，每层稀疏光卷积层包括光调制滤片和光衍射单元，所述光学系统将输入的不同波长的相干光转换为稀疏光特征并输入级联的稀疏光卷积层进行光卷积运算，所述光调制滤片将光卷积运算后的稀疏光特征进行自适应地光神经元激活，并将激活的光神经元输入至所述光衍射单元调制每个单一任务的光神经元连接以输出最终空间光信号。

10、进一步地，在本发明的一个实施例中，所述电网络读出层，还用于利用强度传感器在输出平面对所述最终空间光信号进行检测以得到所述最终光学输出数据。

11、进一步地，在本发明的一个实施例中，所述光调制滤片为基于相变材料pcm的光调制滤片，所述pcm包括gst单元；每个gst单元包含非晶态和晶态两种状态，对应不同的光谱透射率；在同一波长下，所述光谱透射率高于预设阈值的gst单元为已激活状态，所述光谱透射率低于预设阈值的gst单元为未激活状态。

12、进一步地，在本发明的一个实施例中，所述光学系统为4f光学系统；预设多任务光学特征是第k层稀疏光卷积层中的第i个任务在光谱λi上的特征表征，利用第一个2f系统进行傅里叶转换为：

13、

14、其中，表示傅里叶域中的光特征映射，f代表傅里叶转换矩阵，利用光调制滤片调制为：

15、

16、其中，表示调制后的光特征，mk代表相位调制矩阵，ik(λi)代表强度调制矩阵；利用第二个2f系统将反傅里叶变换到空间域，并利用强度传感器在输出平面上检测正则化的光学输出数据

17、

18、排除电网络读出层，将每层稀疏光卷积层的光学输出数据重新映射为下一层的输入：

19、

20、其中，remap()表示光计算中相应的非线性操作。

21、进一步地，在本发明的一个实施例中，所述电网络读出层，还用于将基于强度传感器在输出平面上检测到最终空间光输出数据切割为l个预设尺寸的空间块，并将空间块的光强数据输入至电全连接层以输出得到所述多任务识别结果；其中，n为光模块层数。

22、进一步地，在本发明的一个实施例中，所述终身学习光神经网络层，还用于：

23、对于光调制滤片上的每个任务的训练，利用终身学习光神经网络训练密集的激活图mapi，并利用强度阈值thres将mapi剪枝为稀疏的激活图：

24、mapi[mapi＜thres]＝0

25、其中，mapi代表在第i个任务上的激活图；将光强数据高于强度阈值的光神经元保留激活：

26、

27、其中，δw表示光卷积权重w的反向传播梯度矩阵，∧操作代表找到两个矩阵相交的单元，v操作则逐渐合并每一个激活图矩阵；

28、所述终身学习光神经网络的损失函数为：

29、

30、其中lcen表示softmax交叉熵损失，pi和gi分别代表第i个任务的网络预测和数据真值，α代表正则化系数。

31、进一步地，在本发明的一个实施例中，所述光调制滤片，还用于共享从所有任务中学习到的光学权重。

32、进一步地，在本发明的一个实施例中，所述基于相变材料pcm的光调制滤片是全光切换的，所述基于相变材料pcm的光调制滤片，还用于在输入光场上进行空间和光谱维度的自适应地光神经元激活。

33、为达上述目的，本发明另一方面提出一种智能光计算终身学习架构装置，包括多光谱表征模块、分束器、反射镜、透镜、光调制滤片和强度传感器；

34、将包含多任务的电信号输入至所述多光谱表征模块以通过多光谱表征为不同波长的相干光，所述不同波长的相干光通过分束器、反射镜、透镜以及光调制滤片进行引导和调制光传播以输出最终空间光信号，所述强度传感器检测所述最终空间光信号得到最终光学输出数据，并通过输出平面得到所述最终光学输出数据的多任务识别结果。

35、本发明实施例的智能光计算终身学习架构系统和装置，实现多任务及高性能的机器智能计算，避免了普通光神经网络(onn)的灾难性遗忘问题，并且在多项具有挑战性的任务(视觉分类、语音识别、医学诊断等)上完成多任务终身学习。

36、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。