多通道视频流二维卷积处理的光学装置

本发明涉及光计算领域，特别是一种多通道视频流二维卷积处理的光学装置。

背景技术：

1、随着传感器网络、移动互联网、边缘数据处理等技术的飞速发展，大量数据以流媒体的形式在各个应用领域中不断产生并传输。因此，如何在不同情况下合理处理大量流数据越来越受到关注。特别是考虑到目前城市管理对交通视频处理、智能驾驶中对车载视频识别等应用中低时延、高通量的需求。在分布式计算平台上处理多路视频流数据，实现对机动车、非机动车、多路口行人的识别与跟踪搜索已成为目前急需解决的问题。为了满足处理多通道视频流数据的迫切需求，市场上有许多计算架构，但是传统的数据流分析在流式传输数据的过程中存在时延高、扩展性弱、适应性差等问题，难以满足日益增长的数据量需求。为此，我们急需引入新的流数据处理手段。

2、在此背景下，光计算成为了突破电子技术瓶颈的有效途径。光计算近些年来发展迅速，相较于电计算，光计算最大特征在于其数据传输时无能量消耗且具有超高的时间速率，因此其具有高速、大带宽、低功耗等优势。这些优势有利于加速多通道视频流数据处理。同时面对多通道视频流数据，如交通视频处理和车载视频识别等，其核心需要计算的算法具有相似性。而光计算具有高度并行化优势，能实现时间、空间、波长、模式等多维复用，使光计算在处理多通道视频流数据时能通过复用实现实时计算。但目前采用光计算与应用结合，特别是与多通道视频流相结合的工作极为缺失，少有工作关注于解决面向应用时光计算所遇见的问题。然而，从光计算技术和多通道视频流处理技术的发展角度看，将光计算应用于多通道视频流是极为重要的。因此，一种针对于多通道视频流的光学架构势在必行。

3、专利文献cn114841334a公开了一种光计算装置、系统及卷积计算方法，具体是将数据加载到不同的光波长上，通过波长路由的方法将不同的数据分配给不同的调制器加载不同的权值，最终通过不同波长的加和实现加法运算，最终完成卷积计算，但是，该方案实现的卷积处理输入数据规模限制于波长数量以及波长路由器的复杂度，当处理标准高清视频1920×1080分辨率时，需要2百万以上的波长数量，波长路由器的复杂度更是呈现平方关系，这是无法实现的。

4、专利文献cn109639359a公开了一种采用微环谐振器进行卷积运算的方案，采用微环谐振器进行乘法运算，非相干光强累积进行加法运算，进而实现卷积运算，然而，该方案的光路结构仅能实现一维卷积，在执行二维卷积时，需将二维卷积在计算机中分解成一维卷积依次运算，大幅降低了该方案的执行效率。视频流处理为典型的二维卷积处理，因此，该文献公开的方案并不能最佳适配视频流处理。

技术实现思路

1、本发明的目的在于针对上述现有技术的不足，提出了一种用于卷积处理多通道视频流的光学装置。该装置采用光电协同的方式，通过波长复用实现对多通道视频流的计算，同时本装置通过前端电学移位复制或光学复制加电学后端移位的数据复制(后续分别称为“前存储”和“后存储”)实现对视频流数据的二维计算。

2、为实现上述目的，本发明的采用如下技术方案：

3、本发明提供一种在“前存储”配置下的多通道视频流二维卷积处理的光学装置，用于处理n×m个视频流输出信号源，其特点在于，包括：

4、前端电学处理器阵列，由m个电学处理器组成，用于将n个视频流信号(单信号大小a×b，a>b)按照依次短边相连的方式整合为一组信号na×b，从而将n×m个视频流输出信号源整合为m路信号，并将每路信号复制输出m×k组信号，其中每一个电学处理器输出k组信号，该k组信号分别为原数据的第1行至第(b-k+1)行，第2行至第(b-k)行…第k组信号为第k行至最后一行；

5、光源阵列，由m个不同波长的光源组成，每个光源等分为k份；

6、调制器阵列，由m×k个调制器组成，用于将电信号调制至光上，其中，每k个调制器为一组，m组调制器分别连接不同波长的光源和电学处理器，即各组调制器中每个调制器与对应的光源和电学处理器分别连接；

7、波分复用器阵列，由k个波分复用器组成，每个波分复用器分别与每组调制器中对应的一个调制器相连，用于将不同波长的光合并在一起，实现波长复用；

8、光计算装置阵列，由k个光计算装置组成，每个光计算装置包含矩阵乘法、卷积计算等一系列光学计算操作，并能对输入的m个波长信号同时处理。k个光计算装置分别来连接不同波分解复用器。

9、波分解复用器阵列，由k个波分解复用器组成，将每个光计算转置中的m个不同波长光信号解复用。每个波分解复用器分别与m个光电探测器相连。

10、光电探测器阵列，由m×k个光电探测器组成。用于将处理后的光信号转换为电信号。并将属于同一波长的k组信号传输至一个后端电学处理器中。每k组光电探测器分别与1个后端电学处理器相连

11、后端电学处理器阵列，由m个电学处理器组成，通过对k个光电探测器输出的同一波长信号信号直接加和，实现大小为j×k的二维卷积操作。

12、同时，本发明还提供一种在“后存储”配置下的多通道视频流二维卷积处理的光学装置，用于处理n×m个视频流输出信号源，其特点在于，包括：

13、前电学处理器阵列，由m个电学处理器组成，用于将n个视频流信号(单信号大小a×b，a>b)按照依次短边相连的方式整合为一组信号na×b，从而将n×m个视频流输出信号源整合为m路信号输出；

14、光源阵列，由m个不同波长的光源组成；

15、调制器阵列，由m个调制器组成，对应所述前电学处理器阵列输出的m路信号，每路信号在调制至光上后再分别复制k路；调制器与波分复用器相连，对应k个波分复用器；

16、波分复用器阵列，由k个波分复用器组成，每个波分复用器分别与m个调制器相连；

17、光计算装置阵列，由k个光计算装置组成。每个光计算装置包含矩阵乘法、卷积计算等一系列光学计算操作，并能对输入的m个波长信号同时处理。k个光计算装置分别来连接不同波分解复用器。

18、波分解复用器阵列，由k个波分解复用器组成，将每个光计算转置中的m个不同波长光信号解复用。每个波分解复用器分别与m个光电探测器相连。

19、光电探测器阵列，由m×k个光电探测器组成。用于将处理后的光信号转换为电信号。并将属于同一波长的k组信号传输至一个后端电学处理器中。每k组光电探测器分别与1个后端电学处理器相连

20、后端电学处理器阵列，由m个电学处理器组成，对k个光电探测器输出的同一波长信号按以下操作处理：第一组信号选取第一行至第(b-k+1)行，第二组信号选取第二行至第(b-k)行…第k组信号选取第k行至最后一行。然后将处理后的k组信号加和，实现二维卷积操作。

21、进一步，本发明光计算装置阵列，能在光上实现卷积操作。其内部调制器件可包括微环、马赫曾德尔调制器、马赫曾德尔干涉仪、相变材料等。

22、前端及后端电学处理器阵列，能实现二维数据的整合、重排。其主要功能为：n个信号(单信号大小a×b，a>b)按照依次短边相连的方式整合为一组信号(na×b)；对(na×b)的信号按照第k行至第k+l行(k，l≥0)选取并按照每行首尾连接的形式整合为1行；将一维数据按照选取大小划分为多个一维数据并重排为二维数据。

23、本发明的技术优势在于：

24、(1)通过在电学处理器中对多通道视频流数据进行整合，实现了光电数据处理速度匹配。缓解了因光计算装置瞬时算力高而引起的算力资源过剩的问题。

25、(2)本发明通过两级存储架构(前存储或后存储架构均为两级存储架构)设计，打破光子卷积计算仅能实现一维计算的局限，使得视频流的二维数据无需分解即可进行流水式计算，对视频数据处理所需的车辆识别与跟踪搜索具有重要意义。

26、(3)本发明的输入数据规模仅取决于视频流的数据规模，不受光计算系统的限制，为视频流处理提供适配方案。