一种面向神经网络运算的片上光网络映射方法

本发明属于光子信号处理，具体为一种面向神经网络运算的片上光网络映射方法。

背景技术：

1、此部分的陈述仅仅提供与本公开有关的背景技术信息，并且这些陈述可能构成现有技术。在实现本发明过程中，发明人发现现有技术中至少存在如下问题。

2、随着人工智能(artificial intelligence,ai)技术的迅猛发展，深度学习在语音识别、图像处理等新兴领域的应用日益广泛，对计算资源的需求呈现出爆炸式增长趋势。神经网络(neural network,nn)是深度学习中执行智能任务的核心算法，随着计算资源需求的不断增长，神经网络规模不断攀升，其在实际应用中面临着功耗、吞吐量以及时延等多方面的挑战。为了提高系统的性能，降低能耗，提升可靠性并减少制造成本，需要开发出更为有效的神经网络加速器加速神经网络的计算。

3、提高神经网络加速器计算效率的关键技术之一就是实现计算单元之间的高效互连。由于片上网络(network-on-chip，noc)架构可以通过在芯片内部构建高效的通信网络，优化数据传输路径，从而减少数据在处理器和存储器之间的移动时间，提高系统整体计算效率。所以研究者们提出了使用noc架构来提升神经网络的推理计算速度，通过将神经网络计算需求一一映射到noc中的知识产权(intellectual property,ip)核上，并通过noc架构将计算单元进行互连，结合数据重用的方式减少处理器访问片外存储器的次数及时间，利用noc网格的优点实现计算单元和数据传输的并行性，提升神经网络的运算效率。

4、但在最近几年，神经网络模型的参数量正以每年十倍的速度增长，随着模型参数量的激增，神经网络加速器中数据传输的速率也要相应提高。在电子瓶颈限制下，随着速率的增加，基于电气互连的noc架构会遇到有限的带宽、超高的功耗以及信号保真度损失等挑战，迫切需要创新的解决方案。而基于片上光互连技术的片上光网络(optical network-on-chip，onoc)能有效地突破金属互连的局限，具有高传输带宽，低时延和低功耗等优势。若将onoc应用于神经网络加速器中，并设计适应于神经网络运算特征的映射算法，通过将神经网络的计算需求映射到onoc的ip核中，并利用光波导实现不同ip核之间的并行互连，可以突破电互连的瓶颈，大幅提升神经网络的运算效率并降低能耗。

5、当前，尽管onoc的研究已取得显著进展，但将神经网络模型映射到onoc中的研究仍然相对较少，且映射方法以随机映射为主，比较单一，导致onoc中通信资源利用率不足，难以充分发挥onoc的技术优势。

6、如申请号202111519491.7专利名称为“一种基于增长型环形som神经网络的片上光网络映射方法”，其根据获胜神经元索引号将索引号从小到大所对应的核图ip核一一映射到网络拓扑节点，减少求解时间。虽然该专利也涉及片上光网络的映射，但其主要将神经网络这一技术应用于传统的片上光网络中的映射需求中，是神经网络赋能片上光网络。其仅是利用神经网络来降低片上光网络中映射方法的复杂度，但并不涉及能耗和吞吐量性能的提升，并未充分发挥片上光网络的技术优势。

7、如何将神经网络模型映射到片上光网络中，并通过设计适合的映射算法及优化方案，以提高通信资源利用率，充分发挥片上光网络的技术优势，是目前的难点所在。

技术实现思路

1、针对上述问题，本发明的目的在于解决现有技术中的一部分问题，或至少缓解这些问题。

2、一种面向神经网络运算的片上光网络映射方法，包括如下步骤：

3、映射前对神经网络进行重塑，以减少onoc架构的流量负载及拓扑规模；所述神经网络重塑应满足三个条件，包括：每个神经元组至少包含所述神经网络的一个神经元；onoc架构的pe数量大于等于神经元组的数量；同一神经元组中的神经元应位于神经网络的同一层中；

4、使用s型映射方法，将重塑后的神经网络映射到片上光网络架构中，以执行推理计算，一个固定的映射结果；

5、使用基于智能启发式算法的igaca的神经网络映射方法进行优化；所述基于智能启发式算法的igaca的神经网络映射方法结合融合遗传算法(ga)的交叉和变异操作以及蚁群算法(aca)的信息素机制，生成更多样化的解扩大搜索空间，以优化片上光网络架构的时延性能，并最终从生成的多个映射结果中找到一个最优的映射结果，即全局最优解。

6、进一步的，所述神经元组对所包含的神经元数量m进行约束，使所述神经元组的计算量不大于处理单元(pe)的计算能力；所述神经网络不同层的神经元属于不同的神经元组，同一层的神经元组个数根据m确定；若该层神经元数量不能对m整除时，剩余的神经元成为一组，直到整个神经网络最后一个神经元设置完成，神经网络的重塑过程结束。

7、优选，所述映射的onoc架构是2d mesh onoc；所述onoc架构采用电控制-光传输的通信模式。

8、进一步的，所述s型映射方法，将第一个神经元组映射到onoc架构右上角的第一个pe中，剩余的神经元组按s型顺序的图案进行映射。

9、建立时延模型来优化所述片上光网络架构的时延性能，以满足传输总时延最小的即为全局最优解；所述片上光网络架构的传输总延迟公式为：

10、

11、其中，s为网络中传输的数据包数量；h表示数据包在网格中从一个路由器传输到另一个路由器所需的中间跳数；twire表示信号在两个路由器之间的物理线路上传播所需的时间；trouter表示通过单个路由器内部处理所需的时间；tcontention表示与源节点距离h跳的路由器上多个数据包竞争同一网络资源导致的延迟；

12、所述全局最优解，即传输总时延的最优解toptimal_solution＝min(ttotal)。

13、所述基于智能启发式算法的igaca的神经网络映射方法，包括如下步骤：

14、初始化：包括设置aca和ga的关键参数，并设计标准的适应度函数；

15、路径构建：每只蚂蚁根据信息素浓度和启发式信息选择路径用于构建解序列；

16、遗传操作：执行选择、交叉和变异操作，得到新个体解，以增加解的多样性和探索能力；

17、信息素更新：模拟蚂蚁在自然界中通过在路径上留下信息素来相互沟通的行为以强化被多次选择的优秀路径，同时逐步消除那些较少被选择的路径；

18、局部搜索：使用2-opt算法对目前最优解的邻域进行搜索，以得到局部最优路径；

19、选择和淘汰：根据所述标准适应度函数公式评估所述新个体解的质量，并选择适应度值高的个体解进行保留，淘汰适应度值低的个体解；

20、收敛判断：当算法执行达到预设的最大迭代次数、解的质量达到或超过预设的阈值，或者在连续多次迭代中解的质量没有显著提升时，算法终止并输出全局最优解。

21、进一步的，所述标准适应度函数定义为：

22、

23、其中，fnormal(x)表示标准适应度函数；fmax(x)表示onoc架构中的传输总时延模型ttotal的最大值；当fmax(x)的值未知时，采用当前种群中的最大传输总时延，或者到目前为止演化过程中ttotal出现的最大值来替代；

24、所述路径构建的公式如下：

25、

26、式中pk(i,j)表示位于位置i的第k只蚂蚁选择下一个位置j的概率；τij(t)表示链路(i，j)上的信息素浓度；表示根据距离定义的启发信息，与链路的长度呈反比；τiμ(t)表示链路(i,μ)上的信息素浓度；表示从节点i转移到节点μ的启发信息；jk(i)表示蚂蚁k待访问的节点集合，其中k＝1，2，...，m,α和β反映了信息素与启发信息的相对重要性。

27、进一步的，所述选择操作采用轮盘赌选择法挑选出上一轮中表现好的映射方案，以便进行交叉和变异操作；个体被选中的概率与其相对适应度成正比，所述相对适应度的计算公式如下：

28、

29、其中，p(xi)表示个体xi被选中的概率，f(xi)表示个体的相对适应度，f(xi)表示个体的原始适应度；

30、所述交叉操作采用单点交叉方法，包括以下步骤：

31、首先在被选中的两个个体的基因序列中随机选择一个位置作为交叉点；然后在选定的交叉点处将两个父代个体的基因序列进行分割，并从分割后的基因片段中选择一个片段进行交换；最后通过交换得到的基因片段组合成两个新的个体；若有重复的基因出现，则删去交叉点后重复的基因，增加不包含在内的基因；

32、所述变异操作采用的是基于位置的实值变异方法，包括如下步骤：

33、首先在所述新的个体的基因序列中随机选择两个位置作为变异点；然后再将第二个变异位置上的基因移动到第一个变异位置基因的前面，最后形成变异后的新个体。

34、进一步的，所述信息素更新的公式为：

35、

36、其中，c表示信息素常数，用于控制蚂蚁在路径上释放信息素的量；lk表示第k只蚂蚁在一次循环中走过的路径总长度；ρ表示一个介于0和1之间的常数，代表信息素的挥发率，用于模拟信息素随时间逐渐减少的自然现象。

37、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的面向神经网络运算的片上光网络映射方法的步骤。

38、本发明具有如下有益效果：

39、1、本发明提出面向神经网络运算的s型和基于智能启发式算法的igaca的映射方案，提出s型映射方案，即先将重塑后的神经网络的第一个神经元组映射到onoc架构右上角的第一个pe中，剩余的神经元组按s型顺序的图案进行映射，提出的s型映射方案与随机映射相比能够显著降低系统的时延，提高吞吐量并减少能耗；提出的基于智能启发式算法的igaca的映射方案融合ga的交叉和变异操作以及aca的信息素机制生成更多样化的解，扩大搜索空间从而提高全局搜索能力，igaca的映射方案与s型映射方案相比能够降低4.83％到8.76％的时延，提高计算效率；

40、2、相对于现有技术，本发明主要利用片上光网络来完成神经网络运算中不同计算节点之间的互连需求，实现神经网络的运算加速，属于片上光网络赋能神经网络运算；其中，神经网络的重塑、s型映射以及改进遗传蚁群算法的映射方案都是针对神经网络的计算需求所设计，可以有效的降低神经网络运算的能耗和时延，提升神经网络的运算效率，从而充分发挥片上光网络的技术优势。

41、附图说明

42、图1为面向神经网络运算的片上光网络映射方法的研究内容流程图；

43、图2为面向神经网络运算的s型和基于智能启发式算法的igaca的映射方法映射到onoc架构上的onoc结构图；

44、图3为神经网络重塑的示意图；

45、图4为面向神经网络运算的随机映射和s型映射方案的示意图；

46、图5为面向神经网络运算的基于智能启发式算法的igaca的映射方案的流程图；

47、图6为基于igaca的神经网络映射方法的迭代过程示意图；

48、图7为不同拓扑规模的noc和onoc下，随机映射方案和s型映射方案在执行不同神经网络模型运算时的时延性能；

49、图8为不同拓扑规模的noc和onoc下，随机映射方案和s型映射方案在执行不同神经网络模型运算时的吞吐量性能；

50、图9为不同拓扑规模的noc和onoc下，随机映射方案和s型映射方案在执行不同神经网络模型运算时的能耗性能；

51、图10为不同拓扑规模的onoc架构下，s型映射方案和基于igaca的映射方案在执行不同神经网络模型运算时的时延性能；