基于强化学习的超快脉冲激光器反向实现方法和系统

1.本发明涉及超快脉冲激光器技术领域，具体地，涉及一种基于强化学习的超快脉冲激光器反向实现方法和系统。


背景技术：

2.脉冲激光器是指单个激光脉冲宽度小于0.25秒、每间隔一定时间才工作一次的激光器，它具有较大输出功率，适合于激光打标、切割、测距等。
3.专利文献cn113922199a(申请号：cn202111141060.1)公开了一种抗回返的主振荡功率放大脉冲激光器，依次包括种子半导体激光器、回返光处理器、一级放大器、一级回返光处理器、二级放大器、二级回返光处理器、
…
、n级放大器、n级回返光处理器；设计回返光处理器保证信号光正向传输，阻止信号光反向传输，阻止非线性激光、ase光、光路外的回返光反向传输，对回返光进行监测。
4.现有技术主要是通过迭代式的分布傅里叶传统算法来模拟超快激光的传输过程，算法的复杂度高，效率较低，难以满足为超快激光器进行快速反向设计提供反馈信息的要求；另一方面，目前仍未存在利用精确仿真建模结果来对超快激光器进行反向设计的技术，超快激光器的设计几乎完全依靠经验和实验尝试。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种基于强化学习的超快脉冲激光器反向实现方法和系统。
6.根据本发明提供的基于强化学习的超快脉冲激光器反向实现方法，包括：
7.步骤1：通过锁模技术获取种子源，通过种子源确定脉冲形态和光斑模式；
8.步骤2：采用光纤放大技术对脉冲的功率进行放大，确定脉冲的最终能量和输出特性；
9.步骤3：将超快激光生成过程进行模块化和一体化，通过分布傅里叶算法对脉冲在光纤中的传播过程进行仿真；
10.步骤4：将仿真数据按照预设窗口大小值，输入到长短期记忆网络模型lstm中，并进行分步训练；
11.步骤5：将训练后的结果输入到强化学习ddpg中，得到激光器最优参数，使得激光器快速输出指定目标脉冲状态。
12.优选的，通过动作估计网络、动作现实网络、状态现实网络、状态估计网络来寻找获得最大价值的动作，输出激光器中种子源输出脉冲特征、展宽光栅的色散系数、增益光纤的增益系数和长度。
13.优选的，将模型lstm预测的脉冲输出作为强化学习ddpg的输入，选取不同的激光器参数作为动作，通过强化学习来估计q值，q值为评价当前动作的价值以及预估未来动作的奖励值总和，然后计算理想脉冲条件下的q值与当前状态和动作下的q值的均方误差，搜
索使仿真输出脉冲与目标脉冲之间均方误差最小的动作，作为最优激光器参数。
14.优选的，在仿真中，设置光脉冲在光纤中传输的距离为h，首先只让脉冲经历非线性效应的作用，色散和损耗为零；然后设定非线性效应为零，仅考虑色散和损耗的作用。
15.优选的，经过传输的脉冲振幅表达式为：
[0016][0017]
其中，a(z，t)代表z方向上在周期t内的脉冲振幅；d代表色散；n代表非线性；线性算符在频域当中的计算式为：
[0018][0019]
其中，f-1
表示傅里叶逆变换，ω为角频率，为复振幅。
[0020]
根据本发明提供的基于强化学习的超快脉冲激光器反向实现系统，包括：
[0021]
模块m1：通过锁模技术获取种子源，通过种子源确定脉冲形态和光斑模式；
[0022]
模块m2：采用光纤放大技术对脉冲的功率进行放大，确定脉冲的最终能量和输出特性；
[0023]
模块m3：将超快激光生成过程进行模块化和一体化，通过分布傅里叶算法对脉冲在光纤中的传播过程进行仿真；
[0024]
模块m4：将仿真数据按照预设窗口大小值，输入到长短期记忆网络模型lstm中，并进行分步训练；
[0025]
模块m5：将训练后的结果输入到强化学习ddpg中，得到激光器最优参数，使得激光器快速输出指定目标脉冲状态。
[0026]
优选的，通过动作估计网络、动作现实网络、状态现实网络、状态估计网络来寻找获得最大价值的动作，输出激光器中种子源输出脉冲特征、展宽光栅的色散系数、增益光纤的增益系数和长度。
[0027]
优选的，将模型lstm预测的脉冲输出作为强化学习ddpg的输入，选取不同的激光器参数作为动作，通过强化学习来估计q值，q值为评价当前动作的价值以及预估未来动作的奖励值总和，然后计算理想脉冲条件下的q值与当前状态和动作下的q值的均方误差，搜索使仿真输出脉冲与目标脉冲之间均方误差最小的动作，作为最优激光器参数。
[0028]
优选的，在仿真中，设置光脉冲在光纤中传输的距离为h，首先只让脉冲经历非线性效应的作用，色散和损耗为零；然后设定非线性效应为零，仅考虑色散和损耗的作用。
[0029]
优选的，经过传输的脉冲振幅表达式为：
[0030][0031]
其中，a(z，t)代表z方向上在周期t内的脉冲振幅；d代表色散；n代表非线性；线性算符在频域当中的计算式为：
[0032][0033]
其中，f-1
表示傅里叶逆变换，ω为角频率，为复振幅。
[0034]
与现有技术相比，本发明具有如下的有益效果：
[0035]
(1)本发明提出了基于强化学习的超快脉冲激光器快速反向设计的方法，该方法首先通过长短期记忆网络模型lstm替代效率低下的传统分布傅里叶算法，提高仿真效率，然后根据输出需求，结合神经网络快速建模，通过强化学习对超快激光器进行反向设计，推导出满足输出需求的激光器参数，为真实的超快脉冲激光器系统搭建提供一种智能的参考方法；
[0036]
(2)通过人工智能算法建模替代传统分布傅里叶算法对超快脉冲激光器进行建模，降低运算复杂度，提高仿真效率；通过强化学习对超快脉冲激光器进行反向设计；
[0037]
(3)本发明利用lstm神经网络建模替代传统算法，缩短仿真耗时，提高仿真效率；采用强化学习对超快脉冲激光器进行智能地反向设计，弥补了以往只能靠经验和大量实验进行设计的缺陷。
附图说明
[0038]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0039]
图1为超快脉冲激光器的工业生产流程图；
[0040]
图2为超快脉冲放大的流程图；
[0041]
图3为基于强化学习的超快脉冲激光器反向设计示意图；
[0042]
图4为ddpg原理图。
具体实施方式
[0043]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0044]
实施例：
[0045]
超快脉冲激光器的输出具有超短的时间宽度(可窄至飞秒量级)、超高的峰值功率和超宽的光谱范围，其工业生产流程可以大致分成三部分：种子源、放大器、集成化，如图1所示。其中，超快激光种子源一般由锁模技术产生，决定了超短脉冲形态、光斑模式等；放大器常常采用光纤放大技术，它决定了超短脉冲的最终能量和输出特性；集成化将超快激光生成过程模块化一体化，便于工业生产和使用。
[0046]
放大部分的数值仿真模拟过程中，常常采用分布傅里叶算法求解脉冲传播过程中满足的非线性薛定谔方程，利用龙格库塔算法来求解增益过程中满足的速率方程。以啁啾脉冲放大过程为例，图2展示了超快脉冲放大的流程。
[0047]
迭代式的分布傅里叶传统算法能够较为准确的对超快脉冲激光器进行建模。然而，迭代式的分布傅里叶传统算法复杂高，仿真时间长。另一方面，超快脉冲激光器的设计几乎完全依靠实验，若想得到指定特征的脉冲输出，需要通过反复实验来微调激光器各个模块的参数，工作量巨大且对实验人员的经验要求高。
[0048]
本发明所提出的基于强化学习的超快脉冲激光器反向设计流程如图3所示，首先，通过传统算法生成大量的仿真数据，主要涉及两部分：1)利用分布傅里叶算法对脉冲在光
纤中的传播过程做仿真；2)利用四阶龙格库塔算法求解脉冲在增益光纤中满足的速率方程。然后，将仿真数据按照设置好的窗口大小值，输入到神经网络lstm中，采用长短期记忆网络模型(lstm)进行分步训练。与传统分布傅里叶算法相比，训练好的lstm神经网络能够大幅缩短仿真时间，提高仿真效率。
[0049]
将神经网络训练后的结果输入到强化学习ddpg中，通过动作估计网络、动作现实网络、状态现实网络、状态估计网络来寻找获得最大价值的动作，从而输出激光器中各个模块的理想参数(如种子源输出脉冲特征、展宽光栅的色散系数、增益光纤的增益系数和长度等)，结合lstm神经网络建模，将仿真的时间复杂度降低，用更短地时间计算不同激光器参数下激光器的脉冲光场、时域和频域的变化过程。将该计算结果反馈至强化学习算法dppg，使激光器快速输出指定目标脉冲状态，实现超快激光器的快速反向设计，为真实的超快激光器系统搭建提供指导和参考。
[0050]
仿真过程为：
[0051]
设置光脉冲在光纤中传输的距离为h，首先只让脉冲经历非线性效应的作用，色散和损耗为零；然后设定非线性效应为零，仅考虑色散和损耗的作用；
[0052]
经过传输的脉冲振幅表达为：
[0053][0054]
其中，d代表色散，n代表非线性，线性算符可以在频域当中计算：
[0055][0056]
其中，f-1
表示傅里叶逆变换，w为角频率，a为复振幅。
[0057]
利用四阶龙格库塔算法求解脉冲在增益光纤中满足的速率方程：
[0058][0059][0060]
其中，h为求解步长，k1、k2、k3、k4为系数。
[0061]
将仿真数据按照预设窗口大小值，输入到长短期记忆网络模型lstm中，并进行分步训练；假设步长为10，则选取数据集中0号到9号数据作为lstm的输入然后预测第10号数据，然后再以1到10来预测第十一号数据，以此类推。
[0062]
如图4，结合lstm神经网络建模，将仿真的时间复杂度降低，用更短地时间计算不同激光器参数下激光器的脉冲光场、时域和频域的变化过程；将该计算结果反馈至强化学习算法ddpg，将当前状态输入到actor网络当中选取动作a，将状态和动作一同输入到critic网络当中可以求出当前的q值，同时，在目标状态输入到actor目标网络当中，将得到
的动作和状态一同输入到critic目标网络当中，得到目标q值，计算两者之间的误差，目标是使误差最小，从而使激光器快速输出指定目标脉冲状态，实现超快激光器的快速反向设计，为真实的超快激光器系统搭建提供指导和参考。
[0063]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0064]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。