一种基于强化学习的金纳米棒AuNRs合成方法、系统与流程

本发明涉及材料生成，具体而言，涉及一种基于强化学习的金纳米棒aunrs合成方法、系统。

背景技术：

1、纳米材料是指在三维空间中至少有一维处于纳米尺寸(0.1-100nm)或由它们作为基本单元构成的材料，这大约相当于10～1000个原子紧密排列在一起的尺度。金纳米即指金的微小颗粒，其直径在1～100nm，具有高电子密度、介电特性和催化作用，能与多种生物大分子结合，且不影响其生物活性。由氯金酸通过还原法可以方便地制备各种不同粒径的金纳米，其颜色依直径大小而呈红色至紫色。

2、强化学习(reinforcement learning,rl)，又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

3、现有技术中对于金纳米材料的合成大多采用如下方法：1、利用模板法、电化学还原法、光化学法、湿化学法等合成纳米材料，这些方法都非常依赖人工；2、传统生产过程中，需要根据人的专业知识和经验，尝试特定的几种配比。因此，传统材料合成面临的主要挑战，包括传统材料生成过程，过度依赖人工，合成速度很慢，自动化程度低；传统材料生成过程，智能化程度低，人工很难找到最佳的组合参数。

技术实现思路

1、有鉴于此，本发明实施例的目的在于针对传统材料生成过程，智能化程度低，过度依赖人工的问题，人工很难找到最佳的组合参数的问题，我们提出利用强化学习进行最佳模型架构和参数的搜索，动态地调整生产流程中的参数组合，直到合成的金纳米符合预期或发现有价值的新材料

2、本发明的第一方面提供了一种基于强化学习的金纳米棒aunrs合成方法，所述方法包括：

3、将ctab溶液与haucl4溶液等体积混合，再经过nabh4溶液还原得到晶种溶液；其中，所述晶种溶液中具有第一比例的ctab、haucl4、nabh4配比；

4、通过将ctab-naol溶液与agno3溶液以及haucl4溶液在热水浴中进行混合，再加入浓盐酸调解混合液ph，最后加入aa还原得到生长溶液；其中，所述生长溶液中具有第二比例的ctab、naol、agno3、haucl4配比；第一比例、第二比例是基于dqn网络的强化学习模型获取；

5、将所述生长溶液加入至所述晶种溶液，并在热水浴中保存一定时间，得到所述金纳米棒aunrs。

6、进一步，所述第一比例、第二比例是基于dqn网络的强化学习模型获取，包括：

7、确定强化学习模型代理agent，其中agent部分使用dqn网络；所述agent会根据环境的当前t时刻状态st采取动作at，环境的状态也会根据所采取的动作发生变化；

8、当前状态st表示为st＝(c,w,b)；其中，c表示当前晶种溶液和生长溶液制备过程中的不同溶液的配比，表示为c＝(c1,c2,c3,c4,c5,c6,c7)；其中，晶种溶液制备中的ctab,haucl4,nabh4配比为c1,c2,c3；生长溶液制备中的ctab,naol,agno3,haucl4,配比为c4,c5,c6,c7；w表示当前金纳米棒波形图特征；w表示为w＝(w1,w2,w3)，其中w1表示所述金纳米棒波形图是否有y1,y2双峰,w1∈(0或1；w2表示双峰y2与y1的比值，w3表示y2的峰宽；b表示目标金纳米棒尺寸；当前2号峰出峰位置x,与目标出峰位置x′，即b＝(x,x′)；

9、动作at表示当前晶种溶液和生长溶液制备过程中的不同溶液的配比c的改变量，其中at＝(a1,a2,a3,a4,a5,a6,a7)；

10、每种溶液改变量有三种取值(-δai,0,δai),δai表示第i种溶液的最小改变单位。

11、进一步，所述dqn网络包含1层输入层，2层中间层，和1层输出层；其中输入层包含12个神经单元，对应输入t时刻状态st；中间隐层每层包括64个神经元；输出层包含21个神经单元，对应表示不同动作at对应的累积奖励；

12、损失函数表示为:

13、l＝e[(r+γmaxa′q(s′,a′)-q(s,a))2]

14、其中，r表示进行at后得到的及时反馈值，γ表示一个常数，这里取0.99；maxq(s′,a′)表示当前状态下选取的最大的q值对应的动作at后的q值，q(s,a)表示当前状态的q值；

15、所述奖励函数r定义为：

16、r(-α1)×(1w1)+α2×w2+α3×w3-α4×(x-x′)2

17、其中，α1,α2,α3,α4分别表示加权系数。

18、此外，本发明的第二方面提供了一种基于强化学习的金纳米棒aunrs合成系统，所述系统包括第一混合模块、第二混合模块以及合成模块；

19、第一混合模块，将ctab溶液与haucl4溶液等体积混合，再经过nabh4溶液还原得到晶种溶液；其中，所述晶种溶液中具有第一比例的ctab、haucl4、nabh4配比；

20、第二混合模块，通过将ctab-naol溶液与agno3溶液以及haucl4溶液在热水浴中进行混合，再加入浓盐酸调解混合液ph，最后加入aa还原得到生长溶液；其中，所述生长溶液中具有第二比例的ctab、naol、agno3、haucl4配比；第一比例、第二比例是基于dqn网络的强化学习模型获取；

21、合成模块，将所述生长溶液加入至所述晶种溶液，并在热水浴中保存一定时间，得到所述金纳米棒aunrs。

22、本发明的方案中，通过将ctab溶液与haucl4溶液等体积混合，再经过nabh4溶液还原得到晶种溶液；其中，所述晶种溶液中具有第一比例的ctab、haucl4、nabh4配比；通过将ctab-naol溶液与agno3溶液以及haucl4溶液在热水浴中进行混合，再加入浓盐酸调解混合液ph，最后加入aa还原得到生长溶液；其中，所述生长溶液中具有第二比例的ctab、naol、agno3、haucl4配比；第一比例、第二比例是基于dqn网络的强化学习模型获取；将所述生长溶液加入至所述晶种溶液，并在热水浴中保存一定时间，得到所述金纳米棒aunrs。相比于现有技术，通过利用强化学习进行最佳模型架构和参数的搜索，动态地调整生产流程中的参数组，自动选择最优参数配比，提高材料合成的速度和生产的智能化程度。

技术特征：

1.一种基于强化学习的金纳米棒aunrs合成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于强化学习的金纳米棒aunrs合成方法，其特征在于，所述第一比例、第二比例是基于dqn网络的强化学习模型获取，包括：

3.根据权利要求2所述的基于强化学习的金纳米棒aunrs合成方法，其特征在于，所述dqn网络包含1层输入层，2层中间层，和1层输出层；其中输入层包含12个神经单元，对应输入t时刻状态st；中间隐层每层包括64个神经元；输出层包含21个神经单元，对应表示不同动作at对应的累积奖励；

4.一种基于强化学习的金纳米棒aunrs合成系统，其特征在于，所述系统包括第一混合模块、第二混合模块以及合成模块；

技术总结
本发明提供了一种基于强化学习的金纳米棒AuNRs合成方法、系统。通过将CTAB溶液与HAuCl4溶液等体积混合，再经过NaBH4溶液还原得到晶种溶液；其中，晶种溶液中具有第一比例的CTAB、HAuCl4、NaBH4配比；通过将CTAB‑NaOL溶液与AgNO3溶液以及HAuCl4溶液在热水浴中进行混合，再加入浓盐酸调解混合液pH，最后加入AA还原得到生长溶液；生长溶液中具有第二比例的CTAB、NaOL、AgNO3、HAuCl4配比；第一比例、第二比例是基于DQN网络的强化学习模型获取；将生长溶液加入至晶种溶液，并在热水浴中保存一定时间，得到金纳米棒AuNRs。相比于现有技术，通过利用强化学习进行最佳模型架构和参数的搜索，动态地调整生产流程中的参数组，自动选择最优参数配比，提高材料合成的速度和生产的智能化程度。

技术研发人员：柳泽明,李宏强,陈光需,高繁
受保护的技术使用者：珠海凤泽信息科技有限公司
技术研发日：
技术公布日：2024/1/13