基于机理模型与深度强化学习的喷雾干燥过程优化方法

本发明属于喷雾干燥产品质量控制，尤其是涉及一种基于机理模型与深度强化学习的喷雾干燥过程优化方法。

背景技术：

1、喷雾干燥是一种常见的单元操作，用于食品、化学、制药等颗粒产品的制造。这个过程涉及到用热气体把溶液或浆料干燥成干燥的颗粒。热气体通常是大气中的空气，加热到所需的温度。

2、喷雾干燥是在喷雾干燥塔中进行的，在喷雾干燥塔中，料液被雾化成小滴。雾化的液滴与热空气流接触并交换热量、质量和动量。水分离开液滴，形成固体颗粒。适用于热敏性和热稳定性产品的干燥。

3、尽管喷雾干燥塔是一种流行的干燥技术，但其设计和工艺优化在很大程度上依赖于操作员过去的操作经验以及实验室和中试规模工厂的实验数据。这是因为喷雾干燥过程的复杂性，因为它涉及到数十亿大小不一的液滴/颗粒与具有复杂的三维、湍流和漩涡流型的干燥气体之间的热、质量和动量传递。此外，液滴的聚结、颗粒的团聚和破碎、液滴/颗粒在壁面上的沉积以及沉积的物质重新被卷回气流中，使得操作参数的预测更加具有挑战性。

4、在喷雾干燥过程中涉及到广泛的相互依赖的操作变量，可以通过变化来优化过程，这些包括干燥气体的温度和流量、雾化压力、进料温度、进料速度及料液固体浓度。所有这些都影响干粉的特性，包括粉体粒度分布、形态、流动性、水分含量和堆积密度。为了研究这些操作变量对干粉特性的影响，需要进行实验室和中试试验，但这些实验试验是昂贵且耗时的。

技术实现思路

1、有鉴于此，本发明提出一种基于机理模型与深度强化学习的喷雾干燥过程优化方法，通过建立机理模型，预测出不同工艺组合下的产品质量，根据工艺组合和产品质量组成的数据对，通过深度强化学习建立喷雾干燥工艺决策模型，获得最佳的工艺设置，提高产品质量，具体步骤如下：

2、s1、采集喷雾干燥设备尺寸、进料物性数据、喷雾干燥工艺数据、喷雾干燥产品质量数据，将所述实测数据作为建立喷雾干燥过程优化模型的输入数据所述。喷雾干燥过程优化模型包括机理模型和基于深度强化学习的决策模型，其中设备尺寸、进料物性数据、喷雾干燥工艺数据作为机理模型的输入，喷雾干燥工艺与产品质量数组作为决策模型的输入，所述喷雾干燥工艺与产品质量数组是由喷雾干燥工艺数据和喷雾干燥产品质量数据构成的；

3、s2、建立机理模型，通过计算流体力学获得喷雾干燥设备在不同进料、不同生产工艺下的运行状态，得到喷雾干燥产品含水率和得粉率等数据，形成生产数据库；

4、s3、基于大数据技术建立喷雾干燥产品质量实时预测模型；

5、s4、建立喷雾干燥工艺决策模型，应用深度强化学习算法为工艺决策提供训练环境，喷雾干燥工艺决策模型的训练过程与喷雾干燥产品质量实时预测模型交互，实现喷雾干燥过程的自动优化。

6、进一步的，所述基于机理模型与深度强化学习的喷雾干燥过程优化方法，喷雾干燥设备尺寸包括喷雾干燥塔、传输管道、旋风分离器的尺寸大小信息；进料物性数据包括进料液的浓度、密度、粘度、表面张力、特征成分含量数据；喷雾干燥工艺数据包括进风流量、进风温度、出口空气温度、雾化压力、出口空气压力、喷雾流量、料液温度、喷干粉粒径、喷干粉密度；喷雾干燥产品质量数据包括含水率。

7、更进一步的，建立机理模型，以热空气作为连续相进行计算，料液喷雾作为分散相进行计算，通过相间传热传质过程进行连续相-分散相的耦合作用关系，最终获得设备内部气相温度场、浓度场实时分析云图、颗粒干燥过程、运动轨迹、最终产品质量含水率和得粉率等，利用实测数据验证机理模型。

8、更进一步的，所述基于机理模型与深度强化学习的喷雾干燥过程优化方法，具体步骤如下：

9、(1)设定机理模型每个输入的上下限；

10、(2)根据上下限设置合适的步长，各个模型输入进行组合；

11、(3)将各个输入组合输入到机理模型中进行计算，得到模拟结果；

12、(4)模型的输入条件和模拟结果作为一组数据，保存到生产数据库。

13、更进一步的，利用机理模型计算得到的生产数据库，建立喷雾干燥产品质量实时预测模型，其中机理模型的不同输入组合作为喷雾干燥产品质量实时预测模型的输入，模拟结果作为输出。

14、更进一步的，基于大数据技术建立喷雾干燥产品质量实时预测模型具体为人工神经网络算法，使用数学公式表述为：

15、y＝f(wta+b)

16、所述a代表各个输入分量，w为各个分量对应的权重，b为偏差，f为tanh函数，将变量映射到[-1，1]的区间上，计算公式为：

17、

18、人工神经网络的参数优化方式adam，计算公式为：

19、累计梯度：mt＝β1*mt-1+(1-β1)*gt；

20、累计梯度的平方：vt＝β2*vt-1+(1-β2)*(gt)2；

21、偏差纠正m：

22、偏差纠正v：

23、更新网络参数：

24、所述β1，β2，gt，mt，vt和θt为可学习的网络参数，t为当前时刻，t-1为上一时刻，lr为学习率。

25、更进一步的，深度强化学习算法具体为深度q网络算法，所述q值通过估计每个状态st的奖励总和r来学习，应用深度神经网络来近似最佳作用值函数，优化策略为通过从先前经验获得的q值与从当前状态获得的折扣奖励之间的差异来训练和更新，使用数学公式表述为：

26、lt(θt)＝e[(γ+γmaxa′q(st+1，at+1；θt-1)-q(s，a；θt))2]

27、所述lt为损失函数的loss值，θt为所述人工神经网络算法更新的网络参数，s为环境状态，a为模型动作，t为当前时刻，t-1为上一时刻，e为模型经验，γ为奖励折扣因子。

28、更进一步的，喷雾干燥工艺决策模型中每步的状态为工艺条件和对应的产品质量，动作为每步对单个工艺条件进行上调或下调，奖励根据产品质量的变化幅度确定。

29、更进一步的，采用控制变量法选取网络隐含层数，选取隐含层节点数和每次训练时所使用的数据组数，完成对喷雾干燥工艺决策模型的训练。

30、更进一步的，神经网络模型输入层包含5个隐藏层，采用线性修正函数relu作为激活函数；输出层包含6个神经元对应6种不同的动作，采用线性函数(linear)作为激活函数。强化学习的超参数设置如下：学习率设置为0.001，奖励折扣因子设置为0.95，经验池大小为500，每批抽样数设置为64。

31、本发明的有益效果为：

32、本发明通过建立机理模型，预测出不同工艺组合下的产品质量，根据工艺组合和产品质量组成的数据对，通过深度强化学习建立喷雾干燥工艺决策模型，获得最佳的工艺设置，提高产品质量。本发明给出最优的操作方案，并且能够实时可视化喷雾干燥设备内部的物理场状态，可用于实时控制优化。目前喷雾干燥生产线在工业数据的收集与存储方面较为完善，因此本发明有较强的推广能力，为提升喷雾干燥产品的质量提供一种新的方法。