基于数字孪生的绿茶杀青过程的虚拟仿真监控方法

背景技术：

0、技术背景

1、本发明涉及绿茶加工过程数字化监控技术，具体为绿茶杀青过程关键工艺参数控制及杀青度数字化判别方法。

2、背景技术

3、茶作为世界三大饮品之一，具有降压、提神、保健等功效，本身的营养价值很高，并且茶也是重要的经济作物，在绿茶的加工过程中，绿茶本身的内含物成分直接影响到了绿茶的品质，进而影响绿茶的营养价值和经济价值。所以，对绿茶加工过程的内含物成分的监测是提高绿茶品质与经济价值的重要方法。

4、绿茶加工工序主要包括杀青、揉捻、干燥等，其中杀青是绿茶加工的第一道工序也是最重要的一道工序，其目的在于借助一定的高温条件，抑制茶鲜叶中氧化酶活性、防止红变，减少鲜叶内部固态水分、散发青气、叶子变蔫变软。杀青的工艺参数和方法对绿茶的品质起着决定性作用。影响杀青效果的工艺参数主要包括绿茶杀青量、滚筒转速、杀青温度等，而传统的杀青工艺参数判别大多依靠经验，具有一定的主观因素，导致杀青工艺参数难以数字化；叶片的含水率是评判杀青效果的重要指标，人工经验判别主观性强，而传统含水率预测模型大多都是静态预测，忽略了绿茶加工过程中的含水率的动态变化规律，导致缺少绿茶杀青过程的含水率动态预测研究，采用含水率动态预测，可以为绿茶加工过程的研究和优化提供数据支持；传统的绿茶加工方法仍是一种开环、前馈式的，尚无法实现绿茶加工过程叶片状态质量的实时监测以及工艺参数动态反馈和产线闭环调控，导致绿茶加工过程与加工数据结果难以集成化、智能化，很难实现对产品的全生命周期管理以及杀青度的数字化判别。

技术实现思路

1、针对以上问题，结合绿茶在杀青过程中的杀青状态，本发明提出了一种基于数字孪生的绿茶杀青过程的虚拟仿真监控方法，以实现绿茶杀青过程的数字化判别流程，有效改善绿茶品质控制和提高茶叶生产效率。

2、为达到以上目的本发明采用的技术方案是：

3、一种基于数字孪生的绿茶杀青过程的虚拟仿真监控方法，包括如下步骤：

4、(1)构建绿茶杀青过程关键工艺参数-品质精准控制模型与数字孪生体可视化融合；

5、建立杀青工艺参数-酚氨比、杀青工艺参数-感官品质指数的多元回归模型，同时对杀青各工艺参数进行灵敏度和响应面分析，明确投叶量、滚筒转速和滚筒温度对杀青叶酚氨比和感官品质指数的影响度；最后，以酚氨比最小、感官品质指数最大为目标函数，建立绿茶杀青工艺参数-品质多目标控制数学模型，精准获取杀青最优组合工艺参数，构建不同等级绿茶杀青标准工艺知识库；

6、(2)构建多源信息融合的绿茶杀青过程含水率动态预测模型：

7、绿茶含水率表示为式中mw代表绿茶含水率(％)，ms代表绿茶中水分的含量(g)，mw代表绿茶干物质的重量(g)，以实时含水率为预测目标；

8、(3)绿茶杀青过程的实时温度与运动状态采用cfd-dem耦合仿真法构建不同杀青工艺参数下的茶叶嫩芽杀青过程在滚筒中的实时温度、相对于滚筒的运动速度以及位置坐标的数据知识库，并根据当前实际工艺参数调用知识库中的数据获取。

9、(4)对绿茶加工过程中包含滚筒转速、杀青温度、杀青湿度的多源信息数据的采集、集成、传输与存储；

10、(5)基于solidworks构建绿茶加工生产线的数字化模型，形成绿茶加工的数字孪生体；

11、(6)将上述数字化模型导入3dsmax进行渲染，渲染完成后导入unity3d中进行场景搭建；

12、(7)对所搭建的场景进行模型与性能优化；

13、(8)基于unity3d编写绿茶加工数据的虚拟实体与物理实体融合脚本，实现对采集到的传感器数据的虚拟映射；

14、(9)数字孪生系统的加工数据的实时可视化界面设计，实现杀青物理产线“环境-装备-物料”实时监测；

15、(10)绿茶杀青过程含水率动态预测模型与数字孪生体可视化融合；

16、(11)基于目标检测方法对杀青后的绿茶进行质量评价；

17、(12)绿茶杀青状态监测与杀青度数字化判别系统的集成；

18、所述的步骤(1)中，以投叶量、滚筒转速和滚筒温度为试验因子，以酚氨比和感官品质评分为评价指标开展多因素正交试验，测定多因素正交水平下杀青叶的酚氨比，并经同等工艺加工做成成品茶进行感官品质评分；然后，对试验数据进行多项式回归拟合，对各回归项进行方差和显著性分析，分别建立杀青工艺参数-酚氨比、杀青工艺参数-感官品质指数的多元回归模型；

19、传统的多变量多目标约束优化方法(可行方向法、惩罚函数法等)求解效率低、复杂度高，本案采用粒子群、蚁群启发式智能优化算法对多目标数学模型进行求解，高效精准获取杀青最优组合工艺参数。

20、基于上述方法可全面分析计算不同品种/不同等级的茶鲜叶杀青最优工艺参数，为实现绿茶杀青工艺参数标准化和标准工艺知识库构建提供一种可行方法。

21、将上述不同品种茶叶的种类信息录入知识库中，同时更新知识库，在unity 3d基于驱动脚本实时调用知识库，从中获取决策信息，并在数字孪生体中进行可视化展示。

22、所述的步骤(2)中，茶鲜叶摊青后进行杀青，收集绿茶杀青过程中的含水率数据。杀青前进行特征提取，选择工业相机采集绿茶图像，采用中值滤波过滤噪声，颜色特征选择r、g、b像素均值及h、s、v像素均值，纹理特征(均质、熵、一致性)采用统计法提取，并将其量化处理，工艺参数选择滚筒转速、投叶量及滚筒温度。由于特征之间存在冗余，需要进行降维，降维后通过主成分分析得到主成分，将主成分归一化标准化后结合sa-pso-bp算法建立含水率预测模型。算法步骤：①设定bp神经网络为三层结构，其中以降维后的主成分作为输入层神经元，隐含层神经元个数选取为10，输出层神经元为绿茶的含水率②设置pso算法参数信息，初始化粒子群规模为m，惯性权重因子ω、c1、c2，最大迭代次数。③设定sa算法的初始温度，退温参数。④通过计算粒子的适应度函数f(sik)来确定目前粒子的个体最优解和全局最优解。⑤根据准则，更新粒子个体最优解和全局最优解。若f(sik)<f(pik)，则令sik＝pik，若f(pg)<f(pik)，则令pg＝sik；否则pg和sik都不变。⑥更新粒子的位置和速度，重新计算粒子的适应度值并确定当前粒子个体最优解和全局最优解。⑦计算状态转移概率函数的增量△f＝f(sik′)-f(sik)，若△f<0，则接受新解sik′代替sik作为当前解，即sik′＝sik、vik′＝vik﹔否则计算sik′的状态转移概率函数，若满足p>rand(0,1)，也接受新解sik′'代替sik,作为当前解，否则以sik、vik作为当前解。⑧如果满足终止条件，执行步骤⑨﹔否则，进行退温处理:tk+1＝αtk，k＝k+1，返回步骤②重新进行循环。⑨将符合要求的全局最优解p,作为bp网络的初始权重和偏向。⑩利用数据集训练学习网络模型，当满足结束条件时，训练结束并保存网络。其中:k是迭代次数；sik、vik是第k次迭代中粒子i的位置和速度，i＝1,…,m,k＝1,…,l；m是种群大小；l表示最大迭代次数；f(sik)是粒子的适应度函数；是第k次迭代中的最优解；pg是全局最优解。

23、将样品按5：3随机划分为训练集和预测集，以校正均方根误差(rmsec)、校正集决定系数(rc2)、预测均方根误差(rmsep)、预测集决定系数(rp)作为模型的评价指标。rmsec和rmsep越低且相近，rc2、rp2越高，则稳定性越强、预测能力越好。分析输入与含水率含量的变化及特征间的相关性构建含水率预测模型。

24、所述的步骤(3)中，cfd(computational fluid dynamics，计算流体动力学)和dem(discrete element method，离散元法)是两种常用的数值模拟方法。cfd用于模拟流体中的流动行为，而dem则专注于离散颗粒的运动。将它们耦合起来，可以模拟流体与颗粒之间的相互作用，在叶片杀青过程中，流体对叶片的冷却效应以及颗粒(叶片)的运动状态。在离线状态下，使用cfd-dem耦合仿真方法进行模拟，通过改变不同的杀青工艺参数，包括投叶量、滚筒温度、滚动转速，，来生成大量的仿真数据。这些数据可以包括茶叶叶片实时温度、相对于滚筒的运动速度以及位置坐标。将仿真得到的数据整理、分析和存储，构建成一个数据知识库。采用数据库存储方式进行数据的存储，以便后续根据不同的工艺参数查询和检索数据。在数字孪生系统中将当前温度、速度和位置等参数作为输入，从知识库中获取对应的叶片温度、速度和位置数据。

25、所述的步骤(4)中，实时数据通过产线状态传感器、plc工控机等获取，主要包括滚筒转速、杀青温度、湿度等实时数据。根据需要监测的参数，选择合适的传感器。速度传感器：用于测量滚筒转速，可以选择光电传感器、霍尔传感器等。温度传感器：用于测量杀青温度，选择热敏电阻、热电偶、红外温度传感器等。湿度传感器：用于测量环境湿度，选择电容式湿度传感器、电阻式湿度传感器等。对于数据读写、采集、传输，通过opc ua协议搭建数据传输与处理服务器。

26、实现opc ua服务器：将绿茶加工产线中的滚筒转速、滚筒温度、投叶量传感器连接到一个数据采集设备或控制系统，将其作为opc ua服务器实现。使用opc ua sdk堆栈，将滚筒转速、温度数据、投叶量设置为opc ua的节点(variables)；定义opc ua信息模型：在opcua服务器中，定义合适的信息模型来描述滚筒转速、温度节点和投叶量。为节点命名并确定其类型、单位和访问权限；配置opc ua服务器：在opc ua服务器中配置节点的采样频率和更新速率，以确保数据的实时性和准确性；建立opc ua连接：在opc ua客户端中，使用opc uaurl或ip地址等信息建立与opc ua服务器的连接；浏览opc ua节点：在opc ua客户端中，通过opc ua的节点浏览功能，获取服务器设置的滚筒转速、温度节点和投叶量信息；读取滚筒转速和温度数据：在opc ua客户端中，使用opc ua的读取功能，读取滚筒转速、温度节点和投叶量的数据；处理数据：接收到的滚筒转速和温度数据可以在opc ua客户端中进行处理，例如实时展示在监控界面上，进行数据存储或进行进一步的分析和处理。

27、所述的步骤(5)中，采用solidworks对整个绿茶加工产线进行建模，主要包括杀青机、揉捻机、烘干机、加工厂房、和各种配套设施，首先设计各个设备的零件模型，零件模型设计完成后根据机器的加工方式和几何约束进行装配，将装配好的模型打包成obj格式文件进行保存，以便后续模型导入。

28、所述的步骤(6)中，首先将步骤(5)设计的三维模型导入到unity3d中，根据厂房的实际结构布局在unity3d中进行场景的搭建，设计各个零件的纹理贴图，将贴图覆盖到零件上增加场景观赏性，并将所搭建的场景导入到3dsmax中用于模型材质与环境灯光的渲染，增强模型的真实性。

29、所述的步骤(7)中，采用各种优化方法，以提高系统的运行流畅度。优化模型和纹理，减少多边形数量：删除不必要的细节和重复的几何体，使用低多边形的模型；合并物体：将多个静态物体合并为一个，减少绘制调用；使用lod(层次细节)：使用不同细节级别的模型来适应不同距离上的观察；压缩纹理：使用合适的纹理压缩格式，减少内存占用和纹理的大小。

30、所述的步骤(8)中，基于unity3d编写脚本来实现绿茶加工产线数据的虚拟实体与物理实体融合。

31、所述的步骤(9)中，构建可视化界面主要包括以下几个部分：实时监测数据显示，警报和异常显示，实时数据更新和刷新，用户交互和操作支持，数据历史记录和分析。

32、所述的步骤(10)中首先将训练好的神经网络模型进行保存、打包成dll文件，之后将文件当作插件导入到可视化平台，然后c#在编写图表功能时就能调用dll文件中的相关函数与模型。

33、所述的步骤(11)中，数据获取与数据集制作，采用工业相机获得大量杀青后的图像，将杀青后的茶叶按杀青程度不同划分为不同等级，其中包括不同杀青程度和状态的绿茶，对原图像进行裁剪，将每张原图裁剪为4等分，并使用python将数据集进行批量重命名，使用开源工具labelling对数据集进行标注，将图像全部改为jpg格式，由于环境影响，需要模拟不同环境下的绿茶质量检测，标注完成后对数据集进行翻转、镜像、改变亮度值、高斯模糊、对称等数据增强，将图像制作voc2007格式标准数据集，按6:2:2将数据集划分为训练集、验证集和测试集；模型训练，训练pytorch下进行，选择vgg16作为faster-rcnn的骨干网络，首先对图像归一化处理，然后使用卷积神经网络提取图像特征，将这些特征输入到提取网络(rpn)中并生成候选框，根据归一化指数函数(softmax)对候选框进行阈值判断是否为背景，并进行候选框的修正，其次感兴趣区域池化将候选框按比例映射到特征图相应位置，将其作为全连接层的输入，最后输入层的特征进行判别。

34、在训练模型搭建完成后，通过茶叶加工产线的工业相机实时获取杀青后的茶叶图像，将杀青后的茶叶图像作为训练模型的输入，通过训练好的网络模型，识别杀青度不足、叶片存在缺陷的茶叶，统计不同等级杀青度茶叶的占比进行质量评价，并联合实时含水率与杀青质量信息实现茶叶杀青度的数字化判别，将判别后的信息通过数字孪生体模型实现动态反馈，操作人员根据反馈信息动态调整茶叶加工产线的加工工艺参数。

35、所述的步骤(12)中，在完成各个部分的实验与环境搭建后，将绿茶杀青状态监测与杀青度数字化判别模块进行集成与测试。最后将其运行在实际杀青机上进行测试，并分析监控系统的各项指标。

36、数据采集模块包括杀青工艺参数与不同杀青度茶叶图像数据，通过上述数据采集装置经不同预处理方式将数据传输的计算机中。数据处理与模型搭建模块是根据目标需求构建不同功能的茶叶信息提取，包括茶叶含水率预测、茶叶在滚筒中的实时温度与运动状态信息获取、杀青过程工艺参数品质控制模型构建、杀青度数字化判别。数字孪生体模块是实现物理实体到虚拟实体的孪生映射，包括驱动脚本与模型搭建。数据采集模块通过传感器将数据采集到计算机中，在计算机中构建数据处理与模型搭建模块，该模块通过驱动脚本实现与数字孪生体模块的串联，最后在服务层通过杀青度质量评价将评价信息反馈到杀青物理产线上，实现茶叶数据到模型搭建到数字孪生体到杀青判别的闭环调控与集成

37、本发明的有益效果为：

38、①通过收集和分析含水率的动态变化情况，加工技术人员可以深入了解绿茶在不同温度和时间条件下的变化规律，为工艺改进和创新提供指导，有利于提高监测数据的精确性；

39、②可实现绿茶加工过程叶片状态质量的实时监测以及工艺参数动态反馈和产线闭环调控，绿茶加工过程与加工数据结果集成化、智能化，实现对产品的全生命周期管理以及杀青度的数字化判别。

40、③基于数字孪生的茶叶数字化品控新方法建立，将数字化和智能化新方法应用到茶叶杀青过程中能够显著改善茶叶品质控制和提高茶叶生产效率。