一种基于工业物联网和云边协同的自适应质量预测建模方法

本技术涉及云计算与边缘计算协同和工业物联网，具体公开了一种基于工业物联网和云边协同的自适应质量预测建模方法。

背景技术：

1、工业物联网、云计算与边缘计算被广泛地应用在现代工业过程中，在生产过程中的质量预测、故障诊断、过程监测等任务中取得了重要的作用。云端一般离工业现场较远，计算、存储能力较强；边缘端离工业现场较近，但计算、存储能力较差。云边协同则使得云端和边缘端的优势互补、协同工作，从而提高工作效率。将云边协同应用到软测量领域中，将改变软测量建模方式、提高建模效率从而保证模型精度；

2、软测量技术即基于易于测量的过程变量对关键质量指标实现精准预测。当前软测量技术主要有主成分回归分析、偏最小二乘回归、支持向量回归等机器学习方法，以及卷积神经网络、循环神经网络、堆叠自编码器等深度学习方法。然而传统的软测量建模方式通常在云端进行模型训练，训练完毕后再部署在边缘端进行预测，由于边缘实时数据的强时序性、非线性和耦合性，模型难以提取变量间远距离拓扑相关性特征和时序特征，预测精度会随着时间下降，出现模型性能退化现象，且边缘模型难以更新；

3、虑到云端和边缘端的计算能力、存储能力等特点，以及过程数据的特性，可以充分利用云边的计算资源和存储能力，通过云边模型的参数共享、多类型数据分离利用、边缘模型性能监测来实现云边的参数协同、数据协同和推理协同，从而提高软测量建模效率、实现模型的自适应更新；

4、此外，可以通过变量相关性分析，采用一种基于近邻变量相关性强度最大化的变量重排策略，充分提取变量间的远距离拓扑相关性特征信息，提高模型精度。故本发明针对现有软测量建模方式存在的问题，提供一种基于工业物联网和云边协同的自适应质量预测建模方法，提高在云边环境下的软测量建模效率，通过模型自适应更新来持续保证模型精度。

技术实现思路

1、本发明的目的在于克服现有技术没有充分考虑云计算和边缘计算协同、边缘模型性能退化、变量间远距离拓扑相关性特征提取等问题，提供一种基于工业物联网和云边协同的自适应质量预测建模方法，实现了对关键质量变量的精准预测，并通过模型自适应更新持续保证了边缘模型运行时的预测精度。

2、为了达到上述目的，本发明提供以下基础方案：

3、一种基于工业物联网和云边协同的自适应质量预测建模方法，包括以下步骤：

4、s1：采用变量排序策略，在云端完成变量间远距离拓扑相关性特征提取；

5、s2：对原始数据进行离差标准化；

6、s3：构建和训练云端和边缘端模型；

7、s4:边缘模型运行，设置动态阀值，触发云端和边缘端模型更新。

8、本基础方案的原理及效果在于：

9、1.与现有技术相比，与现有技术相比，本发明有益效果在于：根据云端和边缘端的优势，在云端和边缘端部署深层和浅层的卷积神经网络模型，通过云边之间的参数共享加快边缘模型训练速度，实现参数协同；通过有标签、无标签、伪标签数据的合理分离利用，实现数据协同；通过监测边缘运行模型推理性能，完成基于性能退化触发的模型自适应更新，实现推理协同，此外，采用一种基于近邻相关性强度最大化的排序策略实现远距离拓扑相关性特征的有效提取。本发明有效地提升了软测量建模效率，提升了模型预测的准确性，持续保证了模型运行精度。

10、进一步，所述s1的具体步骤如下：

11、在云端的数据库中存储着大量的工业数据，首先对其进行相关性分析，计算变量两两之间的皮尔逊相关系数：

12、

13、其中cov(x,y)代表两个变量之间的协方差,σx和σy代表标准差，n代表样本个数，和代表均值；

14、构建相邻变量相关性强度最大化的目标：

15、lm＝|p(xm,xm-1)|+|p(xm,xm+1)|

16、则变量重排策略使得两两变量间的近邻相关性最大化，该策略为变量排序的组合优化问题。定义0-1变量xij如下：

17、

18、则变量重排策略的优化目标为：

19、

20、其中m为变量的维度；

21、约束条件为：

22、

23、由计算公式可知，变量重排策略的优化目标maxj为所有变量与其左右相邻的变量的pearson相关系数强度之和，即反映所有变量的近邻相关性强度，因此该优化目标可表示在特定的变量排序规则下所有变量的近邻相关性强度。maxj越大，说明变量整体相关性强度越大，即在该排序规则下的变量蕴含着更多的相关性特征信息，说明该排序规则为一个较优的排序规则，从而为进一步特征提取提供丰富的相关性特征知识；

24、按照该优化目标进行变量重排之后，相邻变量包含着更多的相关性特征信息。卷积神经网络以其权值共享、局部滑动的特性，在深度学习特征提取领域取得了广泛的应用，然而卷积神经网络中卷积核覆盖范围有限，难以提取特征图上的全局特征，比如在工业领域远距离变量的相关性特征，从而影响模型预测效果。为此，首先对原始变量采用所提出的基于变量近邻相关性最大化的变量重排策略，完成特征的预处理，使得输入变量蕴含丰富的远距离相关性特征，弥补卷积神经网络在提取全局特征上的不足，之后再输入到云端和边缘端的卷积神经网络模型中，丰富的相关性特征有利于后续卷积核的特征提取，从而提高模型预测精度。

25、进一步，所述s2的具体处理如下：

26、对步骤s1所述的数据进行离差标准化：

27、

28、上式中为t时刻的某一过程变量x的具体值，即s1中所述计算

29、两两变量pearson相关系数时，x＝[x1,x2,x3,...,xt],y＝[y1,y2,y3,...,yt]。在步骤s1中完成变量重排后，对单个过程变量x进行离差标准化，消除极大极小值对数据质量的影响，使得数据分布更加平滑。其中xmin为样本数据的最小值，xmax为样本数据的最大值；

30、则得到新的数据集记为作为训练集：

31、

32、

33、其中，n为输入变量的数量，

34、进一步，所述s3包含s31、s32、s33步骤：

35、s31.分别在云端和边缘端部署深层和浅层的卷积神经网络模型，定义网络结构和超参数，使用有标签数据训练云端模型；

36、s32.下发步骤s31所述的云端模型的共享参数给边缘端模型，边缘端模型冻结该共享参数；

37、s33.云端选择、过滤无标签数据，步骤s31所述的训练完毕的云端模型预测输出伪标签数据，下发到边缘端，使用真实标签数据和伪标签数据训练边缘模型；

38、进一步地，所述的步骤s31具体处理如下：

39、首先在云端和边缘端构建深层和浅层的卷积神经网络模型，分别定义为modelc和modele,两模型的共享层数量为m，特定层数量分别为n1和n2(n1>n2)。云端模型总参数为pc＝[pc1,pc2],其中共享层参数为pc1＝[pc(1),pc(2),…,pc(m)]，特定层参数为pc2＝[pc(m+1),pc(m+2),…,pc(m+n1)]。同理边缘端模型总参数为pe＝[pe1,pe2]，其中共享层参数为pe1＝[pe(1),pe(2),…,pe(m)]，特定层参数为pe2＝[pe(m+1),pe(m+2),…,pe(m+n2)]，可知，云端模型和边缘端模型共享层结构相同，可以进行参数共享；

40、首先进行云端模型的训练，更新pc1,pc2。在模型训练时输出预测值和真实值之间的损失定义为：

41、

42、其中n为样本数量，为预测值，yi为真实值；

43、根据反向传播和梯度下降算法，云端模型训练时，每一层参数更新表达式如下：

44、

45、其中η为超参数学习率，pc(l)为云端模型第l层的参数。确定好网络结构和超参数之后，开始进行云端模型的训练，经过一定轮数之后，训练完毕，得到具有一定预测能力的云端模型；

46、进一步地，所述的步骤s32具体处理如下：

47、云端模型训练完毕之后，模型学到了数据中内在的抽象特征，共享参数蕴含着数据的特征信息，为了加速边缘端模型训练，将共享参数pc1下发到pe1；

48、边缘端模型接收共享参数并冻结，训练时只更新模型的特定参数pe2。则边缘模型在训练时每一层的参数更新式如下：

49、

50、

51、通过参数共享机制，可以有效减少边缘模型的训练时间，由于参数已经保留了特征信息，不会影响边缘模型的预测精度；

52、进一步地，所述的步骤s33具体处理如下：

53、云端模型训练完毕之后具有一定的预测能力，对无标签数据进行预测得到伪标签，下发给边缘模型训练微调，以此保证边缘模型精度；

54、由于无标签数据过多，首先对无标签数据进行过滤。假设在时间t的m维有标签数据记为[x(t),y(t)]＝[x1(t),x2(t),…,xm(t),y(t)]，其中x(t)代表过程变量数据，y(t)代表质量变量(标签)；

55、过程变量的采样周期为t,则对于t时刻相邻的两条过程变量数据可以记为x(t-t)和x(t+t)。

56、选择x(t-t)和x(t+t)为最相关的无标签数据，采用训练完毕的云端模型对其预测得到伪标签和

57、则对应的伪标签数据为：

58、下发给边缘端模型数据为t时刻的真实标签数据和t-t，t+t时刻的伪标签数据，则真实标签数据：伪标签数据＝1：2，完成了无标签数据的过滤和选择；

59、冻结共享层参数，使用云端下发的真实标签数据和预测输出的伪标签数据训练边缘端模型。

60、进一步，所述s4的具体处理如下：

61、边缘模型训练完毕之后，开始在边缘端运行。采用均方根误差rmse和决定系数r2作为衡量模型性能的指标，计算如下：

62、

63、

64、其中n代表样本数,yi代表真实值代表预测值,代表所有样本的真实值均值。rmse越小，r2越大，模型的预测效果越好；

65、假设第i批之前的边缘实时批数据为{b1,b2,…,bi-1}，边缘模型运行时在上述批数据上的性能指标为{rmse1,rmse2,…,rmsei-1},{r21,r22,…,r2i-1}；

66、对以上性能指标取平均，则可以得到在第i批数据上的动态阈值

67、和

68、

69、

70、根据模型在第i批数据上的性能指标和动态阈值的大小关系就可以判断模型是否退化，即是否需要更新。模型更新的触发条件为：并且

71、如果达到触发条件，首先进行云端模型的更新，边缘的实时批量数据bi上传到云端，与云端之前的历史数据一起训练、更新云端模型，如步骤s31；

72、云端模型下发共享参数到边缘端模型，边缘模型冻结新的共享参数，如步骤s32；

73、在实时批数据bi中选择过滤无标签数据，云端模型预测输出伪标签数据，与真实标签一起下发到边缘端供边缘模型微调，如步骤s33。