一种基于深度信念网的设备运行状态评价方法与流程

本发明涉及一种设备运行状态评价方法，特别涉及一种基于深度信念网的设备运行状态评价方法。

背景技术：

目前，企业机械设备的发展呈现出大型化、高速化、精密化、自动化等特点，给企业带来了很高的效益，但也存在高成本、高风险、高磨损、高维修难度等问题。因此，高效、及早地检测设备的运行状态，判断其是否处于正常状态，是企业设备现代化管理的主要目标之一，具有重要的理论意义和应用价值。设备运行状态评价主要是通过对反映设备运行状态的特征参数和技术指标进行处理分析，并结合其历史状况，从而确定当前设备的运行状态情况。

技术实现要素：

本发明的目的是为了相应设备故障诊断、维修与更换提供科学有效的依据，构建出能对设备运行状态进行评价的深度信念网络，对设备当前运行状态进行评价而提供的一种基于深度信念网的设备运行状态评价方法。

本发明提供的基于深度信念网的设备运行状态评价方法，其方法如下所述：

第一步、预训练：构建受限的波尔兹曼机，使数据信号能够在数层的受限的波尔兹曼机之间传递，然后利用k次对比散度算法逐层训练受限的波尔兹曼机；深度信念网包含数个受限的波尔兹曼机，受限的波尔兹曼机是一个两层的神经网络，一是可见层，即输入层，二是隐层，层与层之间全连接，层内无连接，受限的波尔兹曼机是一个二分图，其输出有两种状态0和1，0和1分别表示未激活与激活，深度信念网训练首先对每层受限的波尔兹曼机进行预训练，受限的波尔兹曼机采用的是无监督学习方法；

第二步、微调：在数层的受限的波尔兹曼机之上添加逻辑回归层并进行训练，然后采用误差逆传播算法对整个深度信念网进行参数微调，深度信念网由l层受限的波尔兹曼机和一层逻辑回归层组成，在对每一层受限的波尔兹曼机进行预训练之后，需要在深度信念网的最顶层加一层逻辑回归层，来表示期望得到的输出，逻辑回归层由输入层和输出层组成，采用有监督学习的算法，逻辑回归层的输入即为微调样本集xfinetune，输出为设备的最终预测状态；

第三步、测试：运用第一步和第二步中训练的深度信念网络，对设备运行数据的测试样本集xtest中的样本进行测试。

第一步预训练的具体过程如下所述：

步骤1、设定受限的波尔兹曼机的层数为l，设备运行的相关数据样本构成训练样本集xpretrain，设有m个样本；

步骤2、训练参数的确定，具体训练参数的确定如下：

步骤2-1、θ＝(w,a,b)为受限的波尔兹曼机的参数，w为两层之间的权值矩阵，a为隐层向可见层的偏置向量，b为可见层向隐层的偏置向量，v为可见层状态向量，h为隐层状态向量；

形成第i层受限的波尔兹曼机的输入向量，其中第一层即输入层为输入数据项，第i层由第i-1层产生；

产生过程如下：

(1)、选用sigmoid函数为激活函数，x＝{x1…xn}为输入向量，第一层为样本x＝{x1…xn}，计算输出向量h＝sigmoid(wix+bi)；

(2)、用j表示某一层的第j个神经单元，定义能量函数为

(3)、根据能量函数得到(v,h)的联合概率分布其中为归一化因子；

(4)、计算第j个隐层单元的激活，输出为1，概率为同理，第j个可见层单元被重构激活的概率为

(5)、利用吉布斯抽样法得到下一层受限的波尔兹曼机的输入向量赋给x，即产生[0,1]上的随机数r；

步骤2-2、对第i个受限的波尔兹曼机采用k次对比散度算法进行训练，具体如下：

(1)、初始化学习率η，初始化(w,a,b)为较小的随机数，令δw＝0、δa＝0、δb＝0，k值通常取的小；

(2)、对训练样本中先根据本集中每一个样本进行k步吉布斯抽样，每一步抽样中先根据条件概率，更新t时刻的隐层单元状态，t取从1到k，再先根据条件概率，重构t+1时刻的可见层单元状态；

(3)、更新δw、δa、δb：

δbj＝δbj+[p(hj＝1|v^m(0))-p(hj＝1|v(k))]

(4)、更新w、a、b：

(5)、重复以上(2)-(4)进行受限的波尔兹曼机网络训练，直到达到设定的训练次数j或者学习率降到设定值；

以上步骤2-1与步骤2-2反复进行直至l层受限的波尔兹曼机都训练好。

第二步微调的具体过程如下所述：

步骤1、对逻辑回归的各种参数进行初始化，参数包括：权值向量w'、偏置b'、给定迭代次数j¹和学习率

步骤2、对步骤1中的参数进行训练；

步骤2-1、生成l层受限的波尔兹曼机的输出向量，即微调样本集xfinetune中的样本，具体如下：

(1)、将训练样本集中的样本输入第一层受限的波尔兹曼机，得到本层受限的波尔兹曼机的输出；

(2)、对本层输出运用吉布斯抽样得到下一层受限的波尔兹曼机的输入样本；

重复(1)和(2)直至得到第l层受限的波尔兹曼机的输出，遍历训练样本集中的所有样本得到xfinetune；

步骤2-2、循环给定的迭代次数j¹，对每个输入样本进行训练，共m个样本，具体如下：

(1)、将xfinetune样本x输入逻辑回归，计算z＝w'x+b'，z为计算结果；

(2)、用j表示输入层第j个神经单元，计算出y与计算结果z的误差δ,修正其偏置修正输入层和输出层的结点之间的权值w'为

通过以上步骤后，然后根据训练样本集对于整个网络计算输出向量和实际结果向量之间的误差，利用误差反传播算法来进一步优化之前设置的初始权重。

第三步测试的具体过程如下所述：

步骤1、运用激活函数y＝sigmoid(wx+b)逐层计算，其中x是xtest中的样本，y是输出向量,y作为下一层受限的波尔兹曼机的输入向量，直至对最后一层受限的波尔兹曼机运算完成，

步骤2：计算逻辑回归层的结果，对设备运行状态进行评价；

多次循环以上两个步骤，直至遍历整个xtest。

本发明的有益效果：

本发明提供的基于深度信念网的设备运行状态评价方法能够训练出一个精确度较高的评价设备运行状态的深度信念网络。提供一种科学有效的设备运行状态评价标准，为公司系统以及行业内开展设备状态评价与管理工作提供有力的技术支撑。

附图说明

图1为本发明所述评价方法实现过程流程示意图。

图2为本发明所述深度信念网结构示意图。

具体实施方式

请参阅图1和图2所示：

以智能电能表状态评价问题为例，给出本发明的实施例。本发明提供一种电能表运行状态的评价方法，通过对智能电能表投运前检定误差(额定负载点误差、最小负载点误差、最大负载点误差)、运行误差(三次测量误差)、运行时间、运行环境、家族缺陷、在线监测电量异常、在线监测时钟异常等多个因素对电能表的运行状态进行综合评价。

选取投运前检定误差(额定负载点误差x1、最小负载点误差x2、最大负载点误差x3)、运行误差(测量误差一x4、测量误差二x5、测量误差三x6)、运行时间x7、运行环境x8、家族缺陷x9、在线监测电量异常x10、在线监测时钟异常x11等11个指标作为属性。

第一步的具体实现步骤如下：

深度信念网包含多个受限的波尔兹曼机，受限的波尔兹曼机是一个两层的神经网络，一是可见层，即输入层，二是隐层。层与层之间全连接，层内无连接。受限的波尔兹曼机是一个二分图，其输出有两种状态0、1表示未激活与激活。本发明中的深度信念网训练首先要对每层受限的波尔兹曼机进行预训练，受限的波尔兹曼机采用的是无监督学习方法。

步骤1：设定受限的波尔兹曼机的层数为l，智能电表运行的相关数据样本构成训练样本集xpretrain，设有m个样本。

步骤2：训练参数

步骤2-1：θ＝(w,a,b)为受限的波尔兹曼机的参数，w为两层之间的权值矩阵，a为隐层向可见层的偏置向量，b为可见层向隐层的偏置向量。v为可见层状态向量，h为隐层状态向量。

形成第i层受限的波尔兹曼机的输入向量，其中第一层即输入层为输入数据项，第i层由第i-1层产生。

产生过程如下：

选用sigmoid函数为激活函数，x＝{x1…xn}为输入向量(第一层为样本x＝{x1…xn})。计算输出向量h＝sigmoid(wix+bi)。

用j表示某一层的第j个神经单元。定义能量函数为

根据能量函数得到(v,h)的联合概率分布其中为归一化因子。

计算第j个隐层单元的激活(输出为1)概率为同理，第j个可见层单元被重构激活的概率为

利用吉布斯抽样法得到下一层受限的波尔兹曼机的输入向量赋给x。即产生[0,1]上的随机数r

步骤2-2：对第i个受限的波尔兹曼机采用k次对比散度算法进行训练。

初始化学习率η，初始化(w,a,b)为较小的随机数，令δw＝0、δa＝0、δb＝0，k值通常取的较小。

对训练样先根据本集中每一个样本进行k步吉布斯抽样，每一步抽样中先根据条件概率，更新t(t取从1到k)时刻的隐层单元状态，再先根据条件概率，重构t+1时刻的可见层单元状态。

更新δw、δa、δb

δbj＝δbj+[p(hj＝1|v^m(0))-p(hj＝1|v(k))]

更新w、a、b

重复(2)-(4)进行受限的波尔兹曼机网络训练，直到达到设定的训练次数j或者学习率降到设定值。

步骤2-1与步骤2-2要反复进行直至l层受限的波尔兹曼机都训练好。

第二步的具体实现步骤如下：

深度信念网由l层受限的波尔兹曼机和一层逻辑回归组成，在对每一层受限的波尔兹曼机进行预训练之后，需要在深度信念网的最顶层加一层逻辑回归，来表示期望得到的输出。逻辑回归由输入层和输出层组成，采用有监督学习的算法。逻辑回归的输入即为微调样本集xfinetune，输出为电能表的最终预测状态。

步骤1：对逻辑回归的各种参数进行初始化，该参数包括权值向量w'，偏置b'，给定迭代次数j1，学习率

步骤2：对以上参数进行训练。

步骤2-1：生成l层受限的波尔兹曼机的输出向量，即微调样本集xfinetune中的样本。

(1)将训练样本集中的样本输入第一层受限的波尔兹曼机，得到本层受限的波尔兹曼机的输出。

(2)对本层输出运用吉布斯抽样得到下一层受限的波尔兹曼机的输入样本。

重复(1)(2)直至得到第l层受限的波尔兹曼机的输出。遍历训练样本集中的所有样本得到xfinetune。

步骤2-2：循环给定的迭代次数j1，对每个输入样本(共m个)进行训练。

(1)将xfinetune样本x输入逻辑回归，计算z＝w'x+b'，z为计算结果。

(2)用j表示输入层第j个神经单元。计算出y与计算结果z的误差δ,修正其偏置修正输入层和输出层的结点之间的权值w'为

然后根据训练样本集对于整个网络计算输出向量和实际结果向量之间的误差，利用误差反传播算法来进一步优化之前设置的初始权重。本发明已经使用逐层无监督方法来初始化了权值，使其比较接近最优值，解决了多层神经网络权值难以训练的问题，能够得到很好的效果。

第三步的具体实现步骤如下：

运用以上训练的深度信念网络(完整的深度信念网示意图如图2)，对智能电表运行数据的测试样本集xtest中的样本进行测试。

步骤1：运用激活函数y＝sigmoid(wx+b)逐层计算(其中x是xtest中的样本，y是输出向量),y作为下一层受限的波尔兹曼机的输入向量，直至对最后一层受限的波尔兹曼机运算完成。

步骤2：计算逻辑回归层的结果，对智能电表运行状态进行评价。

多次循环以上两个步骤，直至遍历整个xtest。