一种改进DBN算法的电力系统故障后暂态稳定评估方法与流程

一种改进dbn算法的电力系统故障后暂态稳定评估方法
技术领域
1.本发明属于电力系统领域，涉及一种改进dbn算法的电力系统故障后暂态稳定评估方法。


背景技术：

2.随着电力系统规模的不断扩大以及新增设备的不断增多，电力系统运行困难逐渐增大，避免发生大停电事故、保持电力系统安全稳定运行是电力研究者关注的重点问题之一。研究发现，大停电事故的开端往往伴随着暂态故障的发生，一旦电力调度控制中心无法对暂态故障的后果做出正确的预判并及时干预，电网的暂态稳定性将会被破坏，极易发展成为后续的连锁故障，造成大面积停电事故的发生。现代电力系统是一个高维的非线性系统，暂态事故发展速度快，响应时间短，故障后仅仅依靠调度人员的经验难以在极短的时间内做出正确的判断。
3.目前，常用的暂态稳定评估方法有基于大规模仿真计算的时域仿真法和基于李雅普诺夫稳定性理论的直接法。时域仿真法具有计算精度高的特点，因此一直以来作为检验其他暂态稳定评估方法的标准。但是，时域仿真法计算量大、耗时长，只能用于离线计算，无法满足在线评估暂态稳定性的要求。直接法构造一个称为“能量函数”(energy function)的函数来反映电力系统的暂态特征，是判断暂态稳定的充分不必要条件，具有十分严密的数学基础。但是，直接法只能应用于一些较简单的系统，复杂系统很难找到满足条件的“能量函数”来对系统的暂态稳定性进行判别。因此，现有的方法无法满足在线暂态稳定评估对于计算快速和评估准确性的要求，新的在线评估方法亟待研究。
4.20世纪80年代末开始，随着统计学和数据挖掘技术的兴起，louis wehenkel等人开始探讨将决策树和人工神经网络等机器学习算法应用到电力系统暂态稳定评估中。wehenkel等人认为，电力系统暂态稳定评估的关键在于建立系统特征量(x)与暂态稳定性(y)之间的映射关系y＝f(x)，是一种隐式的稳定规则。为了学习这种映射关系，需要通过离线时域仿真获得大量仿真样本，然后利用机器学习的算法近似模拟这种映射关系。当实际运行中遇到新的运行状态时，利用学习到的映射关系即可快速地得出稳定评估的结果，同时满足在线稳定评估快速性和准确性的要求。此后，相关研究在世界范围内广泛地开展，大量机器学习算法，如人工神经网络、决策树、支持向量机、lasso(the least absolute shrinkage and selection operator)等，被应用到该领域中取得了大量进展。
5.已有的研究均获得了较高的评估准确率，但是仍然存在不足。首先，现有方法得到的稳定规则缺乏与电力系统理论之间的联系，阻碍着稳定规则的实际应用。其次，现有方法更多关注算法的预测能力而忽视了泛化能力，在遇到新的故障时评估准确性往往大幅降低。


技术实现要素：

6.有鉴于此，本发明的目的在于提供一种改进dbn算法的电力系统故障后暂态稳定
评估方法。
7.为达到上述目的，本发明提供如下技术方案：
8.基于改进dbn算法的电力系统故障后暂态稳定评估方法，依次进行离线学习、稳定规则以及在线评估；在进行离线学习时，首先进行样本数据生成，然后进行表达式学习，再进行分类评估；在进行在线评估时，首先导入系统参数，然后进行实时暂态评估。
9.在表达式学习中，包括以下步骤：
10.a、首先初始化dbn神经网络，将样本数据分为训练集和测试集，并将样本数据进行归一化；
11.b、初始化粒子群各参数，包括学习因子c
max
和c
min
、最大迭代次数t、惯性权重w
min
和w
max
，并且规定粒子速度和位置的范围；
12.c、确定适应度函数如下，计算各个粒子的适应度函数值，求出个体极值p
best
和群体极值gbest，
[0013][0014]
式中：n为样本总数目；m为粒子维数；p
ij
、t
ij
分别为第i个样本的第j维数据的重构值和实际值；
[0015]
d、比较各粒子的适应度值与自身个体极值p
best
的大小，若粒子当前的适应度大于个体极值p
best
，则将其赋给个体极值，反之保持不变；同时，比较粒子群中所有粒子的个体极值与群体极值g
best
，若存在个体极值优于群体极值g
best
，则将其赋给群体极值，反之保持不变；
[0016]
e、更新各粒子的速度和位置；
[0017]
f、判断迭代是否终止，当达到设定的最高迭代次数或群体极值的变化量足够小时，迭代终止，否则，返回步骤c；
[0018]
g、将最终取得的群体极值g
best
的各维数值设为dbn神经网络的连接权值，进行dbn神经网络的预训练和反向微调，直至达到dbn神经网络结束训练的要求。
[0019]
为更好地实现本发明，在所述的步骤a中，初始化dbn神经网络时，确定dbn神经网络的层数和每层的个数，以此确定粒子的维度。
[0020]
为更好地实现本发明，在所述的步骤b中，在规定粒子速度和位置的范围内随机初始化种群中粒子的速度向量和位置向量，将dbn神经网络的各层间的连接权重映射到粒子的各维度。
[0021]
为更好地实现本发明，在所述的步骤c中，计算各个粒子的适应度函数值时采用如下公式，
[0022]
tj＝cnn(w，yj)
[0023]
其中:w表示所有的权重和偏置变量；yj表示学习资源j的原始文本信息；tj表示学习资源j的文本特征向量。
[0024]
为更好地实现本发明，所述的步骤e中，更新各粒子的速度和位置时依据如下公式，
[0025]
[0026][0027]
其中，ω表示该粒子对原来运动速度的保持程度即惯性权值；c1和c2为加速因子，其中c1表示该粒子保持自身个体极值的程度，c2表示该粒子对全局的群体极值学习程度的系数；r1和r2是0～1之间的随机数。
[0028]
为更好地实现本发明，分类评估时，dbn神经网络获取学习资源的文本特征时，首先经过word2vec表示成学习资源文本向量形式，再输入到卷积神经网络中提取特征。
[0029]
所述的dbn神经网络包含嵌入层、卷积层、池化层和全连接层四层，
[0030]
其中，嵌入层用于将学习资源的文本信息转换为嵌入矩阵，矩阵中的每一行为一个分词元素，供卷积层进行卷积操作学习资源的文本矩阵d∈rn
×
m可表示为：
[0031][0032]
卷积层使用多个不同尺寸的卷积核在嵌入矩阵上作卷积，最终形成四个不同的特征图由此可见特征图与卷积核存在一一对应的关系特征图的计算公式为：
[0033]
mi＝f(d*fi+bi)
[0034]
其中：d*fi表示卷积计算；bi表示偏置项；f(
·
)是一个非线性的激活函数，在模型中引入非线性因素解决线性模型难以表示的特征向量；
[0035]
池化层，池化层主要用于卷积层之后，通过下采样操作降低特征图维度，减小网络参数量；假设在第t个卷积层中得到的特征图为mt＝{m1，m2，
…
，ms}，采用最大池化，提取m
t
中的最大值，pi表示第ti个卷积层的池化结果，形式化表示为：
[0036]
ρi＝max(m
t
)＝max{m1，m2...,ms}
[0037]
全连接层，将所提取的特征值进行综合，输出固定大小的特征向量，假设全连接层有m个神经元，经relu激活函数后，得到固定大小的向量s，即为学习资源的文本特征向量计算公式为：
[0038]
s＝relu(wiρi+bi)
[0039]
其中:pi表示学习资源文本信息在池化层上的输出；wi表示权重；bi表示对应的偏置；通过以上描述，cnn模型构成一个函数，输入数据为学习资源的文本信息，输出结果为每个文本信息的特征向量，
[0040]
tj＝cnn(w，yj)
[0041]
其中:w表示所有的权重和偏置变量；yj表示学习资源j的原始文本信息；tj表示学习资源j的文本特征向量。
[0042]
为更好地实现本发明，结合学习资源的属性特征和文本特征，可得学习资源j的属性特征为sj，可得学习资源j的文本特征为tj，则学习资源j的特征vj表示为：
[0043]
vj＝sj+tj[0044]
为更好地实现本发明，学习者特征ui和学习资源特征vj，通过输入多层感知机来预测评分，多层感知机的输入层的输入向量x0是将学习者和学习资源的特征进行融合，其计算公式为：
[0045]
x0＝concatenate(ui，vj)
[0046]
式中:concatenate()函数用于将学习者和学习资源的特征进行串联，x0经过第一层的输出值表示为：
[0047][0048]
式中:w1表示输出层与第一个隐藏层间的权重矩阵；表示偏置向量；f(.)表示激活函数，最终的输出层计算公式为：
[0049][0050]
该模型的预测评分即为：
[0051]
y^＝x
l
[0052]
最后根据改进dnb模型提供的预测评分为学习者进行推荐，生成优化结果。
[0053]
本发明的有益效果在于：本发明的基于改进dbn算法的电力系统故障后暂态稳定评估方法，依次进行的离线学习、稳定规则以及在线评估步骤；在进行离线学习时，首先进行样本数据生成，然后进行表达式学习，再进行分类评估；在进行在线评估时，首先导入系统参数，然后进行实时暂态评估，提出了稳定评估方法与流程；提出了基于大数据技术深度学习的暂态稳定评估方法，并考虑电力系统特点对原始算法进行约束，增强模型的泛化能力；具有提高故障计算速度和评估准确性的特点。
[0054]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0055]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0056]
图1为本发明的基于改进dbn算法的电力系统故障后暂态稳定评估方法的一种流程框图；
[0057]
图2为本发明的pso优化dbn神经网络的流程的一种流程框图；
[0058]
图3为本发明的基于改进dbn算法的一种流程框图；
[0059]
图4为本发明的基于改进dbn算法的电力系统故障后暂态稳定评估方法的核心算法示意图。
具体实施方式
[0060]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0061]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0062]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0063]
实施例1：
[0064]
如图1～图4所示，本发明的基于改进dbn算法的电力系统故障后暂态稳定评估方法，依次进行离线学习、稳定规则以及在线评估；在进行离线学习时，首先进行样本数据生成，然后进行表达式学习，再进行分类评估；在进行在线评估时，首先导入系统参数，然后进行实时暂态评估。本发明的基于改进dbn算法的电力系统故障后暂态稳定评估方法，依次进行的离线学习、稳定规则以及在线评估步骤；在进行离线学习时，首先进行样本数据生成，然后进行表达式学习，再进行分类评估；在进行在线评估时，首先导入系统参数，然后进行实时暂态评估，提出了稳定评估方法与流程；提出了基于大数据技术深度学习的暂态稳定评估方法，并考虑电力系统特点对原始算法进行约束，增强模型的泛化能力；具有提高故障计算速度和评估准确性的特点。
[0065]
在表达式学习中，包括以下步骤：
[0066]
a、首先初始化dbn神经网络，将样本数据分为训练集和测试集，并将样本数据进行归一化；
[0067]
b、初始化粒子群各参数，包括学习因子c
max
和c
min
、最大迭代次数t、惯性权重w
min
和w
max
，并且规定粒子速度和位置的范围；
[0068]
c、确定适应度函数如下，计算各个粒子的适应度函数值，求出个体极值p
best
和群体极值g
best
，
[0069][0070]
式中：n为样本总数目；m为粒子的维数；p
ij
、t
ij
分别为第i个样本的第j维数据的重构值和实际值；
[0071]
d、比较各粒子的适应度值与自身个体极值p
best
的大小，若粒子当前的适应度大于个体极值p
best
，则将其赋给个体极值，反之保持不变；同时，比较粒子群中所有粒子的个体极值与群体极值g
best
，若存在个体极值优于群体极值g
best
，则将其赋给群体极值，反之保持不变；
[0072]
e、更新各粒子的速度和位置；
[0073]
f、判断迭代是否终止，当达到设定的最高迭代次数或群体极值的变化量足够小时，迭代终止，否则，返回步骤c；
[0074]
g、将最终取得的群体极值g
best
的各维数值设为dbn神经网络的连接权值，进行dbn神经网络的预训练和反向微调，直至达到dbn神经网络结束训练的要求。
[0075]
pso优化dbn神经网络的流程如图3所示，具体步骤如下：
[0076]
(1)首先初始化dbn神经网络，即确定网络中神经元的层数和每层的个数。以此确定粒子的维度。进行数据预处理，将原始数据分为训练集和测试集，并将数据进行归一化。
[0077]
(2)初始化粒子群各参数，包括学习因子c
max
和c
min
、最大迭代次数t、惯性权重w
min
和w
max
，并且规定粒子速度和位置的范围。在该范围内随机初始化种群中粒子的速度向量和位置向量。将dbn网络的各层间的连接权重映射到粒子的各维度。
[0078]
(3)确定适应度函数如下，利用公式下式计算各个粒子的适应度函数值，求出个体极值p
best
和群体极值g
best
。
[0079][0080]
式中：n为样本总数目；m为粒子的维数；p
ij
、t
ij
分别为第i个样本的第j维数据的重构值和实际值。
[0081]
(4)比较各粒子的适应度值与自身个体极值p
best
的大小。若粒子当前的适应度大于个体极值p
best
，则将其赋给个体极值，反之保持不变。
[0082]
(5)比较粒子群中所有粒子的个体极值与群体极值g
best
，若存在个体极值优于群体极值g
best
，则将其赋给群体极值，反之保持不变。
[0083]
(6)根据下式更新各粒子的速度和位置。
[0084][0085][0086]
(7)判断迭代是否终止。当达到设定的最高迭代次数或群体极值的变化量足够小时，迭代终止。否则，返回第(3)步。
[0087]
(8)将pso优化后最终取得的群体极值的各维数值设为dbn网络的连接权值。之后进行dbn网络的预训练和反向微调，直至达到dbn结束训练的要求，dbn网络建模完成。
[0088]
在所述的步骤a中，初始化dbn神经网络时，确定dbn神经网络的层数和每层的个数，以此确定粒子的维度。
[0089]
在所述的步骤b中，在规定粒子速度和位置的范围内随机初始化种群中粒子的速度向量和位置向量，将dbn神经网络的各层间的连接权重映射到粒子的各维度。
[0090]
在所述的步骤c中，计算各个粒子的适应度函数值时采用如下公式，
[0091]
tj＝cnn(w，yj)
[0092]
其中:w表示所有的权重和偏置变量；yj表示学习资源j的原始文本信息；tj表示学习资源j的文本特征向量。
[0093]
所述的步骤e中，更新各粒子的速度和位置时依据如下公式，
[0094][0095][0096]
其中，ω表示该粒子对原来运动速度的保持程度即惯性权值；c1和c2为加速因子，
其中c1表示该粒子保持自身个体极值的程度，c2表示该粒子对全局的群体极值学习程度的系数；r1和r2是0～1之间的随机数。
[0097]
分类评估时，dbn神经网络获取学习资源的文本特征时，首先经过word2vec表示成学习资源文本向量形式，再输入到卷积神经网络中提取特征。
[0098]
所述的dbn神经网络包含嵌入层、卷积层、池化层和全连接层四层，
[0099]
其中，嵌入层用于将学习资源的文本信息转换为嵌入矩阵，矩阵中的每一行为一个分词元素，供卷积层进行卷积操作学习资源的文本矩阵d∈rn×m可表示为：
[0100][0101]
卷积层使用多个不同尺寸的卷积核在嵌入矩阵上作卷积，最终形成四个不同的特征图由此可见特征图与卷积核存在一一对应的关系特征图的计算公式为：
[0102]
mi＝f(d*fi+bi)
[0103]
其中：d*fi表示卷积计算；bi表示偏置项；f(
·
)是一个非线性的激活函数，在模型中引入非线性因素解决线性模型难以表示的特征向量；
[0104]
池化层，池化层主要用于卷积层之后，通过下采样操作降低特征图维度，减小网络参数量；假设在第t个卷积层中得到的特征图为m
t
＝{m1，m2，
…
，ms}，采用最大池化，提取m
t
中的最大值，pi表示第ti个卷积层的池化结果，形式化表示为：
[0105]
ρi＝max(m
t
)＝max{m1，m2...,ms}
[0106]
全连接层，将所提取的特征值进行综合，输出固定大小的特征向量，假设全连接层有m个神经元，经relu激活函数后，得到固定大小的向量s，即为学习资源的文本特征向量计算公式为：
[0107]
s＝relu(wiρi+bi)
[0108]
其中:pi表示学习资源文本信息在池化层上的输出；wi表示权重；bi表示对应的偏置；通过以上描述，cnn模型构成一个函数，输入数据为学习资源的文本信息，输出结果为每个文本信息的特征向量，
[0109]
tj＝cnn(w，yj)
[0110]
其中:w表示所有的权重和偏置变量；yj表示学习资源j的原始文本信息；tj表示学习资源j的文本特征向量。
[0111]
结合学习资源的属性特征和文本特征，可得学习资源j的属性特征为sj，可得学习资源j的文本特征为tj，则学习资源j的特征vj表示为：
[0112]
vj＝sj+tj[0113]
学习者特征ui和学习资源特征vj，通过输入多层感知机来预测评分，多层感知机的输入层的输入向量x0是将学习者和学习资源的特征进行融合，其计算公式为：
[0114]
x0＝concatenate(ui，vj)
[0115]
式中:concatenate(.)函数用于将学习者和学习资源的特征进行串联，x0经过第一层的输出值表示为：
[0116][0117]
式中:w1表示输出层与第一个隐藏层间的权重矩阵；表示偏置向量；f(.)表示激活函数，最终的输出层计算公式为：
[0118][0119]
该模型的预测评分即为：
[0120]
y^＝x
l
[0121]
最后根据改进dnb模型提供的预测评分为学习者进行推荐，生成优化结果。
[0122]
按如下方式实施优选：
[0123]
1)样本生成。
[0124]
离线学习阶段使用到的数据可以从2个部分获取，一是来自于数值仿真，通过预设故障进行暂态稳定仿真，可以得到大量用于仿真的样本；一是来自于历史数据，历史数据相比数值仿真得到的数据更贴近现实系统，但是由于数据量有限，并且所包含系统不稳定部分的信息有限，所以只能作为补充。本文关注大扰动下的暂态稳定事故，因此选择最严重的n
–
1故障来进行仿真。对系统内所有线路进行扫描，在线路两端设置三相短路接地故障，之后切除故障线路。同一种故障的严重程度通过故障切除时间来确定，保证最终的样本集中稳定样本和不稳定样本的数量相当。虽然稳定域是在状态空间中定义的，但是实际中诸如发电机q轴暂态电势这样的状态量难以测量。因此，本文将更易于量测且量测精度较高的线路有功p、无功q和母线电压幅值u和相角这些非状态量作为样本特征。
[0125]
2)表达学习和分类评估。
[0126]
常见的机器学习任务中，紧跟着样本生成的便是特征分析。特征分析是机器学习中极其重要的一个环节，其本质在于对原始输入特征空间进行维数变化(大部分是降维)，同时使得后续的稳定评估能够取得更好的效果。常用的特征分析模型可分为两类，分别是特征筛选和表达学习。特征筛选是指从原始输入特征空间rn中筛选出一个只包含部分特征的最优子集rm，记为t:rn→rm
，“好”的评价标准是在该最优子集中稳定评估的准确性最高。
[0127]
表达学习是指将输入特征从原始特征空间rn变化到一个新的表达空间sm中，记为t:rn→
sm。机器学习算法中，常用的表达学习有核函数法、主成分分析法和独立成分分析法。核函数类表达学习方法只能学习到训练集邻域内的表达，无法泛化到训练集邻域以外的区域，泛化能力有限；主成分分析法只能学习到线性变换，无法通过增加层数的方法学习到更为抽象的表达；独立成分分析需要对数据源的分布进行假设，而真实世界中高维数据的表达很难精确地用线性变换来获取。因此，本文中采用深度置信网络对原始特征进行非线性变换，分层学习抽象表达。通过表达学习，深度学习模型将暂态稳定数据由原始的输入空间映射到一个二元线性可分的表达空间。据详尽的文献分析可知，本文是第一次将深度学习技术应用到电力系统稳定分析的案例，使用深度神经网络从全体输入空间中进行表达学习，是本文的一大创新。
[0128]
由于系统运行方式的变化会造成稳定平衡点的偏移，在离线学习阶段，本文针对每一种典型的运行方式均训练处对应的稳定边界，找出相应的稳定域边界。在线评估阶段，首先根据负荷水平和网络拓扑在线匹配相对应的稳定规则，然后根据该稳定规则进行稳定性判别。
[0129]
pso优化dbn神经网络的具体步骤如下：
[0130]
(1)首先初始化dbn神经网络，即确定网络中神经元的层数和每层的个数。以此确定粒子的维度。进行数据预处理，将原始数据分为训练集和测试集，并将数据进行归一化。
[0131]
(2)初始化粒子群各参数，包括学习因子c
max
和c
min
、最大迭代次数t、惯性权重w
min
和w
max
，并且规定粒子速度和位置的范围。在该范围内随机初始化种群中粒子的速度向量和位置向量。将dbn网络的各层间的连接权重映射到粒子的各维度。
[0132]
(3)确定适应度函数如下，利用公式下式计算各个粒子的适应度函数值，求出个体极值p
best
和群体极值g
best
。
[0133][0134]
式中：n为样本总数目；m为粒子的维数；p
ij
、t
ij
分别为第i个样本的第j维数据的重构值和实际值。
[0135]
(4)比较各粒子的适应度值与自身个体极值p
best
的大小。若粒子当前的适应度大于个体极值p
best
，则将其赋给个体极值，反之保持不变。
[0136]
(5)比较粒子群中所有粒子的个体极值与群体极值g
best
，若存在个体极值优于群体极值g
best
，则将其赋给群体极值，反之保持不变。
[0137]
根据下式更新各粒子的速度和位置。
[0138][0139][0140]
(7)判断迭代是否终止。当达到设定的最高迭代次数或群体极值的变化量足够小时，迭代终止。否则，返回第(3)步。
[0141]
(8)将pso优化后最终取得的群体极值的各维数值设为dbn网络的连接权值。之后进行dbn网络的预训练和反向微调，直至达到dbn结束训练的要求，dbn网络建模完成。
[0142]
获取学习者和学习资源的属性特征：
[0143]
将学习者信息和学习资源属性信息输入到udn-cbr模型中获取学习者和学习资源的属性特征。假设学习者的属性为x＝{x1，x2，
…
，xm}，xi表示其中一个学习者属性，如学习者id；学习资源的属性可表示为y＝{y1，y2，
…
，yn}，yi表示其中一个学习资源属性，如学习资源id。再将学习者和学习资源的属性输入到嵌入层，得到学习者和学习资源属性特征向量x
*
、y
*
，其公式为：
[0144]
x
*
＝f(w1x+b1)
[0145]y*
＝f(w2x+b2)
[0146]
其中:w1和w2表示权重；b1和b2表示偏置；f(.)表示激活函数。再利用concatenate(.)中函数将学习者的各个属性特征进行融合得到学习者特征ui为：
[0147]
ui＝concatenate(x
*
)
[0148]
同理，得到学习资源的属性特征sj为：
[0149]
sj＝concatenate(y
*
)
[0150]
卷积神经网络获取学习资源的文本特征：
[0151]
改进dbn模型中的卷积神经网络主要用于从学习资源文本信息中获取学习资源的文本特征学习资源文本信息首先经过word2vec表示成学习资源文本向量形式，再输入到卷积神经网络中提取特征，卷积神经网络模型的结构包含嵌入层、卷积层、池化层和全连接层四层。
[0152]
嵌入层：嵌入层用于将学习资源的文本信息转换为嵌入矩阵，矩阵中的每一行为一个分词元素如图4中嵌入层所示，假设一共有7个词，每个词都用5维向量来表示，那么可以得到一个7
×
5维的矩阵，这个矩阵就相当于一幅图像，供卷积层进行卷积操作学习资源的文本矩阵d∈rn×m可表示为：
[0153][0154]
卷积层：卷积层使用多个不同尺寸(窗口大小)的卷积核在嵌入矩阵上作卷积，窗口大小指的是每次卷积覆盖几个单词区别于对图像作卷积，图像的卷积核通常采用3
×
35
×
5之类的尺寸，对尺寸大小没有限定；而文本卷积要覆盖整个单词的嵌入向量，所以尺寸大小的格式为单词数
×
向量维度，采用四个不同大小的卷积核(两个3
×
5，两个2
×
5)分别对7
×
5的嵌入矩阵进行卷积操作，尺寸大小为3
×
5的卷积核每次滑动三个单词，尺寸大小为2
×
5的卷积核每次滑动两个单词，最终形成四个不同的特征图由此可见特征图与卷积核存在一一对应的关系特征图的计算公式为：
[0155]
mi＝f(d*fi+bi)
[0156]
其中：*表示卷积计算；bi表示偏置项；f(
·
)是一个非线性的激活函数，可在模型中引入非线性因素解决线性模型难以表示的特征向量，本模型中使用relu函数。
[0157]
池化层：池化层主要用于卷积层之后，通过下采样操作降低特征图维度，减小网络参数量。常用的池化操作包含均值池化和最大值池化两种。池化操作可以忽略特征图中的微小变化提高精度同时可以有效地避免过拟合现象。假设在第t个卷积层中得到的特征图为mt＝{m1，m2，
…
，ms}，采用最大池化，提取m
t
中的最大值，pi表示第ti个卷积层的池化结果，形式化表示为：
[0158]
ρi＝max(m
t
)＝max{m1，m2...,ms}
[0159]
(4)全连接层：通常情况下训练网络会在池化层后设置全连接层，全连接层的主要作用是将前面所提取的特征值进行综合，输出固定大小的特征向量。假设全连接层有m个神经元，经relu激活函数后，得到固定大小的向量s，即为学习资源的文本特征向量计算公式为：
[0160]
s＝relu(wiρi+bi)
[0161]
其中:pi表示学习资源文本信息在池化层上的输出；wi表示权重；bi表示对应的偏置通过以上描述，cnn模型构成一个函数，输入数据为学习资源的文本信息，输出结果为每个文本信息的特征向量。
[0162]
tj＝cnn(w，yj)
[0163]
其中:w表示所有的权重和偏置变量；yj表示学习资源j的原始文本信息；tj表示学习资源j的文本特征向量。
[0164]
结合学习资源的属性特征和文本特征：
[0165]
结合学习资源j的属性特征sj和文本特征为tj，则学习资源j的特征vj可表示为：
[0166]
vj＝sj+tj[0167]
mlp预测评分并生成推荐：
[0168]
结合学习者特征ui和学习资源特征vj，通过输入多层感知机来预测评分多层感知机的输入层的输入向量x0是将学习者和学习资源的特征进行融合，其计算公式为：
[0169]
x0＝concatenate(ui，vj)
[0170]
式中:concatenate(.)函数用于将学习者和学习资源的特征进行串联，x0经过第一层的输出值表示为：
[0171][0172]
式中:w1表示输出层与第一个隐藏层间的权重矩阵；表示偏置向量；f(.)表示激活函数。最终的输出层计算公式为：
[0173][0174]
该模型的预测评分即为：
[0175]
y^＝x
l
[0176]
最后根据改进dnb模型提供的预测评分为学习者进行推荐，生成优化结果。
[0177]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。