一种自适应确定隐层节点数的增量半监督超限学习机系统的制作方法

本发明涉及机器学习技术领域，具体地说，涉及一种自适应确定隐层节点数的增量半监督超限学习机系统。

背景技术：

在回归问题中，“标记”通常指的是数据样本的输出值，在分类问题中，“标记”通常指的是数据样本的类标签，目前的学习算法中更多的是利用标记样本进行训练，实际上，收集到的数据样本中，往往是标记样本和未标记样本并存，甚至包含的更多的是未标记样本，未标记样本通常需要使用特殊设备或经过不菲且非常耗时的人工标记才能转换为标记样本。

一般半监督学习会利用未标记样本辅助标记样本进行学习，但学习机在学习过程中半监督学习无法自适应的确定合理的隐层节个数，当隐层节个数增加时，网络的外权矩阵需要重新训练，从而增加训练时间，使学习机在等待时间延长，从而影响学习效率。

技术实现要素：

本发明的目的在于提供一种自适应确定隐层节点数的增量半监督超限学习机系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供一种自适应确定隐层节点数的增量半监督超限学习机系统，包括超限学习平台，所述超限学习平台包括前馈神经网络单元、半监督学习单元、超限学习单元和增量学习单元；所述前馈神经网络单元用于各个单元和模块的信号接收和输出；所述半监督学习单元用于通过未标记样本和标记样本相结合的方式来进行模式识别工作；所述超限学习单元用于构建半监督学习系统；所述增量学习单元用于增加隐层节点，并确定隐层节点的数量；

所述前馈神经网络单元包括输入模块、隐层模块和输出模块；所述输入模块用于对学习样本的特征维度进行接收，并通过神经元传输给隐层模块；所述隐层模块用于通过激励函数对特征维度乘积进行计算，并将计算结果通过神经元传输给输出模块；所述输出模块用于将计算结果封装后输出；

所述半监督学习单元包括归纳模块、假设模块和优化模块；所述归纳模块用于将接收到的学习样本归纳为未标记样本和标记样本；所述假设模块用于对未标记样本和标记样本进行假设；所述优化模块用于对外权矩阵进行优化处理；

所述超限学习单元包括初始模块和算法模块；所述初始模块用于对半监督学习单元内的未标记样本、标记样本以及外权矩阵进行初始设置；所述算法模块用于对初始设置后的未标记样本、标记样本以及外权矩阵进行算法计算；

所述增量学习单元包括学习模块和动态调整模块；所述学习模块用于对更新的知识进行渐进式的学习，并修正和加强以前的知识；所述动态调整模块用于使学习模块中神经元的权值向量和网络的拓扑结构能够随着输入学习数据的到来动态地进行调整。

作为本技术方案的进一步改进，所述输入模块、所述隐层模块和所述输出模块构成相邻层，相邻层的节点由连接权重进行全连接。

作为本技术方案的进一步改进，所述隐层模块中激励函数的公式如下：

其中，x＝(x1，x2，x3，…，xn)^t为网络n维输入量；wi＝(wi1，wi2，wi3，…，win)^t为输入层与隐层第i个节点的阈值；vi为隐层第i个节点到输出层的连接权；为隐层活化函数；f(x)为网络输出。

作为本技术方案的进一步改进，所述前馈神经网络单元采用单隐层前馈网络学习算法，其算法如下：

训练样本x的隐层输出表示为一个行向量，则有：

h(x)＝[g(a1，b1，x)，g(a2，b2，x)，…g(ak，bk，x)；

式中，aj，bj(j＝1，2，…，k)为随机给出的第j个隐层节点对应的学习参数；k为隐层节点个数；g(x)为激励函数；

给定n个训练样本(xi，ti)，xi∈r^m，ti∈rⁿ，超限学习机的数学模型如下：

hβ＝t；

式中，h为隐层输出矩阵；β为外权矩阵；t为目标矩阵，其中：

该模型的解为：

为了提高学习器的泛化性能，给出了该模型的岭回归公式：

minimize：

subjocttohβ＝t-ε；

式中，c为参数；误差||ε||²为经验风险；||β||²为结构风险；

该模型的解为：

式中，c为参数。

作为本技术方案的进一步改进，所述假设模块包括标记样本集和未标记样本集取自相同的边缘分布假设，以及标记样本集和未标记样本的样本相似则条件概率相似假设。

作为本技术方案的进一步改进，所述半监督学习单元学习过程包括如下步骤：

s1、先通过归纳模块归纳出l个标记样本和u个未标记样本xi∈r^mm，ti∈rⁿ；

s2、通过假设模块做出第一个假设标记样本集和未标记样本集取自相同的边缘分布；

s3、通过假设模块做出第二假设如果两个样本xi和xj相似，则条件概率p(y|xi)和p(y|xj)也相似；

s4、假设完成后，设a＝(aij)n×n为训练样本的相似矩阵，并确定外权矩阵β；

一般地，对于给定的样本，利用高斯函数计算aij，σ为参数.显然，样本xi和xj越接近，aij的值越大；设d为对角矩阵，第i个对角元素为l＝d-a称为拉普拉斯矩阵。

作为本技术方案的进一步改进，所述优化模块优化问题公式如下：

其中，为训练目标矩阵；前l行为其余为0；c为l+u阶对角矩阵；前l个对角线元素为参数c，其余u个对角线元素为0；

所述优化模块(123)优化问题的解为：

其中，ik为k阶单位矩阵。

作为本技术方案的进一步改进，所述算法模块采用iss-elm算法，其通过流形正则化得到面向聚类和字符嵌入问题的非监督。

作为本技术方案的进一步改进，所述iss-elm算法步骤如下：

s1.1、对于给定的l个标记样本u个未标记样本，设初始隐层节点个数为k0，初始隐层输出矩阵为h0，考虑优化模块优化问题的解中中l＞k的情形，则初始外权矩阵

s1.2、初设完成，当增加δ0＝k1-k0个隐层节点时：

则的schur补为：

s1.3、再选取适当的参数λ，使得矩阵p可逆；由2×2块矩阵的逆矩阵表可得：

s1.4、将s1.3的公式代入s1.2式中可得出：

特别，当λ＝0时，即无未标记样本的增量算法，为避免重复计算，s1.4的式中的q0，r0，u0，v0可按照以下顺序计算：

p^-1(δh0^t(c+λl)h0)→p^-1(δh0^t(c+λl)h0)β0(＝u0)；

作为本技术方案的进一步改进，所述增量学习单元的算法如下：

(一)、输入、输出阶段：

s2.1、输入l个标记样本和u个未标记样本xi∈r^m，ti∈rⁿ，并输出β；

(二)、初始阶段：

s2.2、对于给定的l个标记样本u个未标记样本，确定初始隐层节点个数为k0，随机给定第j个隐层节点的学习参数aj和bj(j＝1，2，…，k0)；

s2.3、计算初始隐层输出矩阵：

s2.4、通过输出矩阵计算初始外权矩阵β0；

s2.5、计算样本输出误差

s2.6、设i＝0；

(二)、隐层节点增长阶段：

s2.7、当隐层节点个数ki≤kmax(kmax为预先设定的最大隐层节点个数)，且

s2.8、i＝i+1；

s2.9、增加δi-1个隐层节点，隐层节点总数为ki个，随机给定第j个隐层节点的学习参数aj和bj(j＝k0+1，k0+2，…，k1)，相应的隐层输出矩阵hi+1＝[hi，δhi]；

s2.10、外权矩阵β调整为：

s2.11、返回隐层节点增长阶段。

与现有技术相比，本发明的有益效果：该自适应确定隐层节点数的增量半监督超限学习机系统中，通过设置的增量单元使半监督超限习机能够逐个或者成批增加隐层节点，并自适应确定隐层节点数量，在此过程当中，网络的外权矩阵不需要重新训练，只需逐步更新，当隐层节点数较大时，能大幅减少半监督超限学习机的训练时间。

附图说明

图1为实施例1的整体模块框图；

图2为实施例1的前馈神经网络单元模块框图；

图3为实施例1的半监督学习单元模块框图；

图4为实施例1的超限学习单元模块框图；

图5为实施例1的量学习单元模块框图。

图中各个标号意义为：

100、超限学习平台；

110、前馈神经网络单元；111、输入模块；112、隐层模块；113、输出模块；

120、半监督学习单元；121、归纳模块；122、假设模块；123、优化模块；

130、超限学习单元；131、初始模块；132、算法模块；

140、增量学习单元；141、学习模块；142、动态调整模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例1

本发明提供一种自适应确定隐层节点数的增量半监督超限学习机系统，请参阅图1-图5，包括超限学习平台100，超限学习平台100包括前馈神经网络单元110、半监督学习单元120、超限学习单元130和增量学习单元140；前馈神经网络单元110用于各个单元和模块的信号接收和输出，接收前一层神经元的信号，并产生输出到下一层，第0层叫输入层，最后一层叫输出层，其他中间层叫做隐层，层与层之间通过神经元进行交互，且隐层内神经元的个数为做隐层节点；半监督学习单元120用于通过未标记样本和标记样本相结合的方式来进行模式识别工作；超限学习单元130用于构建半监督学习系统；增量学习单元140用于增加隐层节点，并确定隐层节点的数量，增量学习单元140在实际的感知数据中，数据量往往是逐渐增加的，在面临新的数据时，增量学习单元140能对训练好的系统进行自适应改动，以对新数据中蕴涵的知识进行学习，并不需要重建所有的知识库，而是在原有知识库的基础上，仅对由于新增数据所引起的变化进行更新，因此对一个训练好的系统进行修改的时间代价通常低于重新训练一个系统所需的代价；

前馈神经网络单元110包括输入模块111、隐层模块112和输出模块113；输入模块111用于对学习样本的特征维度进行接收，并通过神经元传输给隐层模块112；隐层模块112用于通过激励函数对特征维度乘积进行计算，并将计算结果通过神经元传输给输出模块113；输出模块113用于将计算结果封装后输出；

其中，前馈神经网络单元110为单隐层前馈网络，网络的内权和隐层偏置随机给定，外权通过解优化问题得到，从而提高网络学习速度和泛化性能；

半监督学习单元120包括归纳模块121、假设模块122和优化模块123；归纳模块121用于将接收到的学习样本归纳为未标记样本和标记样本；假设模块122用于对未标记样本和标记样本进行假设；优化模块123用于对外权矩阵进行优化处理；

超限学习单元130包括初始模块131和算法模块132；初始模块131用于对半监督学习单元120内的未标记样本、标记样本以及外权矩阵进行初始设置；算法模块132用于对初始设置后的未标记样本、标记样本以及外权矩阵进行算法计算；

增量学习单元140包括学习模块141和动态调整模块142；学习模块141用于对更新的知识进行渐进式的学习，并修正和加强以前的知识，使得更新后的知识能适应新到达的数据，而不必重新对全部数据进行学习；动态调整模块142用于使学习模块141中神经元的权值向量和网络的拓扑结构能够随着输入学习数据的到来动态地进行调整，以优化对输入学习数据的表达精度，此外，通过适时增加神经元不仅能够自适应地确定神经元的数量以满足一定的量化误差约束，同时还能在不影响之前学习结果的情况下适应之前没有学习过的学习数据。

本实施例中，输入模块111、隐层模块112和输出模块113构成相邻层，相邻层的节点由连接权重进行全连接。

进一步的，隐层模块112中激励函数的公式如下：

其中，x＝(x1，x2，x3，…，xn)^t为网络n维输入量；wi＝(wi1，wi2，wi3，…，win)^t为输入层与隐层第i个节点的阈值；vi为隐层第i个节点到输出层的连接权；为隐层活化函数；f(x)为网络输出。

具体的，前馈神经网络单元110采用单隐层前馈网络学习算法，其算法如下：

训练样本x的隐层输出表示为一个行向量，则有：

h(x)＝[g(a1，b1，x)，g(a2，b2，x)，…g(ak，bk，x)；

式中，aj，bj(j＝1，2，…，k)为随机给出的第j个隐层节点对应的学习参数；k为隐层节点个数；g(x)为激励函数；

给定n个训练样本(xi，ti)，xi∈r^m，ti∈rⁿ，超限学习机的数学模型如下：

hβ＝t；

式中，h为隐层输出矩阵；β为外权矩阵；t为目标矩阵，其中：

该模型的解为：

为了提高学习器的泛化性能，给出了该模型的岭回归公式：

minimize：

subjecttohβ＝t-ε；

式中，c为参数；误差||ε||²为经验风险；||β||²为结构风险；

该模型的解为：

式中，c为参数。

此外，假设模块122包括标记样本集和未标记样本集取自相同的边缘分布假设，以及标记样本集和未标记样本的样本相似则条件概率相似假设。

除此之外，半监督学习单元120学习过程包括如下步骤：

s1、先通过归纳模块121归纳出l个标记样本和u个未标记样本xi∈r^m，ti∈rⁿ；

s2、通过假设模块122做出第一个假设标记样本集和未标记样本集取自相同的边缘分布；

s3、通过假设模块122做出第二假设如果两个样本xi和xj相似，则条件概率p(y|xi)和p(y|xj)也相似；

s4、假设完成后，设a＝(aij)n×n为训练样本的相似矩阵，并确定外权矩阵β；

一般地，对于给定的样本，利用高斯函数计算aij，σ为参数.显然，样本xi和xj越接近，aij的值越大；设d为对角矩阵，第i个对角元素为l＝d-a称为拉普拉斯矩阵。

进一步的，优化模块123优化问题公式如下：

其中，为训练目标矩阵；前l行为其余为0；c为l+u阶对角矩阵；前l个对角线元素为参数c，其余u个对角线元素为0；

优化模块(123)优化问题的解为：

其中，ik为k阶单位矩阵。

具体的，算法模块132采用iss-elm算法，其通过流形正则化得到面向聚类和字符嵌入问题的非监督。

此外，iss-elm算法步骤如下：

s1.1、对于给定的l个标记样本u个未标记样本，设初始隐层节点个数为k0，初始隐层输出矩阵为h0，考虑优化模块(123)优化问题的解中中l＞k的情形，则初始外权矩阵

s1.2、初设完成，当增加δ0＝k1-k0个隐层节点时：

则的schur补为：

s1.3、再选取适当的参数λ，使得矩阵p可逆；由2×2块矩阵的逆矩阵表可得：

s1.4、将s1.3的公式代入s1.2式中可得出：

特别，当λ＝0时，即无未标记样本的增量算法，为避免重复计算，s1.4的式中的q0，r0，u0，v0可按照以下顺序计算：

p^-1(δh0^t(c+λl)h0)→p^-1(δh0^t(c+λl)h0)β0(＝u0)；

除此之外，增量学习单元140的算法如下：

(一)、输入、输出阶段：

s2.1、输入l个标记样本和u个未标记样本xi∈r^m，ti∈rⁿ，并输出β；

(二)、初始阶段：

s2.2、对于给定的l个标记样本u个未标记样本，确定初始隐层节点个数为k0，随机给定第j个隐层节点的学习参数aj和bj(j＝1，2，…，k0)；

s2.3、计算初始隐层输出矩阵：

s2.4、通过输出矩阵计算初始外权矩阵β0；

s2.5、计算样本输出误差

s2.6、设i＝0；

(三)、隐层节点增长阶段：

s2.7、当隐层节点个数ki≤kmax(kmax为预先设定的最大隐层节点个数)，且

s2.8、i＝i+1；

s2.9、增加δi-1个隐层节点，隐层节点总数为ki个，随机给定第j个隐层节点的学习参数aj和bj(j＝k0+1，k0+2，…，k1)，相应的隐层输出矩阵hi+1＝[hi，δhi]；

s2.10、外权矩阵β调整为：

s2.11、返回隐层节点增长阶段。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。