一种自适应确定隐层节点数的增量半监督超限学习机系统的制作方法

文档序号:23385194发布日期:2020-12-22 13:49阅读:来源:国知局

技术特征:

1.一种自适应确定隐层节点数的增量半监督超限学习机系统,包括超限学习平台(100),其特征在于:所述超限学习平台(100)包括前馈神经网络单元(110)、半监督学习单元(120)、超限学习单元(130)和增量学习单元(140);所述前馈神经网络单元(110)用于各个单元和模块的信号接收和输出;所述半监督学习单元(120)用于通过未标记样本和标记样本相结合的方式来进行模式识别工作;所述超限学习单元(130)用于构建半监督学习系统;所述增量学习单元(140)用于增加隐层节点,并确定隐层节点的数量;

所述前馈神经网络单元(110)包括输入模块(111)、隐层模块(112)和输出模块(113);所述输入模块(111)用于对学习样本的特征维度进行接收,并通过神经元传输给隐层模块(112);所述隐层模块(112)用于通过激励函数对特征维度乘积进行计算,并将计算结果通过神经元传输给输出模块(113);所述输出模块(113)用于将计算结果封装后输出;

所述半监督学习单元(120)包括归纳模块(121)、假设模块(122)和优化模块(123);所述归纳模块(121)用于将接收到的学习样本归纳为未标记样本和标记样本;所述假设模块(122)用于对未标记样本和标记样本进行假设;所述优化模块(123)用于对外权矩阵进行优化处理;

所述超限学习单元(130)包括初始模块(131)和算法模块(132);所述初始模块(131)用于对半监督学习单元(120)内的未标记样本、标记样本以及外权矩阵进行初始设置;所述算法模块(132)用于对初始设置后的未标记样本、标记样本以及外权矩阵进行算法计算;

所述增量学习单元(140)包括学习模块(141)和动态调整模块(142);所述学习模块(141)用于对更新的知识进行渐进式的学习,并修正和加强以前的知识;所述动态调整模块(142)用于使学习模块(141)中神经元的权值向量和网络的拓扑结构能够随着输入学习数据的到来动态地进行调整。

2.根据权利要求1所述的自适应确定隐层节点数的增量半监督超限学习机系统,其特征在于:所述输入模块(111)、所述隐层模块(112)和所述输出模块(113)构成相邻层,相邻层的节点由连接权重进行全连接。

3.根据权利要求2所述的自适应确定隐层节点数的增量半监督超限学习机系统,其特征在于:所述隐层模块(112)中激励函数的公式如下:

其中,x=(x1,x2,x3,…,xn)t为网络n维输入量;wi=(wi1,wi2,wi3,…,win)t为输入层与隐层第i个节点的阈值;vi为隐层第i个节点到输出层的连接权;为隐层活化函数;f(x)为网络输出。

4.根据权利要求1所述的自适应确定隐层节点数的增量半监督超限学习机系统,其特征在于:所述前馈神经网络单元(110)采用单隐层前馈网络学习算法,其算法如下:

训练样本x的隐层输出表示为一个行向量,则有:

h(x)=[g(a1,b1,x),g(a2,b2,x),…g(ak,bk,x);

式中,aj,bj(j=1,2,…,k)为随机给出的第j个隐层节点对应的学习参数;k为隐层节点个数;g(x)为激励函数;

给定n个训练样本(xi,ti),xi∈rm,ti∈rn,超限学习机的数学模型如下:

hβ=t;

式中,h为隐层输出矩阵;β为外权矩阵;t为目标矩阵,其中:

该模型的解为:

5.根据权利要求1所述的自适应确定隐层节点数的增量半监督超限学习机系统,其特征在于:所述假设模块(122)包括标记样本集和未标记样本集取自相同的边缘分布假设,以及标记样本集和未标记样本的样本相似则条件概率相似假设。

6.根据权利要求1所述的自适应确定隐层节点数的增量半监督超限学习机系统,其特征在于:所述半监督学习单元(120)学习过程包括如下步骤:

s1、先通过归纳模块(121)归纳出l个标记样本和u个未标记样本xi∈rm,ti∈rn

s2、通过假设模块(122)做出第一个假设标记样本集和未标记样本集取自相同的边缘分布;

s3、通过假设模块(122)做出第二假设如果两个样本xi和xj相似,则条件概率p(y|xi)和p(y|xj)也相似;

s4、假设完成后,设a=(aij)n×n为训练样本的相似矩阵,并确定外权矩阵β。

7.根据权利要求1所述的自适应确定隐层节点数的增量半监督超限学习机系统,其特征在于:所述优化模块(123)优化问题公式如下:

其中,为训练目标矩阵;前l行为其余为0;c为l+u阶对角矩阵;前l个对角线元素为参数c,其余u个对角线元素为0;

所述优化模块(123)优化问题的解为:

其中,ik为k阶单位矩阵。

8.根据权利要求1所述的自适应确定隐层节点数的增量半监督超限学习机系统,其特征在于:所述算法模块(132)采用iss-elm算法,其通过流形正则化得到面向聚类和字符嵌入问题的非监督。

9.根据权利要求8所述的自适应确定隐层节点数的增量半监督超限学习机系统,其特征在于:所述iss-elm算法步骤如下:

s1.1、对于给定的l个标记样本u个未标记样本,设初始隐层节点个数为k0,初始隐层输出矩阵为h0;

s1.2、初设完成,当增加δ0=k1-k0个隐层节点时:

的schur补为:

s1.3、再选取适当的参数λ,使得矩阵p可逆;由2×2块矩阵的逆矩阵表可得:

s1.4、将s1.3的公式代入s1.2式中可得出:

10.根据权利要求1所述的自适应确定隐层节点数的增量半监督超限学习机系统,其特征在于:所述增量学习单元(140)的算法如下:

(一)、输入、输出阶段:

s2.1、输入l个标记样本和u个未标记样本xi∈rm,ti∈rn,并输出β;

(二)、初始阶段:

s2.2、对于给定的l个标记样本u个未标记样本,确定初始隐层节点个数为k0,随机给定第j个隐层节点的学习参数aj和bj(j=1,2,…,k0);

s2.3、计算初始隐层输出矩阵:

s2.4、通过输出矩阵计算初始外权矩阵β0;

s2.5、计算样本输出误差

s2.6、设i=0;

(三)、隐层节点增长阶段:

s2.7、当隐层节点个数ki≤kmax(kmax为预先设定的最大隐层节点个数),且

s2.8、i=i+1;

s2.9、增加δi-1个隐层节点,隐层节点总数为ki个,随机给定第j个隐层节点的学习参数aj和bj(j=k0+1,k0+2,…,k1),相应的隐层输出矩阵hi+1=[hi,δhi];

s2.10、外权矩阵β调整为:

s2.11、返回隐层节点增长阶段。


技术总结
本发明涉及机器学习技术领域,具体地说,涉及一种自适应确定隐层节点数的增量半监督超限学习机系统。其包括超限学习平台,超限学习平台包括前馈神经网络单元、半监督学习单元、超限学习单元和增量学习单元;半监督学习单元用于通过未标记样本和标记样本相结合的方式来进行模式识别工作;超限学习单元用于构建半监督学习系统;增量学习单元用于增加隐层节点,并确定隐层节点的数量。本发明中通过设置的增量单元使半监督超限习机能够逐个或者成批增加隐层节点,并自适应确定隐层节点数量,在此过程当中,网络的外权矩阵不需要重新训练,只需逐步更新,当隐层节点数较大时,能大幅减少半监督超限学习机的训练时间。

技术研发人员:卢诚波;梅颖;高源
受保护的技术使用者:丽水学院
技术研发日:2020.08.24
技术公布日:2020.12.22
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1