一种基于ELM的多类Adaboost集成学习方法
【专利说明】一种基于ELM的多类Adaboost集成学习方法 【技术领域】
[0001] 本发明涉及集成学习技术领域，特别是一种基于ELM的多类Adaboost集成学习方 法的技术领域。 【【背景技术】】
[0002] 针对前馈神经网络，许多研宄已表明，人工神经网络不仅具有较好的非线性逼近 能力，也可以应用于一些自然和人为的问题作为基本模型。而这些往往是其他经典方法力 所不及的。近年来有人提出了一种新的基于多隐层的前馈神经网络的简单方法，称为极限 学习机。该方法无需梯度下降的迭代调整，而只需随机设定输入层权值和隐含层前馈神经 元阈值，直接利用广义逆快速求解。相比传统的神经网络方法理论简单，大大提高了学习速 度，泛化能力强，收敛速度快，精确度高，稳定性好。 【
【发明内容】
】
[0003] 本发明的目的就是解决现有技术中的问题，提出了一种基于ELM的多类Adaboost 集成学习方法，可以直接应用于多分类的问题，本方法可以使预测的分类结果更加稳定，还 具有良好的泛化性能。
[0004] 为实现上述目的，本发明提出的方法主要包括以下几个步骤：
[0005] o方法：对于1^个任样本匕，1^)4=|^1，叉 12，...，叉』1^1?<1，1^=[1:11，1^ 2，... ，tiK]Te RK，带L个隐层节点且激活函数为h(x)的标准单隐藏层前馈神经网络的数学模型 ^ : (?') = Xj + bi) = Oj-,
[0006] 其中j = 1，2, *··，Ν，Wi= [wn，wi2，…，wid]T表示连接第i个隐层节点和输入节点 的权重向量，而I^i= [β η，···，β 表示连接第i个隐藏节点和输出节点的权重向量， Oj= [0 p 0j2，…0jK]τ表示该单隐藏层前馈神经网络的第i个输出向量，b i则是第i个隐藏 节点的阈值，（·）则表示两个向量的内积，隐层节点数为L的单隐层前馈神经网络的激活 函数h(x)可以简写表示为Ηβ = T;
[0007] b)主成分分析方法：
[0008] PCA方法的主要过程如下：
[0009]
[0010] (bl)计算数烟圯件A的T刃、力左圯件V ;
【主权项】
1. 一种基于ELM的多类Ad油oost集成学习方法，其特征在于：包括W下几个步骤： a 化 LM方法；对于 N个任样本（X。ti)，Xi= [Xii, X 口，…，xJTg Rd，ti= [til, t口，…，tj Tg rk，带L个隐层节点且激活函数为h(x)的标准单隐藏层前馈神经网络的数学模型为： 沒*=iAhi(X/)=巧Wi货-与 + =巧； 其中j = 1，2,…，N，Wi= [Wii，Wi2,…，wjT表示连接第i个隐层节点和输入节点的权 重向量，而0i= [0 ii，"，，0JT则表示连接第i个隐藏节点和输出节点的权重向量，〇j = bj'i，〇町...OjjT表示该单隐藏层前馈神经网络的第1个输出向量，b i则是第1个隐藏节点 的阔值，（?）则表示两个向量的内积，隐层节点数为L的单隐层前馈神经网络的激活函数 h(x)可W简写表示为H0 = T; b)主成分分析方法： PCA方法的主要过程如下；
化1)计算数据矩阵X的协方差矩阵V ; 化。通过公式IV-入E I = 0计算矩阵V的特征值入，其中A 入P; 化如通过（V-A E) P =0计算相应的特征向量，其中P为6。@2,…，0p; 化4)算出最后的主成分矩阵Yf= 0 ' fX(r = 1，2,…，P); 其中E是一个单位矩阵，E的维度同矩阵V，矩阵Y由n行向量组成，每一个向量是矩阵 X特征值所对应的特征向量； C)多类Ad油oost方法；预先定义函数I (X)为；
，首先给定训练数据{(Xi，yi),(又2, 72)，…，（％，Yn)}，其中XiE Rd 表示维度为d的第i个输入特征向量，相对的y,则表示第i个特征向量所属的类别标签， 该里令yiG 分为两类，通过使用Tj.(x)函数来表示第i个若分类器，同时假定一共 含有M个若分类器，执行W下步骤： (cl)初始化每个节点的观测权值《1为1/N，i = 1，2,…，N ; (c2)对于每一个分类器m，m = 1:M，执行如下： 通过使用权值在分类器Tm(x)下训练相应的数据； 计算对应的分类误差
用W上求得的误差来计算相应的第m个分类器的权重am = 对所有i = 1，2,…，N，更新数据样本的权值；"1= ? i ? exp( a m ? I如声T m(Xi))); 对所有i = 1，2,…，N重新标准化权值《 i; (c^输出C (X)，由分类器进行投票得到最后的结果C(x) = arg max;, S装=1 am l〇m = k).; d) LBP方法；将一幅图划分成3*3的窗口，每个窗口含一个像素灰度值，将周围点的值
分别于中屯、点的值做比较，如果大于中屯、点的值就标注是1，否则就标为0 ;最终经过对比 得到一串8位的二进制数，对应的就可W计算该值，即LBP值； 对应的公式可记为；
，其中（Xt，y。）是中屯、像素，i。对应 的灰度值；而ip则是相邻像素点的灰度值，S是一个符号函数
2.如权利要求1中所述的一种基于多类Ad油oost的集成学习方法，其特征在于所述步 骤a)中
，则有0 = H+T，其中 H+是广义逆矩阵，+ 厂1，矩阵I表示单位矩阵，I的相应维度是根据矩阵hht 而定的，C是一个常量，用含C的表达式是为了处理Htf是奇异矩阵时的特殊情况。
【专利摘要】本发明公开了一种基于ELM的多类Adaboost集成学习方法，具体包括以下几个步骤：ELM方法、多类Adaboost方法、LBP方法，此外还通过使用PCA方法来局部替换做测试。本发明将ELM方法作为基础分类器，由于其运算简便快速以及良好的性能，与现有的经典方法相比，本申请的方法可以直接应用于多分类问题。通过人脸数据集的对比实验，实验结果表明，本方法可以使预测的分类结果更加稳定，还具有良好的泛化性能。
【IPC分类】G06K9-62
【公开号】CN104598925
【申请号】CN201510036010
【发明人】蒋云良, 沈叶峰, 刘勇, 范婧
【申请人】湖州师范学院
【公开日】2015年5月6日
【申请日】2015年1月23日