专利名称：一种基于自适应核函数选择的支持向量机自动分类方法
技术领域：
本发明涉及图像信息处理技术领域中关于图像分类的方法，尤其是ー种通过自适应地选择核函数来实现对多类场景图像进行分类的方法。
背景技术：
图像分类是指在对图像总体认识的基础上，根据情景信息将多幅图像标记为不同类别的过程。随着图像内容的复杂化和数据量的増大，传统的依靠人工目视对图像进行分类标注的方式逐渐受到挑战，如何自动准确地完成图像分类，已成为信息处理领域的研究
ハ、、ハ、、°支持向量机(Support Vector machine, SVM)是由Vapnik等人在1992年提出的一种新的机器学习方法。该方法通过引入核方法，将原空间中线性不可分的数据映射到高维特征空间，在克服传统机器学习存在的维数灾难和局部最小问题的同吋，实现了数据的线性分类，并在图像分类中取得了一定的效果。模型选择直接决定支持向量机方法的性能。它主要包括核函数类型的选择、核函数參数以及权衡最大化分类边界和最小化分类误差的惩罚因子C的优化，C可以并入核函数中作为核函数的參数之一。因此，支持向量机模型选择就是核函数类型及其參数的选择。 不少学者先后提出若干支持向量机模型选择的方法。ー类方法通过网格算法选择支持向量机模型。由于其实际上是一种穷举搜索算法，当核函数较复杂(參数超过两个)时，时间开销较大，在复杂分类问题中的应用受到限制。另ー类方法基于分类器性能评估准则采用迭代寻优选择支持向量机模型。如 Olivier等计算了类器性能评估准则T对于核函数參数的梯度，并采用梯度下降法求解最优模型。Carl等引入了贝叶斯证据理论作为支持向量机分类器性能的评估准则，并采用蒙特卡罗算法推断贝叶斯证据的梯度值。虽然这类方法可以快速得到较好的模型，但是对于初始值较敏感，容易收敛到局部最优值，且要求分类器性能评估准则和核函数对于支持向量机模型參数均为可导。由于以上两类方法的局限性，ー种新的进化方法被用于支持向量机模型的选择。 该类方法可以在复杂參数空间进行高效的搜索，主要包括遗传算法、进化程序和进化策略等。Friedrichs等采用遗传策略优化带有尺度因子和旋转因子的高斯核函数，实验表明遗传策略对于參数较多的问题在搜索效率上具有很大的优势。类似的，Ana等在其研究中证明了遗传算法用于复杂參数空间搜索可以获得全局最优值。然而，进化方法仍然存在以下若干问题(1)进化方法自身的控制參数是根据经验设定的，没有针对具体问题在进化过程中进行动态调整，这会导致算法不稳定以及收敛速度较慢等问题；( 采用进化方法对支持向量机模型进行选择，优化的核函数类型较単一，核函数的參数也较少，进化算法对于复杂參数空间的高效搜索优势没有得到充分利用；C3)之前的大多研究只把重点放在对核函数參数的选择上，并没有提出有效的核函数类型的选择方法。
发明内容
本发明的目的是提供一种基于自适应核函数选择的支持向量机自动分类方法，以解决不同场景图像的分类问题。为实现上述目的，本发明的技术方案如下一种基于自适应核函数选择的支持向量机自动分类方法，其包括以下步骤第一歩，建立分类图像代表集；第二歩，依多类图像代表集计算所有训练图像的灰度均值、标准偏差、平滑度、三阶矩、一致性、熵，得到所有训练图像的特征向量；第三步，结合数据驱动下的机器学习处理思想，提出核函数的原型；第四歩，基于自适应的遗传算法实现核函数类型及參数的最优选择；第五歩，重复第二歩，计算得到待分类图像的特征向量；第六歩，使用学习得到的分类器进行处理，得到待分类图像所属的类别。所述的自动分类方法，其所述第一歩，包括(1)根据需要定义J个类别的图像或数据，类别编号为1 J，J为自然数；(2)对每类图像标记出实际所属的类别，选取其中数量为L的图像数据作为训练集，其余图像作为测试集；(3)将所有J类图像代表合并为多类图像代表集。所述的自动分类方法，其所述第三歩，方法是(A)构造满足核函数性质的基本核函数，具体步骤是Al、构造多项式核Kp。ly，定义为Kpoly (xi Xj) = (a (Xi ‘ Xj)+b)d(1)A2、构造径向基核Krbf,定义为Krbf (Xi, Xj) = exp (- γ | | XiIj | |2) (2)A3、构造神经网络核Ksig，定义为Ksig(Xi，Xj) = tanh(a(Xi · Xj) + β) (3)以上三式中，a,b, α, β, y为核函数系数，χ为核函数中的数据向量。(B)基于㈧步所得基本核函数，构建核函数原型，定义如下
权利要求
1.一种基于自适应核函数选择的支持向量机自动分类方法，其特征在于包括以下步骤第一歩，建立分类图像代表集；第二歩，依多类图像代表集计算所有训练图像的灰度均值、标准偏差、平滑度、三阶矩、 一致性、熵，得到所有训练图像的特征向量；第三步，结合数据驱动下的机器学习处理思想，提出核函数的原型； 第四歩，基于自适应的遗传算法实现核函数类型及參数的最优选择； 第五歩，重复第二歩，计算得到待分类图像的特征向量； 第六歩，使用学习得到的分类器进行处理，得到待分类图像所属的类别。
2.如权利要求1所述的自动分类方法，其特征在于所述第一歩，包括(1)根据需要定义J个类别的图像或数据，类别编号为1 J，J为自然数；(2)对每类图像标记出实际所属的类别，选取其中数量为L的图像数据作为训练集，其余图像作为测试集；(3)将所有J类图像代表合并为多类图像代表集。
3.如权利要求1所述的自动分类方法，其特征在于所述第三歩，方法是(A)构造满足核函数性质的基本核函数，具体步骤是 八し构造多项式核ら彻，定义为Kpoly (xi Xj) = (a (Xi ‘ Xj)+b)d(1)A2、构造径向基核KAf，定义为Krbf (Xi, Xj) = exp (- y I I Xi-Xj I 12) (2)A3、构造神经网络核Ksig，定义为Ksig (xi Xj) = tanh (a Ui * Xj) + β ) ⑶以上三式中，a，b，α, β, y分别为核函数系数，χ为核函数中的数据向量。(B)基于(A)步所得基本核函数，构建核函数原型，定义如下κ (X， = AKpoly (x,zf + A2Krbf (x,zf + A3Ksig (x,zf( 4 )其中，λ” θ, e R+，i = 1，2，3，χ和ζ分別为数据向量；根据多项式核与径向基核的表达式，指数因子Q1和θ 2可以分别并入核函数自身參数中，使核函数原型简化为如下的普适形式K (χ, ζ) = λ JKpoly (χ, ζ) + λ 2Krbf (χ, ζ) + λ 3Ksig (χ, ζ) (5)。
4.如权利要求3所述的自动分类方法，其特征在于所述(A)步中，基本核函数应满足以下性质假设K1, K2是XXX上的核函数，;T Ci ", a e R+,则下面的函数也是核函数(1)K(x，ζ)= K1 (x，ζ)+K2 (χ, ζ)(2)K (χ, ζ) = K1 (χ，ζ) K2 (χ, ζ)(3)K (χ, ζ) = aK^ (χ, ζ) ο其中，χ和Ζ分別为数据向量。
5.如权利要求1所述的自动分类方法，其特征在于所述第四步中，为了使用自适应遗传算法对核函数的类型和參数进行选择，必须将核函数类型參数和各基本核函数的參数以基因的方式编码到染色体中；染色体编码方式为，λ (21位)和パ4位)为核函数类型參数， a(7位)、b(7位)、Υ(12位)、α (12位)和β (12位)为核函数參数，C(15位)为惩罚因子。
6.如权利要求3所述的自动分类方法，其特征在干所述公式(5)的核函数原型中存在两类參数，分别是核函数类型參数λ i和ei，及核函数原型的各基本核函数的參数；基于自适应核函数选择的支持向量机分类方法针对具体问题，选择出最优的ΛΚ，然后将ス广和 ぐ代入核函数原型中得到适合该问题的最优的核函数类型。
7.如权利要求1或6所述的自动分类方法，其特征在于所述第四歩，方法是(1)采用最佳随机初始化算法形成初始种群，首先随机生成一定数量的个体，然后计算其适应度，从中选择适应度最高的个体加入初始种群，循环这个操作，直到初始种群的大小达到要求为止；(2)对种群中个体的染色体进行解码形成一組支持向量机模型，在训练集上对这组支持向量机模型进行训练得到一組支持向量机分类器；(3)采用交叉验证方法对每个支持向量机分类器进行性能评估，将交叉验证准确率作为遗传算法中的适应度函数，而每个个体的适应度值就是每个支持向量机模型对应的交叉验证准确率与所有支持向量机模型交叉验证准确率总和的比值，其值在0 1之间，由此得到种群中每个个体的适应度；(4)通过自适应方法动态调整种群中个体的交叉概率和变异概率，并据此对种群中的个体进行选择、交叉和变异操作，形成下一代种群；(5)如果算法的进化代数达到设定的最大值，或者种群中已经产生了最优解，则算法结束；否则重复步骤⑵至G)。
8.如权利要求7所述的自动分类方法，其特征在干所述第四步的步骤0)，支持向量机分类器的训练方法如下假定训练数据集为KXi，yi)}m，其中，Xi是输入向量的第i个样本，Xi e R，m是样本容量，Ji e {-1，+1}是第i个样本的类别；目标是寻找ー个最优的分类超平面wTx+b = 0，使其将训练数据线性分开，并能获得最大分类间隔，其中，w是分类超平面的法向量，b为超平面的偏移量；求解最优分类超平面的问题，被转化成下面的二次最优化问题
9.如权利要求7所述的自动分类方法，其特征在于所述第四步的步骤G)，步骤为 4a、从种群中选择适应度最高的个体，并采用经典的轮盘赌算法选择出适应度较高的个体，这些个体经过繁殖形成下一代种群，使得在維持种群规模不变的同吋，保证种群中出现的最佳个体是历史最优的；4b、交叉操作使得种群中个体的基因进行重组，产生出新的基因型，采用自适应交叉算子根据个体的适应度对其交叉概率进行动态调整，保证新的基因型获得更好的解；4c、变异算子用于恢复种群进化过程中丢失的遗传信息，与构造上述自适应交叉算子的原理类似，采用自适应变异算子动态调整种群的变异概率。
10.如权利要求9所述的自动分类方法，其特征在干所述第四步的步骤中，自适应交叉算子的计算方式如下
11.如权利要求9所述的自动分类方法，其特征在于所述第四步的步骤中，自适应变异算子的计算方式如下
全文摘要
本发明公开了一种基于自适应核函数选择的支持向量机自动分类方法，涉及图像信息处理技术，步骤为建立分类图像代表集；统计训练图像的特征向量；结合数据驱动下的机器学习处理思想，提出核函数的原型；基于自适应的遗传算法实现核函数类型及参数的最优选择；使用学习得到的分类器对待分类图像进行分类处理。本发明的自动分类方法，克服了传统的支持向量机模型选择方法中人为指定核函数类型导致模型不能达到最优性能的缺点，能够满足不同场景图像的分类需求。
文档编号G06K9/66GK102567742SQ20101058883
公开日2012年7月11日 申请日期2010年12月15日 优先权日2010年12月15日
发明者付琨, 孙显, 王宏琦, 陈刚 申请人:中国科学院电子学研究所