一种基于灵敏度分析的非线性支持向量回归特征提取方法
【技术领域】
[0001] 本发明涉及特征提取技术，特别是一种在非线性支持向量回归框架下对特征进行 提取的方法。
[0002] 特征提取方法在图像处理和模式识别等领域中应用非常广泛，可以用于降低原始 数据的维数和对数据进行分类，是应对大数据分析时所面临的维数灾难的有效手段，此外 特征提取还可以在医学图像处理领域用作疾病区域的映射，在遥感图像处理领域用作感兴 趣区域的提取等。特征提取就是将描述模式的特征向量中包含有用信息的元素进行提取 (或选择）的技术，不包含有用信息的元素将被剔除，从而达到降维和消除干扰、提高计算 效率的目的。基于回归（或预测）的特征提取，是在回归算法的框架内，利用各元素对回归 结果所产生的影响，对各元素包含的信息量（重要性）进行评价，最终实现特征提取的过程 (Guyon,Isabelle,andAndreElisseeff."AnintroductiontoVariableandfeature selection."TheJournalofMachineLearningResearch3(2003) :1157-1182. )〇 支 持向量回归是一种泛化能力较强的预测算法，对于高维数、小样本问题效果较好，在很多应 用中，不仅需要知道预测结果，还要进行特征提取，但目前在支持向量回归算法的框架下， 尤其是在非线性支持向量机（非线性核函数的支持向量机）框架下的特征提取算法，还没 有出现。
【发明内容】
[0003] 本发明要解决的技术问题是针对现有技术的不足，提供一种新的基于灵敏度分析 和非线性支持向量机对特征进行提取的方法，该方法可在支持向量回归进行预测的同时， 实现特征的提取。
[0004] 本发明提出一种基于非线性支持向量回归和灵敏度场相结合的特征提取方案，所 谓非线性支持向量回归，就是使用非线性核的支持向量回归算法。根据一组观测值（样本） {(Xl，yi)}，支持向量回归通过训练得到一个拟合函数f(X)，其中\是Μ维输入特征向量且 i= 1，"·，Ν，函数f(x)的形式如下：
[0005]
[0006] 其中，·=智調》是核函数，由支持向量机原理，b(标量）、< 和通过样本训练，根据以下优化函数取得：
[0007]
[0011] 其中，s(l)是特征向量X的第1个特征的灵敏度值，J(x)为目标函数，Xl为特征 向量的第1个元素。对于离散系统，灵敏度S(1)应表示为
[0013] 本发明中，定义目标函数力、/〇?) ==|y-y(：X)]2/2,U:中，y是样本X对应的输出， 魏罐为其预测值。
[0014] 本发明所要解决的技术问题是通过以下技术方案实现的。本发明是一种基于非线 性支持向量回归和灵敏度分析的特征提取方法，其特点是：第一步，构建训练样本集；第二 步，运行支持向量回归算法；第三步，计算特征向量每个元素的灵敏度值；第四步，选择较 大的灵敏度值对应的特征作为提取结果。
[0015] 本发明所述构建训练样本集，具体为：构建一个输入矩阵，训练样本的特征向量 (输入向量）作为输入矩阵的行，同时生成输出向量，输出向量的兀素与输入矩阵的行相对 应，即输出向量的第i个兀素yi就是输入矩阵第i行（第i个输入向量Xi)所对应的输出 值。
[0016] 所述运行支持向量回归算法，具体为：通过公式（2)进行训练，训练后得到b、 和:级f所述预测值，具体为：
[0017] 所述计算特征向量每个元素的灵敏度值，具体为：通过公式
[0021] 所述K(Xi，X)，具体为：对于高斯核函数K(Xi，X) =exp(_ ||Xi_x|| 2/〇 2);对于多
[0023] 所述选择较大的灵敏度值对应的特征作为提取结果，具体为：设定一个阈值T，当 S(l) >Τ时，则第1个特征就是想要的特征；否则，丢弃此特征。
[0024] 本发明与已有的技术相比具有以下优点：本发明通过一种基于灵敏度分析的非线 性支持向量机的特征提取方法，利用了非线性支持向量机泛化能力强的优点，提高了特征 提取的准确率。本发明提出了一种新的目标函数/&> =汐选取该目标函数的目的 是提高预测精度，所提取的特征能够提高预测的准确率。本发明方法可以用于图像处理和 模式识别等领域，可以用于降低原始数据的维数和对数据进行分类，还可以在医学图像处 理领域用作疾病区域的映射，在遥感图像处理领域用作感兴趣区域的提取。
【附图说明】
[0025] 图1为本发明构建的训练样本集和输出向量；
[0026] 图2为本发明的算法流程框图。
【具体实施方式】
[0027] 下面结合附图和具体实施例对本发明进行详细描述，以便于本领域的技术人员进 一步的理解本发明，而不构成对其权利的限制。需要强调的是，以下实施例仅是本发明的一 种优选实施方式而已，对于本技术领域的技术人员来说，在不脱离本发明的核心思想和基 本原理的前提下，可以进行改进和修改，或者利用本发明的主要方法、核心思想和基本原理 解决其他领域的技术问题，都应视为本发明的保护范围。
[0028] 实施例1，一种基于非线性支持向量回归和灵敏度分析的特征提取方法，第一步， 构建训练样本集；第二步，依次选择各样本作为测试样本X，运行支持向量回归算法得到 、％+和b和预测结果約如第三步，计算特征向量每个元素的灵敏度值；第四步，判断是 否所有样本都经过测试，如果是，跳到第五步，否则，跳到第二步；第五步，选择较大的灵敏 度值对应的特征作为提取结果，生成新的特征向量。
[0029] 实施例2,参照附图1，实施例1所述基于非线性支持向量回归和灵敏度分析的特 征提取方法中：
[0030]构建训练样本集的具体步骤如下：
[0031] (1)构建输入集，就是将原始特征向量作为行，每一行一个特征向量Xi;
[0032] ⑵构建输出向量，就是由输入矩阵的每一行（每一个特征向量所对应的输出 yi构成输出向量。
[0033]所述依次选择各样本作为测试样本X，运行支持向量回归算法得到和b和预测结果100,具体方法是：依次选择χ=Xi作为测试样本，从训练集中剔除该样本，用 其余样本进行训练，得到相应的和b，并计算预测结果
[0034] 所述计算特征向量每个元素的灵敏度值，具体方法为：通过公式
[0038] 所述判断是否所有样本都经过测试，具体方法为：如果i=N，则所有样本都经过 测试；如果i<N，则仍有样本未经过测试。
[0039] 所述选择较大的灵敏度值对应的特征作为提取结果，具体方法为：设定一个阈值 T，当S(1) >T时，则第1个特征就是想要的特征；否则，丢弃此特征。
[0040] 实施例3,参照图2,利用实施例1所述的一种基于非线性支持向量回归和灵敏度 分析的特征提取方法实验。实验步骤如下：
[0041] 步骤S101 :开始，构建样本集，选择模式识别领域著名的IRIS数据集作为实验数 据，该实验数据共有150个样本，分为三类，每类50个样本，每个样本4个特征，我们将类别 把类别标号1、2和3作为样本的输出值，进行预测。原始的4个特征为有效特征，为了实验， 为每个样本增加4个特征，增加的四个特征为随机数。构建新的样本集，在新样本集中，前 4个样本为有效特征，后4个为无效特征。对应的输出向量由样本相应的类别标记构成，样 本个数N= 150,样本维数Μ= 8 ;
[0042]步骤S102:选择高斯核函数Κ(Χρ X)=exp(-|| χ「χ|| 2/ 〇2)，运行支持向量机回 归的算法程序得到b，并计算f
[0045]
S(l) = 0· 5074,S(2) = 0· 3059,S(3) = 0· 8247,S(4) = 0· 4063,S(5) = 0· 2641，S(6)= 0· 2474,S(7) = 0· 2521，S(8) = 0· 2370 ;
[0046] 步骤S106 :设定阈值T= 0. 4,确定所选择的特征为，特征1、特征2、特征3和特征 4〇
【主权项】
1. 一种基于灵敏度分析和非线性支持向量回归的特征提取方法，其特征在于，其步骤 如下： (1)构建训练样本集；具体步骤为：构建一个输入矩阵，训练样本的特征向量一-输入 向量作为输入矩阵的行，同时生成输出向量，输出向量的元素i为输入矩阵的行一一特 征向量所相对应的输出值yi; 似运行支持向量回归算法；具体步骤为：依次选择X= 作为测试样本，从训练集中 剔除该样本，用其余样本进行训练运行支持向量机回归算法，得到相应的和b，并 计算對。 (3) 计算特征向量每个元素一一特征的灵敏度值；计算公式为：其目标函数定义为其中，y是输 入向量X对应的输出值，为其对应的预测值；的计算，通过公式完成； (4) 选择较大的灵敏度值对应的特征作为提取结果，完成特征提取。2. 根据权利要求1所述的特征提取方法，其特征在于，的计算，具体方法 为：对于高斯核函数完成。3. 根据权利要求1所述的特征提取方法，其特征在于，步骤（4)所述的选择较大的灵敏 度值对应的特征作为提取结果，具体步骤为：设定一个阔值T，当S(1) >T时，则第1个特 征就是想要的特征；否则，丢弃此特征。
【专利摘要】本发明涉及一种基于灵敏度分析和非线性支持向量回归的特征提取方法，方法包括：首先构建训练样本集；然后运行支持向量回归算法；接着计算特征向量每个元素（特征）的灵敏度值；最后，选择较大的灵敏度值对应的特征作为提取结果。本发明具有特征提取准确率高，且提取的特征能够提高预测精度的优点。本发明方法可以用于图像处理和模式识别等领域，可以用于降低原始数据的维数和对数据进行分类，还可以在医学图像处理领域用作疾病区域的映射，在遥感图像处理领域用作感兴趣区域的提取。
【IPC分类】G06K9/62
【公开号】CN105243392
【申请号】CN201510645164
【发明人】刘瑞明, 龚成龙, 张珍
【申请人】淮海工学院, 江苏省海洋资源开发研究院(连云港)
【公开日】2016年1月13日
【申请日】2015年10月8日