基于神经模糊网络的特征选择方法
【技术领域】
[0001] 本发明涉及模式识别技术领域，更具体地说，本发明涉及一种基于神经模糊网络 的特征选择方法。
【背景技术】
[0002] 特征选择是模式识别等技术的关键问题。近年来，将人工神经网络用于特征选择 是一个热点问题。通过具有良好学习性能的人工神经网络，可以推断出各个特征或特征子 集的重要程度，但也存在一些问题。
[0003] 在特征选择领域，大部分基于人工神经网络的特征选择可以看作是网络剪枝算法 的一个特例，不同的是被剪除的是输入节点，而不是隐层节点或权值。目前广泛应用的方法 是利用剪枝前后网络输出之间的变化量作为被剪枝特征重要性的度量，这种方法也可以称 为特征显著性度量法。一般都假设对于一个学习良好的网络，一个特征的重要程度越低，它 对网络的输出影响就越小。
[0004]目前主要用于特征显著性度量的神经网络类型分为两大类，一类是基于多层感知 器的多层前向网络，如Ruck教授提出的一种基于多层感知器的特征选择算法，定义了一种 特征显著性度量方法，即通过计算网络的输出相对于网络输入的变化率来衡量特征的重要 程度；R.K.De教授在此基础上，提出了另一种方法，即首先取数据的最小值和最大值进行 归一化，然后再通过计算网络的输出相对于网络输入的变化率来衡量特征的重要程度。
[0005]另一大类就是模糊神经网络，如ΜK.Jia教授提出利用隶属度函数将数据从原始 特征空间映射到隶属度空间，并在隶属度的意义上进行网络剪枝和计算网络对某特征的敏 感性。D.Chakraborty教授利用前一种方法设计了基于模糊规则神经模糊网络，可以同时进 行特征选择和分类。该网络共有4层，分3个阶段来训练，其中第2个阶段完成特征选择， 而隶属度函数调整则在最后阶段完成，也就是说，在隶属度函数学习之前特征选择已经完 成了。
[0006] 上述方法都是以人工神经网络为基础来进行特征选择的。第一大类主要是基于多 层感知器的特征选择为主。虽然对特征选择而言取得了一些较好的分类效果，但这种简单 的方法对于某些特殊分布的数据，其结果不能反映出真实情况。如果事先对数据进行归一 化处理，尽管能保证某些不变性，比如位移和缩放的不变，但可能会丧失其它不变性，比如 旋转性，并且可能丢失一些对于分类具有重要作用的信息。第二大类方法是基于模糊逻辑 与人工神经网络的，虽然避免了由于数据的归一化而使得一些重要特征丢失问题，对特殊 分布数据也能反映出一定的真实性。但是，由于其隶属度函数的定义实际上是在网络学习 之前完成的，所以隶属度映射仍然可能造成映射后的数据失真。D.Chakraborty教授提出的 四层结构网络，第2个阶段就完成特征选择，而隶属度函数调整则在最后阶段完成，也就是 说，在隶属度函数学习之前特征选择已经完成了。所以，特征选择的结果将会严重依赖于隶 属度函数的初始值。
【发明内容】
[0007] 本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种基于神经 模糊网络的特征选择方法；其中本发明的神经模糊网络目的在于，特征选择是在整个网络 学习完成后，即隶属度自学习完成后进行的，避免了特征结果依赖于隶属度函数参数初始 值的问题。此外，模糊隶属度函数是通过自学习完成的，避免了由于数据归一化带来的重要 特征丢失的问题。并且，还定义了一种新的特征度量方法，使得剪枝过程是在模糊神经网络 的映射层进行，而不是在输入层进行。该方法容易和其他搜索算法结合起来组成一个完整 的模式分类系统。
[0008] 为了实现上述技术目的，根据本发明，提供了一种基于神经模糊网络的特征选择 方法，包括：
[0009] 第一步骤：基于X训练神经模糊网络，调整模糊隶属度函数的参数以得到隶属度 函数集：
[0010]
[0011] 其中表示特征A的第隶属度函数；
[0012] 第二步骤：计算输入为xq时神经模糊网络的输出〇 q;
[0013] 第三步骤：修改神经模糊网络，使得模糊映射层将xq映射为
[0014]
[0015] 其中使得仁的所有隶属度函数值恒为0. 5,此时神经模糊网络的输出为
[0016] 第四步骤：计算特征仁的度量值FQJi
[0017]
[0018] 第五步骤：将特征度量值FQJi按降序排序。
[0019] 优选地，将度量值FQ1越大的特征f#角定为越重要。
【附图说明】
[0020] 结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解 并且更容易地理解其伴随的优点和特征，其中：
[0021] 图1示意性地示出了神经模糊网络的结构。
[0022] 图2示意性地示出了根据本发明优选实施例的基于神经模糊网络的特征选择方 法的流程图。
[0023] 需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可 能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。
【具体实施方式】
[0024] 为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内 容进行详细描述。
[0025] 本发明提出了一种新型的神经模糊网络，该网络是基于模糊集理论和人工神经网 络的结合，主要用于新的特征选择技术，该方法可应用于模式识别、数据挖掘、图像处理等 领域。
[0026] 下面将从神经模糊网络结构开始解释本发明的原理和实施例。
[0027] (1)神经模糊网络结构：
[0028] 对C类（ω1; ω2，…ω1;…，coc)识另IJ问题，记训练样本集为，
!为训练样本集的个数，特征集为 Φ= {fi，…，fi,…fR}，Xi_j是特征fi的一个观测值。模糊推理系统根据规则集^丨对Xq进 行判别，其中模糊规则具有如下形式：
[0029]ifX!isAlkandx2isA2k***andxRisARkthen〇j(1)
[0030] 其中，Aik是定义在特征f;上的第k个模糊集，并是某模糊逻辑算子；当k辛h时， 不一定总有Alk辛Alh成立。"if"部分称为模糊推理系统的前件，"then"部分称为模糊推 理系统的后件。传统的模糊推理系统需要专家建立这些规则，而神经模糊网络可以自动通 过学习有代表性的训练样本集获得这些规则。本发明在第三层采用剪枝算法来计算特征的 度量值，并利用有监督的学习方法来更新神经模糊网络的参数值。神经模糊网络的结构如 下图1所示。
[0031] (2)神经模糊网络的工作原理：
[0032] 如图1所示。输入层L1是网络的输入缓冲区，它把输入量传输到下一层，其节点 数为输入特征的维数，即山=R。
[0033] 模糊映射层L2为隶属度函数映射层，把输入层L1的输出在本层投影到隶属度函 数空间。模糊映射层L2的节点j的输出为：
[0034] ii) =μ.Μ) (2)
[0035] 其隶属度函数采用钟形（bell形）函数即：
[0036] …」 （3)
[0037] 这里ξ是该函数的中心，σ控制函数的缩放，τ控制着函数钟形平滑顶部的宽 R 度，τ越大，钟形平滑顶部越宽。模糊映射层L2的节