一种基于带学习因子蜂群算法的多层感知器训练方法
【专利摘要】本发明公开了一种基于带学习因子蜂群算法的多层感知器训练方法，引入异步调整学习因子思想来更新跟随蜂的蜜源位置，增强了蜂群的自适应优化能力，利用个体极值和种群的全局极值来改进人工蜂群算法中的搜索模式，提高了优化搜索效率和性能，以达到实现多层感知器初始权值和阈值的最佳优化效果，提高多层感知器的预测精度。
【专利说明】一种基于带学习因子蜂群算法的多层感知器训练方法
【技术领域】
[0001] 本发明涉及神经计算和智能优化领域，具体地说是一种基于带学习因子蜂群算法 的多层感知器训练方法。
【背景技术】
[0002] 近二十多年里，人工神经网络，特别是使用BP算法训练的多层感知器广泛应用于 各个领域。理论已经证明，通过选择合适的权值和激励函数，利用非线性函数训练的多层感 知器可逼近且能精确地泛化几乎任意连续函数而不用考虑数据分布的先验假设。它能仿真 高度非线性的函数，通过训练能精确地泛化未经使用的新数据。与许多神经网络模型一样， 多层感知器必须经过训练才能获得拟合、预测等能力。就训练而言，基于梯度下降的BP算 法是训练多层感知器的最常用算法，但在使用时经常遇到一些问题，如训练时初始权值敏 感度高，收敛速率较慢，易陷入局部最优。因此，一些新的训练技术被逐步提出，如粒子群优 化神经网络方法，试图改进这些缺点，但由于神经网络的训练过程具有高复杂性、高维、多 模态优化问题，这些技术都远未令人满意。
[0003] 蜂群算法（ABC)是一种模拟群体蜜蜂觅食特性的智能优化算法，具有参数设置简 单、易于实现的特点，得到了广泛关注。与遗传算法、粒子群算法等智能计算方法相比，该算 法的突出优点是每次迭代中都进行全局和局部搜索，因而找到最优解的概率大大增加，并 在较大程度上避免了局部最优。
[0004] 本发明技术将提出一种基于带学习因子蜂群优化算法的多层感知器训练方法。针 对蜂群算法收敛速度缓慢、容易出现早熟的问题，在传统蜂群算法的跟随蜂的食物源更新 方案中引入遗忘因子和变学习因子，利用全局最优解和个体极值的信息来改进人工蜂群算 法中的搜索模式，提出带遗传因子和学习因子的人工蜂群优化算法，并应用于多层感知器 网络的训练中，可显著加速网络训练速度，学习过程具有较好的收敛性和较强的鲁棒性。
【发明内容】
[0005] 本发明的目的在于提出一种基于带学习因子人工蜂群算法的多层感知器训练方 法，在带学习因子蜂群算法的跟随阶段食物源更新中根据邻域个体食物源质量调整信息共 享程度，在搜索初期快速收敛到最优食物源所在区域，而在搜索后期提高全局收敛性能，充 分利用邻域信息共享机制，以达到实现最佳神经网络参数训练效果。
[0006] 多层感知器在结构上是一种多层前向神经网络，具有数层相连的处理单元，连接 可从一层中的每个神经元到下一层的所有神经元，且网络中不存在反馈环，是常用的一种 人工神经网络模型。多层感知器的训练需要一系列输入和相关的输出向量组成的训练数据 集和测试数据集。网络的输入-输出映射关系为
[0007]
【权利要求】
1. 一种基于邻域信息粒子群算法的混沌系统参数估计技术，其特征是所述方法包括如 下步骤： Stepl :初始化蜂群规模N，采蜜蜂种群规模为凡，跟随蜂种群规模为Nf，个体向量的维 度为D，
表示搜索个体向量（这里，i = 1，2···，N)，个体搜索空间为S =RD，采蜜蜂种群空间为5 = 11%，蜂群进化代数M，初始迭代t = 1，随机设置蜜蜂的种群 初始值（初始权值和阈值），利用BP算法训练网络，计算种群的适应度值，即神经网络的性 能指标：
其中，Tk e R为与第k组测试数据的输入对应的期望输出，
为神经网络的第k组测试数据输出，Uk为第k组测试输入数 据，Vi，Wp β i为网络权值和阈值，即蜂群算法搜索个体向量。 Step2 :按照种群适应度大小，将蜜蜂分为采蜜蜂和跟随蜂。 Step3 :更新采蜜蜂蜜源。对于每只采蜜蜂，在原蜜源附近采蜜，按下式 vij = xij+r (xij_xkj) 产生新的蜜源，并计算其适应度值，式中i，k = 1，2···，N，k关i，j = 1，2···，D，r是 [_1，1]之间的随机数，若其适应度值更高，则取代原蜜源；否则放弃此蜜源。 Step4 :更新跟随蜂的状态。对于每只跟随蜂，按照与采蜜蜂种群适应度值成比例的的 概率选择一个采蜜蜂，并在其邻域内根据下式 ν^· = λ x^.+c^! (Pij-Xij) +c2r2 (gj-x^·) 产生新的蜜源，式中λ是遗忘因子，表示搜索下一个蜜源时对当前蜜源的记忆强度， Pij表示每只蜜蜂自身的历史最好位置，即个体极值，表示所有蜜蜂的历史最好位置，即全 局最优解，A和r 2是[-1，1]之间的随机数，Cl，c2表示学习因子，Cl = lAl+t°_25)，c2 = t/ M，用于调整蜜蜂自身经验和社会群体经验在整个寻优过程中所起的作用的参数。若新产生 的蜜源适应度值更高，则跟随蜂变成采蜜蜂，并取代原蜜源位置。 Step5 :记录种群最终更新后的个体极值、全局最优解以及最优适应度值。 Step6 :记录每只采蜜蜂觅食同一蜜源的次数，当觅食同一蜜源的次数超过临界阈值 时，该采蜜蜂退化为跟随蜂，并重新随机初始化其位置。 Step7 :如果满足终止条件，则停止计算并输出最优适应度值及相应的参数Xbest (最优 初始权值和阈值）；否则，t : = t+Ι，转St印3。
【文档编号】G06N3/02GK104050505SQ201310075275
【公开日】2014年9月17日 申请日期:2013年3月11日 优先权日:2013年3月11日
【发明者】楼旭阳 申请人:江南大学