一种神经网络跟踪控制的自适应学习率调节方法
【专利摘要】本发明一种神经网络跟踪控制的自适应学习率调节方法，包括以下几个步骤：建立控制系统；将神经网络的所有权值按层进行单位化；引入训练样本集得到误差信号e(n)和训练代价函数ε(n)；得到线性化后的活化函数s(x)；确定各神经元的诱导局部域及神经元输出；求解各个局部梯度函数δj(n)及线性化表示δjL(n)；选择的自适应调整学习率；训练神经元突触权值；循环次数加1，直至满足停止准则，输出跟踪控制信号。本发明提出一种能够使步长迭代均值不受噪声影响，具有平滑迭代曲线，并可充分利用误差信号的一种基于活化函数及多误差信号的学习率自适应调节方法，从而可实时更新学习率，且减小计算复杂度。
【专利说明】 一种神经网络跟踪控制的自适应学习率调节方法
【技术领域】
[0001]本发明涉及神经网络优化【技术领域】，特别涉及一种神经网络跟踪控制的自适应学习率调节方法。
【背景技术】
[0002]人工神经网络是由人工神经元互联而成的网络系统，它从微观结构和功能上对人脑进行了抽象和简化，可以看作是一个由简单处理单元构成的规模宏大的高度并行处理器，天然具有存储经验知识和使之可用的特性。神经网络与人脑的相似处在于，神经网络所获取的知识是从外界环境学习而来，同时相互连接的神经元间的连接权值用于存储获得的知识。在处理计算上，虽然每个处理单元的功能看似简单，但大量简单处理单元的并行活动使网络在保证较快速度的前提下呈现出丰富的功能，加之神经网络的自适应能力为解决复杂的非线性、不确定、不确知系统的问题开辟了新途径，所以目前人工神经网络已受到非线性系统辨识与分析、控制系统和计算机等许多领域的青睐，并得到广泛应用。在神经网络的研究中，作为前向多层神经网络训练方法的BP算法应用最为广泛，但其还存在一些缺陷，例如:①计算量大，尤其是复杂问题和涉及到大规模网络时，其计算量急剧上升没有知识的积累性。因此人们针对这类问题提出了各种改进方案，其中合理选择修改权重的学习率是一种研究趋势。
[0003]由于神经网络在控制中具有静态非线性映射以及动态处理的优势，使其在许多具有非线性、强耦合的复杂系统中也逐步被采纳。以往对神经网络控制的改进多注重反向学习方式和网络结构，而权值学习率依旧采用固定值(Invariable Step Size, ISS)目前国内外学者就神经网络的权值学习率选择已先后提出一些方法，例如潘昊等学者提出的《前向多层神经网络的步长搜索调整研究》中采用函数变步长搜索调整法就是BP网络学习率调整的代表方法，此类相关的方法至今在BP训练中所沿用。而这种学习率只与迭代次数有关，不能有效地与样本进行结合。同时这类方法是基于试探法的思想，无论当前学习率好坏都会将权值修改一遍，所以会以网络层数为单位成倍地增加计算量，尤其在多层BP网络中会给原有的权值训练带来成倍的计算冗余。而LMS问题的最陡下降法是BP学习算法的一种特殊形式，当训练样本只有一个且激励函数为线性时，其等效于LMS问题中的随机逼近法。在LMS变步长研究方面国内外学者也获得了一定的成果，其中Aboulnasr等学者提出的Aboulnasr算法是具有代表性的一类利用误差信号进行迭代的LMS方法，在该方法中，步长由平滑后的相邻时刻误差的互相关函数控制，从而步长迭代的均值不受噪声的影响，其迭代曲线将更加平滑，但这类方法的迭代过程具有一定复杂性，同时对于误差信号的利用也仅限于瞬时误差及其前一时刻的误差。
【发明内容】
[0004]本发明的目的是提供一种具有高跟踪效果的神经网络跟踪控制的自适应学习率调节方法。[0005]本发明是通过以下技术方案实现的:
[0006]一种神经网络跟踪控制的自适应学习率调节方法，包括以下几个步骤，
[0007]步骤一:建立控制系统，神经网络采用MISO的多层反馈网结构，各神经元函数为活化函数，设置循环停止准则；
[0008]神经网络的状态空间的权值空间Wk和网络输出Zk为:
【权利要求】
1.一种神经网络跟踪控制的自适应学习率调节方法，其特征在于:包括以下几个步骤， 步骤一:建立控制系统，神经网络采用MISO的多层反馈网结构，各神经元函数为活化函数，设置循环停止准则； 神经网络的状态空间的权值空间Wk和网络输出Zk为:
【文档编号】G05B13/00GK103926832SQ201410158182
【公开日】2014年7月16日 申请日期:2014年4月18日 优先权日:2014年4月18日
【发明者】袁赣南, 杜雪, 吴迪, 夏庚磊, 常帅, 李旺, 贾韧锋, 张靖靖 申请人:哈尔滨工程大学