本发明专利属于实数域时变二次规划问题求解器的设计方法，特别是涉及一种基于幂型变参递归神经动力学方法。
背景技术：
人工神经网络(artificialneuralnetwork，即ann)是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点(node)代表一种特定的输出函数，称为激励函数(activationfunction)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重(weight)，这相当于人工神经网络的记忆(memory)。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也是对一种逻辑策略的表达。
二次规划是非线性规划中的一类特殊数学规划问题，在很多方面都有应用，如投资组合、约束最小二乘问题的求解、序列二次规划在非线性优化问题中应用等。在过去的几十年里，二次规划已经成为运筹学、经济数学、管理科学、系统分析和组合优化科学的基本方法。而用新兴的神经动力学方法求解时变二次规划问题，已经成为时下研究的热点问题之一。
在目前已知文献中，最接近于解决二次规划问题的方法是离散的数值方法(discretenumericalmethods)。但在面对庞大且复杂的数据时，数值方法由于其串行迭代特性，计算效率不足且不稳定。于是，一种基于梯度下降的神经网络(gnn)模型被提出，并用于求解二次规划问题。然而，这样一种基于梯度下降的神经网络并不能很好的解决二次规划问题，因为实际情况往往与时间相关。这样必然会导致实验产生一些无法估计的剩余误差，且这些误差无法收敛到零。这就意味着，我们在处理二次规划问题时，需要更快的收敛速度和更高的收敛精度。在这样一个背景下，张神经网络(znn)被提出并得到了很好的发展。这样一种神经网络模型能够解决时变条件下的二次规划问题。通过利用衍生出的时间系数，张神经网络(znn)可以得到二次规划问题的最优化解。如上梯度神经网络和张神经网络由于其设计参数均为恒定值，因此统称为定参递归神经网络。然而，在计算数据变得庞大时，我们往往需要更多的时间去计算结果。这对于实践操作是不利的。
基于这样一种复杂的背景，为了满足我们期望的需求，一种与现存的定参数神经网络模型不同的幂型变参递归神经网络(power-typevarying-parameterrecurrentneuralnetwork,即pt-vp-rnn)模型被提出，并得到了一定的发展。变参递归神经网络(pt-vp-rnn)可以充分利用时变参数的导数信息，构造一种不同于梯度法神经网络(gnn)显式动力学方程的隐式动力学方程。该隐式动力学方程可以用于描述变参递归神经网络求解实际时变数学问题的过程。根据神经动力学设计方法，该神经网络构造一种不定无界的，矩阵/矢量取值的误差函数。区别于传统梯度法神经网络(gnn)的范数式标量取值函数，当该误差函数(errorfunction)全局超指数收敛到零时，也即误差函数中的每一个元素都全局超指数收敛到零，表示该神经网络收敛于理想的结果曲线，所得神经网络的解收敛于全局超指数最优理论解。
由于传统的梯度法神经网络(gnn)和张神经网络(znn)等固定参数递归神经网络方法要求收敛参数(实际电路系统中为电感参数值或电容参数的倒数值)需要被设定得尽可能的大甚至到无穷，以得到更快的收敛性能。当神经网络应用在实际的系统中时，这样一种要求有时候往往难以满足。除此之外，在实际系统中，电感参数值和电容参数值的倒数通常是时变的，特别是大型的电力电子系统，交流电机控制系统，电力网络系统等，系统参数设定为固定值是不合理的。考虑到求解的问题和硬件系统的实际参数值都是时变的，因此，一种新型的幂型时变参数递归神经网络设计方法被提出。
技术实现要素：
本发明的目的在于克服现有技术的不足，提供一种时变凸二次规划求解器设计方法。
为实现以上目的，本发明采取如下技术方案：
本发明公开了一种时变凸二次规划求解器设计方法,包括下述步骤：
1)通过数学建模方法将具有时变二次规划问题形式的实际物理系统形式化，建立系统的二次型表达式，并根据该表达式建立系统的时变二次规划标准模型；
2)根据拉格朗日乘数法，分别获取步骤1)中标准时变二次规划问题的关于最优解及拉格朗日乘数的偏导数信息，列写拉格朗日优化公式；
3)将步骤2)中的关于最优解及拉格朗日乘数的偏导数信息转化为标准时变矩阵形式，列写时变矩阵方程；
4)基于步骤3)中的时变矩阵方程，设计误差函数方程，并列写误差函数方程表达式；
5)基于步骤4)中的误差函数方程，运用幂型变参递归神经动力学方法并利用单调递增奇激活函数，设计实数域上的时变二次规划问题幂型求解器；
6)通过步骤5)中时变二次规划问题幂型求解器所求得的网络状态解即为所求实际物理系统或数值求解时变二次规划问题的最优解。
作为优选的,步骤1)具体为：
通过数学建模方法将具体时变二次规划问题形式的实际物理系统进行标准化，得到如下的标准时变二次规划问题模型：
subjecttoa(t)x(t)＝b(t)(2)
其中t表示时间,t表矩阵的转置；在实数域中，定义
作为优选的,在步骤2)中，所述拉格朗日优化公式的求解方法具体为：
为了获取关于时变二次规划问题的最优解及拉格朗日乘数的偏导数信息，对所述二次规划问题模型(1)-(2)使用拉格朗日乘数法得到下式：
其中t∈[0,+∞)，
作为优选的,实数域凸时变二次规划问题(1)-(2)中的时变参数矩阵及向量q(t),p(t)，a(t),b(t)由实际物理模型系统传感器获取信号及系统预期运行状态信号所构成；时变参数矩阵及向量q(t),p(t),a(t),b(t),以及它们的时间导数
作为优选的,步骤3)具体为：
根据拉格朗日优化公式(4)-(5)设计出一个如下的关于时变二次规划问题模型(1)-(2)的时变矩阵方程：
w(t)y(t)＝g(t)(6)
其中
时变系数矩阵和向量w(t),y(t),g(t)在实数域上均连续且光滑。
作为优选的,步骤4)具体为：
根据得到的实际物理模型系统或数值求解系统的光滑时变二次规划问题的时变矩阵方程(6)，设计可得系统的误差函数方程；为得到时变二次规划问题模型(1)-(2)的最优解，定义一个矩阵形式的误差函数方程如下：
当误差函数方程ε(t)达到零时，时变二次规划问题模型(1)-(2)的最优解x*(t)能够被获得。
作为优选的,步骤5)具体为：
时变参数矩阵中的数据能够输入到处理单元计算机、单片机、以及微型处理器中；通过所获得的时变参数矩阵及其导数信息，结合实数域幂型变参递归神经动力学方法并利用单调递增奇激活函数，设计时变二次规划问题的幂型求解器；根据幂型变参递归神经动力学方法，误差函数方程ε(t)的时间导数需为负定；一种幂型的时变参数被设计并使用，其设计公式如下
其中γ＞0为人为设计的常系数参数，φ(·)为单调递增奇激活阵列；
将误差函数方程及其导数信息代入设计公式(8),则实数域幂型变参递归神经网络模型能够用如下的隐式动力学方程式表达
其中
根据对
y(t)：＝[xt(t),λt(t)]t＝[x1(t),x2(t),…,xn(t),λ1(t),λ2(t),…,λm(t)]t(10)
其中y(t)具有初始值
根据隐式动力学方程(9)，得到实数域幂型变参递归神经网络的系统模型及网络实现；网络的输出结果即为实数域时变二次规划问题模型(1)-(2)的最优解。
作为优选的,φ(·)根据不同的映射函数关系具有不同的形式，包括线性型激活函数、幂型激活函数、双极s型激活函数、sinh型激活函数、tanh型激活函数、以及有限时间型激活函数等；矩阵形式的实数值激活函数阵列φ(·)有m×n个单调递增奇激活函数φ(·)组成；可使用的实数值激活函数如下所示：
7)线性型激活函数：φ1(u)＝u,其中标量参数
8)幂型激活函数：φ2(u)＝uω,其中标量参数ω＞1,且
9)双极s型激活函数：
10)sinh型激活函数：
11)tanh型激活函数：
12)有限时间型激活函数：
其中|u|表示标量参数，
作为优选的,步骤6)具体为：
基于幂型变参递归神经动力学方法的时变二次规划问题幂型求解器所求解得到的网络状态解即为该实际物理系统或数值求解系统的时变二次规划问题模型(1)-(2)的最优解；将处理器所得到的求解器最优解输出，完成具有实数域光滑时变二次规划问题形式的实际物理系统或数值求解系统的最优解求解。
本发明相对于现有技术具有如下的优点和效果：
1、本发明基于幂型变参递归神经动力学模型方法，不同于传统的固定参数微分神经动力学方法，本求解器在运用各种单调递增奇激活函数求解时变二次规划问题时具有全局收敛特性，且误差能以超指数的速度收敛到零，大大提高了计算速度。
2、本发明的方法采用普遍存在的隐式动力学模型进行描述，可分别从方法和系统两个层面上充分利用各时变参数的导数信息，对问题求解具有一定预测能力；可快速、准确、实时地逼近问题的最优解；可以很好地解决矩阵、向量、代数以及优化等多种时变问题。
附图说明
图1为本实施例的一种时变凸二次规划求解器设计方法的流程图；
图2为本实施例的实际系统求解器实现框架图；
图3为本实施例的各种单调递增奇激活函数图线示意图；
图4(a)为本实施例在线性型激活函数激励下幂型求解器所达到的剩余误差的收敛效果图；
图4(b)为本实施例在幂型激活函数激励下幂型求解器所达到的剩余误差的收敛效果图；
图4(c)为本实施例在双极s型激活函数激励下幂型求解器所达到的剩余误差的收敛效果图；
图4(d)为本实施例在sinh型激活函数激励下幂型求解器所达到的剩余误差的收敛效果图；
图4(e)为本实施例在tanh型激活函数激励下幂型求解器所达到的剩余误差的收敛效果图；
图4(f)为本实施例在有限时间型激活函数激励下幂型求解器所达到的剩余误差的收敛效果图。
具体实施方式
下面结合附图对本发明做进一步的说明。
实施例1
如图1所示为本发明实例的一种时变凸二次规划求解器设计方法的流程图；一种时变凸二次规划求解器设计方法的设计，包括如下步骤：
1)通过数学建模方法将具有时变二次规划问题形式的具体实际物理系统或数值求解进行标准化，并建立该系统的标准二次规划问题模型；
2)根据拉格朗日乘数法，分别获取步骤1)中标准时变二次规划问题的关于最优解及拉格朗日乘数的偏导数信息，列写拉格朗日优化公式；
3)将步骤2)中的关于最优解及拉格朗日乘数的偏导数信息转化为标准时变矩阵形式，列写时变矩阵方程；
4)基于步骤3)中的时变矩阵方程，设计误差函数方程，并列写误差函数方程表达式；
5)基于步骤4)中的误差函数方程，运用幂型变参递归神经动力学方法并利用单调递增奇激活函数，设计实数域上的时变二次规划问题幂型求解器；
6)通过步骤5)中时变二次规划问题幂型求解器所求得的网络状态解即为所求实际物理系统或数值求解时变二次规划问题的最优解。
如图2所示，为一种时变凸二次规划求解器设计方法的实现框架图，共包括如下模块：
1)外界环境输入即数据采集部分，包括外部传感器对外界环境进行传感数据获取以及预期实现的目标状态数据等两个部分，构成了时变参数矩阵内容的基础；
2)输入接口电路部分，即外部设定数据以及处理器间的接口通道，根据传感器的不同可由不同接口的电路与协议实现；
3)处理器部分，包括时变参数矩阵以及实数域光滑时变凸二次规划问题的幂型求解器两个部分。其中时变参数矩阵部分完成对外部输入数据的矩阵化或矢量化。实数域光滑时变凸二次规划问题的幂型求解器部分为系统的核心部分。该幂型求解器通过预先对系统进行建模、公式化、分析及设计构型，其中包括数学建模得到的系统模型，从而设计误差函数方程，并利用基于幂型变参递归神经动力学方法构造神经网络求解器；
4)输出接口部分，为求解器所求解的数据同系统最优理论解请求端的接口，其中该接口可以为电路接口也可以为程序的返回值，根据设计系统的不同而不同；
5)最优解请求端部分，为需要获得实际物理系统或数值求解系统的实数域光滑时变凸二次规划问题最优解的请求端，该端口在需要得到求解参数时像求解系统发出指令请求，并接受求解结果。
如图3所示，为各种单调递增奇激活函数图线示意图，共包括如下六种单调递增奇激活函数：
1)线性型激活函数：φ(u)＝u,其中标量参数
2)幂型激活函数：φ(u)＝uω,其中标量参数ω＞1,且
3)双极s型激活函数：
4)sinh型激活函数：
5)tanh型激活函数：
6)有限时间型激活函数：
其中|u|表示标量参数
如图4(a)、图4(b)、图4(c)、图4(d)、图4(e)、图4(f)所示，为实例仿真效果曲线图。其中图4(a)为在线性型激活函数激励下幂型求解器所达到的剩余误差的收敛效果图；图4(b)为在幂型激活函数激励下幂型求解器所达到的剩余误差的收敛效果图；图4(c)为在双极s型激活函数激励下幂型求解器所达到的剩余误差的收敛效果图；图4(d)为在sinh型激活函数激励下幂型求解器所达到的剩余误差的收敛效果图；图4(e)为在tanh型激活函数激励下幂型求解器所达到的剩余误差的收敛效果图；图4(f)为在有限时间型激活函数激励下幂型求解器所达到的剩余误差的收敛效果图。
根据设计流程图的相关步骤，在此针对本发明进行详细的算法解析。首先，针对具有实数域光滑时变凸二次规划问题形式的实际物理系统或数值求解系统(包括线性系统及近似线性系统)，利用数学建模方法，对模型进行公式化，得到如下的实数域标准时变二次规划问题模型：
subjecttoa(t)x(t)＝b(t)(2)
其中t表示时间，t表矩阵的转置。在实数域中，可以定义
为了获取关于时变二次规划问题的关于最优解及拉格朗日乘数的偏导数信息，对二次规划问题模型(1)-(2)使用拉格朗日乘数法可得到下式
λt(t)(a(t)x(t)-b(t)),t∈[0,+∞)(3)
其中
根据优化公式(4)-(5)可以设计出一个如下的关于时变二次规划问题模型(1)-(2)的矩阵等式
w(t)y(t)＝g(t)(6)
其中
时变系数矩阵和向量w(t),y(t),g(t)在实数域上均连续且光滑。
根据得到的实际物理模型系统或数值求解系统的光滑时变二次规划问题的矩阵等式(6)，设计可得系统的误差函数方程；为得到时变二次规划问题模型(1)-(2)的最优解，定义一个矩阵形式的误差函数方程如下
当误差函数方程ε(t)达到零时，时变二次规划问题模型(1)-(2)的最优解x*(t)能够被获得。
时变参数矩阵中的数据能够输入到处理单元(计算机、单片机、微型处理器等)中；通过所获得的时变参数矩阵及其导数信息，结合实数域幂型变参递归神经动力学方法并利用单调递增奇激活函数，设计时变二次规划问题的幂型求解器；根据幂型变参递归神经动力学方法，误差函数方程ε(t)的时间导数需为负定；不同于固定参数递归神经动力学方法，决定新型神经动力学方法收敛性能的设计参数是时变的；一种幂型的时变参数在本发明中被设计并使用，其设计公式如下
其中γ＞0为人为设计的常系数参数，φ(·)为单调递增奇激活阵列；φ(·)根据不同的映射函数关系具有不同的形式，如线性型激活函数、幂型激活函数、双极s型激活函数、sinh型激活函数、tanh型激活函数、有限时间型激活函数等。矩阵形式的实数值激活函数阵列φ(·)有m×n个单调递增奇激活函数φ(·)组成；可使用的实数值激活函数如下所示：
1)线性型激活函数：φ1(u)＝u,其中标量参数
2)幂型激活函数：φ2(u)＝uω,其中标量参数ω＞1,且
3)双极s型激活函数：
4)sinh型激活函数：
5)tanh型激活函数：
6)有限时间型激活函数：
其中|u|表示标量参数
将误差函数方程及其导数信息代入设计公式(8),则实数域幂型变参递归神经网络模型能够用如下的隐式动力学方程式表达
其中
根据对
y(t)：＝[xt(t),λt(t)]t＝[x1(t),x2(t),…,xn(t),λ1(t),λ2(t),…,λm(t)]t(10)
其中y(t)具有初始值
根据隐式动力学方程(9)，可以得到实数域幂型变参递归神经网络的系统模型及网络实现；网络的输出结果即为实数域时变二次规划问题模型(1)-(2)的最优解。
实施例2
为了展示实际的系统设计过程，利用一个实例对所述问题进行说明：假设系统的时变参数矩阵已得到，并考虑一个具有如下时变矩阵的实数域时变二次规划问题模型
subjecttoa(t)x(t)＝b(t)(12)
其中
a(t)：＝[sin2tcos2t],b(t)：＝cos3t,x(t)：＝[x1(t)x2(t)]t
根据式(6)，上述二次规划问题模型(11)-(12)可以写为如下的矩阵等式形式
w(t)y(t)＝g(t)(13)
其中
y(t)：＝[x1(t)x2(t)λ(t)]t,g(t)：＝[-sint-costcos3t]t
根据如下的隐式动力学方程式表达
以及对
y(t)：＝[xt(t),λt(t)]t＝[x1(t),x2(t),…,xn(t),λ1(t),λ2(t),…,λm(t)]t(15)
可以得到实数域幂型变参递归神经网络的系统模型及网络实现；网络的输出结果即为实数域时变二次规划问题模型(11)-(12)的最优解。除此之外，我们假设在随机重复仿真实验中，所有的剩余误差||w(t)y(t)-g(t)||2达到0.01的时间记为收敛时间t,也即认为剩余误差收敛至0.01时，二次规划问题的求解过程已完成。具体求解图线如图4所示。对于线性型激活函数，在运用幂型变参递归神经网络求解器的条件下，其收敛时间为t＝2.472s；在运用传统定参递归神经网络求解器的条件下，其收敛时间为t＝6.015s。对于幂型激活函数，在运用幂型变参递归神经网络求解器的条件下，其收敛时间为t＝9.199s；在运用传统定参递归神经网络求解器的条件下,不能收敛。对于双极s型激活函数，在运用幂型变参递归神经网络求解器的条件下，其收敛时间为t＝2.432s；在运用传统定参递归神经网络求解器的条件下，其收敛时间为t＝5.369s。对于sinh型激活函数，在运用幂型变参递归神经网络求解器的条件下，其收敛时间为t＝0.6415s；在运用传统定参递归神经网络求解器的条件下，其收敛时间为t＝1.635s。对于tanh型激活函数，在运用幂型变参递归神经网络求解器的条件下，其收敛时间为t＝2.838s；在运用传统定参递归神经网络求解器的条件下，其收敛时间为＝6.699。对于有限时间型激活函数，在运用幂型变参递归神经网络求解器的条件下，其收敛时间为t＝0.9027s；在运用传统定参递归神经网络求解器的条件下，其收敛时间为t＝1.371s。综上所述，根据上述各步骤可以完成本发明。
本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。