最优控制装置、最优控制方法以及计算机程序与流程

1.本发明的实施方式涉及最优控制装置、最优控制方法以及计算机程序。


背景技术：

2.近年来，作为设备(plant)控制的方法，被称为极值控制的技术受到关注。极值控制是不使用设备的复杂模型的无模型的实时最优控制技术。极值控制的概要是，通过强制性地使操作量变化，来搜索基于控制对象工艺的控制量的评价量被最优化的操作量。在将这样的极值控制应用于设备控制的情况下，需要根据控制对象工艺的特性来适当地设定极值控制所涉及的各种参数(以下称为“极值控制参数”)。以往，虽然示出了几个与极值控制参数的设计有关的指针，但都没有达到能够适应于控制对象工艺的时间变化(以下称为“动态”)地使极值控制稳定地动作。
3.现有技术文献
4.专利文献
5.专利文献1：日本国特开2017
‑
033104号公报
6.非专利文献
7.非专利文献1：d.nesic et.al.,
‘
a unifying approach to extremum seeking:adaptive schemes based on estimation of derivatives’,proc.49th ieee confe rence on decision and control,december 15
‑
17,2010)
8.非专利文献2：yan et al,on the choice of dither in extremum seeking syste ms:a case study,automatica,44,pp.1446
‑
1450(2008)


技术实现要素：

9.发明所要解决的技术问题
10.本发明所要解决的技术问题在于，提供一种能够适应于控制对象工艺的动态而使极值控制更稳定地动作的最优控制装置、最优控制方法以及计算机程序。
11.用于解决技术问题的手段
12.实施方式的最优控制装置，是执行极值控制的最优控制装置，所述极值控制以使基于控制对象工艺的控制量的值、而且是通过相对于所述控制对象工艺的操作量为未知的评价函数来表示的值即评价量接近所述评价函数的最优值的方式更新所述操作量。最优控制装置具有第一梯度估计部、操作量决定部、第二梯度估计部和参数调整部。第一梯度估计部基于表示所述评价量的信号来估计所述评价函数的雅可比式。操作量决定部通过对所述雅可比式的估计值进行积分来决定应使所述操作量移动的方向及量。第二梯度估计部基于表示所述评价量的信号来估计所述评价函数的黑塞式。参数调整部将被输入至所述操作量决定部的所述雅可比式的估计值除以基于所述评价函数的雅可比式或黑塞式的估计值的值而且是被调整为不为0的正则化信号，由此根据所述评价函数的变化来调整所述操作量决定部的积分增益。
附图说明
13.图1a是说明在第一实施方式中极值控制的基本概念的图。
14.图1b是说明在第一实施方式中极值控制的基本概念的图。
15.图1c是说明在第一实施方式中极值控制的基本概念的图。
16.图2是表示在第一实施方式中极值控制系统的基本结构例的图。
17.图3是表示第一实施方式的极值控制系统的结构例的图。
18.图4是表示第一实施方式中的极值控制参数的调整方法的具体例的图。
19.图5是表示第一实施方式中的梯度估计器的第一结构例的图。
20.图6是表示第一实施方式中的梯度估计器的第二结构例的图。
21.图7是表示在第一实施方式中通过第一方法生成正则化信号的极值控制系统的结构例的图。
22.图8是表示在第一实施方式中通过第一方法生成正则化信号的极值控制系统的结构例的图。
23.图9是表示在第一实施方式中通过第二方法生成正则化信号的极值控制系统的结构例的图。
24.图10是表示在第一实施方式中通过第二方法生成正则化信号的极值控制系统的结构例的图。
25.图11是表示在第一实施方式中通过第三方法生成正则化信号的极值控制系统的结构例的图。
26.图12是用于说明在第一实施方式中通过第四方法生成的正则化信号的一例的图。
27.图13是用于说明在第一实施方式中通过第四方法生成的正则化信号的另一例的图。
28.图14a是用于说明在第一实施方式中不使用正则化信号而对操作量的响应进行模拟而得到的结果的一例的图。
29.图14b是用于说明在第一实施方式中使用正则化信号梯度的符号信号作为正则化信号来对操作量的响应进行模拟而得到的结果的一例的图。
30.图14c是用于说明在第一实施方式中使用通过第四方法生成的正则化信号时的效果的一例的图。
31.图14d是用于说明在第一实施方式中使用通过第四方法生成的正则化信号时的效果的一例的图。
32.图15是表示第二实施方式的极值控制系统的结构例的图。
33.图16是表示在第二实施方式中通过第二方法生成正则化信号的极值控制系统的结构例的图。
34.图17是表示在第二实施方式中通过第三方法生成正则化信号的极值控制系统的结构例的图。
35.图18是表示第一实施方式或第二实施方式的极值控制系统的应用例的图。
具体实施方式
36.以下，参照附图对实施方式的最优控制装置、最优控制方法以及计算机程序进行
logic controller：可编程逻辑控制器)等硬件容易地安装。以下，对图2的极值控制系统9的动作的概要进行说明。另外，在此，以搜索评价函数的极小值作为最优值的情况为例进行说明。
46.首先，调制用高频振动信号输出部11通过使高频振动信号发挥作用，对控制对象工艺的操作量赋予强制的变化。例如，调制用高频振动信号输出部11通过使正弦波等高频振动信号起作用，使控制对象工艺的操作量周期性地变化。以下，将该操作称为调制(modulation：调制)，将用于调制的高频振动信号称为调制用高频振动信号。根据由该调制引起的操作量的变化，控制量发生变化。控制对象工艺基于这样变化的控制量来取得评价量，并将所取得的评价量反馈到极值控制系统9。
47.通常，控制量相对于操作量的变化而伴随某种程度的时间延迟而变化的情况较多，因此基于控制量而取得的评价量也相对于操作量的变化而伴随某种程度的时间延迟而变化。此外，基于控制量取得评价量的功能不必定需要包含在控制对象工艺中。例如，取得评价量的功能既可以包含在极值控制系统9中，也可以通过能够夹设于控制对象工艺与极值控制系统9之间的其他装置来实现。
48.极值控制系统9基于这样被反馈的评价量，以使评价量接近评价函数的极值的方式更新操作量。在该情况下，控制对象工艺的评价函数具有极小值成为前提，但如上所述，评价函数是相对于操作量为未知的函数，因此其极值也相对于操作量为未知。因此，极值控制系统9基于被反馈的评价量的信号来观测根据调制而变化的评价量的变化的大小及方向，并基于观测到的变化的大小及方向来决定新的操作量。
49.具体而言，该新的操作量的决定通过高通滤波器12、解调用高频振动信号输出部13、低通滤波器14以及积分器15具有以下的各功能来实现。
50.高通滤波器12从被反馈的评价量的信号中去除与未知的极小值对应的恒定值的偏置。该处理是用于将未知的极小值始终调整为零的处理，且是用于决定后述的积分器15对操作量进行更新的方向(增加或减少)的前处理。
51.解调用高频振动信号输出部13通过对如此调整后的评价量的信号作用解调用的高频振动信号，由此从根据操作量的调制而变化的评价量中提取与调制用高频振动信号相同的频率成分。以下，将该操作称为解调(demodulation：解调)，将用于解调的高频振动信号称为解调用高频振动信号。解调的作用如下。
52.存在相对于操作量为未知的评价函数中包含非线性要素的情况。在该情况下，假定为评价函数为向下凸(在极大值搜索的情况下为向上凸)的非线性函数。认为由于这样的非线性要素而在评价量中出现与调制用高频振动信号的频率ω对应的高次谐波成分、分谐波成分的可能性高。解调是用于消除这样的高次谐波、分谐波的影响的处理。通过该调制，提取出评价量的信号中包含的成分中的、与使评价量变化的调制用高频振动信号相同频率ω的成分。
53.解调后的评价量的信号被输入至低通滤波器14。通过低通滤波器14，从评价量的信号中提取稳态成分(低频成分)。具体而言，认为稳态成分表示评价函数的一阶微分值(以下称为“雅可比式”)，表示由调制引起的评价量的变化的方向(增加或减少)。
54.积分器15对由低通滤波器14提取出的稳态成分进行积分。积分器15作为基于稳态成分的积分值来估计为了使评价量接近极小值而应移动的操作量的方向(以下称为“搜索
方向”)的估计器发挥功能。这样估计搜索方向的方法通常被称为梯度法，是在自适应控制系统中估计搜索方向的基本方法之一。
55.具体而言，积分器15基于稳态成分的积分值来估计评价函数的梯度，基于估计出的梯度的值来调整操作量的搜索方向、以及向搜索方向移动的操作量的大小(使操作量移动的量)。这样调整后的操作量被调制用高频振动信号调制并被输入至控制对象工艺。
56.另外，在此，假定极值控制系统9搜索极小值的情况并对其结构进行了说明，但在通过极值控制系统9搜索极大值的情况下，使积分器15估计的梯度的符号反转即可。另外，通常，由于积分器具有低通特性，因此在积分器15具有充分的低通特性的情况下，极值控制系统9不一定需要具备低通滤波器14。
57.通过这样的结构实现的极值控制系统9，与现有的工艺控制中通常的pid控制系统相比为相同程度的复杂度，因此能够与pid控制系统同样地使用plc(programmable logic controller：可编程逻辑控制器)等硬件来容易地安装。
58.以上，对极值控制系统的基本结构进行了说明，但在这样的现有的极值控制系统中，存在未必能够实现适应于控制对象工艺的动态的极值控制的技术问题。因此，以下，对能够解决这样的技术问题的实施方式的极值控制系统的结构进行详细说明。
59.[实施方式的详细]
[0060]
图3是表示第一实施方式的极值控制系统1的结构例的图。
[0061]
图3所示的设备p是实现控制对象工艺的手段的一例，例如是实现生物学的排水处理工艺的水处理设备。设备p具备实现控制对象工艺的各种工艺设备，基于从极值控制系统1输入的操作量使工艺设备动作。另外，设备p包括对控制对象工艺的控制量进行计测的各种计测设备，将表示该计测值的信息(以下称为“计测信息”)输出至极值控制系统1。极值控制系统1基于从设备p取得的计测信息，向使控制对象工艺的评价量接近最优值的方向(搜索方向)更新操作量。
[0062]
这样的极值控制的基本动作通过实施方式的极值控制系统1具备与现有结构的极值控制系统9同样的调制用高频振动信号输出部11、高通滤波器12、解调用高频振动信号输出部13、低通滤波器14、积分器15来实现。另一方面，实施方式的极值控制系统1与现有结构的极值控制系统9的不同点在于，具备基于评价量信号来调整极值控制参数的参数调整部2。
[0063]
例如，极值控制系统1具备通过总线而连接的cpu(central processing unit)、存储器、辅助存储装置等，执行极值控制程序。极值控制系统1通过执行极值控制程序而作为具备上述各功能部的装置或系统发挥功能。另外，极值控制系统1的各功能的全部或一部分也可以使用asic(application specific integrated circuit：专用集成电路)或pld(programmable logic device：可编程逻辑器件)或fpga(field programmable gate array：现场可编程门阵列)等硬件来实现。程序也可以记录在计算机可读取的记录介质中。计算机可读取的记录介质例如是软盘、光磁盘、rom、cd
‑
rom等可移动介质、内置于计算机系统的硬盘等存储装置。程序也可以经由电气通信线路发送。
[0064]
参数调整部2具有对控制对象工艺的动态而自适应地调整极值控制参数的功能。具体而言，参数调整部2基于由于动态而时时刻刻变化的评价函数的梯度估计值，自适应地调整积分器15的积分增益。
[0065]
图4是表示第一实施方式中的极值控制参数的调整方法的具体例的图。具体而言，图4引用了专利文献1所记载的调整方法。
[0066]
如图4的no.5所示，本实施方式中的参数调整部2基于从控制对象工艺反馈的评价量来估计评价函数的二阶微分值(以下称为“黑塞式”)，使用估计出的黑塞式的值来决定新的积分增益。为了调整这样的积分增益，参数调整部2具备第一乘法器21、梯度估计部22、正则化信号输出部23以及第二乘法器24。
[0067]
第一乘法器21对从高通滤波器12输入的评价量信号乘以高频振动信号(的平方信号)并输出至梯度估计部22。梯度估计部22从第一乘法器21的输出信号中提取黑塞式信号h(t)并输出至正则化信号输出部23。在该情况下，例如梯度估计部22能够使用非专利文献1所记载的方法来估计评价函数的0阶以上的微分值。即，梯度估计部22能够作为估计评价函数的雅可比式的第一梯度估计部、或者估计评价函数的黑塞式的第二梯度估计部发挥功能。具体而言，在非专利文献1中记载了使用低通滤波器来估计评价函数的0阶以上的微分值的结构，其基本的想法如下。
[0068]
通常，在操作量中有时包含高次谐波成分、分谐波成分，但在高频振动信号用正弦波来提供的情况下，调制后的操作量也大致以与高频振动信号相同的频率呈正弦波状变化。因此，操作量u假定为变化为u(t)＝u0+a+sinωt这样的正弦波状，根据该操作量而变化的评价量假定为由式(1)所示的评价函数j表示。
[0069]
[数式1]
[0070]
j(t)＝f(u(t))＝f(u0+a
×
sinωt)
…
(1)
[0071]
式(1)将评价量j(t)定义为关于操作量u(t)的(未知的)函数。如果考虑设备的动态，则准确地说f不是函数而应当是动态系统的运算子(算子)，但在高频振动信号的频率ω引起了相对于设备的动态而言充分平缓的变化的情况下，能够将f近似地视为函数。在本实施方式中，在这样的前提下，将f视为函数。通过将式(1)进行泰勒展开，得到式(2)。
[0072]
[数式2]
[0073][0074]
在此，dkf(k是1以上的整数)是指与函数f的u有关的k阶微分。通过对该式(2)乘以sinnωt(n为1以上的整数)而得到式(3)。并且，若对式(3)实施周期平均处理(或时间积分)，则由于正弦波的正交性而仅保留与sinnωt有关的成分，得到式(4)。
[0075]
[数式3]
[0076]
[0077]
[数式4]
[0078][0079]
在此，由于高频振动信号的振幅a和幂数n为常数，因此如果假定n阶微分dnf的值在1个控制周期中不大幅变化，则式(4)能够如式(5)及(6)那样表示。然后，通过从式(5)进行逆运算，能够得到表示n阶微分dnf的式(7)。
[0080]
[数式5]
[0081][0082]
[数式6]
[0083][0084]
[数式7]
[0085][0086]
图5及图6是表示由式(7)表示的梯度估计器的结构例的图。
[0087]
具体而言，图5表示雅可比式估计器的结构例(即n＝1的情况)，表示通过利用低通滤波器对作用了高频振动信号sinωt后的评价量信号j(t)进行处理之后进行2/a倍来得到评价函数的雅可比式的结构。另外，该结构相当于对具有积分增益ki的积分器15定义了新的积分增益kimod＝ki
×
(a/2)，因此图2所示的现有的基本的极值控制系统能够视为是通过低通滤波器14来估计评价函数的雅可比式的结构。
[0088]
另一方面，图6示出了黑塞式估计器的结构例(即n＝2的情况)，示出了如下结构：从利用低通滤波器对作用了高频振动信号的平方信号sin2ωt的评价量信号j(t)进行处理之后进行了16倍而得到的第一信号中减去利用低通滤波器对评价量信号j(t)进行处理并进行8倍而得到的第二信号并进行1/a2倍，由此得到评价函数的黑塞式。
[0089]
另外，参数调整部2也能够将通过这样的方法估计出的评价函数的黑塞式直接原样使用来调整积分增益，但在该情况下，由于后述的理由，存在极值控制不稳定化的可能性。因此，在本实施方式的极值控制系统1中，基于黑塞式的估计值对由低通滤波器14估计出的雅可比式进行正则化，并将正则化后的雅可比式信号提供给积分器15。由此，本实施方式的极值控制系统1能够避免极值控制的不稳定化，并且能够自适应地更新积分增益。
[0090]
具体而言，正则化信号输出部23生成对梯度估计部22输出的雅可比式信号进行正则化(regularization)的信号(以下称为“正则化信号”)并输出至第二乘法器24。第二乘法器24从低通滤波器14输入雅可比式信号g(t)，从正则化信号输出部23输入正则化信号，通过对雅可比式信号乘以正则化信号来对雅可比式信号进行正则化。第二乘法器24将正则化后的雅可比式信号gn(t)提供给积分器15。
[0091]
[生成正则化信号的第一方法]
[0092]
通常，信号的“正则化”是指，避免在想要对于对象的信号进行某种逆运算的情况
下不存在逆而无法进行逆运算这样的病态条件(ill
‑
condition)。例如，作为这样的病态条件的一例，可举出除法运算中的“除以零”等。
[0093]
另一方面，如图4所示，本实施方式的极值控制系统1使用评价函数的黑塞式而自适应地更新积分器15的积分增益，但这能够等价地置换为将各控制周期的积分增益固定为通过将评价函数的雅可比式行除以黑塞式(正则化)而得到的恒定值并执行极值控制。即，本实施方式中的极值控制系统1的结构能够视为对图2所示的基本结构附加了将雅可比式用黑塞式进行正则化的结构。
[0094]
因此，在本实施方式中，将在雅可比式信号的“正则化(normalization)”中避免“除以零”等病态条件定义为“正则化”，并生成作用于雅可比式信号而实现这样的正则化的信号作为正则化信号。具体而言，正则化信号输出部23生成用于实现满足以下各条件的信号变换的信号作为正则化信号。
[0095]
[条件1]
[0096]
[条件2]
[0097]
[条件3]
[0098]
[条件4]
[0099]
g(t)表示雅可比式信号，gn(t)表示通过正则化信号的作用而被正则化的(即，用黑塞式进行除法运算的)雅可比式信号。[条件1]表示限于在g(t)为0时gn(t)也为0这样的条件。[条件2]表示g(t)和gn(t)的符号相同这样的条件。[条件3]表示g(t)有限时gn(t)也有限(即不发生除以零)的条件。[条件4]表示在g(t)向∞发散时gn(t)不向∞发散而收敛于某正的有限值这样的条件。具有这样的性质的正则化信号例如由式(8)表示。
[0100]
[数式8]
[0101]
rs＝1/(δ+|h(t)|)
···
(8)
[0102]
式(8)中的δ是正的常数(δ＞0)，表示所谓的正则化常数。h(t)表示所估计的评价函数的黑塞式。由式(8)表示的正则化信号能够通过对黑塞式信号加上正则化常数δ的处理和取得黑塞式信号的绝对值的处理来生成，因此能够抑制装置的大型化并且提高极值控制的稳定性。
[0103]
例如，在通过极值控制来搜索最小值(极小值)的情况下，对于在极值附近黑塞式取正值的下凸的m次(m＞1)的评价函数、在极值附近黑塞式为负值的上凸的m次(0＜m＜1)的评价函数，也能够稳定地搜索极值。
[0104]
另外，使用黑塞式生成的正则化信号不一定需要由式(8)那样的黑塞式的一次函数表示。例如，正则化信号可以通过如式(9)、式(10)那样的黑塞式的平方函数来表示，也可以通过式(11)、式(12)那样的黑塞式的m次方(m＝1，2，3，
…
)函数来表示。
[0105]
[数式9]
[0106][0107]
[数式10]
[0108]
rs＝|h(t)|/(δ+h(t)2)
···
(10)
[0109]
[数式11]
[0110][0111]
[数式12]
[0112]
rs＝|h(t)|
m
‑1/(δ+|h(t)|
m
)
···
(12)
[0113]
图7及图8是表示通过第一方法生成正则化信号的极值控制系统的结构例的图。具体而言，图7表示将通过用式(8)表示的正则化信号进行了正则化后的雅可比式信号gn(t)输入至积分器15的结构例。另外，图8表示将通过用式(9)表示的正则化信号进行了正则化后的雅可比式信号gn(t)输入至积分器15的结构例。
[0114]
[生成正则化信号的第二方法]
[0115]
在第一方法中，由于在正则化信号的生成中使用黑塞式信号，因此需要对评价函数的黑塞式进行估计的某些机构。例如，在图7及图8所示的极值控制系统1中，需要用于根据评价量的信号生成黑塞式信号的第一乘法器21和梯度估计部22(例如低通滤波器)。与此相对，第二方法是使用雅可比式的估计值来代替黑塞式的估计值从而不具备第一乘法器21及梯度估计部22而生成正则化信号的方法。例如，通过第二方法生成的正则化信号由式(13)表示。
[0116]
[数式13]
[0117]
rs＝1/(δ+|g(t)|)
···
(13)
[0118]
在此，g(t)表示由梯度估计部22估计出的评价函数的雅可比式或与雅可比式成比例的量。另外，在第二方法中生成的正则化信号不一定需要是由雅可比式的一次函数表示的信号。例如，通过第二方法生成的正则化信号也可以与第一方法同样地由雅可比式的m次方(m＝1，2，3，
…
)函数表示(例如式(14)及(15))。
[0119]
[数式14]
[0120][0121]
[数式15]
[0122]
rs＝|g(t)|
m
‑1/(δ+|g(t)|
m
)
···
(15)
[0123]
图9及图10是表示通过第二方法生成正则化信号的极值控制系统的结构例的图。具体而言，图9表示将通过用式(13)表示的正则化信号进行了正则化后的雅可比式信号gn(t)输入至积分器15的结构例。另外，图10表示通过用式(14)表示的正则化信号(m＝2的情况)进行了正则化后的雅可比式信号gn(t)输入至积分器15的结构例。根据这样的第二方法，能够抑制为了雅可比式信号的正则化而使极值控制系统的结构复杂化。
[0124]
[生成正则化信号的第三方法]
[0125]
第三方法是通过在式(13)～(15)中设为δ＝0来将第二方法进一步简化而得到的方法。在该情况下，通过第三方法生成的正则化信号由式(16)表示。
[0126]
[数式16]
[0127]
rs＝1/|g(t)|
···
(16)
[0128]
在第一及第二方法中，δ(＞0)以避免除以零的方式起作用，因此若将该δ设为0，则在g(t)＝0时rs将发散为无限大，正则化后的雅可比式信号gn(t)也同样地发散。这样的信号原本不满足作为正则化信号的条件1～4，因此本来不应作为正则化信号使用，但在将雅可比式信号的正则化如式(17)那样定义的情况下，能够作为正则化信号使用。
[0129]
[数式17]
[0130][0131]
式(17)表示将雅可比式信号除以式(16)的正则化信号rs这一处理定义为雅可比式信号的正则化。这是将雅可比式信号除以雅可比式信号的绝对值的操作，所以式(17)中的gn(t)取
‑
1或+1中的某一个值。即，可以说，通过第三方法生成的正则化信号是作用于雅可比式信号而提取其符号信息(
‑
1或+1)的信号。因此，在进行由式(17)定义的正则化的情况下，由式(16)表示的信号在原理上作为正则化信号发挥功能。
[0132]
此外，如果这样的正则化的目的是提取符号信息，则只要能够提取雅可比式信号的符号信息，就不一定需要实际将g(t)除以其绝对值|g(t)|的处理。因此，该情况下的正则化信号输出部23也可以构成为直接计算sgn(g(t))。另外，通过设为这样的结构，能够避免除以零的产生。这里，sgn(x)表示返回值x的符号的函数。
[0133]
图11是表示在第一实施方式中通过第三方法生成正则化信号的极值控制系统的结构例的图。
[0134]
这样提取的符号信息成为仅表示使操作量应移动的方向(增加或减少)的信号。因此，通过具备这样的正则化的结构，能够结构例如图11所示那样的简易的极值控制系统。此外，在该情况下，在各控制周期中使操作量变化的量为固定值，因此也可以对sgn(g(t))乘以系数等，以其变化量成为期望量的方式进行调整。
[0135]
另外，如果不仅式(13)，在式(14)或式(15)中也通过设δ＝0来得到式(16)，则式(13)～(15)能够认为是将δ＞0作为参数来调整式(16)的作用的式。实际上，在基于sgn()的正则化中仅提供应使操作量移动的方向，因此在参数未被充分适当地调整的情况下，有可能在极值附近产生振荡。在该情况下，使用通过δ＞0来调整式(16)而得到的式(13)～(15)而生成的正则化信号被认为以抑制极值附近的振荡的方式作用于雅可比式信号。
[0136]
第二乘法器24通过乘以这样生成的正则化信号来对雅可比式信号g(t)进行正则化，并将正则化后的雅可比式信号gn(t)输出至积分器15。由这样的参数调整部2进行的雅可比式信号的正则化通过式(18)来表示。
[0137]
[数式18]
[0138]
gn(t)＝rs
×
g(t)
···
(18)
[0139]
参数调整部2使用这样进行了正则化的雅可比式信号来自适应地更新积分器15的积分增益。通常，在极值控制中应使操作量移动的方向由针对相对于操作量为未知的评价函数所估计的梯度(雅可比式)的符号来表示，其移动量由积分增益来调整。在此，对基于非专利文献2等中记载的均值系统(平均系统)的想法来调整积分增益的方法进行说明。
[0140]
所谓均值系统，是对在对某个系统施加了周期性的输入时取得其周期平均(均值)的系统的动态的行为进行表示的系统。通常，均值系统在极值控制系统的稳定性解析等中使用。例如，在非专利文献2中，关于不具有动态的静态的设备的极值控制系统，具体记载了其均值系统的动态。该均值系统由式(19)及(20)表示。
[0141]
[数式19]
[0142][0143]
[数式20]
[0144]
ki＝ki0×
ω
···
(20)
[0145]
在式(19)中，g(u)表示相对于操作量u为未知的评价函数的雅可比式的估计值。a表示高频振动信号的振幅。p表示高频振动信号的功率，在将正弦波作为高频振动信号的情况下p＝1/2，在将三角波作为高频振动信号的情况下p＝1/3，在将矩形波作为高频振动信号的情况下p＝1。τ表示将实际时间t用高频振动信号的频率ω进行尺度变换而得到的时间(τ＝ωt)，ki0表示τ的时间轴上的积分增益。ki0通过式(20)被变换为实际时间t的时间轴上的积分增益ki。
[0146]
进而，对于式(19)，通过将操作量u的平衡点设为u*而取得周期平均u～＝u
‑
u*，从而得到式(21)。“u～”是指在“u”的正上方冠以“～”而得到的记号。
[0147]
[数式21]
[0148][0149]
由公式(19)及(21)表示的均值系统，是对根据由高频振动信号带来的操作量的振动而评价量以怎样的速度收敛到最小值(极小值)这样的极值控制中的收敛的动态进行表现的系统。在非专利文献2中，假定了控制对象工艺是静态的情况，但高频振动信号的周期被设定为与设备的时间常数相比足够长。这即是，在高频振动信号的频率ω被设定得比控制对象工艺的截止频率充分小的情况下，能够将具有动态的控制对象工艺近似地视为静态的控制对象工艺。这也通过极值控制的稳定性分析中使用的奇异摄动论来证实。
[0150]
另外，即使是在如图2那样具备高通滤波器、低通滤波器而构成的基本结构的极值控制系统的情况下，也能够适当地设定这些滤波器的截止频率，在支配性的动态(最晚的动态)成为积分器15(积分器)的情况下，能够通过式(19)所示的均值系统来表征极值控制系统的整体的行为。因此，在这样的情况下，能够使用式(19)来调整积分增益。
[0151]
式(19)中的评价函数的雅可比式g(u)大多成为与u有关的非线性函数，因此，通常，式(19)成为非线性微分方程式。在此，关于式(19)的u，在适当的动作点u0的周边进行了线性化后的均值系统能够由式(22)表示。
[0152]
[数式22]
[0153][0154]
在此，“u^”是指在“u”的正上方冠以“^”的记号。u^＝u
‑
u0，h(u0)表示g(u)的雅可比式。即，h(u0)是评价函数的黑塞式。因此，在本实施方式中，通过以与h(u0)的倒数成比例的方式自适应地调整积分增益ki0，来调整极值控制的收敛速度。在这样的积分增益的调整中，通过第一方法生成的正则化信号(参照式(8)～(12))以避免由黑塞式的估计值引起的除以零并且抑制急剧的符号变化的方式发挥作用。
[0155]
除此之外，基于第一方法的正则化信号从积分增益的计算式中导出伴随着时间而变动的黑塞式的估计值，并定义为新的信号。这样，通过从计算式中导出使积分增益可变的要因，由此能够从计算式中去除1/h(u0)项，能够将积分增益ki0调整为固定值。另外，正则
化信号的定义式中所包含的微小常数δ(＞0)用于避免由黑塞式引起的除以零，在黑塞式的估计值为0的情况下，ki0成为最大值(常数项的1/δ倍)。因此，通过基于针对ki0假定的最大值来决定δ，由此能够进行积分增益的调整。
[0156]
式(22)是对式(19)的非线性方程式进行线性近似而得到的，但作为抑制式(19)的非线性要素即g(u)的影响的方法，考虑消除g(u)这一更直接的方法。上述的第二及第三方法是生成符合这样的想法的正则化信号的方法。式(19)中的积分增益ki0是调整对象的参数，设计者能够决定，因此将其视为将式(19)的微分方程式变形的一种操作量，新定义满足式(23)的积分增益ki0’，由此能够消除式(19)中的非线性要素。
[0157]
[数式23]
[0158][0159]
但是，若应用式(23)，则与雅可比式有关的信息不包含在式(19)中，因此会丢失决定应使操作量移动的方向所需的信息。因此，代替式(23)，而如式(24)那样取雅可比式的绝对值，由此能够在式(19)中保留雅可比式的符号信息。在该情况下，式(19)如式(25)那样表示。
[0160]
[数式24]
[0161][0162]
[数式25]
[0163][0164]
若这样，则能够在保留决定操作量的搜索方向所需的信息的同时消除雅可比式的非线性。即，基于第三方法的正则化信号可以说是用于从积分增益的计算式中导出雅可比式的非线性的信号。由于在式(25)中仅包含雅可比式的符号信息，因此新的积分增益ki0’的调整变得简单。另外，ki0’的调整以基于式(25)的极值控制的过渡性的行为成为直线的情况为基础而参考性地进行图5所示的调整方法即可。
[0165]
基于第三方法的正则化非常简单地被表示，另一方面，关于雅可比式由于仅包含符号信息，因此在极值附近可能发生振荡。基于第二方法的正则化，为了避免该振荡，可以认为在第三方法中导入了微小常数δ＞0。在该情况下，若考虑将积分增益如式(26)那样进行变换，则与式(25)相当的均值系统用式(27)表示。
[0166]
[数式26]
[0167][0168]
[数式27]
[0169][0170]
式(27)的均值系统在雅可比式的值较大时δ的影响变小，因此进行与式(25)的均值系统同样的动作。另一方面，在雅可比式的值小时，δ的影响变大，因此式(27)的均值系统
进行与雅可比式成比例的动作。因此，在基于第二方法的正则化中，也仅仅为了防止极值附近的振荡而设定δ，基本上能够通过与式(25)同样的想法来调整积分增益ki0’。
[0171]
[生成正则化信号的第四方法]
[0172]
基于第四方法的正则化信号是由通过连续函数对雅可比式信号的符号估计值进行近似而得到的近似符号估计值来表示的信号。
[0173]
若通过由第四方法生成的正则化信号对雅可比式信号进行正则化，则成为与用平滑的连续函数对通过基于第三方法的正则化信号正则化后的雅可比式信号(符号信号)进行近似的信号、而且是将通过基于第二方法的正则化信号正则化后的雅可比式信号一般化而得到的信号相当的信号。
[0174]
在第二方法中设为δ＝0的信号是基于第三方法的正则化信号。换言之，在第三方法中导入了微小常数δ＞0的信号是基于第二方法的正则化信号。然而，在对基于第三方法的正则化信号即符号函数进行近似的同时，满足上述的正则化信号的条件1
‑
4的近似函数并不限定于基于第二方法的正则化信号。
[0175]
例如，若用连续函数或者平滑的连续函数对符号函数进行近似，则满足条件1
‑
4的正则化信号的定义。这样的符号函数的(平滑的)近似函数存在多个，但不限于基于上述的基于第二方法的正则化信号的近似函数，例如，考虑如以下那样的近似函数。
[0176]
a.饱和函数
[0177]
[数式28]
[0178]
gn(t)＝max(
‑
1，min(1，m(g(t)))
···
(28a)
[0179]
在此，m(g(t))是满足m(0)＝0的g(t)的严格的单调增加函数，作为典型的例子，是
‑
sgn(g(t))/α
·
|g(t)|
ρ
、α＞0、ρ＞0那样的g(t)的幂运算函数，例如在ρ＝1的情况下，相当于将梯度g(t)以
±
1截断而得到的值。
[0180]
b.s形(sigmoid)函数(双曲正切)
[0181]
[数式29]
[0182][0183]
c.反正切
[0184]
[数式30]
[0185][0186]
除了上述a
‑
c的例子以外，还包括将广义的sigmoid函数中包含的累积正态分布函数、gompertz函数、古德曼函数(gudermannian function)等以原点成为中心的方式平行移动从而值域适当地尺度变换为
±
1的函数等。或者，将稳定且不产生超调(overshoot)或振动的传递函数(例：高阶延迟系统)的阶跃响应(例：1次延迟系统的情况下1
‑
exp(t))的时间t置换为g(t)(例：1次延迟系统的情况下1
‑
exp(g(t)))，并以原点为中心呈点对称的方式折回而接合的函数(例：1次延迟系统的情况下，n(g(t))(1
‑
exp(|g(t)|))等也作为符号函数的平滑的近似函数而发挥功能，因此能够作为正则化信号而利用。
[0187]
图12是用于说明在第一实施方式中通过第四方法生成的正则化信号的一例的图。
图12是图示了梯度(雅可比式信号)g(t)与正则化后的雅可比式信号gn(t)的关系的图，但g(t)＝gn(t)＝0的原点与极值搜索的极值对应。
[0188]
用连续函数对基于第三方法的正则化后的雅可比式信号(符号函数)进行近似，相当于对极值附近的正则化信号的行为进行调整。即，若单纯地应用将梯度以
±
1截断的饱和函数，则在极值附近将现有的梯度型的极值控制直接原样应用。另外，现有的极值控制是在评价函数正好(关于操作量)为2次函数时对其进行微分而得到的梯度成为1次函数(线性函数)。此时，若应用梯度法，则正好在极值附近具有线性系统的收敛特性(＝指数函数的收敛)。这样的收敛通常被认为是优选的。
[0189]
因此，若设为评价函数的梯度的形状如g(t)
∝
u
n
那样与操作量u的幂成比例(评价函数与u
(n+1)
成比例)，则若设为gn(t)＝g(t)
(1/n)
时，则成为gn(t)
∝
u，因此能够在极值附近指数函数性地收敛。实际上，极值附近的评价函数形状是未知的，因此理论上无法求出n，但通过一边确认极值附近的行为，一边对符号函数的近似函数的选择、其参数进行调整，从而能够进行极值附近的行为的精细调谐(fine tuning)。
[0190]
例如，如图12所示，如果在s形函数中改变α的值，则正则化信号gn(t)的绝对值成为比1小的值时的g(t)的值发生变化，因此能够调整极值的“附近”的范围a自身。
[0191]
图13是用于说明在第一实施方式中通过第四方法生成的正则化信号的其他例子的图。图13也与图12同样地图示雅可比式信号g(t)与正则化后的雅可比式信号gn(t)的关系，但g(t)＝gn(t)＝0的原点与极值搜索的极值对应。
[0192]
例如，如图13所示，在极值附近b，若切换向上凸的形状的连续函数和向下凸的形状的连续函数，则能够抑制在极值附近产生振荡的状况，或者能够改善在极值搜索控制中不收敛于极值而在其附近停止的现象。
[0193]
若选择向上凸的形状(例如，用s形函数，α＝3)的正则化后的雅可比式信号gn(t)，则gn(t)接近纯的符号函数，因此在收敛值不到达极值的情况下选择这样的形状的函数，从而能够进行接近真正的极值的搜索。但是，应注意的是，若向上凸的倾向过强(过于接近符号函数)则有时会发生振荡。
[0194]
另一方面，若选择向下凸的形状(例如，用饱和函数，α＝10，ρ＝1.5)的正则化信号gn(t)，则在极值附近发生振荡的情况下，确认到其被抑制的效果。应注意的是，若下凸的倾向变弱，则极值的搜索性能劣化。
[0195]
图14a是用于说明在第一实施方式中不使用正则化信号而对操作量的响应进行模拟而得到的结果的一例的图。在此，例示了针对在1次延迟系统中附加了y＝u5这样的函数而得到的虚拟的控制对象应用了各种正则化信号的情况下的操作量的响应进行模拟而得到的结果。
[0196]
图14a所示的例子是未应用正则化信号的比较例，在初始值为2的情况下调整为顺利地动作。此时，若将初始值变更为3，则极值控制发散。这是因为，y＝u5的一次微分为y
′
＝5u4，在初始值为2时y
′
＝5
·25
＝160，与此相对，在初始值为3时y
′
＝5
·35
＝1215，梯度较大地变化。
[0197]
另外，即使在将初始值设为2的情况下，操作量也不会在规定时间以内极值(＝1)收敛于极值。这是因为，若u接近0，则y
′
迅速接近0。即，这是因为，在虚拟的控制对象中，极值的附近的梯度大致平坦。
[0198]
图14b是用于说明在第一实施方式中，使用梯度的符号信号作为正则化信号来对操作量的响应进行模拟而得到的结果的一例的图。
[0199]
相对于14a所示的比较例，图14b
‑
14d所示的例子应用了正则化信号。图14b所示的例子是应用了基于第三方法的正则化信号即符号函数的情况。此时，无论初始值为2还是3，都能够以同样的收敛速度进行极值的搜索，但在作为极值的1附近发生振荡。这是因为，符号函数为最强的不连续的开关函数。
[0200]
图14c及图14d是用于说明在第一实施方式中使用通过第四方法生成的正则化信号时的效果的一例的图。
[0201]
在图14c所示的例子中，作为符号函数的连续近似函数，应用了第四方法的a所示的饱和函数(ρ＝1)。与图14b同样地，无论初始值为何值都能够以相同的收敛速度进行极值的搜索，但与图14a相同，没有在规定时间以内达到极值。这是因为在极值附近使用梯度本身，因此在极值附近发生与图14a相同的现象。
[0202]
在图14d所示的例子中，作为符号函数的连续近似函数，例如应用了第四方法的a所示的
‑
sgn(g(t))/α
·
|g(t)|
ρ
、α>0、ρ>0的、ρ≠1那样的g(t)的幂运算函数即饱和函数，设为α＝1、ρ＝1/5。在该例子中，无论初始值为何值都能够进行极值的搜索，能够抑制振荡。如该例那样，很好地利用对符号函数进行近似的连续函数，由此能够调整极值搜索控制的响应。
[0203]
使用了通过第四方法生成的正则化信号的极值控制系统，能够通过例如在图11所示的结构例中将符号函数的sgn()设为基于g(t)的近似函数(作为一例，为上述的函数a
‑
c)来实现。
[0204]
另外，使用了通过第四方法生成的正则化信号的极值控制系统，能够通过例如在图9及图10所示的结构例中利用正则化信号输出部23进行与近似函数对应的运算来实现。即，只要事先以正则化信号输出部23的输出成为将正则化后的雅可比式信号除以g(t)得到的值的方式设定正则化信号输出部23中的运算式即可。
[0205]
根据上述第四方法，正则化函数并不限定于基于第三方法的函数，通过对连续近似函数的选择、该函数具有的参数进行调整，由此能够容易地调整搜索出的极值附近的行为，能够实现更精细的极值搜索控制。
[0206]
如以上说明那样，正则化信号输出部23生成的正则化信号具有从赋予应使操作量移动的方向及量的均值系统导出由评价函数的非线性要素带来的复杂的行为的作用，参数调整部2使用具有这样的性质的正则化信号，将梯度估计部22输出的雅可比式信号进行正则化。并且，积分器15使用调整后的积分增益对已被正则化的雅可比式进行积分，由此能够更适当地控制极值控制的搜索方向。
[0207]
这样构成的第一实施方式的极值控制系统1具备参数调整部，该参数调整部将雅可比式信号正则化并基于正则化的雅可比式信号来自适应地调整积分增益，由此能够使控制对象工艺的极值控制与该动态适应地更稳定地进行动作。
[0208]
具体而言，第一实施方式的极值控制系统1通过雅可比式信号的正则化来实现以下的(1)及(2)，由此能够在不损害极值控制的稳定性的情况下容易地调整积分增益。(1)避免积分增益的计算时的除以零。(2)维持雅可比式信号的符号信息(避免急剧的符号反转)。
[0209]
由此，控制对象工艺的算子能够更容易且安全地调整极值控制的收敛速度。
[0210]
(第二实施方式)
[0211]
图12是表示第二实施方式的极值控制系统1a的结构例的图。极值控制系统1a与第一实施方式的极值控制系统1的不同点在于，还具备操作量修正部3。图12所示的极值控制系统1a是在第一实施方式中通过第二方法生成正则化信号的极值控制系统的结构例中、对图9所示的极值控制系统1追加操作量修正部3而构成的。极值控制系统1a的除此以外的结构与第一实施方式的极值控制系统1相同，因此在此标注与图3相同的附图标记，从而省略对这些相同的功能部的说明。
[0212]
在使用基于评价函数的黑塞式的正则化信号的情况下，得到式(22)那样的线性近似系统，因此认为如果黑塞式的估计精度高，则能够使操作量、评价量以指数函数的方式收敛于极值。认为这样的收敛的方式也是(一次的)线性系统的特征，且通过提高黑塞式的估计精度，这样的特征如期待那样容易得到。
[0213]
另一方面，在使用了基于评价函数的雅可比式的正则化信号的情况下，得到如式(25)那样的均值系统，因此向极值的收敛被认为是直线性的。也存在要求这样的直线性的搜索的情况，但通常，在操作量、评价量大大远离作为目标的极值的情况下，要求迅速地接近极值，且在极值附近一点一点地接近极值的情况多。
[0214]
在用式(25)那样的均值系统表示的极值控制中，在极值附近产生振荡的可能性高。这样的振荡能够通过如上述的式(27)那样以微小的常数δ(＞0)来调整式(25)而抑制，但这是对极值附近的极值搜索的行为进行调整，而不是对极值搜索的动作整体进行调整。
[0215]
因此，为了对式(19)或式(22)的均值系统的行为整体地调整，只要在右边具有操作量u或操作量偏差u
‑
即可。即，只要能够将式(22)如式(29)那样变形即可。
[0216]
[数式31]
[0217][0218]
其中，f(u～)是满足f(0)＝0，u～的符号与f(u～)的符号一致的函数。即f(u～)满足u～
×
f(u～)>0。最简单的例子是f(u～)＝u～，此时，式(29)成为线性微分方程式，u～以指数函数的方式收敛于零。另外，考虑u～而不是u是因为，u的最优值u*未知，相对于此，u～收敛于零即可，因此将式(29)的平衡点设为0即可。另外，若使用u～的适当的幂运算函数，则在远离极值的情况下，也能够使动作点更快地在极值方向上移动，并在极值附近使动作点缓慢地移动。
[0219]
操作量修正部3用于得到具有式(29)那样的行为的均值系统，通过将操作量u反馈并与正则化信号相乘，由此以越是远离极值的动作点则越大地向极值方向移动的方式修正操作量。例如，在通过第三方法生成正则化信号的情况下，得到式(25)的均值系统，但为了得到式(29)式那样的系统，着眼于u的微分和u～的微分相等，在式(25)的右边乘以f(u～)即可。
[0220]
其中，u～＝u
‑
u*，操作量的最优值未知，因此不能直接使用u～。但是，由于操作量u能够使用，所以作为u～的推定值，通过使高通滤波器作用于u来去除未知的常数项u*，从而能够近似地得到u～。即，能够通过式(30)来估计u～。
[0221]
[数式32]
[0222][0223]
通过将通过式(30)估计出的u～的信号与已被正则化的雅可比式信号相乘，从而能够以具有指数函数性的响应特性的方式修正极值搜索。另外，在想要以比指数函数的响应特性更快的速度使动作点移动到极值附近的情况下，例如也可以通过将操作量u～的估计值设为通过式(30)得到的值的幂值，从而使动作点的移动幅度更大。
[0224]
图13以及图14是表示第二实施方式中的极值控制系统1a的结构例的图。具体而言，图13表示在第一实施方式中通过第二方法生成正则化信号的极值控制系统1的结构例中对图10所示的极值控制系统1追加操作量修正部3而构成的极值控制系统1a的例子。图14表示在第一实施方式中通过第三方法生成正则化信号的极值控制系统1(参照图11)追加操作量修正部3而构成的极值控制系统1a的例子。
[0225]
这样构成的第二实施方式的极值控制系统1a，除了起到与第一实施方式的极值控制系统1同样的效果之外，还能够更精细地调整极值搜索的速度。由此，能够在动作点大幅远离极值时迅速地使动作点移动到极值附近，并在极值附近使动作点细微地移动，因此能够提高极值搜索的速度以及精度。
[0226]
(应用例)
[0227]
图15是表示第一实施方式的极值控制系统或第二实施方式的极值控制系统的应用例的图。图15表示将实施方式的极值控制系统应用于实现生物学的排水处理工艺的水处理设备4的例子。例如，图15所示的水处理设备4具备厌氧槽41、无氧槽42、好氧槽43以及最终沉淀池44的各设备。厌氧槽41是用于使微生物活性化的设备。无氧槽42是用于去除氮的设备。好氧槽43是用于进行有机物的分解、磷的去除、氨的硝化的设备。最终沉淀池44是用于使活性污泥沉淀的设备。
[0228]
在水处理设备4中，设置有在上述设备间输送水、污泥的泵、向槽内供给空气的鼓风机、计测空气中或水中的物质的浓度的传感器等设备。药品投入泵411是将使微生物活性化的碳源等药品投入厌氧槽41的泵。循环泵431是对在好氧槽43与无氧槽42之间循环的被处理水的循环量进行控制的泵。鼓风机432向好氧槽43供给空气来控制曝气量。返送污泥泵441是从最终沉淀池44向无氧槽42返送污泥的泵。剩余污泥抽出泵442是从最终沉淀池44抽出过剩的污泥的泵。传感器412以及传感器443分别计测厌氧槽41以及最终沉淀池44中的排放水的水质。
[0229]
通常，在这样的生物学废水处理工艺中，操作量是返送污泥的返送率，控制量是排放水中包含的氮的浓度(以下称为“排放氮浓度”)及磷的浓度(以下称为“排放磷浓度”)。返送率通过将返送污泥泵441的排放量除以流入量而得到。排放氮浓度以及排放磷浓度由传感器412以及传感器443取得。另外，也可以将控制量设为排放水中包含的氮的量(以下称为“排放氮量”)及磷的量(以下称为“排放磷量”)。在该情况下，排放氮量及排放磷量分别通过对排放氮浓度及排放磷浓度乘以排放量而得到。
[0230]
应用例的极值控制系统1b通过从这样的水处理设备4输入基于排放氮量、排放磷量等控制量的评价量来执行极值控制，由此以使评价量接近最优值的方式更新操作量。作为在该情况下使用的评价函数的一例，考虑将评价量作为基于排水征收金的想法的水质成本与返送污泥泵441的电力成本的总和(以下称为“总成本”)而表示的方法。返送污泥泵441
的电力成本能够根据返送污泥流量和返送污泥泵441的额定功率等来算出。通常，在排水征收金的想法中，水质成本由以下的式子表示。
[0231]
[数式33]
[0232]
每单位时间的水质成本j1＝
[0233]
每单位时间的ss负载量
×
ss成本换算系数
[0234]
+每单位时间的cod负载量
×
cod成本换算系数
[0235]
+每单位时间的bod负载量
×
bod成本换算系数
[0236]
+每单位时间的tn负载量
×
tn成本换算系数
[0237]
+每单位时间的tp负载量
×
tp成本换算系数
[0238]
…
(31)
[0239]
在式(31)中，cod是指化学需氧量，bod是指生物化学需氧量，tn是指排放的氮，tp是指排放的磷。各成本的换算系数既可以基于实际的排水征收金来决定，也可以通过其他方法来决定。通常，已知tn及tp通过改变返送率来大幅地变化，因此在此将与返送率的控制有关的水质成本j1如式(32)那样定义。
[0240]
[数式34]
[0241]
水质成本j1＝每单位时间的tn负载量
×
tn成本换算系数
[0242]
+每单位时间的tp负载量
×
tp成本换算系数
[0243]
…
(32)
[0244]
除了这样的水质成本以外，也可以定义将通过改变返送流量而间接地变化的鼓风机的电力成本和返送泵的电力成本合计而得到的运转成本j2，将将该运转成本j2与水质成本j1的合计设为总成本的函数定义为评价函数。例如，运转成本j2能够如式(33)那样定义。
[0245]
[数式35]
[0246]
运转成本j2＝电力单价
×
鼓风机电力+电力单价
×
返送泵电力
[0247]
…
(33)
[0248]
应用例的极值控制系统1b，根据通过这样的评价函数取得的评价量提取雅可比式信号，对该雅可比式信号作用上述的正则化信号来进行极值控制，由此能够对水处理设备4的动态自适应地更新积分增益。由此，应用例的极值控制系统1b能够以更稳定的动作来搜索使总成本最小化的最优操作量。另外，实施方式的极值控制系统能够应用于对操作量的输入而输出控制量的任意的过程工艺的控制。例如，控制对象工艺也可以是下水处理工艺、燃烧工艺、石油化学工艺等。
[0249]
根据以上说明的至少一个实施方式，通过具有：第一梯度估计部，估计评价函数的雅可比式；操作量决定部，通过对雅可比式的估计值进行积分来决定应使操作量移动的方向及量；第二梯度估计部，估计评价函数的黑塞式；以及参数调整部，将输入至操作量决定部的雅可比式的估计值除以基于评价函数的雅可比式或黑塞式的估计值的值而且是被调整为不为0的正则化信号，由此根据评价函数的变化来调整操作量决定部的积分增益，由此，能够适应于控制对象工艺的动态而使极值控制更稳定地动作。
[0250]
对本发明的几个实施方式进行了说明，但这些实施方式是作为例子而提示的，并不意图限定发明的范围。这些实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围或主旨
中，同样包含在权利要求书所记载的发明及其等同的范围内。