一种基于可加性假设和图结构高斯过程模型的模拟电路优化方法

本发明属于模拟电路设计自动化领域。涉及一种高维空间中的贝叶斯优化方法。具体涉及一种基于可加性假设和图结构高斯过程模型的模拟电路优化方法。本发明针对具有可加性假设(additive assumption)和图结构(graph structure)的高维空间，将原高维参数空间分解为多个互不相交的参数子空间，并在参数子空间中构建各参数间的关系依赖图，应用基于可加性假设和图结构的高斯过程模型(gaussian process regression，gpr)，明显降低高维情况下贝叶斯优化方法的时间复杂度，加速电路优化过程。

背景技术：

1、现有技术公开了随着半导体制造工艺特征尺寸缩至纳米尺度，特征尺寸的减小使得许多以往可忽略的二级效应对电路的影响日益显著。为了描述这些影响，器件模型的复杂度越来越高[1]。模拟电路设计变得日益复杂，优化空间维度不断增长。在没有良好eda工具的支持下，模拟电路设计工程师为了保证芯片正常工作，需在设计时留足设计余量或牺牲芯片的部分性能。目前大部分的模拟电路设计仍采用人工设计流程。

2、现有技术中，为提高模拟电路的性能，电路设计人员可调整电路中器件的设计参数，如晶体管尺寸(长或宽)、电容值和电阻值等。在模拟电路优化循环中，每次迭代产生的新设计点都需要调用一次电路仿真工具(如spice)。若采用传统的优化方法，例如模拟退火方法[5]、粒子群方法[6]、进化方法[7]等，需要调用spice仿真器的次数极多，且对于高维、大规模模拟电路，每次spice仿真所需的时间很长。因此，大规模模拟电路的设计自动化属于高维优化问题，极具挑战性。如何提高高维情况下，模拟电路的优化效率是高维模拟电路优化的核心问题。

3、针对模拟电路自动化现有技术中可大致分为两类方法：基于模型的方法和基于电路仿真的方法[2]。基于模型的方法致力于采用简化的晶体管模型对电路进行描述并近似求解。例如，几何规划方法[3]和广义多项式方法[4]等。基于模型的方法面临的主要问题是其采用的简化晶体管模型与先进工艺下真实的晶体管模型存在较大偏差，导致最终得到的全局最优解与真实的全局最优解偏差较大，优化结果的可靠性较差。

4、基于电路仿真的方法将优化目标视为一个黑盒函数，即给定一组设计参数作为输入，调用商用模拟电路仿真器获得相应的性能指标输出。它利用已仿真的输入设计参数和输出性能指标的数据对集合中蕴含的信息，对黑盒函数进行优化。目前已有经典优化方法包括模拟退火方法[5]，粒子群方法[6]，进化方法[7]和多起始点优化方法[8]等。其中大部分属于启发式方法，需要大量采样点才能收敛到全局最优解。相比较而言，贝叶斯优化方法则更加高效，其只需更少的采样点就可以收敛到全局最优解[9]。其原因在于贝叶斯优化方法可以充分利用历史样本点提供的信息来指导优化过程，使得搜索过程更加高效。

5、尽管贝叶斯优化方法效率较高，但其一般适用于中小规模(10～20维左右)的模拟电路优化问题中。贝叶斯优化方法中一般采用高斯过程模型(gaussian processregression，gpr)建模，而gpr建模的时间复杂度为o(n3)，n是训练数据集的大小。随着优化问题维度的增加，所需训练数据集的大小需大幅增加。因此传统贝叶斯优化方法不适合较高维度的模拟电路优化问题。

6、针对现有贝叶斯优化方法在高维优化问题下失效的难题，在机器学习领域，有学者提出了一种可加性假设(additive assumption)，该假设认为高维目标函数可直接分解为多个低维子目标函数加和的形式[10-14]。每个子目标函数中只包含部分设计参数，且子目标函数之间不存在相同的设计参数。因此，该假设认为全局最优解可通过逐个优化子目标函数得到。

7、有文件公开[13]了图结构(graph structure)基于贝叶斯网络，将有向的图结构道德化(moralization)后转变成为无向图，在每个节点上施加一个采集函数。沿着图结构利用消息传递方法(message passing algorithm)优化这些采集函数，最终得到所寻找的潜在最优解。[13]提出的图结构为目标函数提供了一种更加灵活的描述结构,它将变量之间的依赖关系纳入了考虑,但是该消息传递方法的时间复杂度与将该图进行三角化(triangulation)后所得到的图中最大团块中的变量数目呈指数关系。这限制了该方法只能适用于20～30维左右的优化问题中。

8、基于现有技术的现状，本技术的发明人拟提供一种高维空间中的贝叶斯优化方法。具体涉及一种基于可加性假设和图结构高斯过程模型的模拟电路优化方法。

9、与本发明相关的参考文献有，

10、[1]r.a.rutenbar,g.g.e.gielen and j.roychowdhury,"hierarchicalmodeling,optimization,and synthesis for system-level analog and rf designs,"in proceedings of the ieee,vol.95,no.3,pp.640-669,march 2007,doi:10.1109/jproc.2006.889371.

11、[2]w.lyu et al.,"an efficient bayesian optimization approach forautomated optimization of analog circuits,"in ieee transactions oncircuitsand systems i:regular papers,vol.65,no.6,pp.1954-1967,june 2018,doi:10.1109/tcsi.2017.2768826.

12、[3]boyd,s.,kim,sj.,vandenberghe,l.et al.atutorial on geometricprogramming.optimeng 8,67(2007).https://doi.org/10.1007/s11081-007-9001-7

13、[4]y.wang,m.orshansky and c.caramanis,"enabling efficient analogsynthesis by coupling sparse regression and polynomial optimization,"201451st acm/edac/ieee design automation conference(dac),2014,pp.1-6.

14、[5]rodney phelps,michael krasnicki,rob arutenbar,l richard carley,andjames r hellums.anaconda:simulation-based synthesis of analog circuits viastochastic pattern search.ieee transactions on computeraided design ofintegrated circuits and systems,19(6):703–717,2000

15、[6]ra vural and t yildirim.analog circuit sizing via swarmintelligence.aeu-international journal of electronics and communications,66(9):732–740,2012.

16、[7]bo liu,yan wang,zhiping yu,leibo liu,miao li,zheng wang,jing lu,and francisco v fernandez.analog circuit optimization system based on hybridevolutionary algorithms.integration,the vlsi journal,42(2):137–148,2009.

17、[8]y.yang et al.,"smart-msp:a self-adaptive multiple starting pointoptimization approach for analog circuit synthesis,"in ieee transactions oncomputer-aided design of integrated circuits and systems,vol.37,no.3,pp.531-544,march 2018,doi:10.1109/tcad.2017.2729461.

18、[9]mockus,j.b.,mockus,l.j.bayesian approach to global optimizationand application to multiobjective and constrained problems.j optim theoryappl 70,157–172(1991).https://doi.org/10.1007/bf00940509

19、[10]kirthevasan kandasamy,jeff schneider,barnabas poczos,highdimensional bayesian optimisation and bandits via additive models,proceedingsof the 32nd international conference on machine learning,pmlr 37:295-304(2015)

20、[11]chun-liang li,kirthevasan kandasamy,barnabas poczos,jeffschneider,high dimensional bayesian optimization via restricted projectionpursuit models,proceedings of the 19th international conference on artificialintelligence and statistics,pmlr 51:884-892(2016).

21、[12]t.n.hoang,q.m.hoang,r.ouyang,and k.h.low,“decentralized high-dimensional bayesian optimization with factor graphs”,aaai,vol.32,no.1,apr.2018.

22、[13]paul rolland,jonathan scarlett,ilija bogunovic,volkan cevher,highdimensional bayesian optimization via additive models with overlappinggroups,proceedings of the twenty-first international conference on artificialintelligence and statistics,pmlr 84:298-307,2018.

23、[14]e.han,i.arora,and j.scarlett,“high-dimensional bayesianoptimization via tree-structured additive models”,aaai,vol.35,no.9,pp.7630-7638,may 2021.

24、[15]b.shahriari,k.swersky,z.wang,r.p.adams and n.de freitas,"takingthe human out of the loop:a review of bayesian optimization,"in proceedingsof the ieee,vol.104,no.1,pp.148-175,jan.2016,doi:10.1109/jproc.2015.2494218.

25、[16]auer,p..“using confidence bounds for exploitation-explorationtrade-offs.”j.mach.learn.res.3(2002):397-422.

26、[17]jacob gardner,chuan guo,kilian weinberger,roman garnett,rogergrosse,discovering and exploiting additive structure for bayesianoptimization,proceedings of the 20th international conference on artificialintelligence and statistics,pmlr 54:1311-1319,2017.

27、[18]zi wang,chengtao li,stefanie jegelka,pushmeet kohli,batched high-dimensional bayesian optimization via structural kernel learning,proceedingsof the 34th international conference on machine learning,pmlr 70:3656-3664,2017.

28、[19]alexander kraskov et al,estimating mutual information,p1-16(2004).

29、[20]b.c.ross,mutual information between discrete and continuous datasets,p1-5(2014).

30、[21]pedregosa,f.and varoquaux,g.and gramfort,a.and michel,v.andthirion,b.and grisel,o.and blondel,m.and prettenhofer,p.and weiss,r.anddubourg,v.and vanderplas,j.and passos,a.and cournapeau,d.and brucher,m.andperrot,m.and duchesnay,e,scikit-learn:machine learning in python,journal ofmachine learning research,p2825—2830(2011).

31、[22]martin j et al.graphical models and message-passing algorithms:some introductory lectures,p:51–108(2015).

32、[23]g.o.roberts and a.f.m.smith.simple conditions for the convergenceof the gibbs sampler and metropolis-hastings algorithms.stochastic processesand their applications,49(2):207–216(1994)

33、[24]changyong oh,efstratios gavves,bock:bayesian optimization withcylindrical kernels,max welling proceedings of the 35th internationalconference on machine learning,pmlr 80:3868-3877,2018.

34、[25]johannes kirschner,mojmir mutny,nicole hiller,rasmus ischebeck,andreas krause,adaptive and safe bayesian optimization in high dimensions viaone-dimensional subspaces,proceedings of the 36th international conference onmachine learning,pmlr 97:3429-3438,2019.。

技术实现思路

1、本发明的目的在于，基于现有技术的现状，提供一种高维空间中的贝叶斯优化方法。具体涉及一种基于可加性假设和图结构高斯过程模型的模拟电路优化方法。

2、现有技术中，通常模拟电路的设计优化在整个设计参数空间中进行，目前在模拟电路优化中较为有效的是贝叶斯优化方法，但在高维设计参数空间中进行贝叶斯优化时，时间复杂度极高，这严重制约了它的应用范围。本发明提出了一种高维空间中的贝叶斯优化方法。针对具有可加性假设(additive assumption)和图结构(graph structure)的高维空间，将原高维参数空间分解为多个互不相交的参数子空间，并在参数子空间中构建各参数间的关系依赖图，应用基于可加性假设和图结构的高斯过程模型(gaussian processregression，gpr)，明显降低了高维情况下贝叶斯优化方法的时间复杂度，加速电路优化过程。同时，本发明采用贝叶斯优化方法进行求解，利用采集函数平衡优化过程中的利用(exploitation)和探索(exploration)。由于该方法将原高维空间优化问题分解成多个低维子空间中的优化问题，明显降低了优化问题的规模，有利于并行优化求解。在高维模拟电路贝叶斯优化问题中，相同迭代次数下，本发明方法相较于其他方法可获得更快的收敛速度。

3、具体的，本发明提出了一种基于可加性假设和图结构高斯过程模型的高维模拟电路优化方法。其包括：首先，基于可加性假设，利用优化变量和优化目标之间的相关性对高维空间进行分解；其次，在分解所得的低维子空间中，通过贪心方法获得子空间内优化变量的图结构，从而获得在设计参数子空间中的高斯过程模型；然后，针对建立的模型利用贝叶斯优化方法进行求解，利用采集函数平衡优化过程中的利用(exploitation)和探索(exploration)过程，获取下一个需要进行仿真的候选点，一般认为该候选点极有可能是所寻找的最优可行解；最后，将仿真后的候选点和其仿真值更新至数据集中，并更新高维空间分解策略和图结构，不断迭代直至最大迭代次数。

4、更具体的，

5、本发明提出的基于可加性假设和图结构高斯过程模型的高维模拟电路优化方法的流程图如图3所示。

6、输入参数：

7、1.高维模拟电路网表，设计参数取值范围和优化指标；

8、2.贝叶斯优化的初始样本点数目ninit，最大迭代次数nmax；

9、3.空间划分间隔周期c，分解后子空间内最多允许包含变量数目s；

10、输出结果：

11、高维模拟电路的最优设计参数值。

12、具体步骤包括：

13、步骤1：建立高维模拟电路设计参数优化问题模型，并设置电路设计参数的取值范围；

14、步骤2：在设计参数空间内利用蒙特卡洛方法选取ninit个采样点，并调用电路仿真器对每个采样点进行仿真得到性能值，建立初始数据集；

15、步骤3：若当前贝叶斯迭代次数为空间划分周期的整数倍时，应用高维空间的分解方法将高维空间分解成多个低维子空间，并在各子空间内建立优化变量间依赖关系的图结构；否则直接执行步骤4；

16、步骤4：在确定的图结构下，通过最大化似然函数来更新模型核函数的超参数；

17、步骤5：针对基于可加性假设和图结构的高斯过程模型，利用贝叶斯优化进行迭代求解获得下一个候选点，对该候选点进行仿真，并将候选点和其仿真值加入到数据集中，不断迭代直到达到最大迭代次数nmax，得到最优设计参数。

18、本发明步骤1中，提出建立高维模拟电路设计参数优化问题模型，并设置电路设计参数的取值范围。

19、模拟电路优化问题可被形式化定义为无约束的优化问题为：

20、

21、其中，x为一组维度为d的电路设计参数向量，即x*为模拟电路最优性能指标对应的设计参数，f(x)为通过调用电路仿真器得到设计参数x下电路对应的性能指标。

22、对于模拟电路，设计参数的取值范围随电路所采用的工艺不同而发生变化，因此设计中可为待优化的设计参数选取合适的变化范围。

23、本发明步骤2中，由于在初始阶段对目标函数一无所知，因此需要利用蒙特卡洛方法选取ninit个采样点，并调用电路仿真器对每个采样点进行仿真，建立初始数据集。初始数据集将被用于训练概率代理模型，随着数据集的增长，概率代理模型对目标函数在优化空间中的预测将越来越准确。过小的初始数据集会使得概率模型的预测准确性过低，可能导致优化方法在指定迭代次数下无法找到较好的全局最优解。过大的初始数据集，仿真时间代价高。初始数据集的大小目前并没有明确的理论或经验公式指导。通常电路规模越大，所需要的初始数据集中的样本点数目越多。

24、本发明步骤3中，应用高维空间的分解方法将高维空间分解成多个低维子空间，并在各子空间内建立优化变量间依赖关系的图结构；其中，

25、步骤3.1：判断当前贝叶斯迭代次数是否为空间划分周期的整数倍，若是则跳转至步骤3.2；否则跳转到步骤4继续执行；

26、步骤3.2：利用设计参数与优化目标之间的相关性将高维优化空间分解为多个低维子空间。

27、首先，基于可加性假设将目标函数f分解成如下的子函数加和形式[10]，图1中给出了分解后获得的子函数的工作原理。

28、f(x)＝f(1)(x(1))+f(2)(x(2))+...+f(m)(x(m))  (2)

29、原包含d个变量的目标函数f被分解成m个低维子函数f(j)之和，d个自变量的集合被划分为m个不相交的子集合x(j)，j＝1，...，m。每个子函数f(j)中包含dj个变量，是一个低维子函数，如使用该可加性假设，需要在子空间中对f(j)建模，实际应用中虽然无法得知优化目标在各个子空间内数值的分配比例，但对于一个新的设计点x*，可以得到其在第j个子空间中的分布与y的联合分布为[10]，

30、

31、其中，代表一个高斯分布，上标j代表第j个子空间，x是设计参数集合，y是待优化性能，观测噪声∈～n(0，η2)，i是单位矩阵，k(.)是一个径向基核函数(radialbasis function，rbf)，形式为

32、

33、其中n为建模的点数，λ＝diag(l1，...，ln)，σf和li均为模型的超参数，可以通过极大似然法求得。

34、rbf具有以下特性：

35、k(x*，x)＝k(x，x*)t和k(x*，x)＝(k(x*，x1)，k(x*，x2)，...，k(x*，xn))

36、其中上标t是转置操作。

37、故可将后验分布表示为

38、

39、其中，

40、

41、k(x，x)＝k(1)(x(1)，x(1))+k(2)(x(2)，x(2))+...+k(m)(x(m)，x(m))  (7)

42、采集函数作为贝叶斯优化方法的一个重要部分，在优化过程中起着平衡搜索过程和探索过程的作用。采集函数具有多种类型，例如基于概率的提升策略(probabilityofimprovement，pi)、基于期望的提升策略(expected ofimprovement，ei)和熵搜索策略(entropy search，es)等。本发明采用上置信边界采集函数(upper confidence bounds，ucb)[16]。

43、

44、其中，t是当前贝叶斯迭代的次数，βt是一个参数，用于平衡搜索和探索过程。

45、在每个f(j)上定义子ucb采集函数，形如

46、

47、将全局ucb采集函数用子ucb采集函数加和形式进行表示

48、

49、针对高维优化空间的分解，[10][17][18]提出了3种不同方法，[10]中枚举若干种分解策略，并计算在每一种分解策略下的似然函数值，从中选择具有最大似然函数值的分解策略。[17][18]利用采样策略，每次通过采样获取一种分解策略，计算该分解策略下的似然函数值，重复采样一定的次数后，选取具有最大似然函数值的一种分解策略。这些方法本质上都属于贪心的方法，高维下，这些方法不可避免的面临分解策略数目爆炸的问题，且没有考虑设计变量与优化性能之间的相关性。

50、本发明提出了一种基于设计参数与优化目标之间相关性关系的分解策略。互信息(mutual information，mi)是一个非负值，可以用于度量变量与优化目标之间的依赖关系。互信息的值越大表明变量与优化目标间的依赖关系越强。两离散随机变量x，y间的互信息可定义为

51、

52、其中p(x，y)是x和y的联合概率分布，p(x)，p(y)是分别是x和y的边缘概率分布[20]。

53、基于数据集中的样本点，可以使用一种非参数方法，该方法利用k最临近距离的熵估计(entropy estimation from k-nearest neighbors distances)来快速且准确的对互信息进行估计[19][20]。

54、本发明使用sklearn[21]中提供的mutualinfo_regression函数计算每个设计参数与优化目标之间的互信息，再将这些设计参数按照其互信息数值的大小进行排序，每s个设计参数分为一组，将原d维的优化空间分解成[d/s]组。

55、步骤3.3：在各子空间内建立优化变量间依赖关系的图结构。

56、贝叶斯网络(bayesian network)是一种概率图模型(probabilistic graphicalmodel)，它可用来描述变量间的条件独立性，其网络拓扑结构是一个有向无环图。用节点表示某一变量的条件分布，若两个节点间有依赖关系，则可以用一条有向边连接在一起，表示其中一个节点是“因”，另一个节点是“果”。

57、本发明基于贝叶斯网络的思想在子空间中构建设计参数间的依赖关系图[13]。为每个节点赋予一个采集函数。将得到的有向图结构道德化(moralization)后转变成为无向图。各子空间中的依赖关系图，如图2示意，可通过贪心算法得到。初始状态下，图中各点间都无边相连计算该情况下的似然函数值为。

58、

59、其中，第n次贝叶斯迭代中的数据集。g(z)是以z为邻接矩阵的图，是数据集的核矩阵，l是核参数，i为单位矩阵，σ2为预测方差。

60、随机在两节点间添加上一条边后，计算当前图结构下似然函数的值，若似然函数值有提升，则接受所添加的这条边。不断重复此操作，直到所有可能的边都尝试添加一次。

61、对获得的无向关系依赖图进行三角化(triangulation)，使其成为一颗联结树(junctiontree)[22]。联结树的节点是关系依赖图中不同的最大团块(maximalclique)，团块是一个无向图中的完全子图，每对节点之间都有边相连。从联结树的叶子节点开始顺序的优化定义在团块上的ucb采集函数。

62、为了确保每个采集函数在优化过程中仅被优化一次，在每一个团块c上重新定义采集函数为

63、

64、该采集函数将用于后续的贝叶斯优化中。

65、本发明步骤4中，在确定的图结构下，通过最大化似然函数(12)，更新每一个子空间内具有依赖关系图结构的模型中核函数的超参数。具体的认为超参数在取值空间中服从均匀分布，利用gibbs采样[23]，迭代一定次数后，挑选出一组使得似然函数取值最大的超参数。

66、本发明步骤5中，针对基于可加性假设和图结构的高斯过程模型，利用贝叶斯优化进行迭代求解获得下一个候选点，对该候选点进行仿真，并将候选点及其仿真值加入到数据集中，不断迭代直到达到最大迭代次数nmax，得到最优设计参数。具体包含以下子步骤：

67、步骤5.1：利用消息传递方法优化采集函数获得下一个候选点。

68、在每个子空间的子图中，随机选择一个节点作为根节点，然后寻找该节点属于的团块，优化定义在这一团块上的采集函数。并将优化结果作为信息向周围其它不属于该团块的节点传递下去。这些节点同样会寻找其所属的团块，然后优化定义在这一团块上的优化采集函数。整个优化过程可以顺序进行。消息传递方法的时间复杂度和联结树中的最大团块中的设计参数的数目呈指数关系，由于本发明限制了子空间的维度大小，因此仍然可以使用信息传递方法。由于每个关系依赖图之间相互独立，可以并行优化。此外，联结树的运行交集属性(running intersection property，rip)可以确保执行的最大化之间没有冲突，并且该方法返回全局获取函数的最大值[22]。

69、步骤5.2：调用电路仿真器对步骤5.1中得到的候选点进行仿真，将该候选点及其仿真值加入数据集中。

70、步骤5.3：判断迭代次数是否达到最大迭代次数nmax，若否则返回到步骤3继续执行；否则优化结束，得到当前最优设计参数。

71、本发明为了解决在高维模拟电路优化问题中现有贝叶斯优化方法失效的难题，应用可加性假设，对优化空间进行分解，将原高维空间中的优化问题转化为多个在低维空间中的优化问题，提出了一种依据优化变量与优化指标间的相关性对优化空间进行分解的方法；

72、本发明为了更好的描述优化子空间中各优化变量之间的依赖关系，在优化子空间中建立具有图结构的高斯过程模型，使得模型更准确，有利于提升收敛速度和精度。

73、本发明中在高维模拟电路优化过程中应用空间分解策略以及考虑子空间内优化变量之间的依赖关系，将贝叶斯优化方法应用于高维模拟电路的参数设计中，降低了高维模拟电路优化所需的时间；本发明方法能有效降低搜索空间的维度，充分利用优化变量间的联系，相较于现有方法在相同迭代次数下，可获得更好的优化结果。

74、本发明的优点在于：

75、1.本发明基于可加性假设提出在高维模拟电路优化时，采用空间分解策略，将原高维空间中的优化问题转化为多个低维空间中的优化问题，显著降低了优化问题的复杂度；

76、2.本发明在低维优化子空间内建立设计参数之间的依赖关系图，有效的挖掘了电路设计参数间隐藏的信息，大大提升了高维模拟电路的优化效率；

77、3.本发明提出的高维贝叶斯优化方法与现有的贝叶斯优化方法相比，在相同迭代次数下，可以获得更好的全局最优解。