专利名称：：Ising图模型的区间传播推理方法
技术领域：
：本发明涉及图模型上的近似概率推理方法，尤其是Ising图模型上的近似变分推理方法。
背景技术：
：1.Ising图模型Ising图模型(Isinggraphicalmodel)起源于统计物理学，是基于二值随机向量的马尔可夫随机场模型，为图像分析和自然语言处理等领域提供了重要的建模方法。它是建立在图结构G^F,五)上的概率模型，其中节点集r对应于Bernoulli随机向量P^，…，xje(0，ir，边集五对应于变量间的条件独立性关系。Ising图模型的指数族概率密度分布p(x，^)为<formula>formulaseeoriginaldocumentpage4</formula>其中，《,A表示模型参数，且V(/,刀g五，《=0;J(P)表示模型的对数配分函数。在Ising图模型上，概率推理的关键问题是计算对数配分函数J(S)和边缘概率分布Wx,)，对于一般Ising图模型，精确推理方法计算X(0)的计算复杂度随模型规模而指数级增加，故发展了各种近似推理方法，如采样方法、变分方法等。2.Ising均值场Ising均值场(Isingmeanfield)是Ising图模型上一种基本的变分推理(varitionalinference)方法，其基本思想是通过变分转换把概率推理问题转化为泛函极值问题，并通过求解泛函极值计算出配分函数下界及变量期望近似值。该方法具有简明的变分形式、较好的近似效果，是处理大规模复杂数据的重要工具。变分推理是通过最小化自由分布《(x)与原分布/(;c)之间的KL距离，把概率推理问题转化为泛函极值问题，并通过求解泛函极值计算对数配分函数J(P)及变量期望。分布与p(X)之间的KL距离为<formula>formulaseeoriginaldocumentpage4</formula>通过最小化KL距离进行变分转换得,=maxj》OMx;,翰(x))^(1)其中，熵函数i/(《(x))二-J^(x)log《(x)。由于精确求解变分式(1)的计算复杂性较高，Ising均值场在自由分布可处理约束子集M^t^M上，计算j(0的下界和变量期望近似值。M^t上的自由分布《(x)是定义在不相交变量簇^,…，cJ上的完全分解形式《(x^]"[:^(0，艮pf—附—1Kact=j《")i《w=[，La=lJ则Ising均值场变分式为，)2max乂S《(x)vO;P)+1。(2)根据欧拉方程可得到变分式(2)的附个均值场迭代式，其中对应于变量簇Ca的均值场迭代式为i;+1:《％[，(3)《。(',力气其中，1.^表示变量簇C"a对应的节点集。2.五表示变量簇Ca上的边集。3.&表示分布参数&=6,+ZA/",，,eW(Ca,')iiv(Ca，/)=W(,，/)e￡，/e^，w^}'一p变量期望/z,S^(Cp)x,，其中x,ecp根据迭代式(3)可计算出变量期望近似值，并把变量期望带入变分式(2)可计算出对数配分函数下界。求解泛函极值是变分推理的重要步骤，也是推理过程的计算核心。直接利用泛函迭代式可计算出泛函收敛值，但其完整地迭代过程使整个模型信息深度交叉，不仅计算复杂性较高，而且不利于增加新信息，故发展了不完全迭代下的近似变分推理方法。现有的近似变分推理方法包括基于信念传播的局部训练方法(localtrainingmethod)和基于信念传播BP-SAW方法。局部训练方法利用初步几次信念消息迭代来计算模型配分函数，可在局部信息下对模型参数进行单独训练，降低了计算复杂性，也方便了增加新信息，但局部训练方法难以度量近似信念传播的计算精度。BP-SAW方法在图模型SAW(self-avoidingwalk)计算树上执行有限次信念传播，计算出边缘概率近似分布，并基于消息误差概念给出了近似分布误差界，但是该方法需在整个模型上进行消息传播，计算复杂度较高。已有的这些近似变分推理方法主要基于信念传播进行近似计算研究，而很少考虑其他变分推理方法，如均值场推理方法；同时计算精度是近似变分推理研究的重要指标，而这些方法或难以分析计算精度，如局部训练方法，或计算复杂度较高，如BP-SAW算法。
发明内容本发明的目的是克服现有技术的上述不足，提供一种能够在较低计算复杂性下给出变量期望界的于Ising图模型的推理方法。本发明采用的技术方案是一种基于Ising图模型的区间传播推理方法，.通过定义Ising均值场计算树，并在计算树上实现期望区间传播推理过程，包括下列步骤(1)定义Ising均值场计算树在Ising均值场推理下，变量簇、的计算树模型为一四元组r(z^,/，似,2)，其中1)￡>Y:以^为根节点的变量簇节点集A^c^UCh(c》UCh(Ch(^))U…，其中，Ch(Cy)表示s的子节点集，Ch(c》={cp|x,ecT，、eCp，(/，刀e#卩}，Ch(Ch(c》)表示变量集Ch(^)的子节点集合Ch(Ch(CY))=U^c^)Ch(cp)，2)i:关系集及={〈^,^〉|^￡/^^￡01(4)}，其中，关系〈Q,c卩〉表示Cp是c。的子节点，3)M:计算树上的消息自底向上单向传播，记Ma,t-^,l/e^〉表示Q输出消息集，^體=U^Ch(0MM,t表示Q输入消息集，则M={Ma—。ut|caeW，4)0概率分布集^={^(^^)|^￡/)7}，且^^,6邓{2>>,+Z其中，z《,A，(2)定义Ising均值场截枝计算树Ising均值场推理下，变量簇、的剪枝计算树模型是一四元组7;(i^,及,M，g)，其中1)￡)T:以s为根节点的变量簇节点集A^c^UCCh(tgUCCh(CCh(s))U…，其中，CCh(c》表示s的子节点集，CCh(cT)=Ch(cY)\An(c7)，CCh(CCh(c》)表示变量集CCh(S)的截枝子节点集CCh(CCh(c》)=UperaiK)CCh(cP)，2)i:关系集i二(〈Ca,c》ICaeiVcpeCCh(Ca)〉，其中，关系〈c。,cp〉表示cp是c。的子节点，3)M:计算树上的消息自底向上单向传播，记Ma,t-"UeKJ表示Ca输出消息集，风—n^^ch。M—表示Ca输入消息集，则M"MaJc。eZ)J，4)g:概率分布集2-(^(Ca;^)kaeZV，且^^"邓{2>>,+Z其中，&I]《,a;(3)在截枝计算树上，根据Ca的输入消息区间计算该变量簇的概率分布区间，令M=表示变量簇Ca输入消息区间的集合，即似=={[//>,"]|"，￡^01(0}，变量簇c。概率分布的参数区间为《"l"eO，力e五c丄令J-",^，.4^-^A，…)表示元素--对应的等势集合，且爿^5={《《6,|/=1,2，...}，则变量簇节点ca的概率分布区间为(4)基于变量簇的概率分布区间，利用和积算法计算变量簇C。的输出消息区间在概率分布《a(Ca;Wa)上运行和积算法计算变量；c,eCa的期望//,，即=Sum-Prod&a(ca^a))，当给定参数",取值区间时，的极值取在参数区间的端点处，即//:=min{Sum-Pr,(Wa))I(H),0;>..},A"=max{SUm-Pr,(Wa))|H")e{《7,0>.-}则变量簇节点^输出消息区间集合为^;"^={[]|^^}，计算时，根据底层变量簇节点输入消息的取值区间，自底向上逐层进行消息区间传播计算出根变量簇变量期望区间。本发明的基于Ising图模型的区间传播推理方法，通过定义Ising均值场计算树，根据底层变量簇节点输入消息的取值区间[Ol]，自底向上逐层进行消息区间传播，计算出根变量簇变量期望界。本发明通过在Ising均值场截枝计算树上运用均值场区间传播算法，可计算出根变量簇变量期望界。该推理方法具有较低的计算复杂性，并通过变量期望界给出了有效的推理精度。图1:Ising图模型及其3层均值场计算树；图l(a):3x3的二维格状Ising图模型；图l(b):3xl分块的均值场自由分布结构；图1(C):基于图l(b)结构，以变量簇C,为根的ifc=3层均值场计算树模型，及消息自底向上的传播过程；图2:3x3二维图模型上，基于3x3自由分布结构，以节点1为根的^3层计算树；图3:3x3二维图模型上，基于3x3自由分布结构，以节点1为根的^3层的截枝计算树；图4:基于3xl的自由分布结构，k(1^2，3,4)层截枝计算树上MFIP算法给出的变量期望界比较。其中p表示变量的期望，变量处的实线自左向右依次表示1^=2,3,4时的变量期望界，点表示变量期望精确值；图5:引力Ising图模型G2上变量期望界比较，其中，//表示变量期望值，实线表示2层截枝计算树上MFIP算法给出的变量期望界，虚线表示BP-SAW算法给出的变量期望界，点表示变量期望精确值；图6:斥力Ising图模型G3上变量期望界比较，其中//、实线、虚线、点表示的意义都同图5。具体实施例方式下面首先对本发明的推理方法做详细介绍。1,Ising均值场计算树Ising均值场计算树是用树结构形式来表示Ising图模型上均值场迭代计算过程。定义l:Ising均值场推理下，变量簇^的计算树模型是一四元组r(A,i,M，g)。其中5)以s为根节点的变量簇节点集z^-(c^uch(cguch(ch(^))u…。其中，Ch(^)表示s的子节点集，Ch(S)={Cp|;c;eCT,~eCp，(z'，_/)eJE，pp}，Ch(Ch(cg)表示变量集Ch(cg的子节点集合Ch(Ch(CY))=U^Ch(^Ch(Cp)。6)i:关系集i"〈^Cp〉keiVcpeCh(oL其中关系〈ca，cp〉表示Cp是ca的子节点。7)M:计算树上的消息自底向上单向传播，记Ma,t二^,l/e^〉表示Ca输出消息K^^a^h("M一表示Ca输入消息集，则M={Ma—。ut|Cae/)7}。8)2:概率分布集2={^(^;^)1^￡/)7}，且《^,6邓{5>),+S《《}，《a其中Z《A。Ising均值场截枝计算树是Ising计算树的一种特殊形式，它通过对均值场计算树上的回溯节点进行截枝所得。定义2:Ising均值场推理下，变量簇s的剪枝计算树模型是一四元组T;(ZV及,M，Q)。其中5)以^为根节点的变量簇节点集A^c^UCCh(CY)UCCh(CCh(c》)U…。其中，CCh(c》表示^的子节点集，CCh(cY)=Ch(c》\An(cg，CCh(CCh(s))表示变量集CCh(c》的截枝子节点集CCh(CCh(CT》=UCpeCCh(c"CCh(Cp)。6)及关系集/={〈,^〉|^€^(:01(0}。其中关系〈ca,cp〉表示cp是Q的子节点。7)M:计算树上的消息自底向上单向传播，记Mwut二"UeKJ表示Ca输出消息集，=1^^(0崖—表示^输入消息集，则M-(Ma—。ut|CaeZ)J。8)g:概率分布集2^&(Ca;^)kaEiV，且^,、0^邓{2>),+S《X,}，《a(")"%其中伊,=《+z《,A。定理1:在Ising均值场推理下，A:层均值场计算树7X^,i，M,g)上根节点s的概率分布，等价于A次均值场迭代下^的概率分布。2.均值场区间传播算法基于Ising计算树设计MFIP算法。MFIP算法的基本思想是，在Ising均值场计算树r上，根据底层变量簇节点输入消息的取值区间[Ol]，自底向上逐层进行消息区间传播计算出根变量簇变量期望区间。MFIP算法的基本计算单元是变量簇上的消息区间传播过程。对于计算树上的变量簇节点Ca，令&(Ca;Wa)表示节点概率分布，["，//,"]表示变量《6^的期望区间，[《',《"]表示概率分布相应参数区间。变量簇节点Ca上的区间传播过程包括消息区间输入和消息区间输出过程。第1步，消息区间输入过程(messageintervalinput,Mil)，是根据c。的输入消息区间计算该变量簇的概率分布区间。令M二1表示变量簇Ca输入消息区间的集合，即<formula>formulaseeoriginaldocumentpage10</formula>根据计算树上变量簇节点的概率分布可知，变量簇Ca概率分布的参数区间为<formula>formulaseeoriginaldocumentpage10</formula>表示元素--对应的等势集合，且<formula>formulaseeoriginaldocumentpage10</formula>则变量簇节点ca的概率分布区间为<formula>formulaseeoriginaldocumentpage10</formula>第2步，消息区间输出过程(messageintervaloutput,MIO)，基于变量簇的概率分布区间，利用和积算法计算变量簇Ca的输出消息区间。在概率分布^(Ca;^a)上运行和积算法计算变量x,eca的期望/v即/i,-Smn-Prod(&(Ca;^))。根据Ising图模型性质可知//,关于系数{^,伊2,...}具有严格单调性，故当给定参数A取值区间时，A的极值取在参数区间的端点处，即<formula>formulaseeoriginaldocumentpage10</formula>则变量簇节点ca输出消息区间集合为<formula>formulaseeoriginaldocumentpage10</formula>针对A:层Ising均值场计算树r，自底向上逐层进行消息区间传播，可计算出根变量簇变量期望区间。yfc层ising计算树r上，MFIP算法的形式化描述如下所示Data:r(A,及，M必t<formula>formulaseeoriginaldocumentpage10</formula><formula>formulaseeoriginaldocumentpage11</formula>3.基于截枝计算树MFIP算法的变量期望界定理2:令{[/^//:(]ke、}表示MFIP算法给出的变量期望区间集合，"表示Ising图模型上变量x,期望的精确值。则在均值场截枝计算树;(I)Y，凡M，2)上，MFIP算法给出的变量期望区间为变量期望界，即"^"《/<,Vx,ec^。下面结合实施例，对本发明做进一步说明。1.基于Ising图模型建立Ising均值场截枝计算树对3x3的二维格状Ising图模型，图1(a)所示。随机指定模型参数生成一般Ising图模型《We(-0.25，0.25),《e(-2，2))，弓l力Ising图模型G2(《e(-0.25,0.25),《e(0，2))和斥力Ising图模型G3(《e(-0.25，0.25),《e(-2,0))。对于图模型G,，基于3"分块的自由分布分别建立层数1^2,3，4的截枝计算树(1^3，如图l(c))。对于图模型《,&，分别基于3xl分块的自由分布建立2层截枝计算树模型。2.计算根变量簇变量期望界均值场区间传播算法(meanfieldintervalpropagation,MFIP)的基本思想是在Ising均值场截枝计算树上，根据底层变量簇节点输入消息的取值区间[Ol]，自底向上逐层进行消息区间传播，计算出根变量簇变量期望界。对于不同的图模型，比较MFIP算法、联合树算法(junctiontree,JT)以及BP-SAW算法(self-avoidingwalk)。比较算法的效率和变量期望界的紧致性。对于G,，在截枝计算树上运行MFIP算法计算变量期望界；在G,上运行联合树算法计算变量期望的精确值，结果如图4所示。对实验结果分析可知，随截枝计算树层数A的增加MFIP算法给出的变量期望区间迅速收敛，且当A:-2时MFIP算法给出变量期望界。对于《,<53，在截枝计算树上运行MFIP算法计算变量期望界；在《,《上分别运行BP-SAW算法计算变量期望界；然后在S，q上分别运行JT算法计算变量期望的精确值，结果分别如图5、图6和表1所示。对实验结果分析可知，对于引力图模型《，2层11截枝计算树上MFIP算法给出的变量期望界比BP-SAW算法给出的期望界紧致；对于斥力图模型(73，Ising图模型的9组数据中，基于2层截枝计算树的MFIP算法比BP-SAW算法期望界紧的有5组，松的有2组，另外2组数据显示BP-SAW算法未给出期望界。最后，由表1可知，与BP-SAW算法相比，MFIP算法具有较高的效率。即MFIP是一种高效方便的近似变分推理方法；2层截枝计算树上MFIP算法给出的变量期望界具有较高的紧致性。表l:变量期望界比较，其中，//表示变量期望，？表示算法的平均运行时间。<table>tableseeoriginaldocumentpage12</column></row><table>权利要求1.一种Ising图模型的区间传播推理方法，通过定义Ising均值场计算树，并在计算树上实现期望区间传播推理过程，其特征在于，包括下列步骤(1)定义Ising均值场计算树在Ising均值场推理下，变量簇cγ的计算树模型为一四元组T(Dγ，R，M，Q)，其中1)Dγ以cγ为根节点的变量簇节点集Dγ＝{cγ}∪Ch(cγ)∪Ch(Ch(cγ))∪…，其中，Ch(cγ)表示cγ的子节点集，Ch(cγ)＝{cβ|xi∈cγ，xj∈cβ，(i，j)∈E，γ≠β}，Ch(Ch(cγ))表示变量集Ch(cγ)的子节点集合<mathsid="math0001"num="0001"><math><![CDATA[<mrow><mi>Ch</mi><mrow><mo>(</mo><mi>Ch</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>γ</mi></msub><mo>)</mo></mrow><mo>)</mo></mrow><mo>=</mo><msub><mo>∪</mo><mrow><msub><mi>c</mi><mi>β</mi></msub><mo>∈</mo><mi>Ch</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>γ</mi></msub><mo>)</mo></mrow></mrow></msub><mi>Ch</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>β</mi></msub><mo>)</mo></mrow><mo>,</mo></mrow>]]></math>id="icf0001"file="A2009100688410002C1.tif"wi="53"he="6"top="74"left="79"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>2)R关系集R＝{<cα，cβ>|cα∈Dγ，cβ∈Ch(cα)}，其中，关系<cα，cβ>表示cβ是cα的子节点，3)M计算树上的消息自底向上单向传播，记<mathsid="math0002"num="0002"><math><![CDATA[<mrow><msub><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>out</mi></mrow></msub><mo>=</mo><mo>{</mo><msub><mi>μ</mi><mi>i</mi></msub><mo>|</mo><mi>i</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>}</mo></mrow>]]></math>id="icf0002"file="A2009100688410002C2.tif"wi="33"he="4"top="100"left="121"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>表示cα输出消息集，<mathsid="math0003"num="0003"><math><![CDATA[<mrow><msub><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow></msub><mo>=</mo><msub><mo>∪</mo><mrow><msub><mi>c</mi><mi>β</mi></msub><mo>∈</mo><mi>Ch</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>α</mi></msub><mo>)</mo></mrow></mrow></msub><msub><mi>M</mi><mrow><mi>β</mi><mo>-</mo><mi>out</mi></mrow></msub></mrow>]]></math>id="icf0003"file="A2009100688410002C3.tif"wi="36"he="5"top="115"left="42"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>表示cα输入消息集，则M＝{Mα-out|cα∈Dγ}，4)Q概率分布集Q＝{qα(cα；θ′α)|cα∈Dγ}，且<mathsid="math0004"num="0004"><math><![CDATA[<mrow><msub><mi>θ</mi><mi>ij</mi></msub><msub><mi>x</mi><mi>i</mi></msub><msub><mi>x</mi><mi>j</mi></msub><mo>∝</mo><mi>exp</mi><mo>{</mo><munder><mi>Σ</mi><mrow><mi>i</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub></mrow></munder><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>i</mi></msub><msub><mi>x</mi><mi>i</mi></msub><mo>+</mo><munder><mi>Σ</mi><mrow><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>∈</mo><msub><mi>E</mi><msub><mi>c</mi><mi>α</mi></msub></msub></mrow></munder><msub><mi>θ</mi><mi>ij</mi></msub><msub><mi>x</mi><mi>i</mi></msub><msub><mi>x</mi><mi>j</mi></msub><mo>}</mo><mo>,</mo></mrow>]]></math>id="icf0004"file="A2009100688410002C4.tif"wi="67"he="9"top="123"left="118"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>其中，<mathsid="math0005"num="0005"><math><![CDATA[<mrow><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>i</mi></msub><mo>=</mo><msub><mi>θ</mi><mi>i</mi></msub><mo>+</mo><munder><mi>Σ</mi><mrow><msub><mi>μ</mi><mi>t</mi></msub><mo>∈</mo><msub><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow></msub></mrow></munder><msub><mi>θ</mi><mi>it</mi></msub><msub><mi>μ</mi><mi>t</mi></msub><mo>,</mo></mrow>]]></math>id="icf0005"file="A2009100688410002C5.tif"wi="36"he="8"top="136"left="46"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>(2)定义Ising均值场截枝计算树Ising均值场推理下，变量簇cγ的剪枝计算树模型是一四元组Tc(Dγ，R，M，Q)，其中1)Dγ以cγ为根节点的变量簇节点集Dγ＝{cγ}∪CCh(cγ)∪CCh(CCh(cγ))∪…，其中，CCh(cγ)表示cγ的子节点集，CCh(cγ)＝Ch(cγ)\An(cγ)，CCh(CCh(cγ))表示变量集CCh(cγ)的截枝子节点集<mathsid="math0006"num="0006"><math><![CDATA[<mrow><mi>CCh</mi><mrow><mo>(</mo><mi>CCh</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>γ</mi></msub><mo>)</mo></mrow><mo>)</mo></mrow><mo>=</mo><msub><mo>∪</mo><mrow><msub><mi>c</mi><mi>β</mi></msub><mo>∈</mo><mi>CCh</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>γ</mi></msub><mo>)</mo></mrow></mrow></msub><mi>CCh</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>β</mi></msub><mo>)</mo></mrow><mo>,</mo></mrow>]]></math>id="icf0006"file="A2009100688410002C6.tif"wi="63"he="7"top="180"left="72"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>2)R关系集R＝{<cα，cβ>|cα∈Dγ，cβ∈CCh(cα)}，其中，关系<cα，cβ>表示cβ是cα的子节点，3)M计算树上的消息自底向上单向传播，记<mathsid="math0007"num="0007"><math><![CDATA[<mrow><msub><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>out</mi></mrow></msub><mo>=</mo><mo>{</mo><msub><mi>μ</mi><mi>i</mi></msub><mo>|</mo><mi>i</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>}</mo></mrow>]]></math>id="icf0007"file="A2009100688410002C7.tif"wi="33"he="4"top="207"left="120"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>表示cα输出消息集，<mathsid="math0008"num="0008"><math><![CDATA[<mrow><msub><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow></msub><mo>=</mo><msub><mo>∪</mo><mrow><msub><mi>c</mi><mi>β</mi></msub><mo>∈</mo><mi>Ch</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>α</mi></msub><mo>)</mo></mrow></mrow></msub><msub><mi>M</mi><mrow><mi>β</mi><mo>-</mo><mi>out</mi></mrow></msub></mrow>]]></math>id="icf0008"file="A2009100688410002C8.tif"wi="37"he="5"top="221"left="31"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>表示cα输入消息集，则M＝{Mα-out|cα∈Dγ}，4)Q概率分布集Q＝{qα(cα；θ′α)|cα∈Dγ}，且<mathsid="math0009"num="0009"><math><![CDATA[<mrow><msub><mi>θ</mi><mi>ij</mi></msub><msub><mi>x</mi><mi>i</mi></msub><msub><mi>x</mi><mi>j</mi></msub><mo>∝</mo><mi>exp</mi><mo>{</mo><munder><mi>Σ</mi><mrow><mi>i</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub></mrow></munder><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>i</mi></msub><msub><mi>x</mi><mi>i</mi></msub><mo>+</mo><munder><mi>Σ</mi><mrow><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>∈</mo><msub><mi>E</mi><msub><mi>c</mi><mi>α</mi></msub></msub></mrow></munder><msub><mi>θ</mi><mi>ij</mi></msub><msub><mi>x</mi><mi>i</mi></msub><msub><mi>x</mi><mi>j</mi></msub><mo>}</mo><mo>,</mo></mrow>]]></math>id="icf0009"file="A2009100688410002C9.tif"wi="67"he="9"top="230"left="117"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>其中，<mathsid="math0010"num="0010"><math><![CDATA[<mrow><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>i</mi></msub><mo>=</mo><msub><mi>θ</mi><mi>i</mi></msub><mo>+</mo><munder><mi>Σ</mi><mrow><msub><mi>μ</mi><mi>t</mi></msub><mo>∈</mo><msub><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow></msub></mrow></munder><msub><mi>θ</mi><mi>it</mi></msub><msub><mi>μ</mi><mi>t</mi></msub><mo>;</mo></mrow>]]></math>id="icf0010"file="A2009100688410002C10.tif"wi="37"he="8"top="242"left="37"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>(3)在截枝计算树上，根据cα的输入消息区间计算该变量簇的概率分布区间，令Mα-inint.表示变量簇cα输入消息区间的集合，即<mathsid="math0011"num="0011"><math><![CDATA[<mrow><msubsup><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow><mrow><mi>int</mi><mo>.</mo></mrow></msubsup><mo>=</mo><mo>{</mo><mo>[</mo><msubsup><mi>μ</mi><mi>t</mi><mi>l</mi></msubsup><mo>,</mo><msubsup><mi>μ</mi><mi>t</mi><mi>u</mi></msubsup><mo>]</mo><mo>|</mo><mi>t</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>β</mi></msub></msub><mo>,</mo><msub><mi>c</mi><mi>β</mi></msub><mo>∈</mo><mi>Ch</mi><mrow><mo>(</mo><msub><mi>c</mi><mi>α</mi></msub><mo>)</mo></mrow><mo>}</mo><mo>,</mo></mrow>]]></math>id="icf0011"file="A2009100688410003C1.tif"wi="66"he="5"top="28"left="109"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>变量簇cα概率分布的参数区间为<mathsid="math0012"num="0012"><math><![CDATA[<mrow><msup><msub><mi>θ</mi><mi>i</mi></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>=</mo><mi>min</mi><mo>{</mo><msub><mi>θ</mi><mi>i</mi></msub><mo>+</mo><munder><mi>Σ</mi><mrow><msub><mi>μ</mi><mi>t</mi></msub><msub><mrow><mo>∈</mo><mi>M</mi></mrow><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow></msub></mrow></munder><msub><mi>θ</mi><mi>it</mi></msub><msub><mi>μ</mi><mi>t</mi></msub><mo>|</mo><msubsup><mi>μ</mi><mi>t</mi><mi>l</mi></msubsup><mo>≤</mo><msub><mi>μ</mi><mi>t</mi></msub><mo>≤</mo><msubsup><mi>μ</mi><mi>t</mi><mi>u</mi></msubsup><mo>}</mo><mo>,</mo></mrow>]]></math></maths><mathsid="math0013"num="0013"><math><![CDATA[<mrow><msup><msub><mi>θ</mi><mi>i</mi></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>=</mo><mi>max</mi><mo>{</mo><msub><mi>θ</mi><mi>i</mi></msub><mo>+</mo><munder><mi>Σ</mi><mrow><msub><mi>μ</mi><mi>t</mi></msub><msub><mrow><mo>∈</mo><mi>M</mi></mrow><mrow><mi>α</mi><mo>-</mo><mi>in</mi></mrow></msub></mrow></munder><msub><mi>θ</mi><mi>it</mi></msub><msub><mi>μ</mi><mi>t</mi></msub><mo>|</mo><msubsup><mi>μ</mi><mi>t</mi><mi>l</mi></msubsup><mo>≤</mo><msub><mi>μ</mi><mi>t</mi></msub><mo>≤</mo><msubsup><mi>μ</mi><mi>t</mi><mi>u</mi></msubsup><mo>}</mo><mo>,</mo></mrow>]]></math></maths><mathsid="math0014"num="0014"><math><![CDATA[<mrow><msup><msub><mi>θ</mi><mi>α</mi></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>=</mo><mo>{</mo><msup><msub><mi>θ</mi><mi>i</mi></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>,</mo><msub><mi>θ</mi><mi>ij</mi></msub><mo>|</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>,</mo><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>∈</mo><msub><mi>E</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>}</mo><mo>,</mo></mrow>]]></math></maths><mathsid="math0015"num="0015"><math><![CDATA[<mrow><msup><msub><mi>θ</mi><mi>α</mi></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>=</mo><mo>{</mo><msup><msub><mi>θ</mi><mi>i</mi></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>,</mo><msub><mi>θ</mi><mi>ij</mi></msub><mo>|</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>,</mo><mrow><mo>(</mo><mi>i</mi><mo>,</mo><mi>j</mi><mo>)</mo></mrow><mo>∈</mo><msub><mi>E</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>}</mo><mo>.</mo></mrow>]]></math></maths>令A＝{a1，a2，…}，B＝{b1，b2，…}表示元素一一对应的等势集合，且A≤B＝{ai≤bi|i＝1，2，…}，则变量簇节点cα的概率分布区间为<mathsid="math0016"num="0016"><math><![CDATA[<mrow><mo>{</mo><msub><mi>q</mi><mi>α</mi></msub><mrow><mo>(</mo><msub><mi>c</mi><mi>α</mi></msub><mo>;</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>α</mi></msub><mo>)</mo></mrow><mo>|</mo><msup><msub><mi>θ</mi><mi>α</mi></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>≤</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>α</mi></msub><mo>≤</mo><msup><msub><mi>θ</mi><mi>α</mi></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>}</mo><mo>;</mo></mrow>]]></math></maths>(4)基于变量簇的概率分布区间，利用和积算法计算变量簇cα的输出消息区间在概率分布qα(cα；θ′α)上运行和积算法计算变量xi∈cα的期望μi，即μi＝Sum-Prod(qα(cα；θ′α))，当给定参数θ′i取值区间时，μi的极值取在参数区间的端点处，即<mathsid="math0017"num="0017"><math><![CDATA[<mrow><mrow><msubsup><mi>μ</mi><mi>i</mi><mi>l</mi></msubsup><mo>=</mo><mi>min</mi><mo>{</mo><mi>Sum</mi><mo>-</mo><mi>Prod</mi><mrow><mo>(</mo><msub><mi>q</mi><mi>α</mi></msub><mrow><mo>(</mo><msub><mi>c</mi><mi>α</mi></msub><mo>;</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>α</mi></msub><mo>)</mo></mrow><mo>)</mo></mrow><mo>|</mo><mrow><mo>(</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mn>1</mn></msub><mo>,</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mn>2</mn></msub><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>)</mo></mrow><mo>∈</mo><mo>{</mo><msup><msub><mi>θ</mi><mn>1</mn></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>,</mo><msup><msub><mi>θ</mi><mn>1</mn></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>}</mo><mo>×</mo><mo>{</mo><msup><msub><mi>θ</mi><mn>2</mn></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>,</mo><msup><msub><mi>θ</mi><mn>2</mn></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>}</mo><mo>×</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>}</mo></mrow><mo>,</mo></mrow>]]></math></maths><mathsid="math0018"num="0018"><math><![CDATA[<mrow><msubsup><mi>μ</mi><mi>i</mi><mi>u</mi></msubsup><mo>=</mo><mi>max</mi><mo>{</mo><mi>Sum</mi><mo>-</mo><mi>Prod</mi><mrow><mo>(</mo><msub><mi>q</mi><mi>α</mi></msub><mrow><mo>(</mo><msub><mi>c</mi><mi>α</mi></msub><mo>;</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mi>α</mi></msub><mo>)</mo></mrow><mo>)</mo></mrow><mo>|</mo><mrow><mo>(</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mn>1</mn></msub><mo>,</mo><msub><msup><mi>θ</mi><mo>′</mo></msup><mn>2</mn></msub><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>)</mo></mrow><mo>∈</mo><mo>{</mo><msup><msub><mi>θ</mi><mn>1</mn></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>,</mo><msup><msub><mi>θ</mi><mn>1</mn></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>}</mo><mo>×</mo><mo>{</mo><msup><msub><mi>θ</mi><mn>2</mn></msub><mrow><mo>′</mo><mi>l</mi></mrow></msup><mo>,</mo><msup><msub><mi>θ</mi><mn>2</mn></msub><mrow><mo>′</mo><mi>u</mi></mrow></msup><mo>}</mo><mo>×</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>}</mo></mrow>]]></math></maths>则变量簇节点cα输出消息区间集合为<mathsid="math0019"num="0019"><math><![CDATA[<mrow><msubsup><mi>M</mi><mrow><mi>α</mi><mo>-</mo><mi>out</mi></mrow><mrow><mi>int</mi><mo>.</mo></mrow></msubsup><mo>=</mo><mo>{</mo><mo>[</mo><msubsup><mi>μ</mi><mi>i</mi><mi>l</mi></msubsup><mo>,</mo><msubsup><mi>μ</mi><mi>i</mi><mi>u</mi></msubsup><mo>]</mo><mo>|</mo><mi>i</mi><mo>∈</mo><msub><mi>V</mi><msub><mi>c</mi><mi>α</mi></msub></msub><mo>}</mo><mo>,</mo></mrow>]]></math>id="icf0019"file="A2009100688410003C9.tif"wi="45"he="5"top="150"left="91"img-content="drawing"img-format="tif"orientation="portrait"inline="yes"/></maths>计算时，根据底层变量簇节点输入消息的取值区间，自底向上逐层进行消息区间传播计算出根变量簇变量期望区间。全文摘要本发明公开了一种基于Ising图模型的区间传播推理方法，该方法的主要步骤首先基于Ising图模型建立Ising均值场截枝计算树；然后基于Ising均值场截枝计算树运用均值场区间传播算法，给出根节点变量期望界。本发明该推理方法具有较低的计算复杂性，并通过变量期望界给出了有效的推理精度。文档编号G06F17/10GK101551789SQ20091006884公开日2009年10月7日申请日期2009年5月14日优先权日2009年5月14日发明者廖士中,霞殷,陈亚瑞申请人:天津大学