专利名称::图像平面中检测物体的方法与系统的制作方法
技术领域:
:本发明有关于一种图像平面(imageplane)中检测物体(objectdetection)的方法与系统。
背景技术:
:物体检测在多种视频应用上扮演重要的角色,例如计算机视觉(computervision)和视频监督(videosurveillance)系统。通常,物体检测是视频系统成功的主要因素之一。在日本专利61003591的文献里,将背景画面(backgroundpicture)存于第一个画面存储器(picturememory),将目前含有物体的画面存于第二个画面存储器,两个画面存储器中的数据相减结果就是景象改变(scenechange)的地方,也就是物体存在的地方。几篇美国专利和公开的文献里,也有提到物体检测的技术。例如美国专利US5099322利用物体检测器(objectdetector)来检测连续两张画面突然的变化(abruptchange),并由计算特征(featurecomputing)通过决策处理器(decisionprocessor)来决定是否有景象改变的地方。而美国专利US6999604是利用色彩标准化装置(colornormalizer)将画面中的色彩标准化,再用色彩转换器(colortransformer)进行色彩转换,如此可将图像增强并强化画面中类似物体的区域而有益于检测物体;并与预先设定的物体颜色直方图(colorhistogram)进行对比,再利用模糊适应法则(fuzzyadaptivealgorithm)找出画面中的移动物体。美国专利公开文献2004/0017938公开的技术是预先设定物体的颜色特性,在检测时,满足颜色预定值即判断为物体。美国专利公开文献US2005/0111696公开的技术是在低照度下,以长期曝光的方式拍摄目前画面,并与先前拍摄的参考画面比较,而检测到改变处。美国专利公开文献2004/0086152将图像分成几个模块(block),对比目前图像模块与前一张图像相应模块的频域转换系数的差异,当差异值超过某一阈值时表示此模块有改变。高斯混合模型(GaussianMixtureModel,GMM)通常用来模型化每一像素(pixel)或区域(region),以使背景模型(backgroundmodel)适应于变化的亮度值(changingillumination),不适合此模型的像素值就视为前景(foreground)。DedeogluY.等人在2005年公开的文献“HumanActionRecognitionUsingGaussianMixtureModelBasedBackgroundSegmentation”中,利用高斯混合模型来实时检测移动的物体(real-timemovingobjectdetection)。隐马尔可夫模型(HiddenMarkovModell,HMM)用来模型化非静态程序(non-stationaryprocess),将时间轴上的连续性约束(continuityconstraint)放入连续像素的强度(intensity)来考虑。也就是说,如果一个像素被检测为前景,就期待此像素在一段时间内仍为前景。此隐马尔可夫模型的好处主要有(1)不需要选择训练数据(trainingdata),(2)通过不同的隐藏式状态(state),可得知来自混合前景符号(symbol)与背景符号的序列的前景与背景的统计特征(statisticalcharacteristics)。一个隐马尔可夫模型H可以用下列的方式表示H=(N,M,A,π,P)其中,N是状态的个数(numberofstates),M是符号的个数(numberofsymbols),A是状态转移概率矩阵(statetransitionprobabilitymatrix),A={aij,i,j=1,...N},aij是从状态i转移到状态j的概率,π={π1,...,πN},πi是状态i发生的初始概率,P=(p1,...,pn),pi是状态i发生的概率。J.Kato等人在“AnHMM-BasedSegmentationMethodforTrafficMonitoringMovies,”IEEETrans.PAMI,Vol.24,No.9,pp.1291-1296,2002提出的方法里,对每一个像素,利用灰阶值,在时间轴上建立个别像素的隐马尔可夫模型,并含有三个状态,背景状态,前景状态和阴影状态,来检测物体。图1为一示意图,说明传统的隐马尔可夫模型化的流程。参考图1,一般隐马尔可夫模型化有三个步骤(1)隐马尔可夫模型参数初始化(initialize),如步骤101所示;(2)训练阶段用Baum-Welch算法估计及更新隐马尔可夫模型参数,如步骤103所示;(3)利用Viterbi算法及前步骤所求得的隐马尔可夫模型参数,估计输入数据的状态(背景状态或前景状态),如步骤105所示。Baum-Welch算法是用来训练隐马尔可夫模型的参数。利用此Baum-Welch算法,状态转移概率矩阵A、每一状态i的初始概率πi、和每一状态i发生的概率pi就能够根据前一个样本训练出来并更新。此算法是一种迭代的(iterative)最大似然(maximalikelihood)的方法。所以用来估计及更新隐马尔可夫模型参数会造成大量的时间消耗(timeconsuming)。
发明内容本发明的目的在于利用隐马尔可夫模型增进空间上的物体掩码(objectmask)强健性(robustness),以前一个时刻所求得的物体掩码协助估测此刻的隐马尔可夫模型参数,以隐马尔可夫模型再次预估目前时刻的背景(物体)与前景(物体),能有效的得到稳定强健的物体检测结果,使得此刻所求得的物体掩码更趋近于实际物体的范围,而背景结果也更加能排除误判的情况。本发明针对一个画面建立隐马尔可夫模型,不同于公知技术对每一个像素建立个别的隐马尔可夫模型。本发明仅有两个状态,背景状态和前景状态。阴影的问题由亮度高斯混合模型的结果与彩度高斯混合模型的结果融合后即可获得解决。为实现上述目的,本发明提供一种图像平面中检测物体的方法,该方法包括下列步骤首先,针对一个画面建立一个隐马尔可夫模型,并初始化此隐马尔可夫模型的参数;然后,在目前时刻(currenttime)的图像空间轴上,利用前一个时刻(previoustime)所求得的物体掩码Ωh(t-1),更新目前时刻的隐马尔可夫模型参数;根据此更新的目前时刻的隐马尔可夫模型参数及一解码算法,再估测(re-estimate)目前时刻的物体掩码。如上所述的图像平面中检测物体的方法,其中该方法是以两种状态,背景状态S1与前景状态S2,和两种符号,背景符号α与前景符号β,来建立该隐马尔可夫模型。如上所述的图像平面中检测物体的方法,其中该初始化该隐马尔可夫模型参数的步骤包括设定背景状态S1下的前景符号的概率P1(x=α)、背景状态S1下的背景符号的概率P1(x=β)、状态S1及状态S2的初始概率和状态转移概率矩阵{aij,i,j=1,2},aij是从状态Si转移到状态Sj的概率。如上所述的图像平面中检测物体的方法,其中该更新目前时刻的隐马尔可夫模型的参数的步骤还包括将该待更新掩码Ω(t)表示为前景掩码去除前一时刻所求的前景掩码Ωh(t-1)之后的二进制掩码;以及该待更新掩码Ω(t)在背景状态下的前景符号的概率被近似为ξ,亦即P1(x=α)=ξ,其中ξ代表在Ω(t)中,前景符号所占的比例。如上所述的图像平面中检测物体的方法,其中该再估测该目前时刻的物体掩码的步骤还包括以一维的方式读取前一个时刻所求得的二维物体掩码Ω(t);利用该解码算法去估计目前时刻的图像像素(x,y)的一维状态Ωf1(x,y,t),其中如果该前一个时刻所求得的该待更新掩码Ω(t)的前景符号与背景符号模糊的部分符合背景的统计模型,此部分则被视为背景;以及转换该估计出的Ωf1(x,y,t)的一维状态为二维物体掩码。如上所述的图像平面中检测物体的方法,其中该前一个时刻所求得的二维物体掩码用原始分辨率来读取。如上所述的图像平面中检测物体的方法,其中该前一个时刻所求得的二维物体掩码是将输入信号的取样缩小后的结果。如上所述的图像平面中检测物体的方法,其中该状态转移概率矩阵的设定还包括当i≠j时,aii>aij。如上所述的图像平面中检测物体的方法,其中对于以该输入信号的取样缩小后的结果去估测的状态序列Ωh′(t),该方法还包括将该状态序列Ωh′(t)的取样放大,以取得该物体掩码的步骤。如上所述的图像平面中检测物体的方法,其中该解码算法为一种Viterbi算法。本发明还提供一种图像平面中检测物体的系统,该系统包含一隐马尔可夫模型,其由已初始化的多个参数配置而成并与一物体片段切割单元耦合,λ代表该隐马尔可夫模型的该多个参数的集合;一估计参数单元(parameterestimationunit),利用前一个时刻t-1所求得的物体掩码Ωh(t-1),求得一待更新掩码Ω(t),更新目前时刻t的隐马尔可夫模型的参数λ(t);一估计状态单元(stateestimationunit),根据该参数λ(t),由一解码器估计出一相对应的状态序列;一转换与存储物体掩码单元(unitforrestoringstatestoobjectmask),将该状态序列转换成一物体掩码Ωh(t)并将其存储;以及一延迟缓冲器(delaybuffer),将该前一个时刻t-1的物体掩码Ωh(t-1)传送给该估计参数单元。如上所述的图像平面中检测物体的系统,其中该隐马尔可夫模型由下列参数配置而成,并以H=(N,M,A,π,P1,P2)来表示N是状态的个数,且N=2,该两种状态分别为背景状态S1与前景状态S2;M是符号的个数,且M=2,该两种符号分别为背景符号α与前景符号β;A是状态转移概率矩阵,A={aij,i,j=1,...N},aij是从状态i转移到状态j的概率;π={π1,...,πN},πi是状态i发生的初始概率;以及P1及P2分别是背景状态S1及前景状态S2的概率分布函数(probabilitydensityfunction,PDF)。P1(x=β)代表当背景状态时,随机出现的符号为背景符号‘β’;P2(x=α)代表当前景状态时,随机出现的符号为前景符号‘α’的概率;P2(x=β)代表当背景状态时,随机出现的符号为背景符号‘β’的概率。如上所述的图像平面中检测物体的系统,其中该解码器是一种Viterbi解码器。如上所述的图像平面中检测物体的系统,其中该物体掩码Ωh是一种二进制画面数据。本发明可以快速估计出隐马尔可夫模型参数,并有效地得到稳定强健的物体检测结果,使得所求得的物体掩码更趋近于实际物体的范围,而背景结果也能更加排除误判的情况。配合附图、实施例的下述详细说明及权利要求,将对上述及本发明的其它目的与优点做进一步的说明。图1为一示意图,说明传统的隐马尔可夫模型化的流程。图2为说明相应于图像的物体掩码的二维表示法可用一维的信号来表示的示意图。图3为一状态图,说明本发明范例中隐马尔可夫模型所使用的状态。图4为一流程图,说明本发明的图像平面中物体检测的方法的主要运作程序。图5为一方块示意图,补充说明图4中各步骤的运作。图6是本发明的范例中的一个系统方块示意图。其中,附图标记说明如下101隐马尔可夫模型参数初始化103用Baum-Welch算法估计及更新隐马尔可夫模型参数105利用Viterbi算法及前步骤所求得的隐马尔可夫模型参数,估计输入数据的状态Ωf1相应于一图像的物体掩码的二维表示法ωf1图像的物体掩码的一维表示法0背景1前景S1背景状态S2前景状态a11从背景状态S1转移到背景状态S1的概率a12从背景状态S1转移到前景状态S2的概率a21从前景状态S2转移到背景状态S1的概率a22从前景状态S2转移到前景状态S2的概率401针对一个画面建立一个隐马尔可夫模型,并初始化此隐马尔可夫模型的参数λ(t)403在目前时刻的空间轴上,利用前一个时刻所求得的物体掩码Ωh(t-1),更新目前时刻的隐马尔可夫模型的参数λ(t)405根据此参数λ(t)及一解码算法,再估测目前时刻的物体掩码Ωh(t-1)前一个时刻所求得的物体掩码Ωh(t)目前时刻所求得的物体掩码601隐马尔可夫模型603估计参数单元605估计状态单元607转换与存储物体掩码单元609延迟缓冲器611物体片段切割单元具体实施例方式图2说明相应于图像的物体掩码的二维表示法可用一维的信号来表示。其中,0代表背景,1代表前景,Ωf1是相应于一图像的物体掩码的二维表示法,图像的物体掩码若用一维的信号ωf1表示呈现(称之为ID序列),则可视为一个非稳定程序的随机程序(randomprocess),包含了多个状态,每个状态包含各自的随机子程序(subprocess)。本发明的物体检测中,此二维物体掩码的ID信号表示法(IDsignalrepresentation)有两种状态,如图3所示,S1是背景状态,S2是前景状态,每一种状态都是一个具有静态(stationary)统计特性的马尔可夫链(Markovchain),因此,一个掩码(亦即一维的随机程序ωf1,以一个ID序列来表示)可用一个隐马尔可夫模型来表示其信号特性。值得注意的是,本发明中,目前时刻的一个画面的物体掩码仅建立一个隐马尔可夫模型。而此隐马尔可夫模型可用H=(N,M,A,π,P1,P2)来表示,其中N=2(也就是背景状态S1与前景状态S2),M=2(也就是背景符号‘β’与前景符号‘α’),A是状态转移概率矩阵,A={aij,i,j=1,...N},aij是从状态i转移到状态j的概率,π={π1,...,πN},πi是状态i发生的初始概率,P1及P2分别是状态S1及状态S2的概率分布函数。而P1(x=x)代表处于背景状态时,随机出现的符号为前景符号‘x’的概率;P2(x=x)代表处于前景状态时,随机出现的符号为前景符号‘x’的概率;符号x包括前景符号‘α’和背景符号‘β’。因此,在图3所示的本发明范例中隐马尔可夫模型所使用的状态图里,a12是从背景状态S1转移到前景状态S2的概率,而a21是从前景状态S2转移到背景状态S1的概率,而a11是从背景状态S1转移到背景状态S1的概率,a22是从前景状态S2转移到前景状态S2的概率。为了快速估计出隐马尔可夫模型参数,本发明将″再估测背景掩码″(re-estimatingbackgroundmask)化为一种隐马尔可夫模型训练问题来解决,在既有的隐马尔可夫模型的训练阶段使用新的方法,以取得模型参数。图4以一流程图说明本发明的图像平面中检测物体的方法的主要运作程序。参考图4,本发明首先针对一个画面建立一个隐马尔可夫模型,并初始化此隐马尔可夫模型的参数,如步骤401所示。然后,在目前时刻的图像空间轴上,利用前一个时刻所求得的物体掩码Ωh(t-1),求得待更新掩码Ω(t),更新目前时刻的隐马尔可夫模型的参数λ(t),如步骤403所示。根据此参数λ(t)及一解码算法,再估测目前时刻的物体掩码,如步骤405所示。图5为一方块示意图,再补充说明图4中各步骤的具体运作。如图5所示,输入图像经物体片段切割程序(objectsegmentation)处理后,在步骤401中初始化此隐马尔可夫模型的参数包括设定状态转移概率矩阵、背景状态下前景符号出现的概率P1(x=α)、背景状态下背景符号出现的概率P1(x=β)、和背景状态S1及前景状态S2的初始概率。值得注意的是,此状态转移概率矩阵{aij,i,j=1,2}的设定在i≠j时,aii>aij。步骤403中,将待更新掩码Ω(t)表示为前景掩码Ωf1(t)去除前一时刻t-1所求的前景掩码Ωh(t-1)之后的二进制掩码(binarymask),亦即令ξ代表在Ω(t)中,前景符号所占的比例(occupy-ratio),则Ω(t)在背景状态下的前景符号的概率被近似为ξ,亦即P1(x=α)=ξ。因此,待更新掩码Ω(t)在背景状态下的背景符号的概率为P1(x=β)=1-P1(x=α)。利用上述的近似方法,更新隐马尔可夫模型参数。更新隐马尔可夫模型参数后,在步骤405中,前一个时刻所求得的物体掩码Ωh(t-1)是用一维的方式(水平或垂直)读取,并利用一种解码技术如Viterbi解码算法,再估计Ωf1(x,y,t)的状态,其中若在t时刻,Ωf1(x,y,t)=1,输入的图像像素(x,y)属于前景部分;若在t时刻,Ωf1(x,y,t)=0,输入的图像像素(x,y)属于背景部分。换句话说,估计出背景部分的统计模型。如果Ωf1(t)的前景符号与背景符号模糊的部分符合背景的统计模型,此部分则视为背景。而此估计出的Ωf1(x,y,t)的一维状态将被恢复(restore)为二维物体掩码,可与原始图像大小一致。依此,改善了原来的物体掩码Ωf1(t),而成为较好的物体掩码Ωh(t)。根据本发明,在步骤405中读取前一个时刻所求得的物体掩码Ωh(t-1),并求得待更新掩码Ω(t),可以用不同的比例(scale)来执行。常用的两种比例如scale=1和scale=2。若用输入信号Ω(t)的原始分辨率(originalresolution)来执行,则其scale=1。若先将输入信号Ω(t)的取样缩小(down-sample)为Ω′(t),亦即原二维物体掩码的取样缩小后的结果,然后以Ω′(t)取代Ω(t)来估计t时刻隐马尔可夫模型的参数λ(t),则为scale=2的情况。在scale=2的情况下,改善后的状态序列(refinedstatesequence)记为Ωh′(t),并且于此隐马尔可夫模型化的程序中必须将Ωh′(t)的取样放大(up-sample)为Ωh″(t)。根据实验的结果,以scale=2的情况所求得的物体掩码能更接近物体实际的范围。本发明中仅有两个状态,背景状态和前景状态,无阴影状态。而阴影的问题,可由亮度高斯混合模型(GMMonluma)的结果与彩度高斯混合模型(GMMonchroma)的结果融合后得到解决。图6是实现上述本发明的范例中的一个系统方块示意图。如图6所示,此图像平面中检测物体的系统包含一隐马尔可夫模型601、一估计参数单元603、一估计状态单元605、一转换与存储物体掩码单元607和一延迟缓冲器609。隐马尔可夫模型601由已初始化的参数配置而成H=(N,M,A,π,P1,P2),并与一物体片段切割(objectsegmentation)单元611耦合。估计参数单元603利用前一个时刻t-1所求得的物体掩码Ωh(t-1),更新该目前时刻t的隐马尔可夫模型的参数λ(t)。估计状态单元605根据此参数λ(t),通过一解码器估计出一相对应的状态序列。转换与存储物体掩码单元607将此状态序列转换成一物体掩码Ωh(t)并将其存储。延迟缓冲器609将前一个时刻t-1的物体掩码Ωh(t-1)传送给估计参数单元603。不同于公知技术对每一个像素建立个别的隐马尔可夫模型,如前所述,本发明针对一个画面仅建立一个隐马尔可夫模型,所处理的物体掩码是一种二进制画面数据。值得一提的是,一般物体检测的实际环境中,背景区域的面积大于前景区域的面积。所以,在状态初始概率的设定时,背景状态的初始概率会大于前景状态的初始概率。在本发明的模拟实验中,提取了23张画面,并对一画面100建立一个隐马尔可夫模型,设定背景状态的初始概率π1=0.9,而前景状态的初始概率π2=0.1。相较于公知物体检测技术,实验结果显示,利用本发明的技术后,前景部分变得更稳定(stable),并且背景部分也变得更清晰(clear)。而完整的物体掩码几乎可提炼出来(extracted)。所以,不仅增进了物体掩码的强健性,而清晰的背景结果也更加能排除误判的情况。因而本发明的检测率也较高。另外,此模拟实验也分别以scale=1和scale=2来执行上述本发明提出的新的隐马尔可夫模型程序。实验结果显示,相较于scale=1的情况,scale=2的情况拥有更容易辨认辨识的(moredistinguishable)物体掩码。以上所述仅为本发明的实施例,并非用以限制本发明的范围,任何所属领域的技术人员,在不脱离本发明的精神和范围内,当可作些许的变更与修饰,因此本发明的保护范围当视后附的权利要求所界定的范围为准。权利要求1.一种图像平面中检测物体的方法,该方法包含下列步骤针对一个画面建立一个隐马尔可夫模型,并初始化该隐马尔可夫模型的参数;在一目前时刻的空间轴上,利用前一个时刻所求得的物体掩码Ωh(t-1)求得一待更新掩码Ω(t),更新该目前时刻的隐马尔可夫模型的参数;以及根据该更新的目前时刻的隐马尔可夫模型的参数及一解码算法,再估测该目前时刻的物体掩码。2.如权利要求1所述的图像平面中检测物体的方法,其中以两种状态,背景状态S1与前景状态S2,和两种符号,背景符号α与前景符号β,来建立该隐马尔可夫模型。3.如权利要求2所述的图像平面中检测物体的方法,其中该初始化该隐马尔可夫模型参数的步骤包括设定背景状态S1下的前景符号的概率P1(x=α)、背景状态S1下的背景符号的概率P1(x=β)、状态S1及状态S2的初始概率和状态转移概率矩阵{aij,i,j=1,2},aij是从状态Si转移到状态Sj的概率。4.如权利要求3所述的图像平面中检测物体的方法,其中该更新目前时刻的隐马尔可夫模型的参数的步骤还包括将该待更新掩码Ω(t)表示为前景掩码去除前一时刻所求的前景掩码Ωh(t-1)之后的二进制掩码;以及该待更新掩码Ω(t)在背景状态下的前景符号的概率被近似为ξ,亦即P1(x=α)=ξ,其中ξ代表在Ω(t)中,前景符号所占的比例。5.如权利要求2所述的图像平面中检测物体的方法,其中该再估测该目前时刻的物体掩码的步骤还包括以一维的方式读取前一个时刻所求得的二维物体掩码Ω(t);利用该解码算法去估计目前时刻的图像像素(x,y)的一维状态Ωf1(x,y,t),其中如果该前一个时刻所求得的该待更新掩码Ω(t)的前景符号与背景符号模糊的部分符合背景的统计模型,此部分则被视为背景;以及转换该估计出的Ωf1(x,y,t)的一维状态为二维物体掩码。6.如权利要求4所述的图像平面中检测物体的方法,其中该前一个时刻所求得的二维物体掩码用原始分辨率来读取。7.如权利要求4所述的图像平面中检测物体的方法,其中该前一个时刻所求得的二维物体掩码是将输入信号的取样缩小后的结果。8.如权利要求3所述的图像平面中检测物体的方法,其中该状态转移概率矩阵的设定还包括当i≠j时,aii>aij。9.如权利要求7所述的图像平面中检测物体的方法,其中对于以该输入信号的取样缩小后的结果去估测的状态序列Ωh′(t),该方法还包括将该状态序列Ωh′(t)的取样放大,以取得该物体掩码的步骤。10.如权利要求1所述的图像平面中检测物体的方法,其中该解码算法为一种Viterbi算法。11.一种图像平面中检测物体的系统,该系统包含一隐马尔可夫模型,其由已初始化的多个参数配置而成并与一物体片段切割单元耦合,λ代表该隐马尔可夫模型的该多个参数的集合;一估计参数单元,利用前一个时刻t-1所求得的物体掩码Ωh(t-1),求得一待更新掩码Ω(t),更新目前时刻t的隐马尔可夫模型的参数λ(t);一估计状态单元,根据该参数λ(t),由一解码器估计出一相对应的状态序列;一转换与存储物体掩码单元,将该状态序列转换成一物体掩码Ωh(t)并将其存储;以及一延迟缓冲器,将该前一个时刻t-1的物体掩码Ωh(t-1)传送给该估计参数单元。12.如权利要求11所述的图像平面中检测物体的系统,其中该隐马尔可夫模型由下列参数配置而成,并以H=(N,M,A,π,P1,P2)来表示N是状态的个数,且N=2,该两种状态分别为背景状态S1与前景状态S2;M是符号的个数,且M=2,该两种符号分别为背景符号α与前景符号β;A是状态转移概率矩阵,A={aij,i,j=1,...N},aij是从状态i转移到状态j的概率;π={π1,...,πN},πi是状态i发生的初始概率;以及P1及P2分别是背景状态S1及前景状态S2的概率分布函数。13.如权利要求11所述的图像平面中检测物体的系统,其中该解码器是一种Viterbi解码器。14.如权利要求11所述的图像平面中检测物体的系统,其中该物体掩码Ωh是一种二进制画面数据。全文摘要本发明公开一种图像平面中检测物体的方法与系统。其针对一个图像画面建立一个隐马尔可夫模型,并初始化此隐马尔可夫模型的参数。然后,在空间轴上,利用前一个时刻所求得的物体掩码,更新目前时刻的隐马尔可夫模型参数。根据此更新的参数及一解码算法再估测目前时刻的物体掩码。本发明可以快速估计出隐马尔可夫模型参数,并有效地得到稳定强健的物体检测结果,使得所求得的物体掩码更趋近于实际物体的范围,而背景结果也能更加排除误判的情况。文档编号G06K9/62GK101174302SQ200610143258公开日2008年5月7日申请日期2006年11月1日优先权日2006年11月1日发明者王文豪申请人:财团法人工业技术研究院