运动矢量检测装置和方法

文档序号:6408043阅读:300来源:国知局
专利名称:运动矢量检测装置和方法
技术领域
本发明涉及在一个图象的块与在另一个图象的相应块之间的运动矢量的检测,更具体地讲,是涉及在保持的所检测的运动矢量的精度的同时减少检测运动矢量所要求的操作数量。
在一系列的数字图象的预期编码中运动矢量是有用的,它减少了表示该图象系列所需的信息数量。例如,对于运动图象的高效编码的运动图像编码专家组(MPEG)国际标准采用正交变换。特别是离散余弦变换(DCT),和具有运动补偿的预期编码。


图1表示使用运动补偿的预期编码的一个例子。视频的目前帧的数字视频数据加到输入端61,它将该数字视频数据加到运动矢量检测电路62和减法电路63。
运动矢量检测电路62检测目前帧的一块相对于参考帧的运动矢量,该参考帧可以是暂时先于目前帧的一个帧,和将运动矢量加到运动补偿电路64。
帧存储器65适用于存储诸如在先帧的图象,在运动补偿时,该在先帧构成对目前帧的预示,和适用于将这个图象加到运动补偿电路64。
运动补偿电路64工作以便使用从运动矢量检测电路62所加的运动矢量对帧存储器65所加的图象进行运动补偿,和将运动补偿的图象加到减法电路63和加法电路66。特别是电路64将该图象的每一块移到相应的运动矢量所指示的位置。
减法电路63在逐个象素的基础上从目前帧的视频数据中减去从运动补偿电路64所收到的运动补偿的在先帧以产生差别数据,并且将该差别数据加到DCT电路67。
DCT电路67起着正交变换差别数据以产生系数数据,和将该系数数据加到量化电路68,量化电路68适用于量化该系数数据和将该量化的系数数据加到输出终端69和反向量化电路70。
反向量化电路70从量化的系数数据中恢复系数数据,并将恢复的系数数据加到反向DCT电路71,反向DCT电路71变换系数数据为解码的差分图象数据并且将该解码的差分图象数据加到加法电路66。
加法电路66将解码的差分图象数据加到从电路64来的运动补偿的图象数据上以产生解码的图象数据,并且将解码的图象数据加到帧存储器65以便存储在其中。
现在参见图2-4叙述由运动矢量检测电路62执行的运动矢量检测的操作。
运动矢量检测电路62使用块匹配(blok matching)方法检测运动矢量。在块匹配方法中,参考帧的检验块在预定的搜索范围内运动来识别在预定搜索范围中与目前帧的基块最匹配的块。运动矢量是在该基块的坐标与参考帧中最匹配的块的坐标之间的差。
图2A表示包括H个水平象素XV个垂直行的一帧的图象,它被分为P象素XQ行大小的块。图2B表示P=5,Q=5的块,而“C”代表该块的中心象素。
图3A表示具有中心象素C的目前帧的基块和具有中心象素C′的参考帧的检验块,检验块定位在与目前帧的基块最匹配的参考帧的块上。如可从图3A看到的,当基块的中心象素C在水平方向移动+1象素和在垂直方向移动+1行时,对中心象素C与中心象素C′在同一地点。这样,得到了运动矢量(+1,+1)。类似地,相对于在图3B和3C中所示的基块的最匹配的块,得到了各自的运动矢量(+3,+3)和(+2,-1)。得到了目前帧的每个基块的运动矢量。
在参考帧中,检验块运动的预定搜索范围在水平方向可能是±S象素,而在垂直方向是±T行,即,基块与具有中心象素C′的检验块比较,从基块的中心象素C在水平方向变化±S象素和垂直方向变化±T行。图4表示具有中心象素C的目前帧的基块R应该与参考帧的{(2S+1)×(2T+1)}检验块比较。在图4中,S=4,而T=3。图4的搜索范围是由每个检验块的中心组成的区域。包含整个检验块的搜索范围的大小是(2S+P)+(2T+Q),即,{(P-1)/2+(2S+1)+(P-1)/2}×{(Q-1)+(2T+1)+(Q-1)/2}。
基块与在预定搜索范围中的特定位置的检验块的比较包括获得估算值,如这些帧的差值的绝对值的和,这些帧的差值的平方和,或者这些帧的差值的绝对值的n次方的和,检测估算值的最小值以便识别最匹配的块,和产生基块与最匹配的块之间的运动矢量。
图5表示运动矢量检测电路62的一个例子。
目前帧的图象数据加到输入端81,它将该图象数据加在目前帧存储器83进行存储。参考帧的图象数据加到输入端82,它将该图象数据加到参考帧存储器84进行存储。
控制器85控制目前帧存储器83和参考帧存储器84的读和写,它们分别将目前帧的基块的象素数据和参考帧的检验块的象素数据加到差值检测电路87。地址移动电路86与参考帧存储器84相连。控制器85控制地址移动电路86将读出的地址加到参考帧存储器84,该参考帧存储器一个象素一个象素地移动在预定搜索范围中的检验块的位置。
差值检测电路87在逐个象素的基础上获得目前帧存储器83和参考帧存储器84的输出信号之间的差值,并且将差值加到绝对值计算电路88,绝对值计算电路88获得该差值的绝对值并将该绝对值加到累加电路89,累加电路89对每块的差值的绝对值求和,以产生基块相对于在预定搜索范围中的特定位置的检验块的估算值并将估算加到确定电路90。
确定电路90识别在预定搜索范围中的最小估算值。参考帧的预定搜索范围中的最匹配的块相应于最小的估算值。确定电路90还产生目前帧的基块与参考帧的预定搜索范围中的最匹配的块之间的运动矢量。
常规的块匹配方法要求大量的硬件和大量的算法运算。对于图4中所示的情况,差值的(PXQ)绝对值应相加{(2S+1)×(2T+1)}次。因此,这个过程的算法运算的次数表示为{(P×Q)×(2S+1)×(2T+1)}。
为了克服常规的块匹配方法的这些缺点,已经提出了各种方法。
在所提出的第一个方法中,为了减少一块的单元的数量,已经提出一个方法,用于将基块和检验块的水平方向和垂直方向分解为小块,并且提取每个小块的特征值。特征值例如可以是小块中的象素幅度的和。每个基块和检验块的水平方向的每个小块的特征值进行比较,而该基块和检验块的垂直方向的每个小块的特征值进行比较。比较结果的绝对值相加。相加结果的加权平均值用作该基块和检验块的估算值。这个方法在美国申请序号(450100-3050)中详细地叙述,它将算法运算的次数减少为在水平方向和垂直方向的小块的数量。
在所提出的第二个方法中,为了简单搜索过程,在第一阶段中,每几个象素移动该检验块以便粗略地检测运动矢量。在第二阶段,每个象素的移动该检验块到接近粗略的运动矢量所指示的位置以便细致地检测运动矢量。这个方法称为两步法。另外,还示出了以三步得到运动矢量的三步法。在三步法中,相应于搜索范围中所有的象素的算法运算的次数可减到相应于接近在每步中检测的运动矢量的象素的算法运算次数。
另又提出的方法称为变薄出(稀少)(fhin-out)法,它既减少块的单元数也简化搜索过程,这个方法采用等级结构,一块中的象素数量被取样并变薄出(稀少)(例如,四个象素变薄出一个象素,或者两个象素变薄出一个象素)。薄出的象素构成的块进行比较。此后,块匹配过程的初始点移动到最小的检测值的位置。由块匹配过程逐个象素地检测运动矢量,由于变薄出的过程,一块中的单元数和在搜索范围中算法运算的次数都减少了。
还提出的方法采用一个低通滤波器,它既减少一块的单元数又简化了搜索过程。在这个方法中,规定了等级结构,第一等级阶段加上原始的图象,第二等级阶段,利用一个低通滤波器和一个二次取样电路将第一等级阶段的原始图象信号的象素数在水平方向和垂直方向以1/2变稀少,和第三等级阶段,利用一个低通滤波器和一个二次取样电路将第二等级阶段中的图象信号的象素数在水平方向和垂直方向以1/2变稀少。对第三等级阶段中的图象信号执行块匹配过程。块匹配过程的起始点移到相应于检测的最小估算值的位置。对在第二等级阶段的图象信号执行块匹配过程,块匹配过程的起始点移动到相应于检测的最小值的位置。对在第一等级阶段的图象信号执行块匹配过程。
为了减少在块匹配方法中的算法运算的次数以便检测运动矢量的上述所提出的每个办法的问题是这些方法的每个方法可能产生错误的结果,因为由于搜索过程执行的简化在原始图象中的信息数量丢失了。
特别是,当一块的单元数减少时,使用已经通过低通滤波器的小块的特征值。当搜索过程被简化时,由于运动矢量粗略地检测的,所以精确度低。因此可能产生差错。当单元数量减少和搜索过程简化时,由于运动矢量相应于变稀少了的图象或已经通过低通滤波器的图象进行检测的,所以可能发生差错。
因此本发明的一个目的是提供避免前述现有技术缺点的检测运动矢量的方法和装置。
本发明的另一个目的是提供用于检测运动矢量的方法和装置,相对于常规的块匹配方法,该方法减少了算法运算的次数。
本发明的又一个目的是提供可利用简单的硬件结构实现的用于检测运动矢量的方法和装置。
本发明还有一个目的是提供减少产生错误结果的可能性的用于检测运动矢量的方法和装置。
根据本发明的一个方面,提供了运动矢量检测的装置和方法,其中提供了第一图象的基块的图象数据,并且得到了基块的恒定分量和瞬变分量。响应控制信号,提供第二图象的检验块的图象数据,并且得到了该检验块的恒定分量和瞬变分量。基块和检验块的恒定分量和瞬变量进行比较以确定在第二图象中最匹配基块的检验块的第一位置。第二图象中的差别位置表示作为检验块的第一最匹配位置的函数的控制信号。当检验块的位置在第一最匹配位置邻近变化,基块的图象数据与检验块的图象数据比较以便确定在最匹配该基块的第一最匹配位置附近的检验块的第二位置。
根据本发明的另一方面,基块和检验块被排成各个小块,和得到各个小块的恒定分量和瞬变分量。当检验块的位置在第一最匹配位置附近变化,基块和检验块的小块的恒定及瞬变分量进行比较以确定在第二图象中最匹配该基块的检验块的第三位置。第二图象中的不同的位置表示作为检验块的第三最匹配位置的函数的控制信号。第二最匹配位置根据检验块的位置在第三最匹配位置附近变化确定。
首先,第二和第三运动矢量分别在基块和第一最匹配位置之间、基块和第二最匹配位置之间以及基块和第三最匹配位置之间产生。为了补偿第一、第二和第三运动矢量的分辨率的差别,第一运动矢量乘以第一预定系数再加到第三运动矢量上产生中间运动矢量,中间运动矢量乘以第二预定系数再加到第三运动矢量上产生在基块和第二最匹配的位置之间的最后运动矢量。
当结合附图阅读本发明的优选实施例的下面的详细叙述时将会清楚本发明的上面的和其它的目的、特征及优点,图中以相同的标号表示相应的部分。
图1是使用运动补偿的常规预期编码电路的方框图;
图2A是说明图象的块的示意图;
图2B是说明图象2A所示的一块的象素和行的示意图;
图3A-3C是说明目前帧的基块和参考帧的检验块之间的运动矢量的示意图;
图4是说明基块周围的预定搜索范围的示意图;
图5是使用块匹配方法产生运动矢量的常规电路的方框图;
图6A-6C是分别说明(8×8)区域的象素值,该区域的子区的平均值和该区域的子区的标准偏差的图;
图7A-7C是分别说明由于位移的图6A区域的象素值,位移的区域的子区的平均值和位移的区域的子区的标准偏差的图;
图8A-8C是分别说明(16×16)区域的象素值,该区域的子区的平均值和该区域的子区的标准偏差的图;
图9A-9C是说明根据本发明的运动矢量产生的分别代表在第一、第二和第三等级阶段中的一块的值的图;
图10A-10E是在说明根据本发明产生运动矢量中所参照的图;
图11A和11B构成表示根据本发明产生运动矢量的电路的方框图;
12A和12B构成表示图11A和11B所示的电路的更具体的实施例的方框图;和图13是表示根据本发明产生运动矢量的另一个电路的方框图;
用于检验矢量现有技术所提出的块匹配方法的改进产生错误的结果,因为当以代表值如特征值表示一组象素时太多的信息丢失了。
在本发明中,一组象素如一块是以两个值代表的恒定分量和瞬变分量。这允许保持更多的原始信息,同时允许减少计算的次数,该计算是确定相对于目前帧的基块在参考帧的预定搜索范围中的最匹配块所需要的。基块和在预定搜索范围中各个位置的检验块的恒定及瞬变分量进行比较,并且根据恒定及瞬变分量的函数确定最匹配块。
由于在本发明中一块的象素的检验点的数量和搜索范围相对于常规的块符合方法显著地减少了,所以算法运算和次数可以充分地减少。
本发明包括获得运动矢量的多个阶段或等级接近。在最大的阶段中,估算预定搜索范围的(4象素×4行)块的恒定及瞬变分量,并且用于获得粗略的运动矢量。在下一个阶段,对由该粗略运动矢量所指示的相邻的(2×2)块估算恒定及瞬变分量并且用于获得下一个运动矢量。在细致的阶段,估算基块和由下一个运动矢量指示的相邻的检验块的象素之间的差别并且用于获得最后的运动矢量。即,除了最后阶段外的所有阶段以它们的恒定及瞬变分量代表块,而最后阶段检查每块中的实际象素值。第一阶段的搜索范围是整个预定的搜索范围,而且逐渐地变窄,以致在最后阶段中搜索范围只比目前帧中基块的大小大几个象素。
一组象素的恒定分量例如可以是一个平均值、一个低频分量、一组正交变换的系数的低次分量、一个最大值、一个最小值等等之一。现有技术提出的块匹配法的改进代表只使用恒定分量的一组象素。
一组象素的瞬变分量例如可以是一个标准偏差、一个高频分量、一组正交变换的系数的高次分量、一个动态范围、一个平均值的差值、平均值差值的最大值等等之一。例如,如果一块的象素具有值(8、32、0、20),则该块平均值为“15”,平均值的差值为|8-15|+|32-15|+|0-15|+|20-15|=44,而差值的最大值是|32-15|=17。瞬变分量代表图象的局部活动的程度,即信号电平变化的程度或高频分量的数量。现有技术提出的块匹配法的改进不能保持有关一组象素的瞬变分量的信息。
现在说明现有技术提出的过于简单的改进。
图6A是表示在(8×8)象素区域中的象素值的一个表。这些值代表在范围(0至255)中的信号电平(幅度),其中八个比特代表每个象素。图6B是表示对每组(2×2=4象素)计算的平均值的一个表,这些值构成恒定分量特征数量。图6C是表示对每个(2×2)组计算的标准偏差的一个表,这些偏差构成瞬变分量特征数量。
在图6B中,平均值“164”和“163”是非常接近的值。但是如图6C中所示的,相应于平均值“164”和“163”的标准偏差分别为“0.5”“7”,彼此相差很大。这是因为两个(2×2)块的电平变化彼此相差很大。虽然现有技术提出的块匹配法的改进认为这些(2×2)块是非常相似的,可以看到它们实际上是不相似的。
图7A表示(8×8)象素构成的区域,图6A所示的最左栏被删去了,而且在图6A的表的右侧加上一个新栏。图7B和7C表示分别以对图6B和6C相同的方法计算的平均值和标准偏差。
在图7B中,相应于图6B中的“164”和“163”的平均值分别为“164”和“162”在图7C中,相应于图7B中所示的“164”和“162”的标准偏差分别为“2”和“10.8”。在这个例子中,很清楚,标准偏差的差别大于平均值的差别。
图8A是表示在一个区域(16×16)象素的块中象素值的一个表。图8B和8C表示以对图6B和6C相同的方法分别计算的平均值和标准偏差,除了这些值是对(4×4)大小的块而不是对(2×2)的块计算的之外。可看到,虽然在(16×16)块的左上方的两个(4×4)块的平均值是相同的,即“145”,但是标准偏差是不同的,即“4.91”和“4.05”。
因此,图6-8说明了象素的(2×2)块或象素的(4×4)组的图象的局部特征不能适当地以恒定分量特征数量表示。
现在一般地叙述按照本发明的运动矢量的检测。
图9A-9C分别表示在第一、第二和第三等级阶段中的(4×4)块的表示法。运动矢量的检测从第三等级阶段到第一等级阶段进行。
检测的运动矢量的分辨率或精度每个等级阶段不相同。在这个例子中,第三等级阶段运动矢量的分辨率在水平方向为4个象素,而在垂直方向为4行。第二等级阶段运动矢量的分辨率在水平方向为2象素,而在垂直方向为2行。第一等级阶段运动矢量的分辨率在水平方向为1个象素,而在垂直方向为1行。
在图9C所示的第三等级阶段中,它是运动矢量检测操作的第一部分,包含在(4×4)块中象素的平均值m的恒定分量和包含在(4×4)块中象素的标准偏差σ的瞬变分量计算如下,这里该块包含16象素(单元),以×1至×6表示
m=(X1+X2……+X16)/16σ+{Σ(Xi-m2)×1/16}1/2假设在第三等级阶段中基块的位置是(X、Y)和其检验块的位置是(X+△X,Y+△Y)(这里△X和△Y分别代表4象素和4行的变量)。
基块和检验块的特征值之间的差别可表示如下Hm(△X,△Y)=|m′(X+△X,Y+△Y)-m(X,Y)|Hσ(△X,△Y)=|σ′(X+△X,Y+△Y)-σ(X,Y)|这些特征值被组合以构成相对于基块的(4×4)检验块的估算值如下H(△X,△Y)=(W1.Hm(△X,△Y))+(W2.Hσ(△X,△Y))相应于在第三等级阶段所考虑的检验块的位置的最小估算值位置的△X和△Y值包括在第三等级阶段中获得的运动矢量。
在图9B所示的第二等级阶段中,它是三阶段矢量检测操作的中间部分,原始的(4×4)块被分为4个(2×2)块,而每个(2×2)块以恒定量、其平均值m,和瞬变分量、其标准偏差σ表示。这样原始的(4×4)块以平均值m1至m4和标准偏差σ1至σ4表示,计算如下m1=(X1+X2+X5+X6)/4m2=(X3+X4+X7+X8)/4m3=(X9+X10+X13+X14)/4m4=(X11+X12+X15+X16)/4σ1={Σ(Xi-m1)2×1/4}1/2σ2={Σ(Xi-m2)2×1/4}1/2σ3={Σ(Xi-m3)2×1/4}1/2
σ4={Σ(Xi-m4)2×1/4}1/2式中Σ代表每个(2×2)块的值和该(2×2)块的平均值之间差别的和。
在第二等级阶段中,对每个(4×4)块的(2×2)基块和检验块的恒定分量及瞬变分量之间的差别求和,如下Hm=|m1-m1′|+|m2-m2′|+|m3-m3′|+|m4-m4′|Hσ=|σ1-σ1′+|σ2-σ2′|+|σ3-σ3′|+|σ4-σ4′|设定在第二等级阶段中基块的位置是(X,Y)和检验块的位置是(X△+△X,Y+△Y)(这里△X表示2个象素的变量;△Y表示2行的变量)。上述的特征值可表示如下Hm(△X+△Y)=Σ|mi′(X+△X,Y+△Y)-mi(X,Y)|Hσ(△X+△Y)=Σ|σi′(X+△X,Y+△Y)-σi(X.Y)|这些特征值被组合如下以构成(4×4)块的估算值H(△X,△Y)=(W1.Hm(△X,△Y))+(W2.Hσ(△X,△Y))相应于在第二等级阶段中考虑的检验块位置的最小估算值位置的△X和△Y值包括在第二等级阶段中得到的运动矢量。
在图9A所示的第一等级阶段中,它是运动矢量检测操作的最后部分,一块被表示为(4×4)象素的排列。在基块与检验块之间逐个象素差别的绝对值的和包括检验块的每个位置的估算值。
在第一等级阶段中运动矢量检验使用全搜索型块匹配法。因此,不是用差别值的和,而是可使用差值的平方和,差值的绝对值的几次方的和等等作为估算值。
现在介绍按照本发明的运动矢量检测的具体例子。
相应于第三等级阶段的图10A表示参考(在先)/帧的预定搜索范围和具有阴影的(4×4)基块的目前帧的相应部分。预定的搜索范围也称为第三等级阶段搜索范围,该范围为8×8=64(4×4)块。检验块放置在参考帧的预定搜索范围中这些块位置的每个位置,而在检验块的每个位置得到第三等级阶段估算值。估算值的最小值被检测到。因为在预定搜索范围的水平方向和垂直方向中有8块,第三等级阶段的运动矢量的每个坐标是在一4至+3的范围中。在图10A所示的例子中,最小的估算值出现在检验块的阴影部分。在第三等级中检测的运动矢量是(1,-3)。
相应于第二等级阶段,图10B表示在第三等级阶段的最匹配块附近的预定搜索范围的一部分,如在第三等级阶段中的运动矢量所指示的。特别是,参考帧中第二等级阶段搜索范围的中心是在由第三等级阶段的运动矢量所指示的位置。第二等级阶段搜索范围的大小是4个(4×4)块,即,从第三等级阶段的最匹配位置为中心的和具有两个检验块宽及两个检验块高的一个区域。如图10D中所示的,具有两个象素和两行的运动分辨率,在第二等级阶段搜索范围中(4×4)检验块移动经过九个可能的位置。如图10B和10C中“X”所示的,检验块的每个可能位置的中心在第二等级阶段搜索范围中形成一个(3×3)网格。在检验块的每个位置得到了第二等级阶段的估算值。估算值的最小值被检测。在第二等级阶段搜索范围的中心和在第二等级阶段中最匹配块之间的局部运动矢量在图10B中心阴影表示为(-1,-1)。在第二等级阶段中基块和最匹配块之间的运动矢量以两倍的第三等级阶段的运动矢量给出,具有相应于第三和第二等级阶段之间分辨率变化的系数2,加上第二等级阶段局部运动矢量
(2.(1,-3)+(-1,-1)=(1,-7)相应第一等级阶段,图10C表示在第二等级阶段的最匹配块附近的搜索范围的一部分,如由第二等级阶段中检测的运动矢量所指示的。特别是,参考帧中第一等级阶段搜索范围的中心是在由第二等级阶段的运动矢量所指示的位置。第一等级阶段搜索范围的大小为(6象素×6行),即从第二等级阶段的最匹配位置为中心的,具有1.5检验块宽和1.5检验块高的一个区域。如图10E所示的,具有一个象素和一个行的运动分辨率,该(4×4)检验块在第一等级阶段搜索范围中,移动通过九个可能位置。在检验块的每个位置得到第一等级阶段的估算值。估算值的最小值被检测。在第一等级阶段搜索范围中心和在第一等级阶段中最匹配块之间的局部运动矢量由图10C中的阴影表示,它为(-1,-1)。在第一等级阶段中基块和最匹配块之间的运动矢量由两倍的第二等级阶段运动矢量给出,具有相应于第二和第一等级阶段之间分辨率变化的系数2,加上第一等级阶段局部运动矢量。
(2.(1,-7)+(-1,-1)=(1,-15)现在讨论根据本发明在运动矢量检测操作中算法运算的次数。
在第三等级阶段中,(4×4)块的代表单元数是2,即,一个平均值和一个标准偏差。由于第三等级搜索范围包括检验块的8×8=64位置,所以算法运算的次数为2×64=128。
在第二等级阶段中,(4×4)块的代表单元数是(4个小块)×(每小块两个单元)=8。第二等级阶段搜索范围包括检验块的九个位置,所以算法运算次数为8×9=72。
在第一等级阶段中,一块中的单元数是4×4=16。由于第一等级阶段搜索范围包括检验块的九个位置,所以算法运算总次数16×9=144。
因此,根据本发明在运动矢量检测操作中算法运算的总次数为128+72+144=344。
相反地,在常规全搜索型块匹配法中,由于一块的单元数是16和搜索范围是(32×32=1024),所以算法运算的次数是(16×1024=16384)。因此,按照本发明的运动矢量检测操作将所要求的算法运算次数减少到约为原来的1/50。
图11A和11B表示按照本发明的运动矢量检测电路的实施例。
目前帧的图象数据加到输入端1,它把该图象数据加到目前帧存储器3进行存储。参考帧的图象数据加到输入端2,它将该图象数据加到参考帧存储器4进行存储。
控制器5控制目前帧存储器3和参考帧存储器4的读与写,它们分别将目前帧的基块象素数据和参考帧的检验块的象素数据加到第三、第二和第一等级阶段,如在下面所说明的。一个地址移动电路6与参考帧存储器4相连。控制器5控制该地址移动电路6将该地址加到参考帧存储器4,参考帧存储器4在搜索范围中移动检验块以适合执行运动矢量检测的该等级阶段。
在第三等级阶段期间,目前帧存储器3将(4×4)基块的象素加到恒定分量提取电路7a和瞬变分量提取电路7b,分别得到该基块的特征值。
在第二等级阶段期间,目前帧存储器3将(4×4)基块的象素加到小块分段电路11a,该小块分段电路11适用于将该基块分为四个(2×2)块,并且将这四个小块加到恒定分量提取电路9a和瞬变分量提取电路10a,分别得到这些小块的特征值。
在第一等级阶段期间,目前帧存储器3将(4×4)基块的象素加到差值检测电路12e。
类似地,在第三等级阶段期间,参考帧存储器4将(4×4)检验块的象素加到恒定分量提取电路7b和瞬变分量提取电路8b。在第二等级阶段期间,参考帧存储器4将(4×4)检验块的象素加到大小分段电路11b,小块分段电路11将该检验块的小块加到恒定分量提取电路9b和瞬变分量提取电路10b。在第一等级阶段期间,参考帧存储器4将(4×4)检验块的象素加到差值检测电路12e。电路7b、8b、11b、9b和10b分别以相应于电路7a、8a、11a、9a和10a的方法运行。
处理块BL3在第三等级阶段期间工作,而且包括在图11A中所示的差值检测电路12a、12b和在图11B中所示的绝对值计算电路14a、14b加权平均值计算电路15以及确定电路18。
差值检测电路12a得到恒定分量提取电路7a和7b输出信号之间的差值并将该差值加到绝对值计算电路14a,绝对值计算电路14a得到该差值的绝对值并将该绝对值加到加权平均值计算电路15。
类似地,差值检验电路12b得到瞬变分量提取电路8a和8b的输出信号之间的差值,并将该差值加在绝对值计算电路14b,该绝对值计算电路14b得到该差值的绝对值并将该绝对值加到加权平均值计算电路15。
控制器5将加权系数W1和W2加到加权平均值计算电路15。通过实验,系数W1和W2例如可具有比率W1/W2=1/(1.5)。如果该图象具有运动的小区,则系数W1将被增加,如果该图象具有运动的大区或者在摄象时摄象机在运动,则系数W2将被增增。
加权平均值计算电路15工作以便分别用加权W1、W2对从电路14a、14b来的绝对值加权来求该加权的绝对值的和,以便产生加权的平均值以及将加权的平均值作为估算值加到确定电路18。
确定电路18识别在第三等级阶段搜索范围即预定的搜索范围中的最小估算值。在参考帧的第三等级搜索范围中的最匹配块相应于该最小的估算值。确定电路18还产生在目前帧的基块和参考帧的第三等级搜索范围中最匹配块之间的第三等级阶段运动矢量。
确定电路18将第三等级阶段运动矢量加到控制器5和等级器21。控制器5适用于使用第三等级阶段运动矢量确定第二等级阶段搜索范围的中心,并且操作地址移动电路6从第二等级阶段搜索范围中读出检验块。
处理块BL2在第二等级阶段期间工作,并且包括图11A中所示的差值检测电路12c、12d和在图11B中所示的绝对值计算电路14c、14d,累加电路16c、16d,加权平均值计算电路17以及确定电路19。处理块BL2以可与处理块BL3相比的方法工作,除了在基块和检验块的象素之间的累加的差的绝对值作为估算值直接地确定电路20之外。
确定电路19将第二等级阶段运动矢量加到控制器5和加法器23。控制器5适合使用第二等级阶段运动矢量确定第一等级阶段搜索范围的中心,并且操作地址移动电路6从第一等级阶段搜索范围中读出检验块。
处理块BL1在第一等级阶段期间工作,并且包括在图11A中所示的差值检测电路12e和图11B中所示的绝对值计算电路14e,累加电路16e以及确定电路20。处理块BL1以可与处理块BL2相比的方法工作,除了在基块和检验块的象素之间的累加的差的绝对值作为估算值直接地加到确定电路20之外。
检验电路20把第一等级运动矢量供给到控制器和加法器26。
寄存器21的操作把第三等级运动矢量提供给乘法器22,它可以由一个移位电路构成,而其功能是用因数2乘以该第三等级运动矢量,并且把乘过的第三等级运动矢量提供给加法器23。该加法器23用于把被乘的第三等级运动矢量与第二等级运动矢量相加,并把所加的结果送至寄存器24。
寄存器24的操作把加法器23所加的结果提供给乘法器25,其功能是用因数2乘以所加的结果,并把乘过的结果提供给加法器26,加法器26用于把由乘法器25所乘的结果与第一等级运动矢量相加,并把所加的结果提供给一个输出端27,作为在该预定查找范围中的基块和最匹配块这间的一个运动矢量。
图12A和12B示出了按照本发明的运动矢量检测电路的另一个实施例。
图12A的平均值计算电路31a、31b、33a、33b分别起图11A恒定分量提取电路7a、7b、9a、9b的作用。图12A的标准偏差σ产生电路32a、32b、34a、34b分别起图11A的瞬变分量提取电路8a、8b、10a、10b的作用。图12A的减法器35a至35e分别起图11A的差值检验电路12a至12e的作用。
平均值计算电路31a、31b得到的在第三等级中基块和检验块的特征值如下
m=(x1+x2+....+x16)/16m′=(x1′+x2′+....+x16′)/16标准偏差产生电路32a、32b得到的在第三等级中基块和检验块的特征值如下σ={Σ(xi-m)2x1/16}1/2σ′={Σ(xi′-m′)2x1/16}1/2平均值计算电路33a、33b得到的在第二等级中基块和检验块的特征值如下m1=(x1+x2+x5+x6)/4m2=(x3+x4+x7+x8)/4m3=(x9+x10+x13+x14)/4m4=(x11+x12+x15+x16)/4m1′=(x1′+x2′+x5′+x6′)/4m2′=(x3′+x4′+x7′+x8′)/4m3′=(x9′+x10′+x13′+x14′)/4m4′=(x11′+x12′+x15′+x16′)/4
标准偏差产生电路34a、34b得到的在第二等级中基块和检验块的特征值如下σ1={Σ(xi-m1)2x1/4}1/2σ2={Σ(xi-m2)2x1/4}1/2σ3={Σ(xi-m3)2x1/4}1/2σ4={Σ(xi-m4)2x1/4}1/2σ1′={Σ(xi′-m1′)2x1/4}1/2σ2′={Σ(xi′-m2′)2x1/4}1/2σ3′={Σ(xi′-m3′)2x1/4}1/2σ4′={Σ(xi′-m4′)2x1/4}1/2其中Σ表示在各(2×2)块值与各(2×2)块平均值之间差的和。
图12B的加法器38a、38b、42和寄存器39a、39b43形成各反馈环,分别作用于图11B的累加电路16c、16d和16e。图12B的乘法器36a、36b和加法器37作用于图11B的加权平均值计算电路15。乘法器36a和36b分别用加权系数W1和W2乘以它们的输入值,加法器37把乘法器36a和36b的输出加起来。图12B的乘法器40a、40b和加法器41以类似于乘法器36a、36b和加法器37的功能起图11B的加权平均值计算电路17的作用。
加法器37输出第三等级估算值(W1.|m-m′|)+(W2.|σ-σ′|。
加法器41输出第二等级估算值
(W1.Σ|mi-mi′|)+(W2.Σ|σi-σi′|),其中的求和发生在(4×4)基块和检验块的(2×2)小块上。
加法器42输出第一等级估算值Σ|Xi-Xi′|,其中的求和发生在(4×4)基块和检验块的象素X1……X16上。
图12B的存储器44和最小值检测电路47起图11B的检测18的作用。存储器44存储加权平均值数据(估算值)。最小值检测电路47检测存储在存储器44中估算值的最小值,并输出相当于最小值位置的第三等级运动矢量。同样,图12B的存储器45的最小值检测电路48起图11B最小值检测电路19的作用,而图12B的存储器46和最小值检测电路49起图11B检测电路20的作用。存储器45和46各自存储如九个估算值,如上面参照图10D和10E的解释。存储器44、45、46可以被省略。
图13示出了按照本发明的运动矢量检测电路的另一个实施例。
对于第三等级,当前帧存储器3提供一个(4×4)基块给平均值计算电路31a,它起产生一个该基块平均值的作用,并给标准偏差产生电路32a,它起产生对于该基块的标准偏差的作用。第三等级平均值和标准偏差被加至起存储这些作用的存储器51,并提供它们到图13的处理块BL3这些数据。在控制器器5的控制下被写入和从存储器51中读出。
对于第二等级,当前帧存储器2提供(4×4)基块给适于把该基块分成四个(2×2)小块的小块分段电路11a,并把这些小块加至起产生各小块平均值作用的一个平均值计算电路33c,及起产生各小块标准偏差作用的一个标准偏差产生电路34a。第二等级平均值和标准偏差被加至起存储这些值作用的存储器52,并把它们提供给图13的处理块BL2。这些数据在控制器5的控制下被写入和从存储器52中读出。
对于第一等级,当前帧存储器3把(4×4)基块加至图13的处理块BL1。
参考帧存储器4以类似于当前帧存储器3的方式提供(4×4)检验块数据到为简单起见以电路方框50指示的类似的电路。存储器53和54分别起存储第三和第二等级平均值和标准偏差的作用。存储器53和54还分别起把存在那的数据提供给图13的处理块BL3和BL2的作用。地址移动电路55和56分别提供与存储器53和54的联系,以便检验块可以处在第三和第二等级搜索范围内的不同位置。存储器53和54的数据写/读操作及地址移动操作由控制器5进行控制。在预先(第三等级)搜索范围中的所有数据可以被存储在存储器53和54中。然而存储器54仅能存储在第二等级搜索范围中的数据,也就是说,中心处于由第三等级运动矢量指示的四个(4×4)块的数据位置。参考帧存储器4还提供(4×4)检验块给图13的处理块BL1。
图13的处理块BL3、BL2、BL1以可比较于图11A和11B处理块BL3、BL2、BL1的方式起作用,去分别产生第三、第二和第一等级运动矢量,如图11A和11B组合而在输出端27产生一个最终运动矢量。
本发明也可应用于在两个静止图象之间检测运动矢量时或在具有不同分辨的图象间检验运动矢量时。
在上述的本发明实施例中,各等级的处理是类似的电路结构完成的。用另一种方法,由于各等级处理发生在实质上不同的时间,所以一个一段的电路块可以供这种等级共用。
很明显,对于本领域的普通技术人员来说,估算值的产生和运动矢量的检测都可以由软件处理来实现。
代替平均值和标准偏差,对应于频率部分电平的恒定分量和瞬变分量,正交变化序号或类似的可以在各等级中被使用。
第一等级运动矢量可以在半个象素的精度而不是一个象素得到。
在上述的实施例中,等级的数量是三。然而,等级的数量可以是比二大的任何数。
薄输出(thin-out)可以附带地被完成。例如在第三等级中,(4×4)块可以由在该块左上角的DC象素,X1,及在该块中DC象素和剩下的15个象素之间差的绝对值平均(Σ|Xi-X1|)/15,i=2到16来表示。在第二等级中,(4×4)块可以被分割成四个(2×2)小块,并且每个小块可以由在该块左上角的DC象素,x1及在该块中DC象素和剩下的三个象素之间差的绝对值平均值(Σ|xi-x1)/3,i=2至4来表示。该恒定分量DC象素及该瞬变分量是平均值。
本发明可以被应用在这样一种结构中,其薄输出处理是用一个低通滤波器和一个子取样电路来实现的。换句话说,在各等级中的恒定分量是由把第一等级中初始图象数据供给一个低通滤波器和一个子取样电路形成的。在各等级中的瞬变分量包括一个标准偏差或类似的用于每个初始图象数据的象素数据预测量的计算。
按照本发明,埃矢量能够用由于等级处理计算操作实质上减少的数来检测。
在较高(较低结果)等级中使用初始图象数据的恒定分量和瞬变分量的使用减少了在运动矢量检测处理中错误的发生。
按照目前的发明,用一个平均值计算电路,一个薄输出电路,和一个低通滤波器,在等级结构中的图象数据被形成,结果减少了表示一块的元素数量并简化了最佳匹配块的搜索处理。
尽管本发明说明的实施例和它们的各种变形在这里已参照附图进行了描述,但应当明白本发明并不限制于这些精确的实施例和所述的变形,以及各种改变和进一步的改进都可以由本领域普通技术人员在不脱离如所附的权利要求书定义的本发明的范围和精神的基础上实现。
权利要求
1.一种运动矢量检测装置,包括用于提供第一图象基块图象数据的装置;第一提取装置,用于得到所述基块的一个恒定分量和一个瞬变分量;响应于一个控制信号,提供第二图象检验块图象数据的装置;第二提取装置,用于得到所述检验块的一个恒定分量和一个瞬变分量;第一比较装置,用于比较所述基块和检验块的所述恒定与瞬变分量,以确定在所述第二图象中所述检验块中,所述基块最匹配的一个第一位置;用于在所述第二图象中,指示如所述检验块第一最佳匹配位置函数那样的控制信号的不同的位置的装置;第二比较装置,用于比较所述基块的图象数据和所述检验块的图象数据,当在所述第一最佳匹配的邻近所述检验块位置被改变时,以确定在所述第一最佳匹配位置的邻近最匹配于所述基块的第一个第二位置。
2.如权利要求1的装置,进一步包括用于存储和读出所述基块的第一存储器装置,和用于存储所述第二图象一个预定搜索范围和请出所述的第二存储器装置。
3.如权利要求1的装置,其中所述的第一提取装置包括用于从所述基块得到所述恒定分量的第一恒定分量提取装置和用于从所述基块得到所述瞬变分量的第一瞬变分量提取装置,和所述的第二提取装置包括用于从所述检验块得到所述恒定分量的第二恒定分量提取装置和用于所述检验块得到述瞬变分量的第二瞬变分量提取装置。
4.如权利要求1的装置,其中所述的第一比较装置包括用于在所述基本块的所述恒定分量与所述检验块的所述恒定分量之间得出一个第一差别的第一差别装置,用于在所述基块的所述瞬变分量与所述检验块的所述瞬变分量之间得到一个第二差别的第二差别装置,和用于确定在所述第二图象中作为所述第一和第二差别的函数的所述检验块的第一最佳匹配位置的确定装置。
5.如权利要求4的装置,其中所述的确定装置包括用于产生一个所述第一差别绝对值的第一绝对值装置,用于产生一个所述第二差别绝对值的第二绝对值装置,和用于把所述第一和第二差别的绝对值相加的装置。
6.如权利要求5的装置,其中所述的加法装置包括用于以一个第一加权值乘以所述第一差别的所述绝对值的第一乘法装置和用于以一个第二加权值乘以所述第二差别的所述绝对值的第二乘法装置。
7.如权利要求1的装置,其中所述的第二比较装置包括用于在所述基块和瞬变块的所述图象数据之间得到差别的差别装置,和用于确定在所述第二图象中作为所述差别的函数的所述检验块第二最佳匹配位置的确定装置。
8.如权利要求7的装置,其中所述确定装置包括用于产生所述差别的各绝对值的绝对值装置,和用于综合所述的各绝对值的累加装置。
9.如权利要求1的装置,其中所述的第一比较装置还运算产生一个在所述基块和所述第一最佳匹配位置之间的一个第一运动矢量。
10.如权利要求9的装置,其中所述的第二比较装置还运算产生一个在所述基块和所述第二最佳匹配位置之间的一个第二运动矢量。
11.如权利要求10的装置,进一步包括用于从一预定的因数乘以所述第一运动矢量的装置和用于把该第一运动矢量加到所述的第二运动矢量上而在所述基块和所述第二最佳匹配位置之间产生一个最终运动矢量的装置。
12.如权利要求1的装置,进一步包括小块形成装置,用于所述基块和所述检验块形成为各自的小块,用于把所述基块的小块提供给所述的第一提取装置和用于把所述检验块的小块提供给所述的第二提取装置。
13.如权利要求12的装置,其中所述的第一比较装置包括第一差别装置,用于在所述基块和所述检验块的所述小块恒定分量之间得到第一差别;第一累加装置,用于综合所述的第一差别而产生一个第一累积差别;第二差别装置,用于在所述基块和所述检验块的所述小块瞬变分量之间得出第二差别;第二累加装置,用于综合所述的第二差别而产生一个第二累积差,和确定装置,用于确定在所述第二图象中作为所述第一和第二累积差别函数的所述检验块的该最佳匹配位置。
14.如权利要求13的装置,其中所述的确定装置包括用于以一个第一第加权值乘以所述第一累积差的第一乘法装置,用于以一个第二加权值乘以所述第二累积差的第二乘法装置,和用于把已加权的第一和第二累积差相加的装置。
15.如权利要求1的装置,其中所述的基块和检验块包括具有各自值的象素,所述基块的所述恒定分量是所述基块象素的平均值以及所述检验块的所述恒定分量是所述检验块象素的平均值。
16.如权利要求1的装置,其中所述的基块和检验块包括具有各自值的象素,所述基块的所述恒定分量是所述基块象素低频分量、相应于所述基块象素的一个组正交变换系数的低阶分量、所述基块象素的最大值、和所述基块象素最小值之一,并且所述检验块的所述恒定分量是所述检验块象素低频分量、相应于所述检验块象素的一组正交变换系数的低频分量、所述检验块象素的最大值,和所述检验块象素最小值之一。
17.如权利要求1的装置,其中所述的基块和检验块包括具有各自值的象素,所述基块的这瞬变分量是所述基块象素的标准偏差,以及所述检验块的所述瞬变分量是所述检验块象素的标准离差。
18.如权利要求1的装置,其中所述基块和检验块包括具有各自值的象素,所述基块的瞬变分量是所述基块象素的高频分量、相应于所述基块象素的一组正交变换系数的高阶分量、所述基块象素的动态范围、所述基块象素平均值的差和所述基块象素平均值的最大差值之一,以及所述检验块的所述瞬变分量是所述检验块象素的高频分量、相应于所述检验块象素的一组正交变换系数的高阶分量、所述检验块象素的动态范围、所述检验块象素平均值的差、和所述检验块象素平均值的最大差值之一。
19.如权利要求1的装置,其中所述第一最佳匹配位置的邻近是一个以所述第一最佳匹配位置为中心,并具有两个检验块宽和两个检验块高的区域。
20.如权利要求1的装置,其中所述第一最佳匹配位置的邻近是一个以所述第一最佳匹配位置为中心并具有1.5检验块宽和1.5检验块高的区域。
21.如权利要求1的装置,进一步包括用于把所述基块和所述检验块构成各自的小块的小块形成装置,用于得到所述块各小块的恒定分量和瞬变分量的第三提取装置,用于得到所述检验块各小块的恒定分量和瞬变分量的第四提取装置,第三比较装置用于比较所述基块和瞬变块所述各小块的所述恒定和瞬变分量,当所述检验块的装置在所述第一最佳匹配的邻近被改变时,以确定在所述第二图象中最佳匹配所述基块的所述检验块的第三位置;并且其中用于指示的所述装置还用于在所述第二图象中作为所述检验块第三最佳匹配位置的函数那样的所述控制信号的差别位置,和所述的第二比较装置用于当所述检验块的位置在所述第三最匹配位置的邻近被改变时,确定该第二最佳匹配位置。
22.如权利要求21的装置,其中所述的第一比较装置包括用于在所述基块恒定分量与所述检验块恒定分量之间得到第一差别的第一差别装置,用于在所述基块瞬变分量与所述检验块瞬变分量之间得到第二差别的第二差别装置,和用于在所述的第二图象中确定如所述第一和第二差别函数的所述检验块第一最佳匹配位置和第一确定装置;所述的第三比较装置包括用于在所述基块和所述检验块小块的恒定分量之间得到第三差别的第三差别装置,用于综合所述第三差别的以产生一个第一累积差的第一累加装置;用于在所述基块和所述检验块的小块瞬变分量之间得到第四差别的第四差别装置,用于综合所述的第四差别以产生一个第二累积差的第二累加装置,和用于在所述的第二图象中确定作为所述第一和第二累积差别的函数的所述检验块最佳匹配位置的第二确定装置;和第二比较装置包括用于在所述基块与瞬变块的图象数据之间得到第五差别的第五差别装置,和用于在所述的第二图象中确定作为所述第五差别的所述瞬变块的第二最佳匹配位置的第三确定装置。
23.如权利要求21的装置,其中所述的第一比较装置还用于在所述基块和所述第一最佳匹配位置之间产生一个第一运动矢量,所述的第二比较装置还用于在所述的基块与所述的第二最佳匹配位置之间产生一个第二运动矢量,所述的第三比较装置还用于在所述的基块与所述的第三最佳匹配位置之间产生一个第三运动矢量;并且进一步包括用于以一个第一预定因数乘以所述第一运动矢量的第一乘法装置,用于把所乘的第一运动矢量加至所述第三运动矢量以产生一个中间运动矢量的第一加法装置,用于以一个第二预定因数乘以所述中间运动矢量的第二乘法装置,和用于把乘过的中间运动矢量加至所述第二运动矢量以便在所述基块与所述第二最佳匹配位置之间产生一个最终运动矢量的第二加法装置。
24.一种运动矢量检验装置,包括用于提供第一图象基块图象数据的装置;第一提取装置,用于得到所述基块的一个恒定分量和一个瞬变分量;响应于一个控制信号,提供第二图象检验块图象数据的装置;第二提取装置,用于得到所述检验块的一个恒定分量和一个瞬变分量;第一比较装置,用于比较所述基块和检验块的所述恒定与瞬变分量,以确定在所述第二图象中所述检验块与所述基块最匹配的一个第一位置;用于在所述第二图象中指示象所述检验块和一最佳匹配位置的函数那样的所述控制信号的差别位置的装置;第一小块形成装置,用于把所述的基块构成这个第一小块;第三提取装置,用于得到各第一小块的一个恒定分量和一个瞬变分量;第二小块形成装置,用于当所述检验块位置在所述第一最佳匹配位置的邻近被改变时把所述的检验块构成多个第二小块;和四提取装置,用于得到各第二小块的一个恒定分量和一个瞬变分量;和第二比较装置,用于比较所述第一和第二小块的所述恒定与瞬变分量,以确定在所述第二图象中所述基块最匹配的所述检验块的第二位置。
25.如权利要求24的装置,其中所述的第一比较装置还用于在所述基块与所述第一最佳匹配位置之间产生一个第一运动矢量,所述第二比较装置还用于在所述基块和所述第二最佳匹配位置之间产生一个第二运动矢量;并进一步包括用于以一个预定因数乘以所述第一运动矢量的乘法装置,和用于把该乘过的一第一运动矢量加至所述的第二运动矢量以便在所述基块与所述第二最佳匹配位置之间产生一个最终运动矢量的装置。
26.一种运动矢量检测方法,包括步骤提供第一图象基块的图象数据;得到所述基块的一个恒定分量和一个瞬变分量;响应于一个控制信号,提供第二图象一个检验块的图象数据;得到所述检验块的一个恒定分量与一个瞬变分量;比较所述基块与瞬变块的恒定与瞬变分量,以确定在所述第二图象中最匹配所述基块的所述检验块的第一位置;指示在所述第二图象中如所述检验块第一最佳匹配位置的函数那样的所述控制信号的差别位置;和比较所述检验块的所述基本块图象数据和所述检验块图象数据,当所述检验块位置在所述第一最佳匹配位置的邻近被改变时,以确定在所述第一最佳匹配位置中最匹配于所述基本块的所述检验块的一个第二位置。
27.如权利要求26的方法,进一步包括步骤存储和读出所述的基块,存储所述第二图象的一个预定的搜索范围并读出所说的检验块。
28.如权利要求26的方法,其中得到所述基块一个恒定分量和一个瞬变分量的步骤包括从所述的基块得到所述的恒定分量和从所述的基块得到瞬变分量,以及得到所述检验块一个恒定分量和一个瞬变分量的步骤包括从所述的检验块得到所述的恒定分量和从所述的检验块得到所述的瞬变分量。
29.如权利要求26的方法,其中比较所述基块与检验块的恒定与瞬变分量的步骤包括在所述基块的恒定分量与所述检验块的恒定分量之间得到一第一差别,在所述基块瞬变分量与所述检验块瞬变分量之间得到一第二差别,以及确定在所述第二图象中作为第一和第二差别函数的所述检验块的第一最佳匹配位置。
30.如权利要求29的方法,其中的确定步骤包括产生一个所述第一差别的绝对值,产生一个所述第二差别的绝对值,以及把所述的第一和第二差别的绝对值相加。
31.如权利要求30的方法,其中的相加步骤包括用一个第一加权值乘以所述第一差别的绝对值以及用一个第二加仅值乘以所述第二差别的绝对值。
32.如权利要求26的方法,其中比较所述基块图象数据和所述检验块图象数据的步骤包括在所述基块和所述检验块图象数据间得到一个差别,并确定在所述第二图象中作为所述差函数的所述检验块第二最佳匹配位置。
33.如权利要求32的方法,其中的确定步骤包括产生所述差别的各自的绝对值,并组合所述的各绝对值。
34.如权利要求26的方法,进一步包括在所述基块与所述第一最佳匹配位置之间产生一个第一运动矢量的步骤。
35.如权利要求34的方法,进一步包括在所述基块与所述第二最佳匹配位置之间产生一个第二运动矢量的步骤。
36.如权利要求35的方法,进一步包括步骤用一个预定的因数乘以所述的第一运动矢量以及把已乘的第一运动矢量加至所述的第二运动矢量,以产生一个在所述基块和所述第二最佳匹配位置之间的最终运动矢量。
37.如权利要求26的方法,进一步包括步骤把所述的基块和所述的检验块构成各自的小块,把所述基本块的小块提供给所述的第一提取装置和把所述检验块的小块提供给所述的第二提取装置。
38.如权利要求37的方法,其中比较所述基块和检验块的所述恒定和瞬变分量的步骤包括在所述基块和所述检验块的小块恒定分量之间得到第一差别,组合所述的第一差别而产生一个第一累加差别,在所述基块与所述检验块的小块瞬变分量之间得到第二差别,组合所述的第二差别以产生一个第二累加差别,确定在所述第二图象中作为所述第一和第二累加差别函数的所述检验块的最佳匹配位置。
39.如权利要求38的方法,其中确定最佳匹配位置的步骤包括用一个第一加权值乘以所述的第一累加差别,用一个第二加权值乘以所述的第二累加差别,以及把已加权的第一和第二累加差别相加。
40.如权利要求26的方法,其中所述的基块和检验块包括具有各自值的象素,所述基块的恒定分量是所述基块象素的平均值以及所述检验块的恒定分量是所述检验块象素的平均值。
41.如权利要求26的方法,其中所述的基块和检验块包括具有各自值的象素,所述基块的恒定分量是所述基块象素的低频分量,相应于所述基块象素的一组正交变换系数的低阶分量,所述基块象素的最大值,以及所述基块象素最小值之一,以及所述检验块的所述恒定分量是所述检验块象素的低频分量,相应于所述检验块象素的一组正交变换系数的低阶分量,所述检验块象素的最大值,和所述检验块象素最小值之一。
42.如权利要求26的方法,其中所述的基块和检验块包括具有各自值的象素,所述基块的所述瞬变分量是所述基块象素的标准偏差,以及所述检验块的所述瞬变分量是所述检验块象素的标准偏差。
43.如权利要求26的方法,其中所述基块和检验块包括具有各自值的象素,所述基块的瞬变分量是所述基块象素的高频分量,相应于所述基块象素的一组正交变换系数的高阶分量,所述基块象素的动态范围,所述基块象素平均值的差和所述基块象素平均值的最大差值之一,以及所述检验块的所述瞬变分量是所述检验块象素的高频分量,相应于所述检验块象素的一组正交变换系数的高阶分量,所述检验块象素的动态范围,所述检验块象素平均值的差,和所述检验块象素平均值的最大差值之一。
44.如权利要求26的方法,其中所述第一最佳匹配位置的邻近是一个以所述第一最佳匹配位置为中心,并具有两个检验块宽和两个检验块高的区域。
45.如权利要求26的方法,其中所述第一最佳匹配位置的邻近是一个以所述第一最佳匹配位置为中心,并且有1.5检验块宽和1.5检验块高的区域。
46.如权利要求26的方法,进一步包括步骤把所述基块和所述检验块构成各自的多个小块,得到所述基块各自小块的一个恒定分量和一个瞬变分量,得到所述检验块各自小块的一个恒定分量和一个瞬变分量,当所述检验块的位置在所述第一最佳匹配位置的邻近被改变时,比较所述基块与检验块的小块的恒定与瞬变分量,以便在所述的第二图象中确定最匹配于所述基块的所述检验块的第三位置,以及指示在所术第二图象中象所述检验块第三最佳匹配位置函数那样的控制信号的差别位置;以及其中的比较步骤当所述检验块的位置在所述第三最佳匹配位置的邻近被改变时,确定第二最佳匹配位置。
47.如权利要求46的方法,其中比较所述基块和检验块的所述恒定与瞬变分量的步骤包括在所述基块的恒定分量与所述检验块的恒定分量之间得到一个第一差别,在所述的基块瞬变分量与所述的检验块瞬变分量之间得到一个第二差别,以及确定在所述第二图象中作为所述第一和第二差别函数的所述检验块的第一最佳匹配位置;比较所述基和检验块的所述小块恒定与瞬变分量的步骤包括在所述基块与所述检验块的所述小块恒定分量之间得到第三差别,组合所述的第三差别以产生一个第一累加差别,在所述基块与所述检验块的所述小块瞬变分量之间得到第四差别,组合所述的第四差别以产生一个第二累加差别,以及确定在所述第二图象中作为所述第一和第二累加差别的所述检验块的最佳匹配位置;和比较所述基块图象数据和所述检验块图象数据的步骤包括在所述基块与检验块的所述图象数据之间得到第五差别,以及确定在第二图象中作为所述第五差别的函数的所述检验块第二最佳匹配位置。
48.如权利要求46的方法,进一步包括步骤在所述基块与第一最佳匹配位值之间产生一个第一运动矢量,在所述基块与所述第二最佳匹配位置之间产生一个第二运动矢量,在所述基块与所述第三最佳匹配位置之间产生一个第三运动矢量,用一个第一预定因数乘以所述的第一运动矢量,把所乘过的第一运动矢量加到所述的第三运动矢量以产生一个中间运动矢量,用一个第二预定因数乘以所述的中间运动矢量,以及把乘过的中间运动矢量加到所述第二运动矢量,以便在所述基块与所述第二最佳匹配位置之间产生一个最终运动矢量。
49.一种运动矢量的检测方法,包括以下步骤提供第一图象基块的图象数据;得到所述基块的一个恒定分量和一个瞬变分量;响应于一个控制信号,提供第二图象一个检验块的图象数据;得到所述检验块的一个恒定分量与一个瞬变分量;比较所述基与瞬变块的恒定与瞬变分量,以确定在所述第二图象中最匹配所述基块的所述检验块的第一位置;指示在所述第二图象中如所述检验块第一最佳匹配位置的函数那样所述控制信号的差别位置;把所述的基块构成多个第一小块;得到各第一小块的一个恒定分量和一个瞬变分量;当所述检验块的位置在所述第一最佳匹配位置邻近被改变时,把所述的检验块构成多个第二小块;得到各第二小块的一个恒定分量和一个瞬变分量;和比较所述第一和第二小块的所述恒定与瞬变分量,以确定在所述第二图象中最匹配与所述基块的所述检验块的一个第二位置。
50.如权利要求49的方法,进一步包括步骤在所述基块与所述第一最佳匹配位置之间产生一个第一运动矢量,在所述基块与所述第二最佳匹配位置之间产生一个第二运动矢量,用一个预定因数乘以所述的第一运动矢量,并把已乘的第一运动矢量加到所述的第二运动矢量以便在所述基块和所述第二最佳匹配位置之间产生一个最终运动矢量。
全文摘要
用多级操作,检验当前帧中基块与参考帧检验块的最佳匹配位置间的运动矢量。在初始级,从基块提取恒定及瞬变分量,与检验块中提取的相应分量比较,得到第一最佳匹配块的近似运动矢量。在下一级,基块和近似运动矢量指示的邻近的在位检验块各形成多个小块。比较各小块的恒定与瞬变分量。得到基块的第二最佳匹配块的下一个运动矢量。在末级,比较基块和下一运动矢量指示的邻近中的在位检验块的图象数据,得到最终运动矢量。
文档编号G06T7/20GK1109243SQ9411372
公开日1995年9月27日 申请日期1994年9月9日 优先权日1993年9月9日
发明者近藤哲二郎 申请人:索尼公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1