专利名称：使运动场致密的方法及装置的制作方法
技术领域：
本发明涉及把源图像与目标图像之间运动场致密的方法及装置。
更确切地说，本发明属于图像处理领域，其中，目标图像像点应该与源图像像点相关联。
在数字图像序列编码范围内的一些算法提出了两个图像间的像点关联方案。
这些算法利用了通过离散子波分解进行运动补偿的时间滤波。这些算法首先进行视频图像序列的图像之间子波时间转换，然后对得出的时间子波段进行空间分解。更具体地说，视频图像序列被分解成两组图像，偶数图像及奇数图像，运动场是在每个偶数图像与子波时间变换所用的最邻近的单个或多个奇数图像之间估算的。偶数图像及奇数图像都彼此相对地反复进行了运动补偿以便得到时间子波段。可以重复进行这种形成图像分组及运动补偿的过程以便产生不同的子波变换水平。时间图像接着利用子波分析滤波器进行空间滤波。
分解之后，会得到整全的时空子波段。运动场和时空子波段最后被编码并且按各个相应的靶分辩率水平层传输。有些这类算法实现了时间滤波，所依据的技术是刊物中介绍的，W.Sweldens，SiamJ.Anal，Vol.29，Nr2，pp511-546，1997，并且其公知的英文术语为“Lifting”。
在这些算法中，已经在刊物里，其标题为“3D subband video codingusing Barbell Lifting；MSRA Asia；Contribution SO5 au CFP MPEG-21SVC”，提出过，使偶数图像像素与奇数图像像素相对应以便更新偶数图像像素，与此同时要重新利用由偶数图像预测奇数图像时所用的奇数图像像素的加权权重，为的是实现利用这些权重的加权更新。偶数图像的一个像点P(x，y)可向奇数图像点Q’(x’，y’)提供权重W，它将利用W权重加权像点Q’(x’，y’)而得到更新。
这种解决方案并不令人满意。实际上，还有多项问题未能用该算法得到解决。在那些偶数图像中存在一些不相对应的像素。这种称为孔洞的像素对应性缺失使得运动场更新不是完全反转显像的并且在用户解码器处图像再现时会引起人为干扰现象。此外，对于由一个偶数图像的多个像素所更新的一些像素来说，其更新也不是标准化的。这种标准化的缺乏也引起一些人为干扰现象，比如在用户解码器处图像再现时可造成先回波和/或后回波图像。总而言之，当包含在视频图像序列图中的目标都处于比如是翻转的运动状态下时，例如在该刊物中所提出的对应性也不是最适宜的。
在专利申请WO 030859990中，已描述一种方法可以加快视频图像序列中向后运动的矢量计算，这些后移矢量是利用前移矢量从可处理的运动场导出的。在该申请中，一个信息组的运动矢量都可用邻近信息组的运动矢量代替。这种方法也的确适合于如变焦距镜头图像间的运动，但不适合处理翻转运动。
本发明的目的是克服现有技术的一些缺点，与此同时提出了一种方法和装置可以使源图像与目标图像间的运动场致密，它们特别适合于处理比如可能出现在遮光区内的翻转运动。
为此，根据第一种观点，本发明提出一种自源图像与目标图像之间的运动场而使目标图像与源图像之间的运动场致密的方法，其特征在于，该方法包括以下步骤●确定在源图像像素或子像素与目标图像像素或子像素之间的连接。
●对于连接到源图像像素或子像素的目标图像的每个像素或子像素，确定像素或子像素的一个关联空间，其中包括目标图像的至少一个像素和/或子像素。
●使包含在关联空间内的每个像素或子像素关联到连接所述像素或子像素的源图像像素或子像素以便在目标图像与源图像之间形成密集的运动场。
相应地，本发明还涉及从源图像与目标图像间运动场开始使目标图像与源图像之间的运动场致密装置，其特征在于，该装置包括●源图像像素或子像素与目标图像像素或子像素之间的连接确定装置。
●对于连接到源图像一个像素或子像素的目标图像的每个像素或子像素，可确定像素或子像素的一个关联空间的装置，该关联空间包含目标图像的至少一个像素和/或子像素。
●一种关联装置可使含在关联空间内的每个像素或子像素关联到连接所述像素或子像素的源图像像素或子像素以便在目标图像与源图像之间形成一种密集运动场。
因此，目标图像的所有像素或子像素都关联到源图像的一个像素或子像素，运动场因此完全是反转显像的并且当用户解码器处再现图像时不会引起人为干扰现象。此外，目标图象与源图像之间的运动场致密特别适合于当包含在视频图像序列图像中的目标处在遮光中翻转运动的状态时。
根据本发明的另一观点，确定关联空间，与此同时要按照连接到源图像像素或子像素的邻近像素或子像素的一些像素或子像素来确定目标图像中的工作空间，该源图像像素或子像素连接到工作空间所关联的像素或子像素，同时还要在已确定的工作空间中确定关联空间，从工作空间所关联的像素或子像素开始，也从连接到源图像像素一些邻近像素或子像素的那些像素或子像素开始，此源图像像素连接到工作空间所关联的像素或子像素。
因此，就有可能快速而有效地限定目标图像的像素或子像素，这些像素或子像素未连接到被连接的像素或子像素附近。
根据本发明的另一个观点，人们确定关联空间，与此同时要在工作空间所关联的像素或子像素及连接源图像像素或子像素邻近像素或子像素的那些像素或子像素中确定那些可根据其在目标图像中的坐标限定工作空间的像素或子像素，该源图像像素或子像素连接到工作空间所关联的像素或子像素，同时也要根据工作空间所关联的像素或子像素坐标以及可使工作空间所关联的像素或子像素与限定工作空间的像素或子像素分开的间隔来确定关联空间。
这样，就快速地实现了运动场的致密，与此同时还可以允许视频图像序列编码和/或解码的高质量运动场致密。
根据本发明的另一观点，那些可使工作空间所关联的像素或子像素与限定工作空间的像素或子像素分开的间隔都利用二分之一阶的系数加权。
这样，就能够控制关联空间的致密率和/或覆盖率并因此减少了视频图像序列解码时的模糊现象。二分之一阶的系数值可以得到在运动场完全致密与关联空间最小覆盖之间的最佳折衷。
本发明还涉及视频图像序列编码器的运动补偿时间滤波装置，其特征在于，它包括本发明运动场致密装置。
本发明也涉及视频图像序列解码器运动补偿反向时间滤波装置，其特征在于，它包括本发明的运动场致密装置。
本发明还涉及一种信号，它包含利用离散子波分解运动补偿时间滤波所编码的视频图像序列，该信号包含高、低频图像，低频图像是在从目标图像与源图像间的运动场开始，使源图像组中一个源图像与目标图像组中一个目标图像之间进行致密的同时而得到的，其中实现致密的同时要确定源图像像素或子像素与目标图像像素或子像素之间的连接，同时还要对连接到源图像像素或子像素的目标图像的每个像素或子像素，而确定像素或子像素的关联空间，其中包含目标图像的至少一个像素和/或子像素并且要同时使连接所述像素或子像素的源图像像素或子像素关联到包含在关联空间内的每个像素或子像素以便在目标图像与源图像之间形成密集运动场。
本发明还涉及一种信号传输方法，该信号包含利用离散子波分解进行运动补偿的时间滤波所编码的视频图像序列，信号包含高、低频图像，低频图像的取得要同时对源图像组的一个源图像与目标图像组的一个目标图像之间的运动场进行致密，从目标图像与源图像之间的运动场开始，并且其中实现致密的同时要确定源图像像素或子像素与目标图像像素或子像素之间的连接，同时还要对连接到源图像像素或子像素的目标图像的每个像素或子像素来确定像素或子像素的关联空间，其中包含目标图像的至少一个像素和/或子像素并且要同时使连接所述像素或子像素的源图像像素或子像素关联到包含在关联空间内的每个像素以便在目标图像与源图像之间形成密集运动场。
本发明还涉及一种信号的储存方法，此信号包含利用离散子波分解进行运动补偿的时间滤波所编码的视频图像序列，信号包括高、低频图像，低频图像是在从目标图像与源图像间的运动场开始，使源图像组中一个源图像与目标图像组中一个目标图像之间进行致密的同时而得到的，其中实现致密的同时要确定源图像像素或子像素与目标图像像素或子像素之间的连接，同时还要对连接到源图像像素或子像素的目标图像的每个像素或子像素来确定像素或子像素的关联空间，其中包含目标图像的至少一个像素和/或子像素并且要同时使连接所述像素或子像素的源图像像素或子像素关联到包含在关联空间内的每个像素或子像素以便在目标图像与源图像之间形成密集运动场。
编码方法，解码方法，编码装置，解码装置，传输或存储到存储设备上的含有视频图像序列的信号等，它们的优点都与运动场致密的方法及装置的优点相同。将不再回顾了。
本发明还涉及存储在信息载体上的计算机程序，所述计算机程序包括一些指令，当由信息系统加载和执行时，可以实施前述方法。
上面所提到的本发明特征，以及其它特征可在阅读了后面对实施例的说明时更清楚地显示出来，所述说明联系了几个附图，其中有附
图1表示采用本发明对应性的运动补偿时间滤波视频编码器的方框示意图；附图2表示了在子波分解中使用Haar滤波器时，采用本发明对应性的附图1中视频编码器的运动补偿时间滤波模块组件方框示意图；附图3表示能够执行本发明对应性算法的信息和/或通信装置方框示意图；附图4表示由信息和/或通信装置处理器执行的本发明对应性算法；附图5表示目标片段像素及子像素与源片段像素或子像素相对应性的简化实施例；附图6表示附图5中目标片段的其它像素及子像素与源片段像素或子像素的相对应性简化实施例；附图7表示目标图像像素及子像素与源图像像素或子像素相对应的实例；附图8表示利用本发明相对应性的运动补偿时间滤波视频解码器的方框示意图；附图9表示了在子波分解中使用Haar滤波器时，可利用本发明相对应性的附图8视频解码器的运动补偿反向时间滤波模块组件的方框示意图。
附图1表示采用本发明对应性运动补偿时间滤波视频编吗器的方框示意图。
运动补偿时间滤波视频编码器10可使视频图像序列15编码为分级数据流18。分级数据流是这样一种数据流，其中数据的安排要使得其能够传输按图像分辨率和/或质量根据接收数据的应用类型而变化的再现。包含在该分级数据流中的数据进行编码以便保证以既按质量又按分辨率的分级方式或按英文术语“scalable”方式传输视频图像序列而且这还不需要进行视频图像序列的不同编码。因此有可能不在存储设备上存储和/或只向通信终端传输一部分分级数据流18，这是当通信网信息流量较低和/或当通信终端不需要高质量和/或高分辨率时的情况。也有可能在存储设备上存储和/或传输全部的分级数据流18到通信终端，这是当通信网的信息流较大以及当通信终端要求高质量和/或高分辩率时的情况，而这都是从同一分级数据流18开始的。
运动补偿时间滤波的视频编码器10包括一个运动补偿时间滤波模块组件100。运动补偿时间滤波模块组件100将一组N个图像变换成两组图像，例如一组[N+1]/2个低频图像及一组N/2个高频图像并且变换这些图像，从运动估算开始，这种估算是由运动补偿时间滤波视频编码器10的运动估算模块11所进行的。运动估算模块11实现了在标为x2[m，n]的每个偶数图像与标为x1[m，n]的先前奇数图像之间的运动估算，甚至可能估算图像序列随后的奇数图像对。运动补偿时间滤波模块组件100运动式补偿了偶数图像x2[m，n]以便使时间滤波尽可能有效。实际上，图像预测与图像之间的差越小，它就越能进行有效压缩，也就是说具有更好的信息流/失真折衷或者等效地具有关于再现质量的良好压缩比率。
运动估算模块11对于每个偶数及奇数图像像对进行计算，例如非限制性地采用从一个奇数图像向一个偶数图像的信息组对应性。这种技术是公知的，其英文术语为“block matching”。当然，可使用一些其它技术，例如网络筛分运动估算技术。因此，源图像的一些像素的对应性是利用奇数图像像素实现的。在利用信息组估算的特定情况下，信息组的运动值可用到奇数图像信息组的每个像素及每个子像素。换种说法，信息组的加权运动矢量以及邻近信息组的加权运动矢量都根据称为OBMC(Overlapped Block Motion Compensation)的公知技术被用到信息组的每个像素。
运动补偿时间滤波模块组件100进行已补偿图像的离散子波分解以便使视频图像序列分解成几个按单一或多种分辩率水平分布的子波段。只要所希望的分解水平没有达到，离散子波分解就被自动循环地应用到时间子波段的低频子波段上。运动补偿时间滤波视频编码器10的判定模块12可确定是否所希望的分解水平已达到或未达到。
由运动补偿时间滤波模块组件100所得到的不同子波段都转储到分级信息流的发生模块13。运动估算模块11使运动估算转储到分级信息流的发生模块13，它又利用不同的子波段以及运动估算而组成了分级数据流18。
附图2表示附图1视频编码器的运动补偿时间滤波模块的方框示意图，其在子波分解中使用Haar滤波器时，可利用本发明的对应性。
运动补偿时间滤波模块组件100按照术语为“lifting”公知技术进行时间滤波。该技术可以进行单一滤波、挠性滤波以及等效于子波滤波的完全可逆的滤波。
偶数源图像x2[m，n]是利用上采样(Sur-échant)模块110上采样的，与此同时例如要进行离散子波变换合成或SDWT或者利用双线性插值法，双三次插值法或利用基点正弦法。因此，标为x2[m，n]的图像由上采样模块110变换成例如具有四分之一像素分辩率的图像x’2[m’，n’]。
对于由模块110至114构成的运动补偿时间滤波模块组件部分来说，源图像就成了偶数图像x2[m，n]。
运动补偿时间滤波模块组件100还包括一个初始运动连接模块121。初始运动连接模块121形成图像x’1[m”，n”]其中包含至少比图像x1[m，n]多四倍以上的像素。图像x’1[m”，n”]是利用x1[m，n]插值法或利用任何其它方法形成的并且使图像x’1[m”，n”]的每个像素或子像素都关联了例如含有这些像素的运动估算模块11所估算的信息组运动矢量。对于由模块110至114构成的运动补偿时间滤波模块组件100的部分来说，目标图像就是奇数图像x1[m，n]。
在此我们可把图像x’2[m’，n’]的像素理解为具有与图像x2[m，n]像素相同位置图像x2’[m’，n’]的像素。这里我们把图像x2’[m’，n’]的子像理解为已由DWT合成法和/或插值法产生的图像x’2[m’，n’]像素。这里我们把图像x1’[m”，n”]的像素理解为具有与图像x1[m，n]像素相同位置的图像x’1[m”，n”]像素。我们把图像x’1[m”，n”]的子像素理解为已经由DWT合成法和/或插值法形成的图像x1[m”，n”]像素。
运动补偿时间滤波模块组件100包括一个运动场致密模块111。运动场致密模块111，从初始运动连接模块121所建立的连接开始，使至少一个源图像x2’[m’，n’]像素关联到目标图像x’1[m”，n”]的各个像素及子像素。
当所有的关联都已实现时，累加器模块112产生累加图像Xa’[m”，n”]。累加图像Xa’[m”，n”]的各个像素及子像素的值等于与目标图像x1’[m”，n”]中相应像素或子像素相关联的源图像x’2[m’，n’]像素及子像素值的和，这一总和可利用与图像X1’[m”，n”]中对应像素或子像素相关联的源图像x’2[m’，n’]像素及子像素的数除分。这种区段划分可以避免在图像序列解码时所出现的一些人为干扰现象，比如回波超前和/或滞后现象。
在本发明的一种实施变型中，标注为Wconnex的权重被用到各个关联。图像Xa’[m’，n’]各个像素或子像素的更新值按下式计算Maj+(ΣassociationsWconnex*Valsrc)/Wconnex]]>式中Maj是图像Xa’[m”，n”]的像素或子像素值，而Valsrc是与目标图像x1’[m”，n”]像素或子像素相关联的源图像x2’[m’，n’]像素的值。
图像Xa’[m”，n”]随后利用子采样(Sous-échant)模块113滤波和子采样使得该图像的分辩率与图像x1[m，n]相同。经子采样的图像Xa’[m”，n”]然后利用减法器114减去图像x1[m，n]以便形成标注为H[m，n]的图像其中含有高频像素。图像H[m，n]随后在分级数据流发生模块13及合成模块130处加以变换。
对于由模块130至134构成的运动补偿时间滤波模块组件100的部分来说，源图像是图像H[m，n]。
源图像H[m，n]由合成模块130进行上采样，与此同时实现了合成SDWT以便产生图像H’[m’，n’]。合成模块130与合成模块110相同，将不再描述。
运动补偿时间滤波模块组件100还包括一个运动场致密模块131。
运动场致密模块131使利用初始运动连接模块所产生的x1’[m”，n”]与x2’[m”，n”]之间的连接反转以便将它们应用到源图像H’[m’，n’]与目标图像x2[m，n]之间。对于由模块130至134构成的运动裣时间滤波模块组件100的部分来说，目标图像是图像x2[m，n]或图像x2’[m”，n”]。
运动场致密模块131从初始运动连接模块121所建立的连接开始使源图像H’[m’，n’]的至少一个像素或子像素与目标图像x2’[m”，n”]的各个像素及子像素关联。该关联将参照附图4更详细的加以描述。
当所有关联都完成时，累加器模块133产生一种累加图像Xb’[m”，n”]。累加图像Xb’[m”，n”]与目标图像x2’[m”，n”]的尺寸细度相同并且其各个像素及子像素的值等于与图像x2’[m”，n”]中对应像素或子像素相关联的源图像H’[m’，n’]像素和子像素值的和，这个总和用关联到源图像H’[m’，n’]中对应像素或子像素的像素及子像素的数除分。这种除分可以避免人为干扰现象，比如当解码图像序列时所出现的回波超前和/或迟后的效应。
图像Xb’[m”，n”]随后由子采样模块133滤波和子采样，使得该图像的分辩率与图像x2[m，n]相同。子采样后的图像Xb’[m”，n”]接着利用加法器134叠加图像x2(m，n)的一半以便形成标注为L[m，n]的图像，其包含低频像素。之后，图像L[m，n]转储到判定模块12。
图像L[m，n]随后当达到了所希望的分辩率水平时就从运动补偿时间滤波视频编码器的判定模块12向分级数据流发生模块13转移，或者该图像对于一次新分解来说要由运动补偿时间滤波模块100进行再处理。当一次新分解已完成时，图像L[m，n]由运动补偿时间滤波模块100按前面所述相同的方式进行处理。
因此，运动补偿时间滤波模块组件100，例如当使用Haar滤波器时，就形成如下形式的高频及低频图像H[m，n]＝x1[m，n]-(W2-＞1x2[m，n]L[m，n]＝(x2[m，n]+1/2(W1-＞2H[m，n])其中Wi-j表示图像i对图像j的运动补偿。
附图3描述了一个信息和/或通信装置的方框示意图，它能够执行本发明的对应性算法。
该信息和/或通信装置30适合于利用软设备对图像序列进行运动补偿时间滤波。装置30也能执行本发明的对应性算法。
例如装置30是微处理机。它也可集成到视频图像序列可视性设备中比如电视机或任何其它可在接收终端目的地产生整全信息的装置比如电视机、移动电话......
装置30包括一个通信总线，与其连接的有中央处理机300，只读存储器302，随机存储器303，荧光屏304，控制盘305，硬盘308，数字式视频盘的读出器/记录器或DVD309，与通信网相联的接口306。
硬盘308存储有可实施本发明的程序，以及存储有可以进行本发明编码和/或解码的数据。
更一般而言，本发明的程序都存储在存储设备中。该存储设备可用计算机或微处理器300读出。该存储设备集成或非集成到装置中，并且是可拆卸的。
当装置30接通电源时，本发明的程序都转储到随机存储器303中，它包含本发明的执行代码以及实施本发明所必需的数据。
附图4表示了信息和/或通信装置处理器所执行的本发明的对应性算法。
附图5和6将从附图4算法的该说明中以对比方式加以描述。为了便于理解，该算法是在目标分段像素及子像素与源分段像素或子像素对应性的范围内加以描述的。当然，该算法也可应用到目标图像像素及子像素与源图像像素或子像素的对应性方面。
在步骤E400，得到了源图像及目标图像。这些图像都是在对应性范围内，由附图1视频编码器的运动补偿时间滤波模块组件100而得到的，是源图像H’[m’，n’]及目标图像x’2[m”，n”]。
在下一个步骤E401，得到了源图像与目标图像之间的运动场并且在步骤E402实现了在源图像与目标图像之间该运动场的投影。这种投影用附图5及6的源图像与目标图像间的箭头象征性地表示出来了。
步骤E403形成了例如由附图2中致密模块131所实现的运动场致密过程的开始。
在该步骤，源图像像素或子像素可应用附图5和6中箭头所表征的运动场矢量投影到其上面的那些目标图像像素或子像素都已连接到源图像的像素或子像素。这样，根据附图5和6的实施例，目标图像像素或子像素B，C’，E，F都分别连接到源图像像素或子像素X11，X12，X111及X121。要指出的是，像素或子像素C’和E的连接是交叉的。这是由于在该图像部分中的翻转运动造成的。目标图像像素或子像素B”及F”分别连接到源图像像素或子像素X11和X121，同时还实现了通常的边缘对称。
附图5和6的像素A，B，C，D，E，F和G是目标图像像素。像素A’，B’，C’，D’，E’，和F’是目标图像子像素。
在步骤E404，对源图像像素和/或对源图像子像素的迭代是初始化的并且考虑了源图像的最初像素或子像素，标注为Ps的该像素或子像素是附图5的源图像像素X11。
在下一个步骤E405，确定了连接到像素或子像素Ps的标为Pd的目标图像像素或子像素。像素或子像素Pd在附图5中是像素B。
在下一个步骤E406，像素或子像素Ps的邻近像素或子像素Ps1及Ps2被确定了。按照我们的实施例，处于分段边沿的像素或子像素Ps只有唯一的邻近像素，就是像素Ps2X111。在此情况下，邻近像素Ps1是像素Ps。
在下一步骤E407，确定了连接像素Ps1及Ps2的目标图像像素或子像素。这就是像素E和子像素B”它们是利用可使X11连接目标图像像素或子像素的矢量投射对称而得到的。这些像素或子像素标为Pd1和Pd2。
在步骤E408，确定了由像素Pd1，Pd及Pd2构成的整全信息中标为Pbas的低像素或子像素以及标为Phaut的高像素或子像素。根据附图5，Phaut像素是子像素B”而Pbas像素是像素E。包括在Phout像素或子像素与Pbas像素或子像素之间的图像部分那时被看作是工作空间。
在步骤E409，确定了大量像素或子像素的间隔，这可以分别隔开像素或子像素Pd与像素或子像素Pbas及Phaut。隔开Phaut与Pd的间隔标为Dhaut，隔开Pbas与Pd的间隔标为Dbas。
在下一个步骤E410，从步骤E408所确定的工作空间开始限定关联空间的下边界。标注为Fcb的下边界等于由系数k加权的Dbas间隔的像素或子像素Pd的低估位置。
在下一个步骤E411，限定了关联空间的上边界。标注为Fch的上边界等于由系数k加权的Dhaut间隔所增加的Pd像素或子像素的位置。
根据一种优选的实施方式，系数k等于常数1/2。在一种实施变型中，系数k等于另一个正数常数。
在步骤E412时，确定了附图5中标注为Fen的由Fcb和Fch边界所限定的关联空间。
在下一个步骤E413，确定了包含在关联空间Fen中的目标图像像素和子像素。根据附图5的实施例，像素和子像素A，A’，B，B’C和C’都包含在关联空间Fen中。
在下一个步骤E414，使连接到像素或子像素Pd的源图像像素或子像素关联到包含在关联空间中的每个像素和子像素。因此，根据附图5的实施例，像素或子像素A，A’，B，B’，C和C’都关联到像素或子像素X11。
完成关联后，在步骤E415核对是否源图像的所有像素和/或子像素都已被处理了。肯定了，该算法就停止。否定了，算法就进行到下一步骤E416，主要是选取源图像接续的像素或子像素。根据附图5的实施例，后面接续的像素或子像素是标注为X111的像素或子像素。
只要源图像的所有像素或子像素未被全部处理，由E405至E415形成的循环步骤就反复进行。
因此，正如附图6所指出的那样，连接到X111的像素或子像素Pd是像素E，X111的邻近像素或子像素分别是连接到B和C’的X11和X12。被确定的像素Pbas是像素Pd2E而像素或子像素Phaut是子像素Pd1E，间隔Dbas为零因为E同时是连接X111的像素和Pbas像素，间隔Dhaut等于六个子像素。因此，在k等于1/2的情况下，关联空间FenE包含在像素E与E以上的三个子像素之间。在那种情况下，像素和子像素C’，D，D’及E都关联到子像素X111。
关于像素X12，连接X12的像素Pd是子像素C’，X12的邻近像素或子像素分别是连接E和F的X111和X121。已确定的像素Pbas是像素Pd2C’并且像素Phaut是子像素Pd1C’，间隔Dhaut是零因为C’同时是连接X12的子像素和Phaut子像素，间隔Dbas等于5个子像素。因此在k等于1/2的情况下，关联空间FenC’包含在子像素C’与C’以下两个半子像素之间。像素和子像素C’，D和D’那时都关联到像素X12。
关于像素或子像素X121，源图像的最后像素或子像素，连接X121的像素Pd是像素F，X121的邻近像素或子像素是连接C’的X12，像素F”是利用可使X121连接F的运动矢量对称法得到的。
已确定的像素Pbas是像素Pd2E并且像素Phaut是像素或子像素Pd1F，间隔Dhaut等于5个子像素，而间隔Dbas等于4个子像素。因此，关联空间FenF在k等于1/2的情况下，被包含在像素G与F之上两个半子像素之间。像素和子像素E，E’，F，F’，和G那时关联到像素或子像素X121。
这样，目标图像的所有像素和子像素都关联到源图像的至少一个个素或子像素。因此运动场就完全变成反转显象的了并且还同时考虑到了部分图像的可能翻转。
附图7表示目标图像像素和子像素与源图像像素的对应性实施例。
附图7表示在二维情况下附图4中算法的一种应用。源图像像素xs连接到目标图像像素xd并且邻近的像素或子像素xs1，xs2，xs3，xs4，xs5，xs6，xs7和xs8都连接到像素或子像素xd1，xd2，xd3，xd4，xd5，xd6，xd7和xd8。确定了一个工作空间它包括一些邻近点，同时选取连接邻近点像素或子像素的横坐标及纵坐标的最大值和最小值。也以位似方式确定了一个关联空间，如附图4中先前所描述的那样，中心点xs是位似中心。总之，以参照附图4所描述的相同方式，包含在关联空间中的所有像素或子像素都关联到源像素xs。
本发明在使用Haar滤波器的范围内作了介绍。其它一些滤波器，比如称为滤波器5/3或滤波器9/7的公知滤波器也被用在了本发明中。这些滤波器使用了更多数量的源图像以便预测目标图像。
通常，视频编码器的运动补偿时间滤波模块组件的模块110至114都是预测目标图像的模块，而视频编码器的运动补偿时间滤波模块组件的模块130至134都是更新目标图像用的模块。
如本发明中所描述的编码装置按照前面所介绍的那样，为每个由源图像和目标图像构成的像对形成一个累加图像。各个累加图像都考虑用于预测和/或更新目标图像。
如此形成的累加图像接着在进行与提升滤波系数相关的可能加权之后，被加到目标图像或从中减去。
附图8表示采用了本发明对应性的运动补偿时间滤波视频解码器的方框示意图。
运动补偿时间滤波视频解码器60能够使分级数据流解码成视频图像序列65，包含在该分级数据流中的数据利用如附图1中所描述的编码器编码。
运动补偿时间滤波视频解码器60包括数据流18的分析模块68。分析模块68分析数据流18并且从中抽取各个分解水平的每个高频图像如同包含较低分解水平低频像素的图像一样。分析模块68使包含高频像素66及低频像素67的图像转储到反向运动补偿时间滤波模块600。分析模块68也从数据流18抽取附图1中编码器10所进行的不同的运动场估算并且把它们转储到运动场存储模块61。
反向运动补偿时间滤波模块组件600重复地变换高频图像和低频图像以便形成对应于高分解水平低频图像的偶数图像和奇数图像。反向运动补偿时间滤波模块600利用存诸在模块61中的运动补偿形成视频图像序列及高、低频图像。这些运动估算是按照本发明编码器10所编码的视频图像序列在各个偶数图像与奇数图像之间的估算。
反向运动补偿时间滤波模块组件600进行图像L[m，n]与H[m，n]的离散子波合成以便形成视频图像序列。离散子波合成，只要未达到所希望的分解水平，就自动循环地应用到时间子波段低频图像上。反向运动补偿时间滤波视频解码器600的判定模块62确定是否已达到所希望的分解水平或没有达到。
附图9表示附图8视频解码器的运动补偿反向时间滤波模块的方框示意图，在子波分解中使用Haar滤波器时，采用了本发明的对应性。
反向运动补偿时间滤波模块600根据“lifting”技术进行时间滤波以便重新构成由本发明编码器编码的视频图像序列的不同图像。
图像H[m，n]或源图像利用上采样模块610进行上采样以便形成图像H’[m’，n’]运动补偿时间滤波模块组件100还包括一个初始运动连接模块621，与附图2的初始运动连接模块121相同，不再描述了。
反向运动补偿时间滤波模块组件600包括一个反向运动场致密模块612。反向运动场致密模块612与附图2的运动场致密模块132相同，不再描述了。
反向运动补偿时间滤波模块组件600还包括一个累加模块613它与附图2的累加模块133相同，将不再描述了。累加模块613生成累加图像X b’[m”，n”]。
反向运动补偿时间滤波模块组件600包括一个子采样模块614它与子采样模块133相同，不再另行描述。
反向运动补偿时间滤波模块组件600包括一个加法器616，可从图像L[m，n]中减去已滤波并经子采样的图像Xb’[m”，n”]以便形成标注为x2[m，n]的偶数图像。
图像x2[m，n]或源图像利用上采样模块630进行上采样以便形成图像x2’[m’，n’]。合成模块630与附图9的上采样模块610相同，不再描述了。
反向运动补偿时间滤波模块组件600包括一个运动场致密模块632。运动场致密模块632与附图2的运动场致密模块111相同，就不再描述了。
反向运动补偿时间滤波模块组件600包括一个累加模块633它与附图2的累加模块112相同，不再描述了。累加模块633产生累加图像Xa’[m”，n”]。
反向运动补偿时间滤波模块组件600包括一个子采样模块635，它与子采样模块614相同，不再描述。反向运动补偿时间滤波模块组件600包括一个加法器636它使经滤波和子采样的图像Xa’[m”，n”]加到图像H[m，n]形成了标注为x1[m，n]的奇数图像。该奇数图像被转储到判定模块62。图像x1[m，n]和x2[m，n]根据所希望的分解水平隔行交错以便产生一种与相同分解水平图像H[m，n]一起或不一起重新引入的图像L[m，n]，它是在反向运动补偿时间滤波模块组件600中分级数据流18内读出的。
本发明的运动场致密方法及装置除了前面所述之外，可在一些领域中找到多种应用。
例如，并且是非限制性的，本发明的致密方法及装置也应用到视频图像序列编码器范围内，比如编码器及解码器MPEG4或者一些使用运动补偿预测模式的编码器。在这些编码器中，双定向图像通常是从预解码或内解码视频图像序列的先前图像预测的。在该范围内使用致密方法及装置可以简单地在视频图像序列的所有图像之间配置正向和反向运动场。
本发明致密方法及装置的另一个应用实例是在以表面形式表示的目标合成示意图范围内的再现领域，其中再现必需投影到图像平面上或者表现为一个出自弯曲面的多边形。这种再现是根据本发明进行的，同时考虑了利用处于多边形节点上大小可变的交叉点而再现，交叉点是在三维空间中的球面，它表示一个用于限定体积或面积的球体。根据本发明、交叉点的尺寸大小是由关联空间的大小限定的。
当然，本发明绝不限制在这里所述的实施方式，而正相反，它包括了专业技术人员所涉及范围的各种变型。
权利要求
1.从源图像与目标图像间的运动场开始而使目标图像与源图像之间运动场致密的方法，其特征在于，该方法包括以下步骤确定在源图像像素或子像素与目标图像像素或子像素之间的连接，对于连接到源图像像素或子像素的目标图像的每个像素或子像素，确定包含至少一个目标图像像素或子像素的像素或子像素关联空间，使包含在关联空间内的每个像素或子像素关联到已连接所述像素或子像素的源图像像素，以便在目标图像与源图像之间形成密集运动场。
2.根据权利要求1所述的方法，其特征在于，关联空间的确定可分成如下步骤按照连接到源图像像素或子像素一些邻近像素或子像素的像素或子像素，确定目标图像中的工作空间，源图像像素或子像素已连接到工作空间所关联的像素或子像素，基于已经确定的工作空间开始、基于工作空间所关联的像素或子像素以及基于连接到源图像像素或子像素邻近像素或子像素的像素或子像素来确定所述的关联空间，其中的源图像像素或子像素与工作空间所关联的像素或子像素相连接。
3.根据权利要求2所述的方法，其特征在于，关联空间的确定分成以下步骤在工作空间所关联的像素或子像素与连接到源图像像素或子像素邻近像素的像素或子像素之间，确定可按照其在目标图像中的坐标来限定工作空间的那些像素或子像素，源图像像素或子像素连接到工作空间所关联的像素或子像素，基于工作空间所关联的像素或子像素坐标以及基于可使工作空间所关联的像素或子像素与限定工作空间的像素或子像素分隔开的间隔来确定所述关联空间。
4.根据权利要求3所述的方法，其特征在于，可使工作空间所关联的像素或子像素与可限定工作空间的像素或子像素分隔开的间隔都用二分之一阶的系数加权。
5.从源图像与目标图像间的运动场开始，使目标图像与源图像之间的运动场致密装置，其特征在于，该装置包括装置，用于确定源图像像素或子像素与目标图像像素或子像素之间连接，装置，用于对于连接源图像一个像素或子像素的目标图像的每个像素或子像素来确定像素或子像素关联空间，所述关联空间包含目标图像的至少一个像素或子像素，装置，使包含在关联空间中的各个像素或子像素与连接所述像素或子像素的源图像像素或子像素相关联，以在目标图像与源图像之间形成密集运动场。
6.根据权利要求5所述的装置，其特征在于，确定关联空间的装置包括装置，用于按照连接源图像像素或子像素一些邻近像素或子像素的像素或子像素来确定目标图像中工作空间，源图像像素或子像素连接工作空间所关联的像素或子像素，装置，用于基于工作空间关联的像素或子像素以及基于连接到源图像像素或子像素邻近像素或子像素的那些像素或子像素，从已经确定的工作空间确定关联空间，其中的源图像像素或子像素与工作空间所关联的像素或子像素连接。
7.根据权利要求6所述的装置，其特征在于，确定关联空间的装置包括装置，用于在工作空间所关联的像素或子像素与连接源图像像素邻近像素或子像素的那些像素或子像素之间，确定像素或子像素，这些像素或子像素可按照其在目标图像中的坐标限定工作空间，源图像像素连接到工作空间所关联的像素或子像素，装置，用于基于工作空间所关联的像素或子像素坐标以及基于可使工作空间所关联的像素或子像素与限定工作空间的像素或子像素分隔开的间隔来确定关联空间。
8.根据权利要求7所述的装置，其特征在于，可使工作空间所关联的像素或子像素与限定工作空间的像素或子像素分隔开的那些间隔都用二分之一阶的系数加权。
9.视频图像序列编码器的运动补偿时间滤波装置，其特征在于，该装置包括一个根据权利要求5至8之一所述的运动场致密装置。
10.视频图像序列解码器的运动补偿时间滤波装置，其特征在于，该装置包括一个根据权利要求5至8之一所述的运动场致密装置。
11.存储在信息载体上的计算机程序，当它被信息系统加载并运行时，所述包含指令的程序可以实施根据权利要求1至4之一所述的方法。
12.一种信号，所述信号包含利用离散子波分解进行运动补偿时间滤波所编码的视频图像序列，该信号包括高频和低频图像，低频图像的取得要同时对源图像组中源图像与目标图像组中目标图像之间的运动场致密，从目标图像与源图像之间的运动场开始，其中，进行致密的同时要确定源图像像素或子像素与目标图像像素或子像素之间的连接，同时要对连接到源图像像素或子像素的目标图像各个像素或子像素确定一个包含目标图像像素和/或子像素的像素或子像关联空间，还要同时使连接所述像素或子像素的源图像像素或子像素关联到包含在关联空间中的各个像素或子像素以便形成目标图像与源图像间的密集运动场。
13.包含利用离散子波分解进行运动补偿时间滤波所编码的视频图像序列的信号传输方法，该信号包含高频图像和低频图像，低频图像的取得要同时对源图像组中源图像与目标图像组中目标图像之间的运动场致密，从目标图像与源图像之间的运动场开始，其中，进行致密的同时要确定源图像像素或子像素与目标图像像素或子像素之间的连接，同时要对连接到源图像像素或子像素的目标图像各个像素或子像素确定一个包含目标图像像素和/或子像素的像素或子像素关联空间，还要同时使连接所述像素或子像素的源图像像素或子像素关联到包含在关联空间中的各个像素或子像素，以便形成目标图像与源图像之间的密集运动场。
14.含有利用离散子波分解进行运动补偿时间滤波所编码的视步图像序列的信号存储方法，该信号包含高频图像和低频图像，低频图像的取得要同时使源图像组中源图像与目标图像组中目标图像之间的运动场致密，从目标图像与源图像之间的运动场开始，其中，进行致密的同时要确定源图像像素或子像素与目标图像像素或子像素之间的连接，同时要对连接到源图像像素或子像素的目标图像各个像素或子像素确定一个包含目标图像像素和/或子像素的像素或子像素关联空间，还要同时使连接所述像素或子像素的源图像像素或子像素关联到包含在关联空间中的各个像素或子像素，以便形成目标图像与源图像之间的密集运动场。
全文摘要
本发明涉及从源图像与目标图像间运动场开始的目标图像与源图像之间运动场的致密方法及装置，其中主要是确定源图像像素或子像素(X11，X111，X12，X121)与目标图像像素或子像素(B，C’，E，F)之间的连接，对于连接到源图像像素或子像素的目标图像的每个像素或子像素，要确定一个像素或子像素的关联空间(Fen)至少包含目标图像的一个像素或子像素并且使包含在关联空间(A，A’，B，B’，C，C’)中的各个像素或子像素与连接到所述像素或子像的源图像像素(X11)相关联以便在目标图像与源图像之间形成一种密集的运动场。
文档编号H04N7/26GK101053257SQ200580023655
公开日2007年10月10日 申请日期2005年6月28日 优先权日2004年7月13日
发明者S·帕托伊克斯, S·克瓦德克, I·阿默诺 申请人:法国电讯公司