专利名称：在数据帧中进行扫描的方法和设备的制作方法
技术领域：
本发明涉及一种扫描视频帧中的像素的设备和方法。
本发明可应用于图像或视频处理领域，更具体地，可应用于运动估计领域。
背景技术：
许多图像处理算法采用了空时递归，或者消除等式系统中的任何含糊，或者提高收敛速度，或者甚至收敛起来非常简单。例如，通过考虑从直接空间相邻性(与视频中的当前像素相邻的像素)来计算与当前像素相关的结果所推导出的结果(时间预测子的概念)，或者甚至考虑在先前图像其间计算出的结果(时间预测子的概念)，来反映这一点。
在视频处理的情况下，当接收到其时，正常处理在后一种情况下的结果，即，在图像中从左到右、逐行和从顶部到底部。
在题为“Method and device for estimating motion in asequence of animated images”的代表人为Thomson ConsumerElectronics公司于1989年9月22日递交的欧洲专利0360698示出了一种在同一帧中的行中进行交替扫描的方法。这样的方法主要应用于空间递归，并且为了最佳运算，需要对当前计算行的至少一个空间预测子。
发明内容
本发明提出了使扫描方向从一帧交替到下一帧。反转帧扫描作用于时间递归，于是，时间预测子与空间预测子直接“相位相反”，因为它们均是从相反的扫描中推导出的。
为此，本发明提出了一种扫描在表现出时间递归的一系列图像中的像素的方法。根据本发明，从一个帧到下一帧对同一行中的像素的扫描次序进行反转。
优选地，从一个帧到下一帧对行的扫描次序进行反转。
根据第二方案，本发明还涉及一种估计当前帧相对于参考帧的运动的方法，针对图像中的每一个像素，包括以下步骤-估计空间预测子(predictor)；-估计时间预测子；根据本发明，从一个帧到下一帧对同一行的像素的扫描次序进行反转，从而按照相反方向获得从扫描中推导出的空间和时间预测子。
根据优选实施例，针对每一个像素，计算三个空间预测子和一个时间预测子。
根据第三方案，本发明还涉及一种扫描在表现出时间递归的一系列图像中的像素的设备。根据本发明，从一个帧到下一帧对同一行中的像素的扫描次序进行反转。
根据第四方案，本发明还涉及一种估计当前帧相对于参考帧的运动的设备，包括-针对图像中的每一个像素估计空间预测子的装置；-针对图像中的每一个像素估计时间预测子的装置。
根据本发明，扫描这些像素的次序符合权利要求1或2所述的方法，从而按照相反方向获得从扫描中推导出的空间和时间预测子。
参考附图，通过非限定性的典型实施例和优选实现，本发明将得到更好地理解和展示，其中图1示出了根据本发明优选实施例的设备；图2示出了在不同帧中的扫描方向的第一示例；图3示出了在不同帧中的扫描方向的第二示例；图4a示出了在图2和3的扫描模式中所使用的偶数帧的空间和时间预测子；
图4b示出了在图2的扫描模式中所使用的奇数帧的空间和时间预测子；以及图4c示出了在图3的扫描模式中所使用的奇数帧的空间和时间预测子。
具体实施例方式
以下描述基于运动估计应用。当然，可以考虑其他图像处理操作，并且将其包括在本发明的环境内。在其他典型实施例中，能够设想滤波、加权等。
在存储信号之前，由格式化装置4来接收非交织的视频信号Vin。这些装置4被设计为对输入视频信号执行处理操作，例如滤波、提取和对亮度或色度分量的计算。
设置了存储器3来存储在装置4的输出处的转换后的视频信号。
优选地，存储器3是快速存取SDRAM或DDRAM型存储器。存储器3具有足够的容量来存储大量视频帧。
存储器3与具有小于存储器3的容量的内部存储器2相连，并且该内部存储器2用于存储至少一行当前数据帧和一行先前数据帧。优选地，该存储器2以内部寄存器的形式来实现。其存储了当前像素所位于的行、以及计算离当前点的DFD(移位帧差值)所需的行数。由于按左-右的方向来接收视频，当从右到左来进行针对运动矢量计算的像素扫描时，将该行存储在存储器2中，以便后来在空间预测子计算中使用。
存储器2还接收从先前帧推导出且由时间投影模块5产生的时间信息作为输入。该时间信息包括时间预测子。
模块1针对当前帧的每一个像素计算运动矢量。该模块接收当前行和先前行的当前像素和相邻像素的亮度值、以及时间和空间预测子，作为输入。
帧的扫描方向(也被称为处理方向)如图2所定义。
在视频的输入方向上对偶数帧进行处理，而在另一方向上对奇数帧进行处理，从帧的第一行到帧的最后一行对这些行进行处理。
该视频处理保持从信息的顶部到底部的传播，但是每隔一个图像的扫描方向的反转具有两个效果-时间递归环中的扫描反转，根据相反方向的扫描来获得时间和空间预测子；-空间递归环中的扫描反转，每一个图像对计算方向进行反转。
由于决不得益于传统扫描的左/右传播，这增强了处理的精度水平“平均时间扫描”为零。
递归趋向于在扫描方向上传播运动值。这反映在运动值相对于这些对象的略微空间偏移。每隔一个图像的计算方向的反转限制了水平平均偏移。
对于每一个当前像素，计算出时间预测子和三个空间预测子，如图4a和4b所示。
时间预测子的位置对应于由P1所表示的当前像素的位置。
空间预测子由P2、P3和P4表示。
模块1计算以下功能Res(current_pixel)＝Function(Spacepredictors，Timepredictors)在该运动估计应用中，Res(current_pixel)对应于针对当前像素的运动矢量。
该函数应用于亮度值。
针对每一个当前像素，根据本领域的技术人员已知的方法，计算DFD值，作为梯度值。选择最佳预测子，并根据DFD和该梯度来计算校正项，从而在模块1的输出处产生运动矢量。
时间投影模块5执行对下一帧中的运动矢量的时间投影。将该时间投影传送到存储器2，以便当计算下一帧的像素的运动矢量时使用。
优选地，从一个帧到下一帧对最佳预测子的选择次序进行反转。如果DFD值匹配，则针对偶数帧选择最左侧的预测子，并且针对奇数帧选择最右侧的预测子。这也限制了有利的收敛方向。这还提供了特定计算时间的优点，因为难以访问位于与当前像素相同的行上的空间预测子。
图3示出了也对偶数帧和奇数帧的扫描进行交替的实施例，但是利用了与图2所提出的扫描不同的方式。实际上，在本发明所涵盖的该实施例中，按照在行级别上接收视频的反转方向来对奇数帧进行扫描，并且对这些行的处理以帧的最后一行开始以回复到第一行。
针对该实施例的时间和空间预测子如图4c所述(针对奇数帧)和如图4a所述(针对偶数帧)。
本发明还涵盖了按照视频输入方向的反转方向、或从右到左对偶数帧进行处理、以及从左到右对奇数帧进行处理的实施例。
在其他实施例中，根据应用或视频内容，时间和空间预测子的数量可以是不同的。
在其他实施例中，该视频处理可以应用于视频的颜色分量。
权利要求
1.一种扫描在表现出时间递归的一系列图像中的像素的方法，其特征在于从一个帧到下一帧对同一行中的像素的扫描次序进行反转。
2.根据权利要求1所述的扫描像素的方法，其特征在于从一个帧到下一帧对行的扫描次序进行反转。
3.一种估计当前帧相对于参考帧的运动的方法，针对图像中的每一个像素，包括以下步骤-估计空间预测子；-估计时间预测子；其特征在于像素的扫描次序符合权利要求1或2所述的方法，从而按照相反方向获得从扫描中推导出的空间和时间预测子。
4.根据权利要求3所述的估计运动的方法，其特征在于针对每一个像素，计算三个空间预测子和一个时间预测子。
5.一种扫描在表现出时间递归的一系列图像中的像素的设备，其特征在于从一个帧到下一帧对同一行中的像素的扫描次序进行反转。
6.一种估计当前帧相对于参考帧的运动的设备，包括-针对图像中的每一个像素估计空间预测子的装置；-针对图像中的每一个像素估计时间预测子的装置，其特征在于扫描这些像素的次序符合权利要求1或2所述的方法，从而按照相反方向获得从扫描中推导出的空间和时间预测子。
7.根据权利要求6所述的设备，其特征在于从一个帧到下一帧对行的扫描次序进行反转。
全文摘要
本发明涉及一种扫描在表现出时间递归的一系列图像中的像素的方法和设备。根据本发明，从一个帧到下一帧对同一行中的像素的扫描次序进行反转。本发明可应用于运动估计。
文档编号H04N7/32GK1816152SQ200610006978
公开日2006年8月9日 申请日期2006年1月26日 优先权日2005年2月4日
发明者乔纳森·克维克, 让·伊夫·巴博诺, 迪迪埃·杜瓦扬 申请人:汤姆森许可贸易公司