基于运动补偿残差的时间搜索范围预测的制作方法

专利名称：基于运动补偿残差的时间搜索范围预测的制作方法
技术领域：
以下的描述总的来说涉及数字视频编码，具体地说，涉及一种用于使用时间搜索 范围的一个或多个参考帧的运动估计的技术。
背景技术：
计算机和联网技术从高成本、低性能的数据处理系统到低成本、高性能通信、解决 问题和娱乐系统的演变，提高了在计算机或其它电子设备上数字地存储和传输音频和视频 信号的需求和愿望。例如，计算机用户每天都可以在个人计算机上播放/记录音频和视频。 为了促进该技术，音频/视频信号可以被编码为一个或多个数字格式。个人计算机可以被 用来数字地编码来自诸如摄像机、数码相机、录音机等的音频/视频捕捉设备的信号。附加 地或替换地，设备本身可以编码信号以在数字介质上存储。数字地存储和编码的信号可以 被解码以在计算机或其它电子设备上重放。编码器/解码器可以使用多种格式，包括运动 图像专家组(MPEG)格式(MPEG-l，MPEG-2，MPEG-4等)等来实现数字归档、编辑和重放。附加地，通过使用这些格式，可以经由计算机网络在设备之间传输数字信号。例 如，利用计算机和诸如数字用户线路(DSL)、电缆、T1/T3等高速网络，计算机用户可以在世 界范围内访问和/或流式传输(stream)系统上的数字视频内容。由于用于这样的流式传 输的带宽典型地没有局部访问大并且因为处理功率不断增加而成本越来越低，所以编码器 /解码器通常试图要求在编码/解码步骤期间更多处理，以降低传输信号所需的带宽量。相应地，开发了编码/解码方法，诸如运动估计(ME)，以提供基于先前参考帧的像 素或区域预测，因此降低了应该被传输通过带宽的像素/区域信息的量。典型地，这仅要求 对预测误差(例如，运动补偿的残差(residue))编码。颁布了诸如H. 264的标准，以将时间 搜索范围扩展到多个先前参考帧(例如，多参考帧运动估计(MRFME))。然而，随着在MRFME 中利用的帧的数目增加，其计算复杂度也增加。

发明内容
为了提供对此处描述的一些方面的基本理解，以下给出简要说明。该说明既不是 宽泛的综述也不是旨在标识关键/重要的元素或旨在描绘此处描述的多种方面的范围。其 仅有的目的是以简化的方式呈现一些概念，作为后面呈现的更详细的描述的序言。在可以确定通过使用单个参考帧运动估计(ME)或多参考帧运动估计(MRFME)的 增益，和/或在MRFME中的帧的数目时，提供在视频编码中的可变帧运动估计。在该增益满 足或超过期望的阈值时，可以利用合适的ME或MRFME来预测视频块。该增益确定或计算可 以基于在评价的参考帧之上的运动补偿残差的线性模型。在此，可以平衡利用MRFME的性 能增益与其计算复杂性，以产生通过MRFME估计运动的有效方式。例如，以在时间上在要被评价的视频块之前的第一参考帧开始，如果与该视频块 比较，参考帧的运动补偿残差满足或者超过给定的增益阈值，则与常规的ME相反可以执行 MRFME。如果与先前参考帧比较，后续的参考帧的运动补偿残差满足相同的或另一阈值，则可以执行利用附加参考帧的MRFME，并且一直继续，直到不再按照给定的阈值以MRFME的计 算复杂度调整增加的附加帧的增益为止。为了实现前述和相关的目的，在此结合以下描述和附图描述了一些示例性方面。 这些方面表示可以被实践的各种方式，它们中所有的都旨在被此处覆盖。从以下结合附图 考虑的详细描述中，其它优点和新颖的特征变得明显。


图1示出了估计运动以编码视频的示例性系统的框图。图2示出了测量使用一个或多个参考帧以估计运动的增益的示例性系统的框图。图3示出了计算视频块的运动矢量和确定通过使用一个或多个参考帧以针对视 频块估计运动的增益的示例性系统的框图。图4示出了利用推理(inference)来估计运动和/或编码视频的示例性系统的框 图。图5示出了基于利用一个或多个参考帧的增益来估计运动的示例性流程图。图6示出了比较一个或多个视频块的残差能量以确定时间搜索范围的示例性流 程图。图7示出了基于使用用于运动估计的一个或多个参考帧的计算的增益确定时间 搜索范围的示例性流程图。图8是说明合适的操作环境的示意性框图。图9是示例计算环境的示意性框图。
具体实施例方式针对基于用于运动补偿残差的线性模型的多参考帧运动估计(MRFME)提供有效 的时间搜索范围预测。例如，可以通过利用对于给定的区域、像素或一帧的其它部分的当前 残差来估计在MRFME中搜索更多或更少的参考帧的增益。可以基于该估计来确定时间搜索 范围。因此，对于一帧的给定部分，可以通过MRFME的成本和复杂度来测量使用用于MRFME 的多个先前参考帧的优点。在这点上，可以针对当使用MRFME时具有在给定的阈值之上的 增益的部分利用MRFME。由于MRFME可能是大计算强度的(特别当随着参考帧的数目增加 时)，所以当按照增益阈值是具有优势时可以使用它而胜过常规的ME。在一个示例中，当增益处于或高于阈值时，可以使用MRFME而胜过常规的ME;然 而，在另一示例中，可以针对参考帧的数量基于MRFME的增益计算来调整针对给定部分在 MRFME中使用的参考帧的数目。例如，可以针对给定的部分调整帧的数目以达到计算强度 和精确度或者在编码/解码中的性能的最佳平衡。而且，该增益例如可以涉及MRFME (或在 MRFME中使用的多个参考帧)的平均尖峰信噪比(PSNR)相对于常规的ME的平均尖峰信噪 比(PSNR)，或更短的时间搜索范围(例如，在MRFME中使用的更少数目的参考帧)。现在参考附图描述主题公开的不同方面，其中相似的标号始终表示相似或相应的 元件。然而，应该理解的是，附图及其详细描述不是旨在将要求保护的主题限制到公开的特 定形式。而是，本发明要覆盖落在要求保护的主题的精神和范围之内的所有修改、等价物和 替换。
现在转到附图，图1示出了系统100，该系统促进用于数字编码/解码视频的运动 估计。提供了运动估计组件102和视频编码组件104，运动估计组件102可以使用一个或 多个参考帧来预测视频块，视频编码组件104至少部分地基于所预测的块，将视频编码为 数字格式/从数字格式解码。可以理解的是，块可以是例如像素、像素的集合、或者基本上 视频帧的任意部分。例如，当接收用于编码的帧或块时，运动估计组件102可以评价一个或 多个先前视频块或帧以预测当前的视频块或帧，使得仅需要编码预测误差。视频编码组件 104可以编码该预测误差，以用于后续解码，该预测误差是用于块/帧的运动补偿残差。在 一个示例中，通过使用H. 264编码标准，至少可以部分地实现这点。通过使用H. 264编码标准，可以均衡(leverage)该标准的功能性，同时通过此处 描述的方面提高效率。例如，视频编码组件104可以使用H. 264标准来选择可变的块大小， 用于运动估计组件102的运动估计。可以基于配置设置、一个块大小相对于其它的推断的 性能增益等来执行选择块大小。此外，可以通过运动估计组件102使用H. 264标准来执行 MRFME。此外，运动估计组件102可以计算针对给定的块使用多个参考帧执行MRFME的和/ 或执行常规的(具有一个参考帧)ME的增益来确定运动估计。如所述，随着使用的参考帧 的数目(例如时间搜索范围)增加，MRFME的计算强度可能很大，并且在使用的帧的数目上 的这种增加有时仅提供在预测运动中的小的益处。因此，运动估计组件102可以基于该增 益(以下称为MRFGain)来平衡在MRFME中的时间搜索范围的计算强度与精确度和/或性 能，以针对给定的块提供有效的运动估计。在一个示例中，可以由运动估计组件102至少部分地基于给定块的运动补偿残差 计算MRFGain。如所述，这可以是基于所选择的ME或MRFME的针对给定块的预测误差。例 如，在用于搜索视频块的多个参考帧的MRFGain小的情况下，使用附加的先前参考帧的处 理可能产生的性能改进很小，而提供计算上的高复杂度。在这点上，更期望使用更小的时间 搜索范围。相反地，在视频块的MRFGain大(或者例如超过一定阈值)的情况下，增加时间 搜索范围可以产生较大的益处，以调整(justify)在计算复杂度方面的增加；在这种情况 下，可以使用较大的时间搜索范围。可以理解的是，可以以多种计算机和/或电子组件实现 运动估计组件102和/或视频编码组件104的功能性。在一个示例中，可以以视频编辑和/或重放中所使用的设备实现运动估计组件 102、视频编码组件104、和/或其功能性。在一个示例中，可以在信号广播技术、存储技术、 通话服务(诸如联网技术等)、媒体流和/或消息传递服务等中使用这样的设备，以提供视 频的有效编码/解码，来最小化传输所需的带宽。因此，在一个示例中，重点可以在于局部 处理能力上，以适应较低的带宽容量。参考图2，示出了用于计算利用具有多个参考帧的MRFME的增益的系统200。提供 运动估计组件102以预测视频块和/或块的运动补偿残差；还提供了视频编码组件104以 编码视频的帧或块(例如，作为在ME中的预测误差)用于传输和/或解码。运动估计组件 102可以包括MRFGain计算组件202，其可以在针对给定的视频块的运动估计中确定使用来 自参考帧组件204的一个或多个参考帧的可测量优点。例如，当接收要通过运动估计预测 的视频块或帧时，MRFGain计算组件202可以确定使用ME或MRFME (和/或在MRFME中要 使用的多个参考帧)的增益，以针对视频块提供有效的运动估计。MRFGain计算组件202可 以均衡参考帧组件204以取得(retrieve)和/或评价使用多个先前参考帧的效率。
如上所述，MRFGain计算组件202可以计算更短和更长的时间搜索范围的 MRFGain，然后运动估计组件102在考虑到所选择的估计的性能增益以及其计算复杂度的 情况下在确定平衡的运动估计时可以使用该MRFGain。而且，如上所述，针对给定的块或帧 可以至少部分地基于运动补偿残差(或预测误差)的线性模型选择时间搜索范围(并且因 此可以计算MRFGain)。例如，假定F是当前帧或块，针对该帧或块期望视频编码，则先前帧可以被表示为 {Ref (l),Ref (2),.. . Ref (k)，. . . }，其中k是在F和参考帧Ref (k)之间的时间距离。因此， 如果给定在F中的像素s，则p(k)可以代表来自Ref(k)的s的预测。因此，来自Ref(k)的 s的运动补偿残差r(k)可以是r(k) = s-p (k)。此外，r(k)可以是具有零平均和方差 的随机变量。另外，Hk)可以被分解为
权利要求
一种用于在视频编码中提供运动估计的系统，包括参考帧组件，其提供与视频块相关的多个参考帧；和增益计算组件，其至少部分地基于计算使用多个参考帧中的一个或多个的性能增益，来确定用于运动估计(ME)或多参考帧ME(MRFME)的当前时间搜索范围，其中计算使用多个参考帧中的一个或多个的性能增益至少部分地基于该多个参考帧中的一个或多个的残差能量。
2.根据权利要求1所述的系统，还包括视频编码组件，其至少部分地基于通过使用具 有当前时间搜索范围的ME或MRFME预测的视频块，来编码运动补偿残差。
3.根据权利要求1所述的系统，还包括运动矢量组件，其计算用于视频块的最佳运动 矢量，该运动矢量在其是整数像素运动矢量的情况下被用于确定当前时间搜索范围。
4.根据权利要求1所述的系统，至少部分地基于线性残差模型R2(A)= Ci +Ct 计算针对所述多个参考帧中的一个或多个的残差能量σ；2(幻，其中k是时间搜索范围的大小，Ct 是在视频块和多个参考帧中的一个之间的时间更新的变量的增长率，并且Cs是k不变参数。
5.根据权利要求4所述的系统，使用G = Y-^=lT(Ki))2,计算性能增益G，其中;^是对应于第一参考帧的均方残差，⑩是在所述视频块中的 残差的平均值，并且Y是配置的参数。
6.根据权利要求5所述的系统，还包括推理组件，其至少部分地基于仿真结果或先前 增益计算来推出用于Y的值。
7.根据权利要求4所述的系统，所述增益计算组件还计算针对MRFME使用包括附加参 考帧的较大的时间搜索范围的性能增益。
8.根据权利要求7所述的系统，使用
9.一种用于在预测性视频块编码中估计运动的方法，包括计算在预测视频块时使用一个或多个先前参考帧的性能的增益；基于所计算的性能增益确定包括在运动估计中使用的多个参考帧的时间搜索范围；和使用参考帧的时间搜索范围预测视频块以在视频块中估计运动。
10.根据权利要求9所述的方法，还包括计算用于所述视频块的最佳运动矢量，所述运 动矢量在其是整数像素运动矢量的情况下被用于确定时间搜索范围。
11.根据权利要求9所述的方法，其中，所述计算步骤包括至少部分地基于评价一个或 多个先前参考帧的残差能量来计算性能增益。
12.根据权利要求11所述的方法，至少部分地基于线性残差模型计 算针对至少一个先前参考帧的残差能量A2(幻,其中k是时间搜索范围的大小，Ct是在视频 块和至少一个先前参考帧之间的时间更新的变量的增长率，并且Cs是k不变参数。
13.根据权利要求12所述的方法，所述计算步骤包括使用
14.根据权利要求13所述的方法，还包括至少部分地基于根据仿真结果或先前增益计 算的调谐来推出用于Y的值。
15.根据权利要求12所述的方法，其中，所述计算步骤包括使用
16.根据权利要求15所述的方法，其中，所述计算步骤包括针对增加的时间搜索范围 计算性能增益，直到增益不满足特定阈值为止。
17.根据权利要求16所述的方法，还包括从期望的编码大小推出所述阈值。
18.一种用于在预测性视频块编码中估计运动的系统，包括用于计算为预测视频块使用单个参考帧运动估计(ME)或多参考帧运动估计(MRFME) 的性能增益的装置；和用于根据所计算的性能增益使用ME或MRFME来预测视频块的装置。
19.根据权利要求18所述的系统，还包括用于计算在MRFME中使用多个参考帧的性能增益或者参考帧加上一个或多个附加参 考帧的数目的装置；和用于在MRFME中使用产生超过阈值的增益的参考帧数目的装置。
20.根据权利要求18所述的系统，其中，所述性能增益计算至少部分地基于一个或多 个参考帧的运动补偿残差的线性模型。
全文摘要
在可以在期望性能水平上评价在多参考帧运动估计(MRFME)中使用多个参考帧的复杂度的情况下，提供了一种用于视频编码中的运动估计的有效的时间搜索范围预测。在这点上，可以对于使用常规的运动估计或MRFME确定增益，如果选择了后者，还可以确定帧的数量。因此，在其至少提供性能上的阈值增益的情况下可以利用MRFME和/或大的时间搜索范围的计算复杂度。相反，如果MRFME的复杂的计算对视频块预测不提供足够的益处，则可以使用较小的时间搜索范围(较少数目的参考帧)，或者可以选择常规的运动编辑而胜过MRFME。
文档编号H04N11/04GK101971638SQ200880125551
公开日2011年2月9日 申请日期2008年12月29日 优先权日2008年1月24日
发明者区子廉, 郭力伟 申请人:香港科技集团有限公司