专利名称：去块滤波器设备的制作方法
去块滤波器设备技术领域本申请涉及视频编码和解码，具体涉及视频会议应用。更具体地，本申请涉及去块滤波器的各种实现和多个去块(de-blocking)滤波器对 于视频图像序列的应用。可通过各种编码标准对视频图像序列进行编 码，尽管具体地对于ITU-T Recommendation H.264 a/k/a ISO/IEC 14496-10("H.264，，)——其通过引用而全部合并于此——可有益地应用 本文提及的技术。本公开还涉及"De画blocking Filter Process for SVC to Support Multi-Threading with Slice Boundary De-blocking (Rev.l), "JVT-W063,作者是Danny Hong， Alex Eleftheriadis， Ofer Shapiro和Jesus Sampedro，于2007年4月26日提交，所述文献被 附于上面引用的临时申请之后并且由此通过引用而全部合并于此。
背景技术：
去块滤波器通常使用各种基于块的视频编码算法来减小或消除由 对这样的算法进行编码而产生的块之间的可察觉的边界。 一般来讲， 去块滤波器可以是以下两种类型之一回路滤波器或后置滤波器。回 路滤波器是编码和/或解码路径的一部分，从而滤波器的效应被包括在 用于重建(reconstructed )预测块(即，间编码块(inter coded block) 或双向预测块)的参考帧中。相反，后置滤波器应用于编码回路的输 出端，从而它们的效应不包括在参考帧中。在一些实施例中，已发现使用多线程、多处理器和/或多核处理器 实现来实现H.264编码器和/或解码器是有利的。在这些实现中，可通 过一个线程、处理器和/或核来对图^f象的某个部分，例如一片，进行编 码，而由不同的线程、处理器和/或核来对同一图像的另一部分，例如 另一片，进行编码。这样的实施例不可以在由不同线程、芯片和/或核8准指定的去块回路滤波器。例 如，由于系统性能原因，该滤波器通常在由不同线程、处理器和/或核编码的片之间的边界上被禁用。由于该原因，H.264标准允许在H.264 位流中信号发送去块回路滤波器的使用(或未使用)。除了多线程、处理器和/或核实施例以外，还存在其它情况，其中 需要在片边界上禁用去块回路滤波器。例如，可使用灵活宏块排序 ("FMO")来操纵从不同的端点接收到的位流以建立具有组合分屏帧 (composed continuous presence frame)的新位流,在H.264中实现低 复杂度分屏(H.264 soft-CP)。在soft-CP中，去块回路滤波器在所 有片边缘上被禁用。这可导致分屏图像的各个部分的块状化。例如， 在四象限分屏实施例中，可经常看到在每个象限内的内部片边缘上的 分段效应(sectioning effect)。然而，在参与者之间的边缘上可能看 不到该效应。在任何情况下，由于当显示视频时可见的分段效应，禁用去块回 路滤波器对于图像质量通常是不利的。因此，技术中需要的是一种视 频编码/解码设备，其中去块滤波可以被添加回到其中可禁用去块滤波 器的这些实施例和各种其它实施例中。发明内容本文描述了一种用于包括去块回路滤波器的视频编码器和解码器 的去块滤波器设备。在一些实施例中，后置滤波器可被配置为处理回 路滤波器未处理的所有边缘。在其它实施例中，编码器可指定回路滤 波器和/或后置滤波器应处理哪些边缘。本文还公开了一种用于包括第一和第二去块回路滤波器的视频编 码器和解码器的去块滤波器设备。例如，出于上面描述的原因之一，第二回路滤波器可被配置为仅对第一回路滤波器未处理的片边界进行操作。可替换地，第一和第二回路滤波器可被独立地配置为处理或不处理某些边缘和/或亮度和/或色度数据。
图1示出了具有去块回路滤波器和去块后置滤波器的视频解码回 路的简化框图。图2示出了具有两个去块回路滤波器的视频解码回路的简化框图。
具体实施方式
贯穿该说明书，将用视频的各个成分——包括图片、帧、场、块、 片(slice)、宏块等——来定义视频编码和解码。本领域技术人员应非常 明白在许多情况下对帧的操作的描述也可应用于交错视频 (interlaced video)的领域，并且术语"块，，和"宏块，，可以是同义的或者不 依赖于上下文等。因此，意欲从视频压缩和编码领域中的普通技术人 员的观点来阅读和理解以下描述。图1示出了示例性视频解码回路的简化图。在转换器103中分析 输入视频数据101以确定其是否包含内编码帧(intra-coded frame)(或 场)数据，即仅仅参照其本身或预测帧(或场)数据而被编码的视频 图片(例如，内或双向预测图片)，所述图片是参照另一图片(即，"参 考帧，，)而被编码的。如果帧是内编码的，则其沿路径105到解码器 107，所述解码器107根据一些编码/解码算法解码内帧(intra frame)。 然后，解码帧可通过可选择的去块回路滤波器109和/或可选择的去块 后置滤波器113，以成为输出帧数据119，所述输出帧数据119可例如 被显示给用户。此外，将解码帧(在回路滤波器之后，如果正在使用 回路滤波的话)存储为参考帧111，所述参考帧111如下所述与预测 帧一起使用。如果输入数据101被确定(由转换器103)为包含预测 帧数据，则其沿路径115至解码器107，所述解码器107根据一些编 码/解码算法来组合输入数据(即，预测信息)和参考帧111，以产生解码帧。关于上述的内编码帧，解码的预测帧可经回路去块滤波器109 和/或去块后置滤波器113处理以产生输出帧119。并且，该解码帧可 更新参考帧111。如上所述，H.264视频编码算法包括去块回路滤波器，尽管可选 择性地关闭去块回路滤波器的使用。在一些实施例中，可需要在H.264 解码器之后添加去块后置滤波器以补足、补充和/或代替去块回路滤波 器。在一种操作模式中，去块后置滤波器可处理解码帧中的没有经去 块回路滤波器处理的所有边缘。在另一种操作模式中，编码器可通过 向视频位流添加提示或触发来指定哪些边缘应使用去块后置滤波器。 这些提示可包括标志或其它信号的使用，或者可以是视频位流的预定 部分，诸如片边界。这为编码器提供了完全控制由解码器应用的去块 的能力，所述能力可有利地用于指定不应被去块的特定边缘。这些操作模式中的任何一种不仅可使用H.264,还可使用可包括 或不包括去块回路滤波器的其它算法。在任何情况下，去块后置滤波 器和去块回路滤波器的组合可充分减小解码图像上的分段效应，这可 以充分提高图像质量。此外，在不能使用去块回路滤波器(例如， soft-CP )的情况下或由于重大性能限制而使去块回路滤波器的使用是 不实际(例如，多处理器实现)的情况下，去块后置滤波器的使用对 于增强图像质量是有用的。在可替换实施例中，除了去块后置滤波器以外，可添加笫二回路 中去块滤波器，其仅处理第一回路中去块滤波器(例如，在片边界上 被禁用的去块滤波器)未对其进行去块的片边缘。图2中示出了简化 框图，其中相似附图标记所指示的项与图1中相应的项相似。在图2 的解码器中，第一去块回路滤波器209可对某些边缘进行操作，而不 对其它边缘进行操作。例如，第一去块回路滤波器209可处理除了在 片边界处的边缘以外的所有边缘。然后，第二去块回路滤波器213可 处理对应于片边界的边缘。例如，这可用于最大化可被独立处理的宏 块边缘(例如，除了片边界以外的那些边缘)的数量，这在利用多线 程、多核或多处理器的实施方式的情况下可导致重大的计算效率。该 方法也最小化需要由第二回路中去块滤波器处理的宏块边缘的数量。在另 一个变型中，编码器可通过在位流中使用标志或其它触发来 指定由第一去块回路滤波器209、第二去块回路滤波器213、两个去块ii回路滤波器或不用任一去块回路滤波器处理的某些边缘。此外，去块 回路滤波器的每一个可对亮度块和颜色块二者、仅亮度块、或仅颜色 块独立进行操作。例如，在一些实施例中，需要使第一去块回路滤波 器处理亮度块和颜色块，而使第二去块回路滤波器仅处理亮度块。另一种变型也是可能的，其中解码回路包括单个回路中去块滤波 器，通过该去块滤波器进行两遍(或更多遍)处理。例如，在第一遍 中不对片边缘进行去块，而在第二遍中对片边缘进行去块。对于多个 数量的遍的其它使用也是可能的，并且本领域技术人员对此应当能够可以通过数字电路或通过计算机硬件、固件、软件或它们的组合 来实现所公开的系统和方法。例如，软件实现可包括第三方附件(add-in),并且如上所述可以被实现为硬件、固件等。可通过计算机程 序产品来实现本公开的设备，所述计算机程序产品可有形地(tangibly ) 包含在机器可读的存储装置中以便由可编程处理器执行，并且本公开 的方法步骤可由可编程处理器执行，所述可编程处理器执行指令程序 以通过对输入数据进行操作并产生输出来执行本方法的功能。通过可 在可编程系统上执行的一个或多个计算机程序来有利地实现所述方 法，所述可编程系统包括至少一个可编程处理器，其中所述可编程处 理器被耦接以从数据存储系统、至少一个输入装置和至少一个输出装 置接收数据和指令或向数据存储系统、至少一个输入装置和至少一个 输出装置发送数据和指令。可以用高级的面向过程或面向对象的编程 语言，或者如果需要的话，用汇编语言或机器语言，来实现每个计算 机程序；并且在任一情况下，该语言可以是编译语言或解释语言。适 合的处理器包括例如，具有单核或多核的通用和专用微处理器、数 字信号处理器(DSP)等，其中包括并行运行的多个处理器和/或核。 一般来说，处理器将从只读存储器和/或随机存取存储器接收指令和数 据。 一般来说，计算机将包括用于存储数据文件的一个或多个大容量 存储装置。这样的装置可包括诸如内部硬盘和可移除盘的磁盘、磁光 盘、闪存装置、光盘等。适合于有形地包括计算机程序指令和数据的存储装置包括所有形式的非易失性存储器，例如包括诸如EPROM、 EEPROM和闪存装置的半导体存储装置、诸如内部硬盘和可移除盘 的磁盘、磁光盘和CD-ROM、 DVD-ROM、 HD-DVD和蓝光盘。上述 任意一种可由ASIC (专用集成电路)或FPGA (场可编程栅极阵列) 进行补充或并入ASIC (专用集成电路)或FPGA (元件可编程栅极阵 列)中。
已描述了公开方法和设备的多种实现。尽管如此，应理解可在不 偏离本发明的实质和范围的情况下进行各种修改。例如，尽管已经根 据视频解码设备描述了本文公开的实施例，但本领域技术人员应容易 地理解本文所讨论的原理也可应用于视频编码设备。因此，这些和其 它实施例都落入所附权利要求的范围内。
权利要求
1.一种视频解码设备，包括耦合至输入端的视频解码器，所述输入端提供输入视频数据位流；耦合至所述视频解码器的输出端的第一去块滤波器；以及耦合至所述第一去块滤波器的输出端的第二去块滤波器。
2. 如权利要求1所述的视频解码设备，其中所述第一去块滤波器 是回路滤波器，并且所述第二去块滤波器是后置滤波器。
3. 如权利要求2所述的视频解码设备，其中所述第一去块滤波器 和所述第二去块滤波器中的至少一个被配置为对解码后的视频数据的 所有边缘或解码后的视频数据的边缘的子集进行操作，或不对视频数 据的边缘进行操作。
4. 如权利要求3所述的视频解码设备，其中所述第一去块滤波器 和所述第二去块滤波器中的至少一个被预配置为对某些边缘进行操 作。
5. 如权利要求3所述的视频解码设备，其中由所述输入视频数据 位流来配置所述第一去块滤波器和所述第二去块滤波器中的至少一 个。
6. 如权利要求2所述的视频解码设备，其中所述第一去块滤波器 被配置为处理除了片边界以外的边缘，并且其中所述第二去块滤波器 被配置为处理片边界。
7. 如权利要求2所述的视频解码设备，其中所述笫一去块滤波器 被配置为处理亮度数据和色度数据，并且其中所述第二去块滤波器被配置为仅处理亮度数据。
8. 如权利要求2所述的视频解码设备，其中所述第二去块滤波器 被配置为处理所述第一去块滤波器未处理的边缘。
9. 如权利要求1所述的视频解码设备，其中所述第一去块滤波器 和所述第二去块滤波器都是回路滤波器。
10. 如权利要求9所述的视频解码设备，其中所述第一去块滤波 器和所述第二去块滤波器中的至少 一个被配置为对解码后的视频数据 的所有边缘或解码后的视频数据的边缘的子集进行操作，或不对视频 数据的边缘进行操作。
11. 如权利要求10所述的视频解码设备，其中所述第一去块滤波 器和所述第二去块滤波器中的至少一个被预配置为对某些边缘进行操 作。
12. 如权利要求10所述的视频解码设备，其中由所述输入视频数 据位流来配置所述第一去块滤波器和所述第二去块滤波器中的至少一 个。
13. 如权利要求9所述的视频解码设备，其中所述第一去块滤波 器被配置为处理除了片边界以外的边缘，并且其中所述第二去块滤波 器被配置为处理片边界。
14. 如权利要求9所述的视频解码设备，其中所述第一去块滤波 器被配置为处理亮度数据和色度数据，并且其中所述第二去块滤波器 被配置为仅处理亮度数据。
15. 如权利要求9所述的视频解码设备，其中所述第二去块滤波 器被配置为处理所述第一去块滤波器未处理的边缘。
16. —种^L频编码i殳备，包括 视频编码器，；故配置为产生编码一见频位流； 耦合至所述视频编码器的输出端的第一去块回路滤波器；以及 耦合至所述第一去块回路滤波器的输出端的第二去块回路滤波器。
17. 如权利要求16所述的视频编码设备，其中所述第一去块滤波 器和所述第二去块滤波器中的至少一个被所述视频编码器配置为对所 迷编码视频位流的所有边缘或所述编码视频位流的边缘的子集进行操 作，或不对所述编码视频位流的边缘进行操作。
18. 如权利要求17所述的视频编码设备，其中所述第一去块滤波 器被配置为处理除了片边界以外的边缘，并且其中所述第二去块滤波 器被配置为处理片边界。
19. 如权利要求17所述的视频编码设备，其中所述第一去块滤波 器被配置为处理亮度数据和色度数据，并且其中所述第二去块滤波器 被配置为仅处理亮度数据。
20. 如权利要求17所述的视频编码设备，其中所述第二去块滤波 器被配置为处理所述第一去块滤波器未处理的边缘。
21. 如权利要求16所述的视频编码设备，其中所述编码视频位流 包括给解码器的用于指示解码器应如何对所述编码视频位流应用去块 滤波器的一个或多个指示。
22. —种解码视频数据的方法，所述方法包括 接收输入视频数据位流； 解码所述输入视频数据位流以产生解码视频； 向所述解码视频应用第一去块滤波器以产生去块视频；以及 向所述去块视频应用第二去块滤波器以产生最终视频。
23. 如权利要求22所述的方法，其中向所述解码视频应用第一去块滤波器以产生去块视频的步骤包 括对除了片边界以外的边缘进行去块；并且向所述去块视频应用第二去块滤波器以产生最终视频的步骤包 括对片边界进行去块。
24. 如权利要求22所述的方法，其中向所述解码视频应用第 一去块滤波器以产生去块视频的步骤包 括对所述输入视频数据位流中指定的边缘进行去块；以及向所述去块视频应用第二去块滤波器以产生最终视频的步骤包 括对所述输入视频数据位流中指定的其它边缘进行去块。
25. 如权利要求24所述的方法，其中对所述输入视频数据位流中 指定的其它边缘进行去块的步骤包括对所述第一去块滤波器未对其进行去块的边缘进行去块。
26. 如权利要求22所述的方法，其中向所述解码视频应用第一去块滤波器以产生去块视频的步骤包 括对亮度数据和色度数据进行去块；以及向所述去块视频应用第二去块滤波器以产生最终视频的步骤包 括仅对亮度数据进行去块。
27. 如权利要求22所述的方法，其中应用第一去块滤波器的步骤和应用第二去块滤波器的步骤都包括顺序应用单个可配置的去块滤 波器。
28. —种编码纟见频数据的方法，所述方法包括 接收输入视频；对所述输入视频进行编码以产生编码视频； 向所述编码视频应用第一去块滤波器以产生去块编码视频；以及 向所述去块编码视频应用第二去块滤波器以产生编码视频数据位流。
29. 如权利要求28所述的方法，其中向所述编码视频应用第一去块滤波器以产生去块编码视频的步骤 包括对除了片边界以外的边缘进行去块；以及向所述去块编码视频应用第二去块滤波器以产生编码视频数据位 流的步骤包括对片边界进行去块。
30. 如4又利要求28所述的方法，其中向所述编码视频应用笫一去块滤波器以产生去块编码视频的步骤 包括对由编码器指定的边缘进行去块；以及向所述去块编码视频应用第二去块滤波器以产生编码视频数据位 流的步骤包括对所述编码器指定的其它边缘进行去块。
31. 如权利要求30所述的方法，其中对所述编码器指定的其它边 缘进行去块的步骤包括对所述第一去块滤波器未对其进行去块的边 缘进行去块。
32. 如权利要求28所述的方法，其中向所述编码视频应用第一去块滤波器以产生去块编码视频的步骤 包括对亮度数据和色度数据进行去块；以及向所述去块编码视频应用第二去块滤波器以产生编码视频数据位流的步骤包括仅对亮度数据进行去块。
33. 如权利要求28所述的方法，其中应用第一去块滤波器的步骤 和应用第二去块滤波器的步骤都包括顺序应用单个可配置的去块滤 波器。
34. 如权利要求28所述的方法，还包括在所述编码视频数据位流中嵌入给解码器的用于指示所述解码器 应如何对所述编码视频数据位流应用去块滤波器的一个或多个指示。
全文摘要
本文描述了一种用于包括去块回路滤波器的视频编码器和解码器的去块滤波器设备。在一些实施例中，后置滤波器可被配置为处理回路滤波器未处理的所有边缘。在其它实施例中，编码器可指定哪些边缘应由回路滤波器和/或后置滤波器来处理。本文还公开了一种用于包括第一和第二去块回路滤波器的视频编码器和解码器的去块滤波器设备。例如，出于上面描述的原因之一，第二回路滤波器可被配置为仅对第一回路滤波器未处理的片边界进行操作。
文档编号H04N7/12GK101669360SQ200880013687
公开日2010年3月10日 申请日期2008年4月25日 优先权日2007年4月26日
发明者A·沙, J·萨姆派德罗, S·博茨考 申请人:宝利通公司