用于编码/解码图像的方法以及使用其的设备的制造方法
【技术领域】
[0001] 本发明涉及画面编码和解码处理，并更具体地，涉及向可伸缩视频编码应用多个 参考层的层间画面编码/解码方法及其设备。
【背景技术】
[0002] HD(高清晰度）广播服务在全国和全世界的最近扩展使得许多人习惯于高分辨 率、高质量画面，并因此，多个组织将它们的精力投入下一代成像装置的开发。此外，对于可 提供比HDTV服务提供的分辨率高四倍的分辨率的UHD(超高清晰度）服务以及HDTV服务 的增长兴趣正需要用于高质量画面的压缩技术。
[0003] 关于画面压缩，可采用根据时间上在前或在后的画面来预测当前画面中包括的像 素值的帧间预测技术、使用当前画面中的像素信息来预测当前画面中包括的像素值的帧内 预测技术、以及其中在向较不频繁码元分配较长代码的同时向较频繁码元分配较短代码的 摘编码技术。
[0004] 用于画面压缩的技术提供有限硬件操作环境下的恒定网络带宽，而不考虑灵活网 络环境。然而，需要新压缩技术来压缩向其中带宽有时改变的网络环境应用的画面数据，并 且为了这样的目的，可使用可伸缩视频编码/解码方法。
【发明内容】
[0005] 本发明提供了通过有效生成和管理包括一个或多个参考层的参考画面列表来增 强编码/解码效率的画面编码/解码方法、以及使用其的设备。
[0006] 根据本发明的实施例，提供了可在执行层间预测时、在生成用于运动估计和运动 补偿的参考画面列表时、生成包括一个或多个参考层的参考画面列表的画面编码/解码方 法、以及使用其的设备。
[0007] 根据本发明的实施例，提供了可在生成包括参考层的重构画面的参考画面列表 时，调整参考画面列表中的参考层的重构画面的位置、以及参考层的重构画面之间的顺序 的画面编码/解码方法、以及使用其的设备。
[0008] 根据本发明的实施例，一种支持多层的画面解码方法可包括：接收并解析关于整 个比特流中当前层可参考的参考层的层依赖性信息；在其中使用层间预测用于解码当前层 中的当前画面的情况下，接收并解析关于通过层依赖性信息导出的参考层之中的、当前画 面所参考的参考层的层信息；和基于层信息来解码当前画面。
[0009] 该层依赖性信息可被接收、被包括在视频参数集扩展中。
[0010] 该层信息可以是关于当前画面可参考的参考画面的层的ID的信息，并且该层信 息可被接收、被包括在片段报头中。
[0011] 该画面解码方法可进一步包括：基于层依赖性信息导出整个比特流中当前层可参 考的参考层的数目；和如果参考层的数目大于0,则接收并解析指示是否使用层间预测用 于解码当前层中的当前画面的标志信息。
[0012] 该画面解码方法可进一步包括，如果标志信息为1，参考层的数目大于1，并且整 个比特流中包括的所有层不使用至多一个参考层，则接收和解析层间参考画面计数信息， 该信息可规定为了当前画面的层间预测可使用的层间参考画面的数目。
[0013] 当参考层的数目与层间参考画面的数目不相同时，可接收该层信息。
[0014]层间参考画面的数目可被规定为层间参考画面计数信息加一。
[0015] 根据本发明的另一实施例，一种支持多层的画面解码设备可包括：解析模块，被配 置为接收并解析关于整个比特流中当前层可参考的参考层的层依赖性信息，并且在其中使 用层间预测用于解码当前层中的当前画面的情况下，被配置为接收并解析关于通过层依赖 性信息导出的参考层之中的、当前画面所参考的参考层的层信息；和解码单元，被配置为基 于层信息来解码当前画面。
[0016] 根据本发明的实施例，提供了通过有效生成和管理包括一个或多个参考层的参考 画面列表来增强编码/解码效率的画面编码/解码方法、以及使用其的设备。
[0017] 根据本发明的实施例，提供了可在执行层间预测时、在生成用于运动估计和运动 补偿的参考画面列表时、生成包括一个或多个参考层的参考画面列表的画面编码/解码方 法、以及使用其的设备。
[0018] 根据本发明的实施例，提供了可在生成包括参考层的重构画面的参考画面列表 时，调整参考画面列表中的参考层的重构画面的位置、以及参考层重构画面之间的顺序的 画面编码/解码方法、以及使用其的设备。
【附图说明】
[0019] 图1是图示了根据本发明实施例的画面编码设备的配置的框图；
[0020] 图2是图示了根据本发明实施例的画面解码设备的配置的框图；
[0021] 图3是示意性图示了本发明可应用到的使用多层的可伸缩视频编码架构的实施 例的概念图；
[0022] 图4是示意性图示了根据本发明实施例的空间质量层和视图层的概念图；
[0023] 图5是图示了根据本发明实施例的在编码设备中执行上层编码的方法的流程图；
[0024] 图6是图示了根据本发明实施例的在解码设备中执行上层解码的方法的流程图；
[0025] 图7是图示了根据本发明实施例的画面解码设备的框图；和
[0026] 图8是图示了根据本发明实施例的画面解码设备的解码方法的流程图。
【具体实施方式】
[0027]其后，将参考附图来详细描述本发明的实施例。在描述这些实施例时，当确定为使 得本发明的要义不清楚时，将省略公知配置或功能的详细描述。
[0028] 当组件"连接到"或"耦接到"另一组件时，该组件可直接连接或耦接到所述另一 组件，或者其他组件也可介于其间。此外，当"包括"特定组件时，不排除而是可以包括其他 组件，并且这样的配置也被包括在本发明的范围中。
[0029]可使用术语"第一"和"第二"来描述各种组件，但是这些组件不限于此。使用这 些术语仅区分一个组件与另一组件。例如，第一组件也可被称为第二组件，并且第二组件可 被类似地称为第一组件。
[0030] 独立示出这些实施例中的构成部分以表示不同特征，但是这并不意味着每一构成 部分由单独硬件单元或一个软件构成单元形成。即，为了易于描述，每一构成部分与其他构 成部分分离。构成部分中的至少两个可组合为单一构成部分，或者一个构成部分可被划分 为可分别执行功能的多个构成部分。覆盖构成部分的组合或其分离的实施例可被包括在本 发明的范围中，而不脱离本发明的要义。
[0031] 一些构成部分不是执行本发明的必要功能的必要部分，而可以是增强性能的可选 构成部分。本发明可仅由用于实现本发明的要义所必需的构成部分实现，或者仅包括这些 必要构成部分而排除用于增强性能所使用的可选构成部分的这样的配置也可被包括在本 发明的范围中。
[0032] 图1是图示了根据本发明实施例的画面编码设备的配置的框图。可伸缩视频编码 /解码方法或设备可通过不提供可伸缩性的一般视频编码/解码方法或设备的扩展实现。 图1的框图图示了可作为可伸缩视频编码设备的基础的画面编码设备的实施例。
[0033] 参考图1，该画面编码设备100包括运动估计模块111、运动补偿模块112、帧内预 测模块120、开关115、减法模块125、变换模块130、量化模块140、熵编码模块150、反量化 模块160、逆变换模块170、加法模块175、滤波模块180、和解码画面缓冲器190。
[0034] 画面编码设备100按照帧内模式或帧间模式来对输入画面进行编码，并可输出比 特流。帧内预测意味着帧内部的预测，而帧间预测意味着帧之间的预测。在帧内模式的情 况下，开关115切换到帧内，而在帧间模式的情况下，开关115切换到帧间。画面编码设备 100生成用于输入画面的输入块的预测块，并然后可对输入块和预测块之间的差进行编码。
[0035] 在帧内模式的情况下，帧内预测模块120可通过使用与当前块相邻的已编码块的 像素值进行空间预测，来生成预测块。
[0036] 在帧间模式的情况下，运动估计模块111可在运动估计处理期间搜索解码画面缓 冲器190中存储的参考画面中、与输入块最佳匹配的区域，由此导出运动向量。运动补偿模 块112可通过使用参考画面缓冲器190中存储的解码画面和运动向量进行运动补偿，来生 成预测块。
[0037] 减法模块125可通过输入块和预测块之间的差来生成残差块。变换模块130可对 残差块进行变换，由此输出变换系数。量化模块140可通过根据量化参数对输入的变换系 数进行量化，来输出量化后参数。
[0038] 熵编码模块150可通过基于量化模块140获得的值或在编码处理期间获得的编码 参数，根据概率分布对码元进行熵编码，来输出比特流。熵编码是这样的方法，借助该方法， 在去除统计冗余度的同时，接收具有各个值的码元，并通过二进制数的序列来表示具有各 个值的码元。
[0039] 这里，码元意味着要编码/解码的语法元素和编码参数、或残差信号。编码参数 是用于编码或解码所必需的中介（intervening)变量，并且可包括可在编码或解码时推测 的信息、以及由编码装置编码并被传递到解码装置并且意味着编码或解码画面时必需的信 息的、诸如语法元素的信息。编码参数可包括诸如帧内/帧间预测模式、移位/运动向量、 参考画面索引、编码块图案、残差信号的存在或不存在、变换系数、量化后变换系数、量化参 数、块尺寸、块划分信息值或统计值。此外，残差信号可意味着原始信号和预测后信号之间 的差，或者可意味着通过变换原始信号和预测后信号之间的差而获得的信号、或者通过变 换和量化原始信号和预测后信号之间的差而获得的信号。从块单元的角度来说，残差信号 可被称为残差块。
[0040] 当熵编码应用时，向具有较高出现机会的码元分配较少比特，而向具有较低出现 机会的码元分配较多比特，由此表示码元。所以，可降低要编码的码元的比特序列的尺寸。 因此，可通过熵编码来增加画面编码的压缩性能。
[0041] 可使用诸如指数哥伦布、CAVLC(上下文自适应可变长度编码）、CABAC(上下文自 适应二进制算术编码）的编码方案用于熵编码。例如，可在熵编码模块150中存储诸如 VLC(可变长度编码/代码）表格的、用于进行熵编码的表格，并且熵编码模块150可使用存 储的VLC表格来进行熵编码。此外，熵编码模块150导出用于对目标码元进行二值化的方 法以及目标码元/仓（bin)的概率模型，并然后可使用导出的二值化方法或概率模型来进 行摘编码。
[0042] 量化后系数由反量化模块160逆量化并可由逆变换模块170逆变换。逆量化和逆 变换的系数由加法模块175添加到预测块，并然后可生成重构块。
[0043] 重构块经过滤波模块180,滤波模块180然后向重构块或重构画面应用解块滤波、 SAO(样本自适应偏移）、和ALF(自适应环路滤波）中的至少一个或多个。在经受滤波模块 180之后，重构块可被存储在解码画面缓冲器190中。
[0044] 图2是图示了根据本发明实施例的画面解码设备的配置的框图。如上面结合图1 所述，可伸缩视频编码/解码方法或设备可通过扩展不提供可伸缩性的一般画面编码/解 码方法或设备来实现，并且图2的框图图示了可作为可伸缩视频解码设备的基础的画面解 码设备的实施例。
[0045] 参考图2,画面解码设备200包括熵解码模块210、反量化模块220、逆变换模块 230、帧内预测模块240、运动补偿模块250、滤波模块260、和解码画面缓冲器270。
[0046] 画面解码设备200可接收从编码设备输出的比特流，按照帧内模式或帧间模式对 该比特流进行解码，并可输出重新配置的画面，即重构的画面。在帧内模式的情况下，开关 切换到帧内，而在帧间模式的情况下，开关切换到帧间。画面解码设备200可获得从接收的 比特流重构的残差块，生成预测块，向预测块添加重构的残差块，并生成重新配置的块，即 重构的块。
[0047] 熵解码模块210根据概率分布对输入比特流进行熵解码，以由此生成包括量化后 系数类型的码元的码元。熵解码是其中接收二进制数的序列以生成每一码元的方法。熵解 码方法与上述熵编码方法类似。
[0048] 量化后系数由反量化模块220反量化，由逆变换模块230逆变换，并且作为量化后 系数的反量化/逆变换的结果，可生成重构的残差块。
[0049] 在帧内模式的情况下，帧内预测模块240可使用与当前块相邻的已编码块的像素 值来进行空间预测，由此生成预测块。在帧间模式的情况下，运动补偿模块250可使用解码 画面缓冲器270中存储的参考画面和运动向量来进行运动补偿，由此生成预测块。
[0050] 重构的残差块由加法器255添加到预测块，并且相加的结果经受滤波模块260。滤 波模块260可向重构的块或重构的画面应用解块滤波、SAO、和ALF中的至少一个或多个。 滤波模块260输出重新配置的画面，即重构的画面。重构的画面被存储在解码画面缓冲器 270中，并可被使用用于帧间预测。
[0051]在画面解码设备200中包括的熵解码模块210、反量化模块220、逆变换模块230、 帧内预测模块240、运动补偿模块250、滤波模块260、和解码画面缓冲器270之中，与画面解 码直接关联的组件，诸如熵解码模块210、反量化模块220、逆变换模块230、帧内预测模块 240、运动补偿模块250、或滤波模块260可被称为与其它组件分离的解码单元。
[0052]此外，画面解码设备200可进一步包括解析模块（未示出），用于解析关于比特流 中包括的编码后画面的信息。解析模块可包括熵解码模块210,或者解析模块可被包括在熵 解码模块210中。这样的解析模块也可被实现为解码单元的一个组件。
[0053] 图3是示意性图示了本发明可应用到的使用多层的可伸缩视频编码架构的实施 例的概念图。在图3中，GOP(画面组）表示画面组，S卩，一组画面。
[0054]为了传送画面数据，需要传送介质，并且其性能可取决于网络环境针对每一传送 介质而变化。对于这样的各种传送介质或网络环境的应用，可提供可伸缩视频编码方法。
[0055]可伸缩视频编码方法是这样的编码方法，其通过利用层间纹理信息、运动信息、或 残差信号去除层间冗余，来增强编码/解码性能。可伸缩视频编码方法可取决于诸如传送 比特率、传送误差率、或系统资源的周围条件，从空间、时间、或画面质量的角度出发，提供 各类可伸缩性。
[0056]可利用多层结构来进行可伸缩视频编码，以便能够提供可向各种网络环境应用的 比特流。例如，可伸缩视频编码结构可包括使用一般画面编码方法来压缩和处理画面数据 的基本层、以及使用基本层编码信息和一般画面编码方法两者来压缩和处理画面数据的增 强层。
[0057]这里，"层"意味着可基于空间（例如，画面尺寸）、时间（例如，编码顺序、输出画 面的顺序、帧频）、画面质量、或复杂度而区分的画面或比特流的集合。此外，基本层可意味 着下层、参考层或基本层，而增强层可意味着上层。此外，多层可具有彼此之间的从属性。
[0058] 参考图3,例如，基本层可通过SD(标准清晰度）、15Hz帧频、IMbps比特率来定义， 第一增强层可通过HD(高清晰度）、30Hz帧频、和3. 9Mbps比特率来定义，并且第二增强层 可通过4K