专利名称：用于视频数据的有效精细粒度伸缩(fgs)编码和解码的方法、装置和系统的制作方法
技术领域：
本发明涉及视频编码和解码领域，且尤其涉及基于精细粒度伸 缩的可伸缩视频数据处理。
背景技术：
传统的视频编码标准(例如，MPEG-1, H.261/263/364)结合运 动估计和运动补偿以消除视频帧之间的时间冗余。这些概念对于那 些对视频编码技术有基本了解的技术人员而言是十分熟悉的，将不 进4亍^"细4苗述。
目前，对H.264/AVC的可伸缩扩展允许精细粒度的可伸缩性， 据此可以通过以10%或更小的增量来增加比特率，使得视频序列的 质量得以提高。根据传统实施，每个FGS(精细粒度伸缩)条带(slice ) 必须与其"基本层图像"中的对应条带覆盖相同的空间区域，即， 一个FGS条带的开始宏块和宏块数量必须与其"基本层图像"中的 对应条带相同。因此，每个FGS平面必须具有与其"基本层图像"
相同的条带数量。
根据现有技术，每个FGS条带必须与其"基本层图像"中对应 的条带覆盖相同空间区域这一约束，影响了 NAL (网络提取层)单 元的尺寸，因此无法根据已知的包丢失率和协议数据单元(PDU) 尺寸来进行最优传输。此外，该约束不允许感兴趣区域(ROI) FGS 增强，其中这些感兴趣区域可具有比其他区域更好的质量。
发明内容
本发明的目的是分别提供用于有效编码或解码的方法、装置和 系统，其克服现有技术的上述问题，并提供有效的和质量上有所改
进的编码。
本发明的主要优势在于FGS条带可以被编码，使得起始宏块位 置和宏块数量的大小可以根据最优传输的需要确定，例如，使得条 带的字节数接近但决不超过协议数据单元(PDU)的字节数，还在 于FGS条带可以被编码，使得它覆盖更为重要的感兴趣区域或其部 分，并且它以高于不重要区域的质量被编码，或者，可选地，仅覆 盖感兴趣区域的FGS条带^C编码和传输。
根据本发明，每个FGS条带必须与其"基本层图像"中对应条 带覆盖相同空间区域这一约束被消除。此外，被一个FGS条带覆盖 的区域(即，起始宏块和宏块数量)独立于其基本层图像。相应地， 应用了支持FGS条带的可伸缩视频编码的任何应用，都可受益于本 发明的创造性。
本发明的目的由所附独立权利要求中定义的主题解决。
根据本发明的第一方面，提供一种用于编码视频数据的方法， 该方法包括获取所述视频数据；基于所述获取的视频数据产生基本 层图像，基本层图像包括至少一个条带，所述条带对应于所述基本 层图像中的区域；并产生对应于所述基本层图像的至少 一 个增强层 图像，其中所述至少一个增强层图像包括至少一个精细粒度伸缩 (FGS)条带，所述至少一个FGS条带对应于所述增强层图像中的 区域，其中所述F G S条带对应的至少 一 个区域不同于所述基本层中 的所述条带对应的区域，编码所述基本层图像和所述至少一个增强 层图像得到编码的视频数据。
在一个优选实施方式中，所述至少一个FGS条带是如在视频编 码标准H.264/AVC的可伸缩扩展中说明的渐进细化条带。
在一个优选实施方式中，所述产生所述基本层图像和所述至少 一个增强层图像是基于所述视频数据中的运动信息，所述运动信息 由运动估计过程提供。
优选地，至少一个FGS条带对应于图像中的感兴趣区域(ROI)。
优选地，所述基本层图像中的条带数量不同于增强层图像中的
FGS条带数量。
优选地，所述FGS条带被编码，使得其具有根据预定数值的字 节数。
根据本发明的另 一方面，提供一种用于编码视频数据的可伸缩
解码的方法，包括以下步骤获取所述编码^L频数据；识别所述编 码视频数据中的基本层图像和至少 一个增强层图像；所述基本层图 像包括至少一个条带，所述条带对应于所述基本层图像中的区域； 以及对应于所述基本层图像的至少 一个增强层图像，其中所述至少 一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所述至少 一个FGS条带对应于所述增强层图像中的一个区域，其中所述至少
区域，以及通过合并所述基本层图像和所述至少 一个增强层图像解 码所述编码视频数据，得到解码视频数据。
优选地，所述至少一个FGS条带是如在称为H.264/AVC的视频 编码标准的可伸缩扩展中说明的渐进细化条带。
优选地，所述基本层和所述增强层图像基于所述编码视频数据 中的运动信息，所述运动信息在所述编码视频数据中提供。
优选地，所述至少一个FGS条带涉及所述编码视频数据中单独 图像的某些感兴趣区域。
优选地，所述编码视频数据不包括覆盖非感兴趣区域的FGS条带。
优选地，所述至少一个FGS条带具有接近但小于预定数值的字 节数。
另 一 方面，提供 一 种根据用于编码的上述方法操作的设备。 另 一方面，提供一种根据用于解码的上述方法操作的设备。 另一方面，提供一种系统，所述系统根据用于编码的上述方法 支持数据传输。
另一方面，提供一种系统，所述系统根据用于解码的上述方法 支持数据传输。
还提供一种数据传输系统，包括至少一个编码设备，用于执行
可伸缩编码视频数据的方法，包括步骤获取所述视频数据；基于 所述获取的视频数据产生基本层图像，基本层图像包括至少一个条 带，所述条带对应于所述基本层图像中的区域；并产生对应于所述 基本层图像的至少一个增强层图像，其中所述至少一个增强层图像 包括至少一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带 对应于所述增强层图像中的区域，其中所述至少 一个所述FGS条带 对应的区域不同于所述基本层图像中所述条带对应的区域，编码所 述基本层图像和所述至少 一个增强层图像得到编码视频数据，以及 一种解码设备，用于执行编码视频数据的可伸缩解码方法，包括步 骤获取所述编码视频数据，识別所述编码视频数据中的基本层图 像和至少一个增强层图像；所述基本层图像包括至少一个条带，所 述条带对应于所述基本层图像中的区域；以及对应于所述基本层图 像的至少一个增强层图像，其中所述至少一个增强层图像包括至少 一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所 述增强层图像中的区域，其中所述至少一个所述FGS条带对应的区 域不同于所述基本层中条带对应的区域，以及通过合并所述基本层 图像和所述至少 一 个增强层图像解码所述编码视频数据，得到解码 视频数据。
提供一种计算程序产品，包括计算机可读存储结构，其上包含 计算机程序代码，用于由电子设备主控的计算机处理器执行，其中 所述计算机程序代码包括用于执行上述编码方法的指令。
还提供一种计算机程序产品，包括计算机可读存储结构，其上 包含计算机程序代码，用于由电子设备主控的计算机处理器执行，
其中所述计算机程序代码包括执行上述解码方法的指令。
还提供一种实施在载波中和表示指令的计算机数据信号，当其
被处理器执行时，导致编码方法的操作被执行。
还提供一种用于视频数据的可伸缩编码的模块，包括获取组
件，用于获取所述视频数据；产生组件，用于基于获取的视频数据 产生基本层图像；产生组件，用于基于所述获取的视频数据和所述 基本层产生至少一个增强层图像，基本层图像包括至少一个条带，
所述条带对应于所述基本层图像中的区域；且至少 一个增强层图像 对应于所述基本层图像，其中所述至少一个增强层图像包括至少一 个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述 增强层图像中的区域；以及定义组件，用于以如下方式定义所述一 个或多个产生的增强层FGS条带的所述至少一个，即所述FGS条带 对应的区域不同于所述基本层图像中条带对应的区域；以及编码组 件，用于编码所述基本层和所述至少一个增强层，得到编码视频数 据的。
还提供一种用于编码视频数据的可伸缩解码的模块，包括获 取组件，用于获取所述编码视频数据；识别组件，用于识别所述编 码视频数据中基本层图像和至少 一个增强层图像；其中所述基本层 图像包括至少 一个条带，所述条带对应于所述基本层图像中的区域； 以及对应于所述基本层图像的至少 一个增强层图像，其中所述至少 一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所述至少 一个FGS条带对应于所述增强层图像中的区域，其中所述所述FGS 条带的至少 一个对应的区域不同于所述基本层图像中条带对应的区 域，以及解码组件，用于通过合并所述基本层和所述至少一个增强 层解码被编码的视频数据，得到解码视频数据。
还提供一种实施在载波中和表示指令的计算机数据信号，当其 被处理器执行时，导致用于解码的方法的操作被执行。
由此，现在提供了一种用于在这样的意义下对FGS条带灵活编 码的方法，即由FGS条带覆盖的区域独立于其基本层图像。并因此， 每个FGS平面可以具有不同于"基本层"的条带数量。
本发明的更多优势将在阅读本发明实施方式的详细说明时明 晰，基于此，创造性概念是很容易理解的。
在详细说明和附图中，为清晰起见，相同或相似的组件，单元 或设备被标以相同的参考数字。
附图被用来提供对本发明的进一 步理解，它被引入说明书并组 成说明书的一个部分。
了本发明的实施方式，并与描述一 起用来解释本发明的原理。在附图中，
图1示意性地示出便携客户电子设备的示例框图，其基于蜂窝
终端物设备被典型地实施；
图2是根据本发明的编码原理的详细图示；
图3是根据本发明的解码原理的详细图示；
图4绘出根据本发明表示的编码侧的操作序列；
图5绘出根据本发明表示的解码侧的操作序列；
图6表示根据示出所有组件的本发明的编码模块；
图7表示根据示出所有组件的本发明的解码模块。
虽然本发明是参考根据附图的实施方式被说明的，但显然本发
明并不限于此，而是它可以在所附权利要求的范围内以多种方式修改。
在下文对各种实施方式的描述中将参考附图，其构成说明书的 一部分，并且其中通过图示本发明可被实施的各种实施方式来表示。 应该理解，其他可能^f吏用的实施方式以及可能f文出的结构性和功能 性修改没有脱离本发明的范围。贯穿附图和说明书，尽可能使用相 同的参考编号来指代相似或相同的部分。
具体实施例方式
图1绘出了根据本发明的一个实施方式的一种典型的移动设备。 图1中表示的移动设备10能够进行蜂窝数据和语音通信。应当指出， 这种特定实施方式以说明的方式代表了多种实施方式中的一种，本 发明不限于此特定的实施方式。移动设备10包括(主)微处理器或 微控制器10 0以及与控制移动设备的操作的微处理器相关联的组件。 这些组件包括连接到显示模块135的显示控制器130、非易失性存储
器140、易失性存储器150 (例如，随机存取存储器(RAM))、连 接到麦克风161的音频输入/输出(I/O)接口 160、扬声器162和/ 或听筒163、连接到小键盘175或键盘的小键盘控制器170、任何辅 助输入/输出(1/0)4妻口 200、以及短程通信接口 180。这样的设备 还典型地包括被总体示为190的其他设备子系统。
移动设备10可以在语音网络上通信，和/或在数据网络上同样地 通信，例如，任何公共陆地移动网络(PLMN)，形式上是例如数字 蜂窝网络，尤其是GSM (全球移动通信系统)或UMTS (通用移动 通信系统)。典型地，语音和/或数据通信通过空中接口被操作，即 与基站(BS)或节点B (没有示出)的其他部件(如上)协作的蜂 窝通信接口子系统，其中基站(BS)或节点B是蜂窝网络基础设施 的无线接入网络(RAN)的一部分。参考如图1中说明性描述的蜂 窝通信接口子系统，包括蜂窝接口 110、数字信号处理器(DSPH20、 接收器(RX) 121、发送器(TX) 122、以及一个或多个本地振荡器 (L〇)123,它支持与一个或多个公共陆地移动网络(PLMN)的通 信。数字信号处理器(DSP) 120发送通信信号124到发送器(TX) 122，并从接收器(RX) 121接收通信信号125。除了处理通信信号 之外，数字信号处理器120还提供接收器控制信号126和发送器控 制信号127。例如，除分别对将要发送信号的调制和对接收信号的解 调制外，接收器(RX) 121和发送器(TX) 122中通信信号所应用 的增益水平可以通过实施在数字信号处理器(DSP) 120中实施的自 动增益控制算法自适应地控制。其他收发器控制算法也可以在数字 信号处理器(DSP) 120中实施，以提供收发器122更为复杂的控制。 当移动设备IO通过PLMN的通信发生在单一频率或一组密集分布频 率上时，单个的本地振荡器(LO) 123可以与发送器(TX) 122和 接收器(RX) 121协同使用。可选地，如果不同的频率被用于语音/ 数据通信或发送与接收，则多个本地振荡器128可被用以产生多个 相应的频率。尽管图1中描述的天线129可以是不同的天线系统(未 示出)，移动设备IO可以如图所示地使用单天线结构用于信号接收
及发送。包括语音和数据信息两者在内的信息经由接口 110与数字
信号处理器(DSP) 120之间的数据链路在蜂窝接口 IIO之间往来通 信。蜂窝接口 IIO的详细设计，例如频带、组件选择、功率水平等， 将依赖于其中旨在操作移动设备100的无线网络。
在完成了所有所需的网络注册或激活过程之后(该过程可能涉 及在蜂窝网络中注册所需的订户识别模块(SIM) 210)，然后移动 设备10可以通过无线网络发送和接收通信信号，包括语音和数据信 号。由天线129从无线网络接收到的信号被路由给接收器121，其提 供如下操作信号放大、频率下变频、滤波、通道选择以及模数转 换。接收信号的模数转换允许使用数字信号处理器(DSP) 120执行 更为复杂的通信功能，例如数字解调和解码。以类似的方式，将要 被发送的信号由例如数字信号处理器(DSP) 120处理(包括调制和 编码)，而后提供给发送器122用于数模转换、频率上变频、滤波、 放大，并经由天线129传输到无线网络。
可被指定为设备平台微处理器的微处理器/微控制器(HC) 100 管理移动设备10的功能。由处理器IIO使用的操作系统软件149优 选地在例如非易失性存储器140中永久地存储，其可被实施为例如 闪存、支持电池的RAM、任何其他的非易失性存储技术、或其组合。 除了控制移动设备10的低层功能和(图形)基本用户界面功能的操 作系统149之外，非易失性存储器140还包括多个高层软件应用程 序或模块，例如语音通信软件应用程序142、数据通信软件应用程序 141、组织器模块(未示出)、或其他任何类型的软件模块(未示出)。 这些模块被处理器IOO执行并提供移动设备IO与其用户之间的高层 接口 。该接口典型地包括通过受控于显示控制器130的显示器135 提供的图形组件、以及通过小键盘控制器170与处理器100连接的 小键盘175提供的输入/输出组件、辅助输入/输出(I/O)接口 200、 和/或短程(SR)通信接口 180。辅助1/0接口 200尤其包括USB(通 用串行总线)接口、串行接口、 MMC (多媒体卡)接口和相关接口 技术/标准、以及其他任何标准化的或私有的数据通信总线技术，而短程通信接口射频(RF)低功率接口尤其包括WLAN(无线局域网) 和蓝牙通信技术或IRDA (红外数据接入)接口。这里引入的RF低 功率接口应特别纟皮理解为包括任何IEEE 801.xx标准技术，其描述可 从电子电气工程师协会获得。此外，辅助1/0接口 200和短程通信接 口 180可以分别表示一个和多个接口 ，这些接口分别支持一个或多 个输入/输出接口技术和通信接口技术。
操作系统、特定的设备软件应用或模块或其部分可以被暂时性 地加载到易失性存储器150中，例如典型地基于DRAM (直接随机 存取存储器)技术实现的随机存取存储器，以便更快地操作。此外， 接收到的通信信号在被永久性地写入文件系统前，也可以被暂时性 地保存在易失性存储器150中，其中文件系统位于非易失性存储器
储器上。应当理解，上述组件代表了这里以蜂窝电话形式实施的传 统移动设备10的典型组件。本发明不限于这些特定组件，对其实现 的描述仅为说明之用及出于完整性考虑。
移动设备10的示例性软件应用模块是个人信息管理器应用程 序，其提供PDA (个人数字助理)功能，典型地包括联系人管理器、 日历、任务管理器等。这样的个人信息管理器由处理器100执行， 可访问移动设备10的组件，也可与其他软件应用才莫块交互。例如， 与语音通信软件应用的交互使其可以管理电话呼叫、语音邮件等， 并且与数据通信软件应用程序的交互使其可以管理SMS (短消息服 务)、MMS (多媒体服务)、电子邮件通信和其他数据传输。非易 失性存储器140优选地提供文件系统以利于永久保存设备上数据项， 具体包括日历条目、联系人等。与例如经由蜂窝接口、短程通信接 口或辅助I/O接口的网络进行数据通信能力支持经由这些网络的上
传、下载、同步。
应用模块141到149表示被配置为由处理器IOO执行的设备功 能或软件应用。在大多数已知的移动设备中，单个的处理器管理和 控制移动设备的全部操作及所有设备功能和软件应用。这个概念适
用于今天的移动设备。特别地，增强的多媒体功能的实施驱动对计 算能力的需求，该实施包括例如视频流重现应用、对由集成地或可 拆卸地连接的数字照相机功能获取的数字图像和视频序列的才喿作、 以及还包括复杂图形学的游戏应用程序。处理计算能力需求的 一 种 方式是通过实施强大的和通用的处理器内核来解决提高计算能力的 问题，这种方法在过去被沿用。另一个用于提供计算能力的方法是 实现两个或多个独立的处理器内核，这是本领域内众所周知的方法。
管通用处理器被设计为执行多样性的不同任务，没有针对事先选定 的特殊任务的专门化，但多处理器设置可以包括一个或多个通用处 理器、以及被配置为处理预定任务集的一个或多个专用处理器。然 而，在一个设备中多个处理器的实施中，特别是在如移动设备10这 样的移动设备中，传统上需要对组件进行完全和复杂的重新设计。
下文中，本发明将提出一个概念，它允许附加处理器内核与现 有处理设备实施的简单集成，使得代价高昂的完全和复杂的重新设 计可以被省略。将参考片上系统(SoC)设计加以描述创造性。片上 系统(SoC)是将处理设备的至少多个(或所有)组件集成在单个的
高集成化芯片上的概念。这样的片上系统可以包含数字、模拟、混 合信号，并常常包含射频功能——全部在一个芯片上。典型的处理 设备包括执行不同任务的多个集成电路。这些集成电路具体包括微
处理器、存储器、通用异步结接收器-发送器(UART)、串行/并行 端口、直接存储器存取(DMA)控制器等。通用异步接收器-发送器 (UART)在数据的并行比特和串行比特之间转换。导致超大规模集 成(VLSI)电路的半导体技术近来的进展实现复杂性方面的重大增 长，从而有可能将系统的多个组件集成在单一的芯片上。参考图1, 其一个或多个组件，例如控制器130和160、存储器組件150和140、 以及接口 200、 180、 IIO中的一个或多个，可以与处理器100—起 集成在单个的芯片中，最终形成片上系统(SoC)。
另外，所述设备10配备有用于根据本发明的创造性操作视频数
据可伸缩编码的模块105和解码的模块106。依靠CPU 100，所述模 块105和106可以单独被使用。然而，所述设备IO被配置为分别执 行视频数据编码或解码。所述视频数据可能依靠设备的通信模块被 接收，也可以被保存在设备10中的任意可能想到的存储装置上。
参考附图2,根据本发明的FGS编码原理的详细解释被描述。 原始的未加工—见频数据:故用于运动估计，以及还用于编码基本层EL 和相应的增强层EL。原则上，每个EL包括被编码的FGS信息，它 可以例如实现解码器侧的进一 步图像改进。在进行了所有编码操作 之后，BL数据流和(如果需要)具有附加FGS信息的多于一个的 EL数据流被提供。根据本发明的创造性步骤，FGS信息以如下方式 有利地编码，即，每个FGS条带可以覆盖与基本层图像中其对应条 带覆盖的区域不同的区域。因此，对于没有被基本层图像中的一组 条带准确覆盖的某个区域，可以基于EL中的FGS信息增强图像质 量，从而可以通过以更高的质量编码覆盖感兴趣区域的FGS条带、 或只编码覆盖感兴趣区域的FGS条带，从而实现感兴趣区域ROI的 图4象改进。可选地，由运动估计ME产生的运动向量MV可以4皮进 一步处理或发送给接收器。
图3绘出了根据本发明的FGS解码原理。在接收到BL和EL流 之后，FGS解码器对所述可伸缩编码的视频数据提供适当的解码。 依靠运动向量MV和EL中的FGS条带，解码器将根据FGS信息确 定基本层中的哪部分图像应当被改进。可伸缩解码技术由此被实现， 同时解码器可以确定哪些图像区域应当利用EL的FGS信息。在这 个典型的实施方式中，只有一个EL被描述并^皮相应地解码，^旦可以 想像解码器可以处理多个EL。
图4示出了操作序列，该操作序列图示出根据本发明的 一般FGS 编码方法。在操作S400中序列开始。这可能对应于编码器模块从例 如照相机获取未加工视频数据流的时间，参考操作S410。下一个操 作将根据本操作的创造性步骤使用相应的FGS信息提供可伸缩视频 编码。操作S420和S430分别象征从基本层BL产生或创建(如果
需要)多于一个的增强层EL。对于每个EL,FGS信息将被定义S440， 其中所述信息被包含在对应于基本层图像某区域的FGS条带中。在 定义了包含FGS信息的所有相关的FGS条带之后，编码器确定基本 层图像中的哪部分表示ROI,并可由此将条带中的FGS信息专门用 于该图像部分，如参考操作S440所示。本发明范围内的其他实施同 样也是可以想像到的。
如果不需要进一步处理，则操作序列可以到结束操作S490,也 可以才艮据新的迭^t而 一皮重新启动。
图5是根据本发明的FGS解码方法的操作序列。操作序列在操 作S500被启动。接下来提供了获取操作S510，它与例如包含FGS 信息的可伸缩编码数据流的接收相 一 致。基于所述接收到的编码数 据流，解码器导出S520全部所需信息BL、 EL和所谓FGS条带中 包含的FGS信息。
根据接收到的FGS条带、基本层和增强层，解码器被配置为重 构原始序列S530。根据本发明的创造性步骤，接收到的FGS信息可 被用于基本层图像中的某些感兴趣区域。
如果不需要进一步处理，操作序列可能到达结束操作S590,也 可能根据新的迭代而被重新启动。
参考图6和图7,根据本发明的编码和解码模块被描述。所述模 块可以被实施为软件、硬件等单独形式或任意组合形式。
图6示出用于视频数据可伸缩编码的模块105。所述模块105包
括获取组件600,用于获取所述视频数据，产生组件610，用于基
于所述获取的视频数据产生基本层，产生组件620,用于根据所述视
频数据和所述基本层产生至少一个相应的可伸缩增强层，其中所述 至少一个增强层包括基于一个或多个增强FGS条带的精细粒度伸缩
(FGS)信息，所述FGS条带描述所述基本层中的某些区域；以及 定义组件630,用于以如下方式定义所述一个或多个产生的增强FGS 条带的至少一个，即所述至少一个产生的增强FGS条带覆盖的区域 不同于基本层图像中相应条带覆盖的区域；以及编码组件640,用于
编码所述基本层和所述至少 一 个增强层，得到编码视频数据。
图7示出了用于编码视频数据的可伸缩解码的模块106，包括获
取组件700，用于获取所述编码视频数据，识别组件710,用于识別 所述编码视频数据中的基本层和多个增强层，确定组件720，用于确 定所述多个增强层中关于所述基本层的精细粒度伸缩(FGS)信息， 其中所述FGS信息包括描述所述基本层中某区域的至少 一个FGS条 带，且所述FGS条带的至少一个覆盖的区域不同于所述基本层图像 中相应条带所覆盖的区域，解码组件730,用于通过合并所述基本层、 所述多个增强层和所述F G S信息解码所述编码视频数据，得到解码 视频数据。
尽管本发明参考基于附图的实施方式被描述，显而易见的是， 本发明并不限于此，其可以在所附权利要求的范围内以多种方式修 改。
权利要求
1.一种用于编码视频数据的方法，该方法包括-获取所述视频数据；-基于所述获取的视频数据产生基本层图像，所述基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；以及-产生对应于所述基本层图像的至少一个增强层图像，其中所述至少一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述增强层图像中的区域，-其中，所述FGS条带的至少一个对应的区域不同于基本层图像中的所述条带对应的区域，-编码所述基本层图像和所述至少一个增强层图像，得到编码视频数据。
2. 根据权利要求1所述的方法，其中所述至少一个FGS条带是 视频编码标准H.264/AVC的可伸缩扩展中说明的渐进细化条带。
3. 根据权利要求1所述的方法，其中所述产生所述基本层图像 和所述至少 一 个增强层图像是基于所述视频数据中的运动信息，所 述运动信息由运动估计过程提供。
4. 根据权利要求1所述的方法，其中所述至少一个FGS条带对 应于图像中的感兴趣区域(ROI)。
5. 根据权利要求1所述的方法，其中所述基本层图像中条带的 数量和增强层图像中FGS条带的数量不同。
6. 根据权利要求1所述的方法，其中所述FGS条带被编码，使 得其具有对应于预定数值的字节数。
7. —种用于编码视频数据的可伸缩解码的方法，包括步骤 -获取所述编码视频数据；-识别所述编码视频数据中的基本层图像和至少 一 个增强层图所述基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；并且至少一个增强层图像对应于所述基本层图像， 其中所述至少 一 个增强层图像包括至少 一 个精细粒度伸缩(F G S )条 带，所述至少一个FGS条带对应于所述增强层图像中的区域，其中所述FGS条带的所述至少 一个对应的区域不同于所述基本 层图像中的所述条带对应的区域，通过合并所述基本层图像、所述至少一个增强层图像解码所述 编码视频数据，得到解码视频数据。
8. 根据权利要求7所述的方法，其中所述至少一个FGS条带是 称作H.264/AVC的视频编码标准的可伸缩扩展中说明的渐进细化条 带。
9. 根据权利要求7所述的方法，其中所述基本层图像和所述增 强层图像是基于所述编码视频数据中的运动信息，所述运动信息由 所述编码视频数据提供。
10. 根据权利要求7所述的方法，其中所述至少一个FGS条带 涉及所述编码视频数据中单独图像的某些感兴趣区域。
11. 根据权利要求7所述的方法，其中所述编码^L频数据不包括 覆盖非感兴趣区域的FGS条带。
12. 根据权利要求7所述的方法，其中所述至少一个FGS条带 具有接近但小于预定数值的字节数。
13. —种根据权利要求1所述的方法操作的设备。
14. 一种根据权利要求7所述的方法操作的设备。
15. —种用于根据权利要求1所述方法支持数据传输的系统。
16. —种用于根据权利要求7所述方法支持数据传输的系统。
17. —种数据传输系统，包括至少一个编码设备，用于执行视频 数据的可伸缩编码方法，包括步骤-获取所述视频数据；-基于所述获取的视频数据产生基本层图像，所述基本层图像 包括至少一个条带，所述条带对应于所述基本层图像中的区域；以及-产生对应于所述基本层图像的至少一个增强层图像，其中所述至少一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所 述至少一个FGS条带对应于所述增强层图像中的区域，-其中所述FGS条带的所述至少一个对应的区域不同于所述基 本层图像中的所述条带对应的区域。-编码所述基本层图像和所述至少一个增强层图像，得到编码 视频数据，以及一种解码设备，用于执行编码视频数据的可伸缩解码方法，包 括步骤获取所述编码视频数据；识别所述编码视频数据中的基本层图像和至少 一 个增强层图像；所述基本层图像包括至少一个条带，所述条带对应于所述基本 层图像中的区域；以及对应于所述基本层图像的至少 一个增强层图 像，其中所述至少 一 个增强层图像包括至少 一 个精细粒度伸缩(F G S ) 条带，所述至少 一个FGS条带对应于所述增强层图像中的区域，其中所述FGS条带的所述至少一个对应的区域不同于所述基本 层图像中的所述条带对应的区域，通过合并所述基本层图像、所述至少 一个增强层图像解码所述 编码视频数据，得到解码视频数据。
18. —种计算机程序产品，包括计算机可读存储结构，其上包含 计算机程序代码，用于由电子设备主控的计算机处理器执行，其中 所述计算机程序代码包括用于执行根据权利要求1所述的方法的指 令。
19. 一种计算机程序产品，包括计算机可读存储结构，其上包含 计算机程序代码，用于由电子设备主控的计算机处理器执行，其中 所述计算机程序代码包括用于执行根据权利要求7所述的方法的指 令。
20. —种实施于载波中并表示指令的计算机数据信号，当其被处 理器执行时，导致权利要求1的操作被执行。
21. —种用于视频数据的可伸缩编码的模块(105),包括 获取组件(600 ),用于获取所述视频数据；产生组件(610),用于产生基于所获取的视频数据的基本层图像；产生组件(620)，用于基于所述获取的视频数据和所述基本层 产生至少一个增强层图像，所述基本层图像包括至少一个条带，所 述条带对应于所述基本层图像中的区域；且至少 一个增强层图像对 应于所述基本层图像，其中所述至少一个增强层图像包括至少一个 精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述增 强层图像中的区域；以及定义组件(630 ),用于以如下方式定义所述一个或多个产生的 增强层FGS条带的至少一个，即所述FGS条带的所述至少一个对应 的区域不同于所述基本层图像中的所述条带对应的区域；以及编码组件(640 ),用于编码所述基本层和所述至少一个增强层， 得到编码视频数据。
22. —种用于编码视频数据的可伸缩解码的模块(106)，包括 获取组件(700)，用于获取所述编码视频数据；识别组件(710),用于识别所述编码视频数据中的基本层图像 和至少 一个增强层图像；其中所述基本层图像包括至少 一个条带，所述条带对应于所述基本层图像中的区域；且至少 一 个增强层图像 对应于所述基本层图像，其中所述至少 一 个增强层图像包括至少一 个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述 增强层图像中的区域，其中所述FGS条带的所述至少一个对应的区域不同于所述基本 层图像中的所述条带对应的区域；以及解码組件(730 ),用于通过合并所述基本层、所述至少一个增 强层解码被编码的视频数据，得到解码视频数据。
23. —种实施于载波中并表示指令的计算机数据信号，当其被处 理器执行时，导致权利要求7的操作被执行。
全文摘要
本发明公开了一种用于基于精细粒度伸缩(FGS)信息的有效的和改进的视频数据可伸缩编码和/或解码的方法，装置和系统。根据本发明的第一方面，一种用于视频数据编码的方法被提出，该方法包括获取所述视频数据；基于所述获取的视频数据产生基本层图像，基本层图像包括至少一个条带，所述条带对应于所述基本层图像中的区域；并产生对应于所述基本层图像的至少一个的增强层图像，其中，所述至少一个增强层图像包括至少一个精细粒度伸缩(FGS)条带，所述至少一个FGS条带对应于所述增强层图像中的区域，其中所述FGS条带对应的所述至少一个区域不同于所述基础层中所述条带对应的区域，编码所述基础层图像和所述至少一个增强层图像，得到编码视频数据。
文档编号H04N7/26GK101180884SQ200680018048
公开日2008年5月14日 申请日期2006年3月22日 优先权日2005年4月13日
发明者王业奎 申请人:诺基亚公司