专利名称：解码视频信号的方法
技术领域：
本发明涉及一种解码视频信号的方法。
背景技术：
如今通信环境正随着宽带聚合网(BcN)的发展而改变，用来实现诸如有线和 无线复合网络、广播网络和通信网络的结合或使用因特网协议(IP)网络的IP聚 合的服务。这种通信环境改变的趋势会在将来更迅速地发展。由于通信环境的改变， 用于多种通信环境的终端也以不同方式变化并且终端的处理能力也在变化。因此， 为了提供对各种通信环境和各种终端优化的视频信号，必须形成多种提供给终端的 视频信号。为了将优化的视频信号提供给终端， 一视频源必须包括多种变量的组 合，，例如每秒的发送帧数、每像素的分辨率和比特数等。这给内容提供者增加了 很大的负担。
有鉴于此，内容提供者将原始视频信号编码为经高比特率压縮的视频数据， 当从终端接收到对视频的请求时将经压縮的视频数据解码为原始视频信号，并在将 视频数据提供给终端前将原始数据编码成适应该终端的视频处理能力的视频数据。 然而，在这种代码转换(解码和编码的结合)时，必须执行编码处理、编解码处理 并因此在将视频信号提供给终端时会产生时延。因此，进一步需要具有复杂硬件和 算法的装置。
为了解决这样的问题，已提出可縮放视频编码(SVC)。这种方法可通过将 视频信号编码为具有在最高图像质量的一个图象序列并只解码图象序列中的一部 分(间断地从整个帧序列中选择的部分图象序列)来表示视频信号。使用SVC编 码的图象序列能使用空间縮放性减小视频尺寸或使用低比特率的SNR縮放性减少 图像质量。此时，具有小屏幕尺寸和/或小的每秒帧数的图象序列被称为基层而具 有大屏幕尺寸和/或大的每秒帧数的图象序列被称为增强的或增强层。
尽管可如上所述地通过接收和处理以可縮放方法编码的图象序列的一部分而 以低图像质量表示视频信号，然而图像质量随着比特率降低而显著劣化。对这种问 题的一种解决方案是提供具有低比特率的辅助图象序列，例如具有小屏幕尺寸和/ 或小的每秒帧数的图象序列。辅助图象序列被称为基层，而主图象序列被称为增强 的(或增强)层。
在该SVC中，如果当解码含被解码和发送的增强层的特定图象时部分增强层 比特流丢失，则解码器使用丢失的增强层比特流解码图象。因此，原始视频信号和 经解码视频信号的图像质量彼此不同。具体地说，当具有上述问题的图象是解码其 它图象所必须的基准图象以及关键图象时，该问题变得更为严重。
发明内容
因此，本发明针对一种本质上规避由于相关技术的局限和缺陷引起的一个或 多个问题的解码视频信号的方法。
为解决此问题而设计的本发明的一个目的在于解码方法，它能将解码视频信 号的过程中由于传输错误而造成的问题减至最小。
为解决此问题而设计的本发明的另一目的在于根据解码方法管理已解码的图 象缓存的方法，它能将解码视频信号的过程中由于传输错误产生的问题减至最小。
本发明的目的可通过提供基于细粒度縮放性(FGS)解码视频信号的方法来实
现，该方法包括获得指示当前块的基准图象的图象标识信息；以及使用基准图象 解码当前块，其中基层基准图象以及与之相关的增强层基准图象具有相同的图象标
识"(曰息。
包含于此以提供对本发明的进一步理解的附图示出本发明的实施例并与说明 书一起用来解释本发明的原理。 在附图中
图1是对其应用本发明的可縮放视频编码系统的方框示意图； 图2是示出根据本发明一个实施例的用于解码方法和管理经解码的图象缓存 的方法的图象结构的图3是示出根据本发明一个实施例的用于解码视频信号的方法的流程图； 图4是示出根据本发明另一实施例的用于解码视频信号的方法的流程图； 图5是示出根据本发明一个实施例的经解码的图象缓存结构的图； 图6a—6b是示出根据本发明一个实施例的重排基准图象的基准号的图7是示出与存储器管理控制操作(MMCO)的代码号对应的经解码的图象 缓存的管理内容的图8是示出根据本发明另一实施例的经解码的图象缓存结构的具体实施例方式
下面详细参照本发明的较佳实施例，其实例示出于附图中。在任何地方，所 有附图中相同的附图标号表示相同或相似的部分。
另外，尽管本发明中使用的术语是从公知和公用的术语中选出的，然而本发
明说明书中提到的一些术语是由申请人按照自己的判断而选择的，其详细含义在本 文说明书中的相关部分被给出。此外，要求不仅通过使用的实际术语还通过蕴藏于 其中的每个术语的含义来理解本发明。
图1是对其应用本发明的可縮放视频编码系统的方框示意图。
可縮放视频编码系统包括编码器2和解码器10。编码器2包括基层编码器4、 增强层编码器6和多路复用器8。解码器10包括多路分解器12、基层解码器14 和增强层解码器16。基层编码器4压縮输入视频信号X(n)并产生基层比特流。增 强层编码器6使用输入的视频信号X(n)和由基层编码器4产生的信息产生增强层 比特流并且多路复用器8使用基层比特流和增强层比特流产生可縮放比特流。所产 生的可縮放比特流经由某信道被发送给解码器10并且所发送的可縮放比特流被解 码器10的多路分解器12分割成增强层比特流和基层比特流。基层解码器14接收 基层比特流并将基层比特流解码成输出视频信号Xb(n)，并且增强层解码器16接 收增强层比特流并将增强层比特流解码成输出视频信号Xe(n)。输出视频信号Xb(n) 具有比输出视频信号Xe(n)更低的分辨率和图像质量。
图2是示出根据本发明一个实施例的用于解码方法和管理经解码的图象缓存 的方法的图象结构的图。
在该图象结构中，图象组(GOP)由分级的B图象结构形成，并且构成GOP 的图象被分类成关键图象和非关键图象。 一个图象由基层基准图象QB和增强层基 准图象QE构成。关键图象表示具有最低时间水平的图象而非关键图象表示除关键 图象以外的图象。
在这种结构中，当前图象可使用来自时间水平低于或等于当前图象的那些图 象中的至少一个图象作为基准图象。例如，当第一图象22是通过内部预测而编码 的I图象时，第一图象22不使用基准图象而被编码，第二图象24使用第一图象22作为基准图象被编码，第三图象26使用第一图象22和第二图象24作为基准图 象而被解码，第四图象28和30使用第一图象22和第三图象26或第二图象24和 第四图象26作为基准图象而被解码，第五图象32、 34、 36和38使用第一图象22 和第四图象28、第三图象26和第四图象28或第二图象24和第四图象30作为基 准图象而被解码。图象以第一图象22、第二图象24、第三图象26、第四图象28 和30以及第五图象32、 34、 36和38的顺序被解码。第一图象22和第二图象24 是关键图象而第三至第五图象26、 28、 30、 32、 34、 36和38是非关键图象。关键 图象包括基层基准图象和增强层基准图象并且在图2中被表示为第一图象22和第 二图象24。当非关键图象作为基准图象使用时，则参照非关键图象的增强层基准 图象。非关键图象的增强层基准图象指示非关键图象的基层基准图象已重构并以虚 线表示，如图2所示的第三至第五图象26、 28、 30、 32、 34、 36和38。
图3是示出根据本发明一个实施例的用于解码视频信号的方法的流程图。 首先，解码器经由某信道接收编码的视频信号。从视频信号获得指示当前块 的基准图象的图象标识信息(S310)。例如图象标识信息可以是基准图象的基准 索引信息或图象号信息。可用基准图象解码当前块(S320)。基层基准图象和与 之对应的增强层基准图象可具有相同的图象标识信息。图象标识信息可以是基准图 象的基准索引信息或图象号信息。增强层基准图象可具有比基层基准图象更高的图 像质量。
当包含当前块的图象是关键图象时，当前块的基准图象可以是基层基准图象 或与之对应的增强层基准图象。可基于图象标识信息从基准图象列表获得当前块的 基准图象。可使用所获得的基准图象解码当前块。即使在这种情形下，基层基准图 象和与之对应的增强层基准图象具有相同的图象标识信息。增强层基准图象可具有 高于基层基准图象的图像质量。
例如，当图2所示的当前图象是第二图象24同时又是P图象时，第二图象24 的基准图象是第一图象22而第二图象24是关键图象。因此，可通过参照第一图象 22的基层基准图象或增强层基准图象而解码作为当前图象的第二图象24。此时， 基层基准图象和增强层基准图象可具有相同的图象标识信息并且该图象标识信息 可以是基准图象的基准索引信息或图象号信息。又如，在当前图象是第四图象28 时，第四图象28的基准图象是第一图象22和第三图象26并且第四图象28与非关 键图象对应。在这种情形下，作为当前图象的第四图象28的基准图象包括第一图 象22的基层基准图象、第一图象22的增强层基准图象或第三图象26的增强层基
准图象。第三图象26的增强层基准图象指示第三图象的基层基准图象已被重构。 图4是示出根据本发明另一实施例的用于解码视频信号的方法的流程图。 首先，可从基准图象列表获得第一基准图象(S410)。这里，第一基准图象 关联于图象标识信息并且图象标识信息包括基准图象的基准索引信息或图象号信 息。例如，可使用基准索引信息获得基准图象列表中的第一基准图象。可使用所获 得的第一基准图象解码当前块(S420)。此时，第一基准图象和与之对应的第二 基准图象可具有相同的图象标识信息并且第一基准图象和第二基准图象通过另一 标识信息彼此区别开。例如，具有相同图象号的基层基准图象40和增强层基准图 象42可通过在经解码的基准图象标记过程中用"基表示"标记基层基准图象40 而彼此区别开。第一基准图象属于基层而第二基准图象属于增强层。增强层可具有 高于基层的图像质量。当包含当前块的图象是关键块时，当前块的基准图象可以是 第一基准图象或与之对应的第二基准图象。可使用所获得的基准图象解码当前块。 如图3和图4所示，当基准图象是作为关键图象的第一图象22或第二图象24 时，可向当前图象提供基层基准图象或增强层基准图象。或者，可向当前图象提供 第一基准图象或第二基准图象。因此，基准图象必须被存储在经解码的图象缓存中。 根据本发明解码视频信号的方法，向经解码的图象缓存中的基准图象分配基准号的 方法或管理经解码的图象缓存的方法一一例如删除基准图象的方法——需要被重 新定义。下面参照图5和图6详细描述根据本发明一个实施例的管理经解码的图象 缓存的方法。
首先，在本发明的一个实施例中，当基准图象是关键图象时，可将相同的图 象标识号分配给存储于经解码的图象缓存的基准图象的基层基准图象和增强层基 准图象。当基准图象是非关键图象时，由于基准图象的增强层基准图象被存储在经 解码的图象缓存中，因此一个图象标识号被分配给基准图象的增强层基准图象。即， 当基准图象是关键图象时，可将基准图象的基层基准图象和增强层基准图象视为虚 拟图象。这里，所分配的图象标识信息包括图象号信息或基准索引信息而图象号信 息包括长期基准图象号。
图5是示出根据本发明一个实施例的经解码的图象缓存结构的图。 当作为关键图象以及图2所示基准图象的第一图象22被解码并被存储于经解 码的图象缓存时，以图象号"O"存储构成第一图象22的基层基准图象40和增强 层基准图象42。在作为关键图象以及与第一图象22相同的基准图象的第二图象24 中，以图象号"1"存储构成第二图象24的基层基准图象44和增强层基准图象46。
在作为非关键图象以及基准图象的第三图象26中，用图象号"2"存储基准图象 26的增强层基准图象48。除了在解码后不是立即显示图象的情形，第五图象32、 34、 36和38不被存储在经解码的图象缓存中，这是因为第五图象是非基准图象。
此时，在当前图象是关键图象并且参照图象号为"0"的基准图象时，由于基 准图象22的基层基准图象40和增强层基准图象42具有相同的图象标识信息，即 图象号"0"，因此具有图象号"0"的基层基准图象40和增强层基准图象42必须 被相互区别开。因此，本发明可使用另一标识信息。例如，具有相同图象号的基层 基准图象40和增强层基准图象42是通过在经解码的基准图象标记过程中用"基表 示"标记基层基准逆图象40而被彼此区别开。
作为本发明的另一实施例，存储在经解码的图象缓存中的诸图象的图象标识 信息根据在解码的图象缓存中解码哪个图象而改变。因此，可从基准图象列表获得 基准图象列表中的第一基准图象并使用该第一基准图象对当前块进行解码。此时， 第一基准图象和与之对应的第二基准图象具有相同的图象标识信息并且第一基准 图象和第二基准图象可通过另一标识信息彼此区别开。例如，可通过在经解码基准 图象标记过程中以"基表示"标记第一基准图象或第二基准图象而将具有相同图象 号的第一基准图象和第二基准图象彼此区别开。第一基准图象属于基层而第二基准 图象属于增强层。在这种情形下，第一基准图象和第二基准图象可通过用"基表示" 标记第一基准图象而将第一基准图象和第二基准图象彼此区别开。
作为本发明的另一实施例，如参照图3和图4所述，当用基准图象解码当前 块时，可使用基准图象初始化基准图象列表。经初始化的基准图象列表可被重排。 当重排基准图象列表时，可从重排后的基准图象列表获得基准图象。下面结合图 6a和图6b描述基准图象列表的重排。
图6a—6b是示出根据本发明一个实施例的重排基准图象的基准号的图。
基准号的重排表示解码当前图象过程中，当时间上靠近当前图象的图象具有 比时间上远离当前图象的图象更低的与当前图象的相关性时，将最低基准号重新分 配给与基准图象列表中与当前图象具有最高相关性的图象并且有效地管理基准图 象的命令。下面结合图6a和6b详细说明基准号的重排。
图6a示出处于一种状态下的图象结构，其中第一、第二、第三和第四图象22、 24、 26、 28和30被解码和存储于经解码的图象缓存中。当想要解码第五图象34 时，存储在经解码的图象缓存中的图象的基准图象列表0被配置成图6b所示那样。 将基准号赋予图象同时沿逆时针方向从第五图象34开始旋转基准图象列表0并将
基准号赋予图象同时沿顺时针方向从第五图象34开始旋转基准图象列表1。然而， 当时间上远离第五图象34的第一图象22具有比时间上靠近第五图象34的第四图 象28更高的与第五图象34的相关性时，在基准图象列表0中，基准号0被重新分 配给第一图象22并且基准号1被重新分配给第四图象28，由此重排基准图象列表。 当基准图象列表1中时间上远离第五图象34的第二图象24比时间上靠近第五图象 34的第四图象30具有与第五图象更高的相关性时，基准号1被重新分配给第二图 象24并且基准号2被重新分配给第四图象30，从而重排基准图象列表。
在本发明的一个实施例中，如上所述，在重排基准号期间，当基准图象是关 键图象时，基层基准图象和增强层基准图象被视为对其重新分配基准号的一个图 象，并且当基准图象是非关键图象时，分配给增强层基准图象的基准号被重新分配， 从而重排基准图象列表。
作为本发明的另一实施例，基准图象列表的初始化使用与基准号重排相同的 方法。例如，获得指示当前块的基准图象的图象标识信息并基于所获得的图象标识 信息读取存储在基准图象缓存中的基准图象。使用读取的基准图象对当前块进行解 码。基层基准图象和与之对应的增强层基准图象可具有相同的图象标识信息并且图 象标识信息包括基准图象的基准索引信息或图象号信息。当基准图象是关键图象 时，基准图象的基层基准图象和增强层基准图象被视为对其分配基准号的一个图 象。当基准图象是非关键图象时，可将基准号分配给增强层基准图象。即使当基准 图象不再需要被参照并使用滑动时窗(slidingwindows)方法将其从已解码的图象 缓存删除时，如果基准图象是关键图象，则基准图象的基层基准图象和增强层基准 图象被视为一个图象并可从缓存中删除该基准图象。如果基准图象是非关键图象， 则可从缓存器中删除增强层基准图象。在这种情形下，使用首先删除最先存储在缓 存中的图象的先入先出(FIFO)方法来删除图象。
作为本发明的另一实施例，下面对使用存储器管理控制操作MMCO (下文中 称其为"MMCO")管理经解码的图象缓存的方法进行说明。当在解码当前图象 的过程中从当前图象获得MMCO时，管理与MMCO对应的经解码的图象缓存。 如图5所示，在当前图象为关键图象时，经解码的图象缓存中的基准图象50的基 层基准图象52和增强层基准图象54受到存储器管理控制操作56的支配(例如将 基准图象从短期存储器移动至长期存储器的命令)。在当前图象是非关键图象时， 经解码的图象缓存中的基准图象58的增强层基准图象受到存储器管理控制操作60 的支配。现在参照图7对与分配给MMCO的值对应的管理内容进行详细说明。
9
图7是示出与MMCO的代码号对应的经解码图象缓存器的管理内容的图。 首先，当MMCO的代码号为0时，这表示存储器管理已结束。当MMCO的 代码号为1时，这表示短期基准图象用非基准图象标记。当MMCO的代码号为2 时，这表示长期基准图象用非基准图象标记。当MMCO的代码号为3时，这表示 短期基准图象用长期基准图象标记并被移至长期存储器。当MMCO的代码号为4 时，这表示长期存储器的大小是确定的。当MMCO的代码号为5时，这表示所有 基准图象用非基准图象标记并且缓存器的所有内容被复位。当MMCO的代码号为 6时，这表示当前图象用长期基准图象标记并被移至长期存储器。
在当前图象是关键图象时，与MMCO的代码号对应的操作是针对基准图象的 基层基准图象和增强层基准图象两者执行的。而在当前图象是非关键图象时，则是 针对基准图象的增强层基准图象执行的。也就是说，当相同的图象标识号被赋予基 层基准图象和增强层基准图象时，可以具有相同图象标识号的图象为单位执行基准 号的重排、基准图象列表的初始化、基准图象的删除以及使用MMCO对缓存的管 理。图象标识号包括基准图象的基准索引信息或图象号信息。
在本发明的另一实施例中，图象标识信息以存储于已解码图象缓存的图象单 位分配，不管基准图象是关键图象还是非关键图象。B卩，即使当基准图象是关键图 象时，也可将不同的图象标识信息分配给基准图象的基层基准图象和增强层基准图 象。当基准图象是非关键图象时，基准图象的增强层基准图象被存储在经解码的图 象缓存中并因此一段图象标识信息被分配给增强层基准图象。
图8是示出根据本发明另一实施例的经解码的图象缓存结构的图。 当作为关键图象和基准图象的第一图象22 (如图2所示)被解码并存储于经 解码的图象缓存中时，图象号0被分配给第一图象22的基层基准图象40，而图象 号1被分配给第一图象22的增强层基准图象42。在与第一图象22相似地作为关 键图象和基准图象的第二图象24中，图象号2被分配给第二图象24的基层基准图 象44并且图象号3被分配给第二图象24的增强层基准图象46。在作为非关键图 象和基准图象的第三图象26中，由于增强层基准图象被存储在经解码的图象缓存 中，图象号4被分配给增强层基准图象48。由于第五图象32、 34、 36和38是非 基准图象，因此第五图象不被存储在经解码的图象缓存中，解码后不立即显示第五 图象的情形除外。
作为本发明的另一实施例，在重排基准号的过程中，在当前图象是关键图象 时，仅对分配给基层基准图象的基准号进行重新分配，并且当基准图象是非关键图
象时，仅对分配给增强层基准图象的基准号进行重新分配。
作为本发明的另一实施例，在初始化基准图象列表和使用MMCO管理缓存器 的过程中，如果当前图象是关键图象，基准图象的基层基准图象和增强层基准图象 两者受到初始化和使用MMCO的存储器管理操作的作用，即使其基准号不同也是 如此，并且如果当前图象是非关键图象，则基准图象的增强层基准图象受到初始化 和使用MMCO的存储器管理操作的作用。
如图8所示，例如从当前图象获得将基准图象50从短期存储器移至长期存储 器的MMCO命令62。在当前图象是关键图象时，基准图象50的基层基准图象52 和增强层基准图象54从短期存储器移至长期存储器，并且在当前图象是非关键图 象时，基准图象的增强层基准图象58受MMCO命令64的作用。
当不再需要参照基准图象并因此使用滑动时窗方法将其从经解码的图象缓存 中删去时，如果当前图象是关键图象，则从缓存删除基准图象的基层基准图象和增 强层基准图象，即使其基准号是不同的也是如此。然而，如果当前图象是非关键图 象，则从缓存删除基准图象的增强层基准图象。在这种情形下，使用首先删除最先 存储于缓存的图象的先入先出(FIFO)方法删除图象。
本领域内技术人员可以明瞭，可对本发明作出各种修正和变化而不脱离本发 明的精神或范围。因此，本发明旨在覆盖本发明的所有修正和变化，假设它们落在 所附权利要求及其等效物的范围内。
工业应用
如上所述，根据本发明，当解码关键图象时，基准图象的基层基准图象或增 强层基准图象被提供为基准图象，并且当解码非关键图象时，基准图象的增强层基 准图象被提供为基准图象。因此，可将解码视频信号过程中由于传输错误引起的问 题减至最小。当使用上述解码方法解码视频信号时，可使用管理被解码方法优化的 经解码的图象缓存的新方法有效地解码视频信号。
权利要求
1.一种基于细粒度缩放性(FGS)解码视频信号的方法，所述方法包括获得指示当前块的基准图象的图象标识信息；以及使用所述基准图象解码当前块；其中基层基准图象和与之对应的增强层基准图象具有相同的图象标识信息。
2. 如权利要求l所述的方法，其特征在于，当包含当前块的图象是关键图象 时，所述当前块的基准图象是基层基准图象或与之对应的增强层基准图象。
3. 如权利要求1所述的方法，其特征在于，还包括基于图象标识信息从基准 图象列表获得当前块的基准图象。
4. 如权利要求1所述的方法，其特征在于，所述增强层基准图象具有图像质 量高于基层基准图象的基准图象。
5. 如权利要求l所述的方法，其特征在于，还包括初始化基准图象列表。
6. 如权利要求5所述的方法，其特征在于，还包括重排经初始化的基准图象 列表。
7. 如权利要求6所述的方法，其特征在于，还包括基于图象标识信息从重排 的基准图象列表获得当前块的基准图象。
8. 如权利要求1所述的方法，其特征在于，还包括基于图象标识信息读取存 储在基准图象缓存中的基准图象。
9. 如权利要求8所述的方法，其特征在于，使用预定的缓存管理方法从所述 基准图象缓存中删除存储在基准图象缓存中的所述基准图象。
10. 如权利要求9所述的方法，其特征在于，所述预定缓存管理方法是适应 性存储器管理方法或滑动时窗方法。
11. 如权利要求1所述的方法，其特征在于，所述图象标识信息是基准图象 的基准索引信息或图象号信息。
全文摘要
公开一种有效地解码视频信号的方法。这种基于细粒度缩放性(FGS)解码视频信号的方法包括获得指示当前块的基准图象的图象标识信息；以及使用基准图象解码当前块。基层基准图象和与之对应的增强层基准图象具有相同的图象标识信息。因此，可将解码视频信号的过程中由于传输错误而造成的问题减至最小。
文档编号H04N7/24GK101352044SQ200680037093
公开日2009年1月21日 申请日期2006年10月2日 优先权日2005年10月5日
发明者严圣铉, 全柄文, 朴志皓, 朴胜煜, 金东奭 申请人:Lg电子株式会社