专利名称：编码和解码多视像的方法和装置的制作方法
技术领域：
与本发明一致的方法和装置一般涉及编码和解码多视像，更具体地，涉及编码和解码多视像以便执行高速编码和解码所需的视图间预测和时间预测。
背景技术：
在多视像编码中，同时编码从提供多视像的多个照相机输入的图像。使用时间相关性和视图间空间相关性来压缩编码多视像。图1示出了根据现有技术的多视像的序列。
在图1中，水平轴为时间轴，垂直轴为视图轴。在多视像编码中，
对于来自于基本视图和时间预测的图像周期性地产生内(I)图片(picture),或者基于产生的I图片执行视图间预测，从而预测编码其它的图片。
使用同一视图(即，同一行)中的图像之间的时间相关性来执行时间预测。使用同一时间点(即，同一列)处的图像之间的空间相关性来执行视图间预测。
在图1中，每行示出了多视像的每个视图随时间的图像序列，每列自上而下依次示出了视图0、 1、 2到7的图像序列。视图0为基本视图，以及第一行中的图像序列来自于该基本视图。仅仅使用时间预测而不使用视图间预测来对包括在来自于基本视图的图像序列中的图片进行预测编码。
每列示出了同一时间点处的多视像。包括在列110、 120和130中的图片(其中，来自于基本视图的图像为I图片)被称为锚(anchor)图片。仅仅使用视图间预测来对锚图片进行编码。
除了包括I图片的列110、 120和130之外的其余列中包括的图片被称为非锚图片。使用时间预测和视图间预测二者来对非锚图片进行预测编码。
在图l所示的序列当中，将以第二行和第五列中的图片141作为示例。使用视图间预测和时间预测二者来对包括在图片141中的每个块进行预测。由于预测方法可以对于每个块都不同，因此将参考位于邻近于图片141处的奇数行中的图片142和143以及在时间上在图片141之前或之后的图片111和121，以Y更预测图片141。
相似地，根据现有技术，将不得不使用需要参考四个图片的视图间预测和时间预测来预测编码非锚图片，结果导致低速的多视像编码
发明内容
技术方案
本发明提供一种用于对多视像进行编码和解码的方法和装置以及其上记录有用于执行该方法的程序的计算机可读记录介质，其中可以高效地对多视像序列进行高速编码和解码。
有益效果
在预测中，基于提取的信息确定不是用于视图间预测的参考图像的图片不被参考用于视图间预测。由于可以高效地以高速执行视图间预测，因此多视像解码的速度也提高了 。
如上所述，根据本发明，在多视像的编码和解码期间，使用视图间预测来对包括在多视像序列中的仅仅一些图片进行预测编码和解码，从而加速了编码和解码。
此外，当预测不使用视图间预测的图片时，仅参考少量图片，从而使得可以有效利用预测编码和解码所需的存储器。
通过下面参考附图对本发明的示范性实施例的详细描述，本发明的上述及其它方面将变得更加明显，其中
图1示出了根据现有技术的多视像的序列；
图2是示出了根据本发明的示范性实施例的用于编码多视像的装置的框图3示出了根据本发明的示范性实施例的多视像的序列的时间级别(temporal level);
图4A示出了根据本发明的示范性实施例的多 一见像的序列；
图4B示出了根据本发明的示范性实施例的多视像的序列和它们的时间级别；
图5示出了根据本发明的示范性实施例的网络提取层(NAL)单元报头的语法；
图6A和6B示出了根据本发明的示范性实施例的序列参数集的语法；图6C和6D示出了根据本发明的示范性实施例的补充增强信息(SEI)消息的语法；
图7是根据本发明的示范性实施例的编码多视像的方法的流程图；图8是才艮据本发明的另 一个示范性实施例的编码多#见像的方法的流程图9是示出了根据本发明的示范性实施例的用于解码多视像的装置的才匡图；以及
图10是根据本发明的示范性实施例的解码多视像的方法的流程图。
具体实施例方式
根据本发明的一方面，提供一种编码多视像的方法。该方法包括确定包括在该多视像的序列(以下将被称为多视像序列)中的每个图片是否为被包括在该多视像序列中的其它图片参考用于视图间预测的参考图片；以及基于确定结果^f吏用#见图间预测和时间预测中的至少 一个来编码该图片。
该图片的编码可以包括编码每个图片的参数，其指示每个图片是否为该参考图片。
根据本发明的另一方面，提供一种用于编码多视像的装置。该装置包括确定单元，确定包括在该多视像序列中的每个图片是否为被包括在该多视像序列中的其它图片参考用于视图间预测的参考图片；以及编码单元，基于确定结果使用视图间预测和时间预测中的至少一个来编码该图片。
该编码单元可以基于该确定结果编码关于被每个图片参考以用于视图间预测和时间预测中的至少 一 个的参考图片的信息。
根据本发明的另 一方面，提供一种解码多视像的方法。该方法包括接收比特流，该比特流包括指示包括在多视像序列中的每个图片是否为被包括在该多视像序列中的其它图片参考以用于视图间预测的参考图片的信息和关于该多视像序列的数据；从接收到的比特流中提取该信息和关于该多视像序列的数据；以及基于提取的信息解码该关于多视像序列的数据。
该信息可以包括在每个图片的参数中。
根据本发明的另一方面，提供一种用于解码多视像的装置。该装置包括提取单元，接收比特流，该比特流包括指示包括在多视像序列中的每个图片是否为被包括在该多视像序列中的其它图片参考以用于视图间预测的参考图片的信息和关于该多视像序列的数据，以及/人接收到的比特流中提取该信息和关于该多视像序列的数据；以及解码单元，基于提取的信息解码该关于多视像序列的数据。
根据本发明的另一方面，提供一种编码多视像的方法。该方法包括基于时间 级别从多视像序列中选择要使用视图间预测和时间预测编码的图片；以及使用视图间预测和时间预测编码所选择的图片，并且使用视图间预测和时间预测中的一个来编码包括在该多3见像序列中的其余图片。
所述选择图片可以包括从包括在该多视像序列中的所有图片当中选择时间级别小于预定值的非锚图片。
所述编码选择的图片可以包括编码关于选择的图片的信息。
根据本发明的另一方面，提供一种用于编码多视像的装置。该装置包括选择单元，基于时间级别从多视像序列中选择要被使用视图间预测和时间预测编码的图片；以及编码单元，使用视图间预测和时间预测编码所选择的图片，并且使用视图间预测和时间预测中的一个来编码包括在该多视像序列中的其余图片。
冲艮据本发明的另一方面，提供一种解码多视像的方法。该方法包括接收比特流，该比特流包括关于多视像序列中使用视图间预测和时间预测编码的图片的信息和关于该多视像序列的数据；从接收到的比特流中提取该信息；以及基于所提取的信息来解码关于该多视像序列的数据。
该信息可以包括在序列参数中或补充增强信息(SEI)消息中。
根据本发明的另一方面，提供一种用于解码多视像的装置。该装置包括提取单元，接收比特流，该比特流包括关于多视像序列中使用视-图间预测和时间预测编码的图片的信息和关于该多视图圏像序列的数据，以及从接收到的比特流中提取该信息；以及解码单元，基于所提取的信息来解码关于该多视像序列的数据。
根据本发明的另一方面，提供一种计算机可读记录介质，其上记录有用 于执行编码多视像的方法和解码多视像的方法的程序
在下文中，将参考附图详细描述本发明的示范性实施例。应当注意，相 似的参考数字指代一个或多个附图中所示的相似的元件。在本发明的以下描 述中，为了简明清楚，将略去合并于此的已知功能和配置的详细说明。
图2是示出了根据本发明的示范性实施例的用于编码多视像的装置
200的框图。
参考图2，装置200包括控制单元210和编码单元220。
根据本发明的示范性实施例，控制单元210确定包括在多视像的序 列(以下将被称为多视像序列)中的图片是否为被包括在该多视像 序列中的其它图片参考以用于视图间预测的参考图片。
使用时间上相邻的图片之间的时间相关性和相邻的^L图中的图片之间 的空间相关性来预测编码多视像序列。多视像序列中的一些可以具 有高的时间相关性和低的空间相关性。在这种情况下，对于如图l所示的所 有非锚图片使用空间相关性进行的视图间预测仅仅增加了多视像编码 所需的时间，而并未有助于压缩率的改善。
因而，根据本发明的示范性实施例的用于编码多视像的装置200通 过仅仅对一些非锚图片执行视图间预测而不是对所有非锚图片执行视图间 预测来执行预测编码。为此，控制单元210确定包括在多视像序列中的 每个图片是否充当用于视图间预测的参考图片。换句话说，控制单元210确 定每个图片是否被其它图片参考以通过视图间预测进行预测编码。
根据本发明的另一个示范性实施例，控制单元210基于时间级别从多视 像序列中选择要被使用视图间预测和时间预测编码的图片。控制单元 210选择哪一个图片将被使用视图间预测编码，而不是确定每个图片是否被 其它图片参考以用于视图间预测。根据现有技术，使用视图间预测和时间预 测来预测编码所有非锚图片。但是，根据本发明，为了使用视图间预测编码 仅仅一些非锚图片，基于时间级别从多视像序列中选择要被使用视图间 预测和时间预测编码的图片。
时间级别是用于通过将图像序列分割成多个电平(level)来提供时间可 分级的参数，以便使得在图像解码期间仅仅选择一些电平并解码，下面将参考图3进行详细描述。
图3示出了根据本发明的示范性实施例的多视像序列的时间级别。
参考图3，多视像序列中的锚图片310和312的时间级别为'0，。 插入在锚图片310和锚图片312之间的图片314的时间级别为T。插入在 时间级别为'0，的图片和时间级别为'1，的图片之间的图片316和318的 时间级别为'2，。多视像序列的其余图片的时间级别为'3，。
图4A示出了根据本发明的示范性实施例的多视像序列。
图4A所示的多视像序列是通过控制单元210确定包括在多视 像序列中的每个图片是否被参考以用于视图间预测或通过控制单元210选择 要被使用视图间预测和时间预测编码的图片来产生的。因而，图4A所示的 多视像序列不同于根据图1所示的现有技术的多视像序列。
例如，在根据图1所示的现有技术的多视像序列中，第二行和第二 列中的图片144参考第一行和第二列中的图片145以及第三行和第二列中的 图片146用于视图间预测。换句话说，第一行和第二列中的图片145以及第 三行和第二列中的图片146为用于图片144的视图间预测的参考图片。
但是，在根据图4A所示的本发明的示范性实施例的多视像中，第 二行和第二列中的图片420不参考第一行和第二列中的图片422以及第三行 和第二列中的图片用于视图间预测。取而代之，图片420仅参考第二行和第 三列中的图片426以及第二行和第一列中的图片428用于时间预测。
在根据图1所示的现有技术的多视像序列中，非锚图片当中的所有 奇数行的图片被其它图片参考用于视图间预测。但是，在根据图4A所示的 本发明的示范性实施例的多视像序列中，非锚图片当中的奇数行的图片 中的仅仅一些被其它图片参考用于视图间预测。换句话说，在图4A中，奇 数行的非锚图片当中的仅仅奇数列的非锚图片使用视图间预测来编码。
图4B示出了根据本发明的示范性实施例的多视像序列和时间级别。
现在将参考图4B来描述选择包括在多视像序列中的一些图片以用 于如图4A所示的使用视图间预测来编码仅仅选择的图片的方式。
在图4B中，基于时间级别来确定要被参考以用于视图间预测的图片。 在图4B中，确定时间级别-'3，冲的非锚图片不使用视图间预测来编码。换 句话说，从非锚图片当中仅仅选择时间级别小于预定值的图片来使用视图间预测和时间预测编码。
充当控制单元210的确定或选择的准则的时间级别根据多视像序列
的特征而变化，不局限于图4B所示的那些。例如，当由于拍才聂多视像 的照相机之间的距离很大导致视图之间的空间相关性不高时，没有必要使用 视图间预测来预测所有非锚图片。在这种情况下，可以使用视图间预测仅仅 预测时间级别为l或更小的图片，以及在极端情况下，可以不使用视图间预 测来预测非锚图片。
反回来参考图2，根据本发明的示范性实施例，编码单元220基于控制 单元210的确定或选择结果来编码多视像序列。换句话说，编码单元220 基于控制单元210的确定或选择结果使用视图间预测和时间预测中的至少一 个来预测编码该多视像序列。
编码单元220预测包括在多视像序列中的每个图片，并从原始图片 中减去每个图片的预测值，从而产生多视像序列的残差数据。
为了预测，编码单元220将参考图片存储在预定存储器中，并通过参考 存储的参考图片来执行视图间预测或时间预测。根据现有技术，当预测非锚 图片时，用于视图间预测和时间预测的所有图片应当被存储在该存储器中。 但是，根据本发明，对于由控制单元210确定不使用视图间预测编码的图片， 没有必要将用于视图间预测的参考图片存储在该存储器中。
例如，为了编码图4A中第二行和第二列中的图片420,位于与图片420 的视图相邻的视图处且在图片420之上和之下的图片422和424不是用于视 图间预测的参考图片，因而不需要被存储在存储器中，从而使得能够有效利 用存储器。
由控制单元210确定不被参考用于视图间预测的图片不被参考用于视图 间预测，从而加速了预测。
反回来参考图2，根据本发明的示范性实施例，当编码单元220预测编 码多视像序列时，它也编码指示控制单元210的关于每个图片是否为用 于视图间预测的参考图片的确定结果的参数，并且将编码的参数插入到比特 流中。 一旦控制单元210确定每个图片是否被参考用于视图间预测，则编码 单元220编码关于控制单元210的确定结果的信息。
由于执行确定以确定每个图片是否被其它图片参考用于视图间预测，因—-— 此在每个图片的参数中包括关于每个图片是否被其它图片参考用于视图间预测的信息。
图f 的语法。
NAL单元是图像数据的分组化的单位。由于一个NAL单元一般包括 关于单个图片的数据，因此在NAL单元报头中包括关于每个图片是否被其 它图片参考用于视图间预测的信息，以便被编码。
参考图5，根据现有技术，将语法元素'nal—ref—idc一view ，添加到NAL 单元报头，从而指示每个图片是否被其它图片参考以用于视图间预测。例如， 'nal—refjdc一view = 1 ，意思是相应的图片被其它图片参考用于视图间预 观'J，以及'nal一ref—idc一view = 0，意思是该图片不被其它图片参考用于视图 间预测。
由于新的比特分配给'nal—ref_idc—view ，，因此也添加i吾法元素 'reserved—zero—four—bits'以改变预留比特的数目。
反回来参考图2，当编码单元220执行编码时，它也编码关于被每个图 片参考以用于视图间预测和时间预测的参考图片的信息。语法元素 'RefPicList，指示这样的信息。由于控制单元210确定是否每个图片充当用 于视图间预测的参考图片，因此当编码单元220编码多视像序列时，不 充当参考图片用于视图间预测的图片不被其它图片参考。
因而，当编码单元220编码关于用于每个图片的参考图片的信息时，它 可以产生'RefPicList，，以排除由控制单元210确定为不被参考用于视图间 预测的图片。
例如，当根据现有技术编码图4A所示的图片420时，在与图片420的 视图相邻的视图处、位于图片420之上和之下的图片422和424是参考图片， 以及关于图片422和424的信息包括在'RefPicList'中。但是，根据本发明 的示范性实施例，关于由控制单元210确定为不是图片420的参考图片的图 片422和424的信息不包括在'RefPicList'中。
根据本发明的另一个示范性实施例，编码单元220也编码关于由控制单 元210选择的要^f吏用^L图间预测和时间预测编码的图片的信息，并且将编码 的信息插入到比特流中，下面将参考图6A和6B进^f亍详细描述。
图6A示出了根据本发明的示范性实施例的序列参数集的语法-。—
参考图6A，编码单元220可以在序列参数集中包括用于指明由控制单元210选择的图片的信息并且编码该序列参数集。根据本发明的序列参数集 包 括语 法 元 素 'temporal—level—max ' 和 语 法 元 素 'use—interview_pred_temporal_level[i]，。
'temporalJevel一max，是指示由用于编码多视像的装置200编码的 多视像序列的不同时间级别的数目的信息。图3B所示的多视像序 列具有从'0，到'3，的时间级别，因而'temporal—level—max'为'3，。
'use—interview_pred—temporal—level[i]，是用于指明要使用视图间预测 和时间预测预测编码的图片的信息。当l义仅对如图4B所示的时间级别为'1， 或 '2， 的图片执4亍^见图间子贞测时，'use—interview_pred—temporal—level[l]， 为 '1，, 以及 'use—interview_pred—temporal—level[2]' 为 '1，。
'use—interview_pred_temporal—level[3]' 可以被设置为 '0，。值 '0， 和 '1，为指示是否使用视图间预测来预测相应时间级别的图片的标志信息。 时间级别为'0，的图片是锚图片。由于仅仅使用视图间预测来预测编 码4苗图片，因此不单独i殳置'use—interview_pred—temporal—level[O]，。
图6B示出了根据本发明的另一个示范性实施例的序列参数集的语法。 在图4B中，控制单元210基于时间级别选择要被使用视图间预测和时 间预测进行预测编码的图片。换句话说，特定时间级别的图片不被时间预测。 但是，也可以基于视图以及时间级别来选择那些图片。
例如，视图1的多视像序列的图片当中的时间级别为'1，或'2， 的图片被视图间预测和时间预测，以及视图3的多视像序列的图片当中 的时间级别为1的图片被视图间预测和时间预测。换句话说，对于每个视图 单独地选择要被视图间预测和时间预测的图片。在这种情况下，需要用于指 明对于每个视图的选择的图片的语法元素。
参考图6B,序列参数集包括语法元素 'temporal—level_ max ， 和 'use—interview_pred_temporal_level [i][j]，。
'temporal—level—max' 与图6A所示的 'temporal—level—max'相同，j旦 是 'use—interviewjpred—temporal—level[i][j]， 不同于图 6A 所示的 'use—interview_pred—temporal—level[i]，。
在 'use—interview_pred—temporal—level [i] [j]， 中,'i' 指示视图，'j, 指示时间级别。如上所述，假定视图1的多视像序列的图片当中的时间 级别为'1，或'2，的图片^皮视图间预测和时间预测，以及视图3的多视4象序列的图片当中的时间级别为'1，的图片净皮^L图间预测和时间预测。
在这种情况下，'use—interview_pred—temporal一level[l][l]， 为 '1，， 'use—interview_pred—temporal一level[ 1 ] [2] 'use—interview_pred—temporal—level[ 1 ] [3] 'use—interview_pred_temporal—level [3 ] [ 1 ] 'use—interview_pred—temporal—level [3 ] [2] 'use—interview_pred—temporal—level [3 ] [3 ] 相应视图的多视像序列中相应时间级别的图片是否使用视图间预测来 预测的标志信息，如图6A所示。
图6C示出了根据本发明的示范性实施例的补充增强信息(SEI)消息。 参考图6C,编码单元220可以在SEI消息中包括用于指明由控制单元 210选择的图片的信息并且编码该SEI消息。
SEI消息是解码视频编码层所需的附加信息，以及可以包括每个图片的 定时信息、关于pan/scan功能的信息、和随机存取所需的信息。SEI消息也 可以包括用户单独定义的信息。才艮据本发明的示范性实施例的SEI消息包括 用于指明由控制单元210选择的用于视图间预测的图片的信息。
在 图 6C 中 ，' temporal—level—max ， 和 'use—interview_prediction—temporal—level [i]， 与图6A的相同。 图6D示出了根据本发明的另一个示范性实施例的SEI消息。 在 图 6D 中 ,' temporal—level—max ， 和 'use—interviewjprediction—temporal—level [i][j]， 与图6B的相同。
图7是示出了根据本发明的示范性实施例的编码多视像的方法的流 程图。
参考图7，在操作710,图2所示的用于编码多视像的装置200确 定包括在多视像序列中的每个图片是否是用于视图间预测的参考图片。 换句话说，确定每个图片是否被包括在该多视像序列中的其它图片参考 用于视图间预测。
在根据本发明的示范性实施例的编码多视像的方法中，使用视图间 预测来预测仅仅一些非锚图片，而不是使用视图间预测来预测编码所有非锚 國片。因而，仅仅一些图片被其它S^卓考用于视图间预测。为此，在操作 710中确定是否每个图片被其它图片参考用于视图间预测。可以基于时间级
为'r， 为'o，， 为'r, 为'o，， 为'o'。
以及
值'o'和'r为指示别来确定用于视图间预测的参考图片。
在操作720，装置200基于操作710的确定，使用视图间预测和时间预 测中的至少一个来编码多^f见<象序列中的图片。
使用视图间预测和时间预测中的至少 一 个来预测多视像序列中的 每个图片，并且从原始图片中减去每个图片的预测值，从而产生多视像 序列的残差数据。
不用参考在操作710中确定为不是用于视图间预测的参考图片的图片而 执行视图间预测，从而加速了预测并且使得能够高效使用存储器。
在多视像序列编码中，关于在操作710中确定为用于视图间预测的
参考图片的图片的信息也被编码并且#:插入到比特流中。更具体地说，将指
示每个图片是否为用于视图间预测的参考图片的信息插入到每个图片的参 数中。该信息可以包括在NAL单元报头中以便被编码，如上所述。
图8是示出了根据本发明的另 一个示范性实施例的编码多视像的方 法的流程图。
参考图8，在操作810,图2所示的用于编码多视像的装置200基 于时间级别选择要被使用视图间预测和时间预测编码的图片。装置200也可 以对于多视像序列的每个视图，选择要4皮使用视图间预测和时间预测编 码的图片。更具体地说，时间级别小于预定值的非锚图片被选择作为要被使 用^L图间预测和时间预测编码的图片。
在操作820,装置200基于操作810的选择结果来编码多视像序列。 更具体地说，使用视图间预测和时间预测来预测编码在操作810中选择的图 片，以及使用视图间预测和时间预测中的一个来预测编码多视像序列中 的其余图片。根据现有技术使用视图间预测和时间预测来预测编码多视 像序列中的所有非锚图片，而根据本发明的示范性实施例，则使用视图间预 测和时间预测来预测编码非锚图片中的仅仅一些图片，从而加速了多视 像编码。
在多视像序列编码期间，关于在操作810中选择用于视图间预测的 图片的信息也被编码并被插入到比特流中。如前所述，该信息可以按照序列 参凄史或SEI消息的形式^皮编码并^皮插入到比特流中。
图9是示出了根据本发明的示范性实施例的用于解码多视像的装置 900的框图。参考图9，装置900包括^提取单元910和解码单元920。 提取单元910接收比特流，该比特流包括关于通过才艮据本发明的编码多 视像的方法编码的多视像序列的数据。这里，关于多视像序列 的数据是多视像序列的残差数据，以及该比特流包括关于多视像序 列中的每个图片是否为用于视图间预测的参考图片的信息或关于每个图片 是否已被视图间预测和时间预测编码的信息。
在接收到比特流后，提取单元910从接收的比特流中提取信息。更具体 地说，提取单元910提取指示每个图片是用于视图间预测的参考图片的参数 或指示每个图片已被使用视图间预测和时间预测编码的参数。优选地，但不 是必须地，提取单元910提取包括在NAL单元报头、序列参数或SEI消息 中的信息。
解码单元920基于提取单元910提取的信息解码关于多视像序列的 数据。包括在比特流中的关于多视像序列的数据是多视像序列的残 差数据。
因而，解码单元920基于提取单元910提取的信息，使用视图间预测和 时间预测中的至少一个，来预测多视像序列中的每个图片，并且将预测 结果添加到多视像序列的残差数据中，从而重构多视像序列。
为了预测，解码单元920将参考图片存储在预定存储器中并执行预测。 但是，对于视图间预测，装置卯0基于提取单元910提取的信息，在存储器 中不存储不是用于视图间预测的参考图片的图片。因而，在预测期间降低了 要被存储在存储器中的参考图片的数目，从而使得能够有效地利用存储器。
此外，不是所有的非锚图片都被视图间预测，从而提高了预测速度。此 外，可以进行快速的随才几存取。例如，当图4A中第二^f亍和第二列中的图片 420被随机存取时，不必要解码位于与图片420的视图相邻的视图处且在图 片420之上和之下的图片422和424，因为已经确定它们不是用于视图间预 测的参考图片。因而，可以进行快速的预测和随机存取。
图10是根据本发明的示范性实施例的解码多视像的方法的流程图。
参考图10,在操作1010,图9中用于解码多视像的装置900接收 包括关于多视像序列的数据的比特流。关于多视像序列的数据是多 视想园像,参H的残差数据。
在操作1020，装置900从接收的比特流中提取指示包括在多视像序列中的每个图片是否为用于视图间预测的参考图片的信息或指示每个图片 是否已被使用视图间预测和时间预测编码的信息。也提取关于该多视像
序列的数据，即残差数据。为此，可以提取包括在NAL单元报头、序列参 数或SEI消息中的信息。
在操作1030，装置900基于在操作1020中提取的信息来解码多视 像序列。更具体地说，基于提取的信息使用视图间预测和时间预测中的至少 一个来预测多视像序列，并且将在操作1020中提取的残差数据添加到 预测结果，从而重构多视像序列。
同时，本发明的示范性实施例可以被写为计算机程序并且可以被使用计 算机可读记录介质或其它传输介质执行该程序的通用数字计算机实现。计算 机可读记录介质的例子包括;兹存储介质(例如，ROM、软盘、硬盘等)和光 记录介质(例如，CD-ROM、或DVD)。其它传输介质可以包括载波(例如， 通过互联网的传输)。计算才几可读记录介质也可以-陂分布在网络耦合的计算 机系统之上以使得计算机可读代码以分布式被存储和执行。
但是本领域技术人员应当理解，在不脱离由以下权利要求书所定义的本发明 的精神和范围的情况下，可以对本发明做出形式和细节上的各种修改。
权利要求
1.一种编码多视像的方法，该方法包括确定包括在多视像序列中的每个图片是否为被包括在该多视像序列中的其它图片参考用于视图间预测的参考图片，以产生确定结果；以及基于该确定结果使用视图间预测和时间预测中的至少一个来编码该图片。
2. 如权利要求l所述的方法，其中所述编码图片步骤包括编码每个图 片的参数，其指示每个图片是否为该参考图片。
3. 如权利要求2所述的方法，其中该参数是每个图片的网络提取层 (NAL)单元^艮头。
4. 如权利要求1所述的方法，其中所述编码图片步骤包括基于该确定 结果编码关于被其它图片参考以用于视图间预测和时间预测中的至少一个的参考图片的信息。
5. 如权利要求l所述的方法，其中所述确定包括基于每个图片的时间 级别来进行该确定。
6. —种用于编码多视像的装置，该装置包括确定单元，确定包括在多视像序列中的每个图片是否为被包括在该 多视像序列中的其它图片参考用于视图间预测的参考图片，以产生确定 结果；以及编码单元，基于确定结果使用视图间预测和时间预测中的至少一个来编 码该图片。
7. 如权利要求6所述的装置，其中该编码单元编码每个图片的参数，其 指示每个图片是否为该参考图片。
8. 如权利要求7所述的装置，其中该参数是每个图片的网络提取层 (NAL)单元报头。
9. 如权利要求6所述的装置，其中该编码单元基于该确定结果编码关于 被其它图片参考以用于视图间预测和时间预测中的至少一个的参考图片的 信息。
10. 如权利要求6所述的装置，其中该确定单元基于每个图片的时间级别来进4于该确定。
11. 一种解码多视像的方法，该方法包括接收比特流，该比特流包括指示包括在多视像序列中的每个图片是否为被包括在该多视像序列中的其它图片参考以用于视图间预测的参考图片的信息和关于该多视像序列的数据；从接收到的比特流中提取该信息和关于该多视像序列的数据；以及基于提取的信息解码该关于多视像序列的数据。
12. 如权利要求11所述的方法，其中该信息包括在每个图片的参数中。
13. 如权利要求12所述的方法，其中该参数是每个图片的网络^t是取层(NAL)单元报头。
14. 如权利要求11所述的方法，其中基于每个图片的时间级别来确定包括在该多视像序列中的每个图片是否为该参考图片。
15. —种用于解码多视像的装置，该装置包括提取单元，接收比特流，该比特流包括指示包括在多视像序列中的每个图片是否为被包括在该多视像序列中的其它图片参考以用于视图间预测的参考图片的信息和关于该多视像序列的数据，以及从接收到的比特流中提取该信息和关于该多视像序列的数据；以及解码单元，基于提取的信息解码该关于多视像序列的数据。
16. 如权利要求15所述的装置，其中该信息包括在每个图片的参数中。
17. 如权利要求16所述的装置，其中该参数是每个图片的网络提取层(NAL)单元报头。
18. 如权利要求15所述的装置，其中基于每个图片的时间级别来确定包括在该多视像序列中的每个图片是否为该参考图片。
19. 一种编码多视像的方法，该方法包括基于时间级别从多视像序列中选择要被使用视图间预测和时间预测编码的图片；以及使用视图间预测和时间预测编码所选择的图片，并且使用视图间预测和时间预测中的一个来编码包括在该多视像序列中的其余图片。
20. 如权利要求19所述的方法，其中所述选择图片步骤包括从包括在该多视像序列中的所有图片当中选择时间级别小于给定值的非锚图片。
21. 如权利要求19所述的方法，其中所述选择图片步骤包括基于该时间级别，对于该多视像序列的每个视图，选择要被使用视图间预测和时间预测编码的图片。
22. 如权利要求19所述的方法，其中所述编码该选择的图片包括编码关于该选择的图片的信息。
23. 如权利要求22所述的方法，其中所述编码该选择的图片包括编码包括该信息的序列参数或补充增强信息(SEI)消息。
24. —种用于编码多视像的装置，该装置包括选择单元，基于时间级别从多视像序列中选择要被使用视图间预测和时间预测编码的图片；以及编码单元，使用视图间预测和时间预测来编码所选择的图片，并且使用i见图间预测和时间预测中的 一个来编码包括在该多^f见^f象序列中的其余图片。
25. 如权利要求24所述的装置，其中该选择单元从包括在该多视像序列中的所有图片当中选择时间级别小于给定值的非锚图片。
26. 如权利要求24所述的装置，其中该选择单元基于该时间级别，对于该多视像序列的每个视图，选择要净皮使用视图间预测和时间预测编码的图片。
27. 如权利要求24所述的装置，其中该编码单元编码关于该选择的图片的信息。
28. 如权利要求27所述的装置，其中该编码单元编码包括该信息的序列参数或补充增强信息(SEI)消息。
29. —种解码多视像的方法，该方法包括接收比特流，该比特流包括关于多视像序列中使用视图间预测和时间预测编码的图片的信息以及关于该多视像序列的数据；从接收到的比特流中提取该信息和关于该多视像序列的数据；以及基于所提取的信息来解码关于该多视像序列的数据。
30. 如权利要求29所述的方法，其中该编码的图片已基于时间级别被选择。
31. 如权利要求29所述的方法，其中该信息包括在序列参数中或补充增强信息(SEI)消息中。
32. —种用于解码多视像的装置，该装置包括提取单元，接收比特流，该比特流包括关于多视像序列中使用视图间预测和时间预测编码的图片的信息以及关于该多视像序列的数据，以及从接收到的比特流中提取该信息和关于该多视像序列的数据；以及解码单元，基于所提取的信息来解码关于该多视像序列的数据。
33. 如权利要求32所述的装置，其中该编码的图片已基于时间级别被选择。
34. 如权利要求32所述的装置，其中该信息包括在序列参数中或补充增强信息(SEI)消息中。
35. —种计算机可读记录介质，其上记录有用于执行如权利要求1所述的方法的程序。
36. —种计算机可读记录介质，其上记录有用于执行如权利要求11所述的方法的程序。
37. —种计算机可读记录介质，其上记录有用于执4亍如权利要求19所述的方法的程序。
38. —种计算机可读记录介质，其上记录有用于执行如权利要求29所述的方法的程序。
全文摘要
提供一种编码和解码多视像的方法和装置。该编码多视像的方法包括确定包括在多视像序列中的每个图片是否为被包括在该多视像序列中的其它图片参考用于视图间预测的参考图片；以及基于确定结果使用视图间预测和时间预测中的至少一个来编码该图片，从而高速高效地编码和解码多视像。
文档编号H04N7/24GK101682779SQ200880019798
公开日2010年3月24日 申请日期2008年3月6日 优先权日2007年4月11日
发明者宋学燮, 崔钟凡, 文荣豪, 沈优星 申请人:三星电子株式会社