用于以高级别语法表达的多视点信息的方法和装置的制作方法

专利名称：：用于以高级别语法表达的多视点信息的方法和装置的制作方法
技术领域：
：本原理一般涉及视频编码器和解码，更具体地，涉及用于以高级别语法(highlevelsyntax)表达(convey)的多视点(multi-view)信息的方法和装置。
背景技术：
：符合下列标准的比特流包括网络提取碎见点(NetworkAbstractionView,NAL)单元，所述标准是国际标准化组织/国际电工委员会(ISO/正C)运动图像专家组-4(MPEG-4)第10部分先进视频编码(AVC)标准/国际电信联盟、电信部门(ITU-T)R264推荐(下文中是"MPEG-4AVC标准")或者其扩展(例如，可分级视频编码(SVC)和多视点视频编码(MVC))。NAL单元是能够被独立地制定用于传输和解析的微粒元素(atomicelement)。NAL单元可被分类为视频编码视点(VCL)NAL单元和非VCLNAL单元。VCLNAL单元包括表示一个或多个编码宏块的语法元素，每个语法元素对应于未被压缩的画面中的取样块。非VCLNAL单元可以是下列类型之一序列参数集(及其扩展)、画面参数集、补充增强信息(SEI)NAL单元等等。补充增强信息NAL单元包括一个或多个补偿增强信息消息，它们对于解码输出画面是不需要的，但是有助于诸如画面输出定时、呈现、纠错、错误隐藏、资源保留等等的相关处理。尽管通过分析原始比特流可以获得那些信息，但是补偿增强信息消息可被用来提供所有所需的信息，而不用真正地对所述比特流进行解码。系统组件可以直接访问所述信息，并且这使得系统级别的^t喿作容易地多。至今为止，在MPEG-4AVC标准中规定了22种补充增强信息消息，以及在MPEG-4AVC标准的可升级视频编码(SVC)扩展中规定了另外7种补充增强信息消息。由于MPEG-4AVC标准的多视点视频编码(MVC)扩展是新的，因此不存在与其相关的用于提供任何必需或者期望的多视点视频编码信息的补充增强信息消息。
发明内容通过本原理解决了现有技术的这些和其它不足和缺陷，本原理致力于用于以高级语法表达的多视点信息的方法和装置。根据本原理的一方面，提供了一种装置。所述装置包括编码器，用于以至少一个高级语法元素对合成比特流中的多视点视频内容和所述多视点一见频内容的多^L点编码信息进行编码。根据本原理的另一方面，提供了一种方法。所述方法包括以至少一个高级语法元素对合成比特流中的多视点视频内容和所述多视点内容的多视点编码信息进行编码。根据本原理的再一方面，提供了一种装置。所述装置包括解码器，用于从至少一个高级语法元素对来自合成比特流的多视点视频内容和所述多视点内容的多视点编码信息进行解码。根据本原理的又另一方面，提供了一种方法。所述方法包括从至少一个高级语法元素对来自合成比特流的多视点视频内容和所述多视点内容的多一见点编码信息进行解码。从结合附图阅读的示例性实施例的下列详细描述中，本原理的这些和其它方面、特征和优点将变得明显。根据下列示例性附图可以更好地理解本原理，其中图l是根据本原理实施例的、可以应用本原理的示例性多视点视频编码(MVC)编码器的方框图2是根据本原理实施例的、可以应用本原理的示例性多视点视频编码(MVC)解码器的方框图3A-图3D是根据本原理实施例的、用于编码多视点信息的示例性方法的流程图；和图4A-图4D是根据本原理实施例的、用于解码多视点信息的示例性方法的流程图。具体实施例方式本原理致力于用于以高级语法表达多视点信息的方法和装置。本描述图解说明了本原理。因此将会理解，本领域的普通技术人员将能够设计出体现本原理并且包含在其精神和范畴之内的各种结构(尽管此处未清楚地描述和示出)。此处记载的所有示例和条件性语言往往用于教学目的，以便辅助读者理解发明人改进现有技术所贡献的本原理和理念，并且应当理解本原理和理念不限于所述特别记载的示例和条件。而且，此处细述原理、方面和本原理实施例的所有陈述及其特定示例往往涵盖其结构性和功能性两者的等效物。另外，所述等效物往往包括当前已知的等效物以及未来发展的等效物，即，执行相同功能而不管结构如何而开发的任何元件。因此，例如，本领域的普通技术人员将会理解，此处展现的方框图代表体现本原理的解释性电路的概念视图。类似地，将会理解，任何流程图、流程图表、状态转变图、伪代码等代表可以在计算机可读介质中表现并且如此由计算机或处理器执行的各种处理，不管这样的计算机或处理器是否清楚地示出。附图中示出的各种元件的功能可以通过使用专用硬件以及能够执行软件的硬件结合适当软件来提供。当通过处理器来提供时，所述功能可以通过单个专用处理器、通过单个共享处理器、或者通过多个单独处理器(其中的一些可被共享)来提供。而且，术语"处理器"或"控制器"的明确使用不应当被曲解为排他地指向能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器("DSP")硬件、用于存储软件的只读存储器("ROM")、随机存取存储器("RAM")和非易失性存储器。也可以包括其它传统和/或常规的硬件。类似地，附图中示出的任何开关仅仅是概念性的。它们的功能可以通过编程逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至手工来实现，如从上下文中更具体地了解到，特定技术是可通过工具来选择。在权利要求书中，被表达为用于执行特定功能的部件的任何元件往往涵盖执行下面那些功能的任何方式包括，例如，a)执行那些功能的电路元件的组合或者b)任意形式的软件，因此包括与执行那些软件以便执行所述功能的适当电路相结合的固件、微代码等。如所述权利要求定义的本原理涵盖的事实是通过各种记载的部件提供的功能性以权利要求所要求的方式被组合并且放在一起。因此认为是能够提供那些功能性的任何部件等价于此处所示的那些部件。说明书中对本原理的"一个实施例"或"实施例"的引用是指结合实施例描述的特定特征、结构、特性等等被包含在本原理的至少一个实施例中。因此，整个说明书中出现在不同位置的术语"在一个实施例中"或"在实施例中"并不必都指向相同的实施例。将会理解，术语"和/或"的使用，例如，在"A和/或B"的情况下，往往是指涵盖第一列出选项(A)的选择、第二列出选项(B)的选择或者两个选项(A和B)的选择。又例如，在"A、B和/或C"的情况下，这样的措辞往往是指涵盖第一列出选项(A)的选择、第二列出选项(B)的选择、第三列出选项(C)的选择、第一和第二列出选项(A和B)的选择、第一和第三列出选项(A和C)的选择、第二和第三列出选项(B和C)的选择、或者所有三个选项(A和B和C)的选择。只要本领域和相关领域中的普通技术人员清楚地理解，这可扩展到许多列出的项。而且，术语"读取/解析"和"已读取/已解析"是指读取或解析和读取两者。再者，将会理解，尽管此处对于MPEG-4AVC标准的多视点视频编码扩展描述了本原理的一个或多个实施例，但是本原理不单独限于这种标准和相应的扩展，并且因此对于与多视点视频编码相关的其它视频编码标准、推荐和扩展，可以利用本原理，同时维持本原理的精神。如此处所使用的，"高级语法，，是指存在于层级结构在宏块层之上的比特流中的语法。例如，如此处所使用的，高级语法可以是指、但是不限于在切片报头(sliceheader)级别、序列参数集(SPS)级别、画面参数集(PPS)级别、视点参数集(VPS)级别、网络提取层(NAL)单元报头级别和在补充增强信息(SEI)消息处的语法。为了图示说明和简洁，此处描述的下列实施例针对补充增强信息(SEI)消息的使用。然而，将会理解，针对表达如此处公开的多视点信息，本原理不仅限于使用补充增强信息(SEI)消息，并且因此针对至少上述类型的高级语法，包括但不限于在切片报头级别、序列参数集(SPS)级别、画面参数集(PPS)级别、视点参数集(VPS)级别、网络提取层(NAL)单元报头级别和在补充增强信息(SEI)消息处的语法，可以实现多视点信息的表达，同时维持本原理的精神。转向图1，示例性的多视点视频编码(MVC)编码器通常用附图标记100表示。编码器100包括组合器105,该组合器105具有与变换器110的输入端进行信号通信连接的输出端。变换器110的输出端与量化器115的输入端进行信号通信连接。量化器115的输出端与熵编码器120的输入端和逆量化器125的输入端进行信号通信连接。逆量化器125的输出端与逆变换器130的输入端进行信号通信连接。逆变换器130的输出端与组合器135的第一非反相输入端进行信号通信连接。组合器135的输出端与帧内预测器145的输入端和解块滤波器150的输入端进行信号通信连接。解块滤波器150的输出端与参考画面存储器155(对于视点i)的输入端进行信号通信连接。参考画面存储器155的输出端与运动补偿器175的第一输入端和运动估算器180的第一输入端进行信号通信连接。运动估算器180的输出端与运动补偿器175的第二输入端进行信号通信连接。参考画面存储器160(对于其它视点)的输出端与差异估算器170的第一输入端和差异补偿器165的第一输入端进行信号通信连接。差异估算器170的输出端与差异补偿器165的第二输入端进行信号通信连接。熵解码器120的输出端可用作编码器100的输出端。组合器105的非反相输入端可用作编码器100的输入端，并且与差异估算器170的第二输入端和运动估算器180的第二输入端进行信号通信连接。开关185的输出端与组合器135的第二非反相输入端和组合器105的反相输入端进行信号通信连接。开关185包括与运动补偿器175的输出端进行信号通信连接的第一输入端、与差异补偿器165的输出端进行信号通信连接的第二输入端、和与帧内预测器145的输出端进行信号通信连接的第三输入端。转向图2，示例性的多视点视频编码(MVC)解码器通常用附图标记200表示。解码器200包括熵解码器205,该熵解码器205具有与逆量化器210的输入端进行信号通信连接的输出端。逆量化器的输出端与逆变换器215的输入端进行信号通信连接。逆变换器215的输出端与组合器220的第一非反相输入端进行信号通信连接。组合器220的输出端与解块滤波器225的输入端和帧内预测器230的输入端进行信号通信连接。解块滤波器225的输出端与参考画面存储器240(对于视点i)的输入端进行信号通信连接。参考画面存储器240的输出端与运动补偿器235的第一输入端进行信号通信连接。参考画面存储器245(对于其它视点)的输出端与差异补偿器250的第一输入端进行信号通信连接。熵编码器205的输入端可用作到解码器200的输入端，用于接收残余比特流。而且，开关255的控制输入端也可用作到解码器200的输入端，用于接收用来控制被开关255选择的那个输入的语法。再者，运动补偿器235的第二输入端可用作解码器200的输入端，用于接收运动补偿。而且，差异补偿器250的第二输入端可用作到解码器200的输入端，用于接收差异矢量。开关255的输出端与组合器220的第二非反相输入端进行信号通信连接。开关255的第一输入端与差异补偿器250的输出端进行信号通信连接。开关255的第二输入端与运动补偿器235的输出端进行信号通信连接。开关255的第三输入端与帧内预测器230的输出端进行信号通信连接。模式模块260的输出端与开关255进行信号通信连接，用于控制由开关255选定的那个输入端。解块滤波器225的输出端可用作解码器的输出端。如上所注释的，本原理致力于用于以补充增强信息(SEI)消息表达的多视点信息的方法和装置。在一实施例中，提供新的补充增强信息(SEI)消息，用于以MPEG-4AVC标准的多视点一见频编码(MVC)扩展来信令多视点信息。本原理可应用于相应于多视点视频流的各种系统级别操作，包括但不限于诸如流适应、数据提取和传输、随机访问、错误检测、错误隐藏等之类的操作。尽管所需的信息可以通过分析初始比特流来获得，但是这样的比特流分析在实现和计算复杂度两方面价值不大。如果所述信息相对于视频编码器和解码器以外的系统组件变得可存取，则是更加灵活并有用的。本原理的实施例提供了编码器和解码器以外的那些信息。根据本原理，我们建议若干新的补充增强信息消息，以便提供必需的多视点视频编码(MVC)信息。在多视点视频编码中，我们使得一些相机视点被编码，使得一些相机视点不被编码，并且使得一些自由视点不被相机捕获、而从初始相机视点中生成。根据本原理，我们将基于但不限于下列三个示例性类别来描述新的补充增强信息消息(l)编码相机视点；(2)未编码相机视点；和(3)为自由视点应用而生成的视点。当然，假设此处所提供的本原理的示教，本原理的实施例不仅限于这些类别，在维持本原理的精神的同时，本领域和相关领域的普通技术人员能够容易地实现其它类别和实施方式。在多视点视频通信中可用并且相关的示例性类型的多视点视频编码信息包括但不限于下列内容。对于编码相机视点，示例性类型的多视点视频编码信息包括但不限于下列内容编码视点的总数；每个编码视点的特征；视点识别符及其编码顺序；视点可升级信息；视点相关信息；位速率；帧大小；帧速率；ROI(感兴趣区域)信息；可升级信息(时间、空间和/或信噪比(SNR));所需的解码器(例如，简档、级别和简档兼容性信息)；所需的初始参数集；和相机参数。对于未编码相机视点，示例性类型的多视点视频编码信息包括但不限于下列内容未编码视点的总数；每个未编码视点的特征；视点标识符；视点内插信息；和相机参数。对于自由视点，示例性类型的多视点视频编码信息包括但不限于下列内容自由一见点生成信息。先前类型的多视点视频编码信息可用于媒体提供/应答协商、性能交换、和流适应处理中。而且，先前类型的多视点视频编码信息可用于高效的数据提取、传输、视点生成等。编码相机视点的信息视点标识符是唯一的并且被用来将一个视点与其它视点进行区分。视点标识符被用于输出处理、视点提取、视点随机访问等。视点编码顺序跟踪编码-现点。对于每个编码视点，；现点标识符以编码顺序递增一。一见点标识符可用于解码器检测丢失的视点中。视点可升级信息被用来允许以最小的解码努力对被选的视点进行访问。视点可升级信息使得视频将被显示在大量不同的终端上和具有各种条件的网络上。视点可升级信息可被用来当检测到不连续的视点层时检测丢失的视点。尽管已知对于某一视点表示并不需要全部视点，但是默认不知道的是哪个视点是不需要的。视点相关信息可帮助视点提取、视点随机访问等。视点相关信息可帮助解码器以视点维数中最小帧解码来访问给定视点中的帧。视点相关信息可帮助流服务器避免发送不必要的视点，而不必分析比特流以影响所述避免。对于丢失视点的差错隐藏，相关信息可帮助解码器判定哪个视点要复制和/或内插以隐藏该丟失视点。根据应用和可用的资源，对于不同的视点可以不同地设置位速率、帧速率和帧大小信息。所述信息可被用来推导视点当中的画面质量，因此所述应用可以判定哪个视点要提取用以显示。另外，位速率信息可帮助解码器管理用于并行处理的计算资源。帧速率和帧大小信息可被用于视点合成(synthesis)。所述信息也帮助错误检测。如果对于某一视点接收到的位速率或帧速率低于所指定的，则我们知道在该视点中存在错误。根据所述应用，对于一些视点，仅编码部分图像。感兴趣区域(ROI)信息有助于支持感兴趣的视点区域。为了错误隐藏目的，感兴趣区域用于提供关于图像的哪个部分是相关的暗示。对于每个视点，时间/空间/信噪比(SNR)可升级信息提供让媒体感知网络元件或接收器知道对于特定视点可以丢弃哪个可升级信息的灵活性。在当前的多视点-见频编码系统中，MPEG-4AVC标准兼容^L点和非兼容视点使用不同的序列参数集，意味着视点表示可能不适用整体流的所有初始参数集。因此，传送所有初始参数集可能造成传输带宽的浪费以及更长的初始建立延迟，具体是因为初始参数集通常在带外且可靠地传送，这暗示着使用了接收确认并且可以使用重发。针对每个视点表示的初始参数集的信令解决了所述问题。相机参数有助于视点生成、视点内插、视点合成等等。视点生成、视点内插和视点合成不仅仅服务编码目的，而且也可用于解码器处的差错隐藏。表1中例示了支持上述编码相机视点信息的补充增强信息消息的实施例。表1<table>tableseeoriginaldocumentpage15</column></row><table><table>tableseeoriginaldocumentpage16</column></row><table>在表1中用粗体指出了编码相机视点信息的补充增强信息消息的语法，并且语义学描述如下。将要注意，语法和/或语义学中引用的初始参数集是指可被放置在比特流的开始中或者可以在会话的开始中被传送的那些参数集。力口1的num—coded—views—minus1表示由比特流支持的编石马一见点的凄t目。num—coded—views—minus1的范围是0到1023的闭区间。view—id[i]表示第i视点的标识符。view—num[i]表示具有等于view—id[i]的视点标识符的视点的视点编码顺序。针对编码顺序中的每个编码视点，viewnum递增l。view—level[i]表示具有等于viewjd[i]的视点标识符的视点的视点可升级的级别。等于1的view—dependency_info_present—flag[i]表示具有等于view—id[i]的视点标识符的视点的视点相关信息在补充增强信息消息中的存在性。值0表示该一见点的#见点相关信息与由view—dependency—info_src—view—id—delta[i]表示的另一一见点相同(当view—dependency—info—src—view—id—delta[i]不等于0时)或者该视点的视点相关信息不存在于补充增强信息消息中(当view—dependency—info—src—view—id—delta[i]等于0)。等于1的bitrate—info_present—flag[i]表示具有等于view—id[i]的-见点标识符的视点的比特率信息在补充增强信息消息中的存在性。值0表示具有等于view—id[i]的视点标识符的视点的比特率信息不存在于补充增强信息消息中。等于1的frm—rate一infojresent一flag[i]表示具有等于viewjd[i]的-见^、才示i口、符的视点的帧速率信息在补充增强信息消息中的存在性。值0表示该视点的帧速率信息与由frm—rate—info—src—view—id—delta[i]表示的另一浮见点相同(当frm—rate—info—src—view—id—delta[i]不等于0时)或者该视点的帧速率信息不存在于补充增强信息消息中(当frm—rate—info—src—view—id—delta[i]等于0)。等于1的frm—size—infoj)resent—flag[i]表示具有等于view—id[i]的碎见点标、识符的视点的帧大小信息在补充增强信息消息中的存在性。值0表示该视点的帧大小信息与由frm—size—info—src—view—id_delta—minus1[i]表示的另一-见点相同。等于1的sub_region—view—flag[i]表示具有等于view—id[i]的视点标识符的视点的子区域信息存在于补充增强信息消息中。值0表示该视点的子区域信息与由sub—region—info—src—view—id—delta[i]表示的另一一见点相同(当sub—region—info—src—view—id—delta[i]不等于0时)或者该-f见点的子区域信息不存在于补充增强信息消息中(当sub—region—info—src—view—id—delta[i]等于0)。等于1的scalability—infoj)resent—flag[i]表示具有等于view—id[i]的^见点才示识符的视点的帧速率信息在补充增强信息消息中的存在性。值0表示该视点的#见点相关信息与由view—dependency—info—src—view—id—delta[i]表示的另一视点相同(当scalability_info_src—view—id—delta[i]不等于0时)或者该视点的可升级信息不存在于补充增强信息消息中(当scalability—info—src—view—id—delta[i]等于0)。值1表示scalability一info()补充增强信息消息在MPEG-4AVC标准的可升级视频编码(SVC)扩展中的使用。等于1的profile—level—infojtresent一flag[i]表示具有等于view—id[i]的视点标识符的视点的简档和级别信息在补充增强信息消息中的存在性。值0表示具有等于view一id[i]的视点标识符的视点的简档和级别信息与由profile—level_info_src—view—id_delta[i]表示的另一一见点相同(当profile—level—info—src—view—id—ddta[i]不等于0时)或者该视点的简档和级别信息不存在于补充增强信息消息中(当profile—level—info—src—view—id—delta[i]等于O)。等于1的init_parameter—sets—infoj)resent一flag[i]表示具有等于view一id[i]的视点标识符的视点的初始参数集信息在补充增强信息消息中的存在性。值0表示该视点的初始参数集信息与由init_parameter—sets—info—src—view—id—delta[i]表示的另一#见点相同(当init_parameter—sets_info—src—view—id—delta[i]不等于0时)或者i亥一见点的净刀始参数集信息不存在于补充增强信息消息中(当init_parameter_sets—info—src—view—id—delta[i]等于0)。等于1的cameraj)arameter一infojiresent一flag[i]表示具有等于view—id[i]的视点标识符的视点的相机参数信息在补充增强信息消息中的存在性。值0表示该洋见点的相机参凄t信息与由camera_parameter—info—src一view一id一delta[i]表示的另一一见点相同(当camera_parameter—info—src—view—id—delta[i]不等于0时)或者该视点的相机参数信息不存在于补充增强信息消息中(当camera_parameter—info—src—view—id一delta[i]等于0)。view_profile—idc[i]、view一constraint一set0—flag[i]、view一constraint一set1—flag[i]、view—constraint—set2—flag[i]、view—constraint—set3—flag[i]、和view—level一idc[i]表示具有等于view—id[i]的视点标识符的#见点的表示的比特流的简档和级别顺从(compliancy)。view_profile—idc[i]、view—constraint—set0—flag[i]、view—constraint—setl_flag[i]、view—constraint—set2—flag[i]、view_constraint_set3—flag[i]、禾口view—level—idc[i]^Kji吾义学分另ll等于profile—idc[i]、constraint—setO—flag、constraint—setl_flag、constraint—set2—flag、constraint—set3—flag、和level—idc的语义学，所讨论的比特流是视点表示法之一。大于0的profile—level—info—src一view—id一delta[i]规定具有等于view_id[i]的视点标识符的视点具有与具有等于(view—id[i]+profile—level—info_src—view_id—delta[i])的视点标识符的视点相同的简档和级别信息。值0表示具有等于view—id[i]的视点标识符的视点的简档和级别信息不存在于补充增强信息消息中。avg一bitrate[i]表示具有等于viewjd[i]的视点标识符的视点的表示法的比特流以每秒1000比特为单位的平均比特速率。当accurate—statistics—flag等于1时，avg一bitrate[i]的语义学与子序列视点特性补充增强信息消息中的average—bit—rate的语义学相同，除了这里目标比特流是视点表示法的比特流。max一bitrate一view[i]表示基于由max一bitrate一calc—window[i]规定的时间窗口计算的、具有等于view—id[i]的视点标识符的视点的比特流以每秒1000比特为单位的最大比特速率。max—bitrate—decoded_picture[i]表示基于由max—bitrate—calc—window[i]规定的时间窗口计算的、具有等于viewjd[i]的视点标识符的视点的表示法的比特流以每秒1000比特为单位的最大比特速率。max—bitrate—calc—window[i]表示以1/100秒为单位的时间窗口的长度，基于该长度，计算max—bitrate1[i]和max—bitrate2[i]。constant—frm—rate—idc[i]表示具有等于view—id[i]的视点标识符的视点的表示法的帧速率是否恒定。如果如下规定的avg一frm一rate[i]的值恒定，则不管使用视点表示法的哪个时间部分用于计算，帧速率恒定，否则帧速率不恒定。值0表示非恒定帧速率，值1表示恒定帧速率，值2表示不清楚该帧速率是否恒定。恒定帧速率的值在范围0到2的闭区间内。avg—frm—rate[i]表示具有等于view一id[i]的视点标识符的视点的表示法的比特流以每秒帧为单位的平均帧速率。当accurate—statistics—flag等于1时，avg—frm_rate[i]的语义学与子序列视点特性补充增强信息消息中的average_frame_rate的语义学相同，除了这里目标比特流是视点表示法的比特流。大于0的frm—rate一info—src一view—id—delta表示具有等于view—id[i]的牙见点标识符的视点具有与具有等于(view—id[i]-frm—rate—info—src—view_id—delta[i])的视点标识符的视点相同的帧速率信息。值0表示具有等于view—id[i]的视点标识符的视点的帧速率信息不存在于补充增强信息消息中。力口1的frm—width—injnbs—minus[i]表示在具有等于view—id[i]的^见点才示识符的视点的表示中编码帧的宏块的最大宽度。变量PicWidthlnMbs[i]被推导为(frm—width—in—mbs—minus[i]+l)。力口1的frm_height—in—mbs一minus[i]表示在具有等于view—id[i]的-见点才示识符的视点的表示中编码帧的宏块的最大高度。变量PicHeightlnMbs[i]净皮推导为(frm—height—in—mbs—minus[i]+l)。变量PicSizelnMbs[i]表示宏块单位的画面大小，并且被推导为PicWi她InMbs[i]承PicHeight固bs[i]。frm—size—info—src—view—id—ddta[i]规定具有等于view—id[i]的一见,泉才示i口、才寻的视点具有与具有等于(view—id[i]+frm—size—info—sn^view—id—delta[i])的视点标识符的视点相同的帧大小信息。值0表示具有等于view一id[i]的视点标识符的视点的帧大小信息不存在于补充增强信息消息中。horizontal—offset[i]和vertical—offset[i]分别给出了由具有等于view—id[i]的视点标识符的视点的表示法所表示的矩形区域的左上像素的水平偏移和垂直偏移。region一width[i]禾口region—height[i]分另'J表示由具有等于view一id[i]的浮见点才示识符的视点的表示法所表示的矩形区域的宽度和高度。sub—region—info—src—view_—id—delta[i]表示具有等于view—id[i]的视点标识才寻的浮见;、具有与具有等于(view一id[i]十sub—region一info一src一view—id—delta[i])的视点标识符的视点相同的子区域信息。值0表示具有等于view—id[i]的视点标识符的视点的子区域信息不存在于补充增强信息消息中。num—directly—dependent—view—anchor[i]表示(具有等于view一id[i]的视点标识符的视点的锚画面直接相关)^见点数目。num—directly—dependent—view—anchor的^f直在范围0到15的闭区间内。num—directly—dependent—view—non一anchor[i]表示(具有等于view—id[i]的视点标识符的视点的非锚画面直接相关)视点数目。如果使用从视点B的非锚画面的视点间预测而在视点A中存在至少一个编码非锚画面，则视点A的非锚画面与视点B的非锚画面直接相关。num—directly—dependent—view—non—anchor的4直在范围0到15的闭区间内。directly—dependent一view—id一delta—anchor[i][j]表示view—id[i]与第j视点的视点标识符(即具有等于view一id[i]的视点标识符的视点的锚画面)之间的差直接相关。该直接相关的视点的视点标识符等于(view_id[i]+directly_dependent_layer—id_delta—anchor[i][j])。directly—dependent—view—id一delta一non—anchor[i][j]表示view一id[i]与第j视点的视点标识符(即具有等于viewjd[i]的视点标识符的视点的非锚画面)之间的差直接相关。该直接相关的视点的视点标识符等于(view—id[i]+directly—dependent—layer—id—delta—non_anchor[i][j])。力口1的num—init—seq_parameter_set—minus[i]表示用于对具有等于viewjd[i]的视点标识符的视点的表示进行解码的初始序列参数集的数目。init—seq_pammeter—setid—delta[i][j],如果j等于O,则表示用于对具有等于view—id[i]的视点标识符的视点的表示进行解码的第j初始序列参数集的seq_parameter—set_id的"f直。3口果j大于0,则init_seq_parameter—set—id一delta[i][j]表示第j初始序列参数集的seq_parameter—set—id值与第(j-l)初始序列参数集的seq_parameter—set—id之间的差。所述初始序歹'J参It集以seq_parameter_set_id^f直的升序逻丰辱i也4非列。力口1的num—init_pic_parameter—set—minus[i〗表示用于对具有等于view一id[i]的视点标识符的视点的表示进行解码的初始画面参数集的数目。init_pic_parameter—set—id—delta[i][j],如果j等于O,则表示用于对具有等于view—id[i]的视点标识符的视点的表示进行解码的第j初始画面参数集的pic_parameter—set_id的值。如果j大于0,则init_pic_parameter—set—id—delta[i][j]表示第j初始画面参数集的pic_parameter—set—id值与第(j-l)初始画面参数集的pic_parameter—set_id4直之间的差。戶斤述4刀始画面参凄t集以pic_pammeter—set—id值的降序逻辑地排列。init_parameters—sets—info—src—view—_id—delta[i]规定具有等于viewjd[i]的视点标识符的视点具有与具有等于(view_id[i]+init_parameters—sets_info—src—view—id—delta[i])的一见点标识符的#见点相同的初始参数集信息。值0表示具有等于view—id[i]的视点标识符的视点的初始参数集信息不存在于补充增强信息消息中。camera_parameters—info—src—view—id—delta[i]规定具有等于view—id[i]的视点标识符的视点具有与具有等于(view_id[i]+camera_parameters—info—src—view—id—delta[i])的#见点标识符的#见点相同的相才几参数信息。值0表示具有等于view—id[i]的视点标识符的视点的相机参数信息不存在于补充增强信息消息中。未编码相机纟见点的信息使用视点识别符来向解码器表示哪个视点未被编码。视点识别符可以帮助解码器确定由于网络错误或者由于有意地未被编码而丟失了遗漏的视点。视点内插信息有助于解码器从编码视点内插未编码视点。视点内插信息可以包括诸如哪个视点被用于内插、将要使用哪个内插方法之类的信息。因此，如果应用请求显示仅某些未编码视点，则服务器仅需要根据编码视点的视点相关信息来提取并发送所需要的用于内插的视点、以及它们相关的视点。相机参数可被用来内插或合成未编码视点。表2中例示了支持上述未编码相机视点信息的补充增强信息消息的实施例。表2<table>tableseeoriginaldocumentpage22</column></row><table>表2中指出了非编码相机视点信息的补充增强信息消息的语法，并且语义学描述如下。将要注意，语法和/或语义学中引用的初始参数集是指可被放置在比特流的开始中或者可以在会话的开始中被传送的那些参数集。力口1的numnoncodedviewsminus1表示由比特流支持的未编码视点的It目。num—non—coded—views—minus1的^直在范围0到1023的闭区间内。view一id[i]表示第i视点的标识符。等于1的view—interpolation—infoj)resent一flag[i]表示具有等于view—id[i]的视点标识符的视点的视点内插信息在补充增强信息消息中的存在性。值0表示该-见点的#见点内才翁4言息与由view—interpolation—info_src—view_id—delta[i]表示的另一一见点相同(当view—interpolation—info—src—view一id一delta[i]不等于0时)或者该视点的视点相关信息不存在于补充增强信息消息中(当view_interpolation—info—src—view—id—delta[i]等于0)。等于1的camera_parameters—infoj)resent一flag[i]表示具有等于view一id[i]的视点标识符的视点的相机参数信息在补充增强信息消息中的存在性。值0表示该一见点的相机参凄t信息与由camera_parameters—info—src—view—id—delta[i]表示的另一#见点相同(当camera_parameters—info一src一view一id—delta[i]不等于0时)或者该视点的相机参数信息不存在于补充增强信息消息中(当camerajparameters—info—src—view—id—delta[i]等于0)。camera_parameters:假设以3x4射影矩阵P的形式表达相机参数，该射影矩阵可^L用来将3D世界中的点映射到2D图像坐标/="[X『&::1]其中1是齐次座标/=[义./,丄、义]。可以根据电气和电子工程师协会(IEEE)单个精确浮动点(32比特)标准来表示每个元素camera_parameters」—*。num—referenced—views[i]表示具有等于view—id[i]的#见点4示识才寻的#见点的视点数目是内插形式。num—directly_dependent_views的值在范围0到1023的闭区间内。directly—dependent—view—id—delta[i][j]表示view—id[i]与第j#见点(即具有等于view—id[i]的视点标识符的视点)的视点标识符之间的差是内插形式。所述视点的S见点标识符等于(view—id[i]+directly—dependent_layer_id—delta[i][j])。camera_parameters—info—src—view—id—delta[i]夫见定具有等于view—id[i]的#见点标识符的视点具有与具有等于(view_id[i]+camera_parameters—info_src—view—id—delta[i〗)的4见点标识符的#见点相同的相才几参数信息。值0表示具有等于view—id[i]的视点标识符的视点的相机参数信息不存在于补充增强信息消息中。自由视点应用的信息自由视点视频提供了从三维(3D)计算机图形中已知的相同的功能。用户可以在视觉景色内选择特定的视点和观察方向，因此提供交互式的自由视点导航(vavigation)。这个特征是许多用户应用(例如，用户可以自由地选择视点所在的剧院/音乐会/运动事件的DVD)感兴趣的。为了更好地支持自由视点应用，可以使用多视点信息补充增强信息消息来表达特定于自由视点的信息，包括但不限于下列自由视点信息的一个示例是相机阵列设定(例如，线性阵列、拱形阵列和/或二维(2D)矩形阵列)的类型。自由视点信息的另一示例是导航空间的定义，包括用户被允许来改变视点和/或观察方向的程度。根据呈现设备的性能，导航空间可被定义为一维或者多维空间。在二维空间的情况下，坐标系统可被定义为水平/垂直视点或全景(pan)/倾斜观察方向的维数。自由视点信息的再一示例是对于导航空间中的给定位置进行呈现所需的视点集。例如，如果呈现设备被约束能够沿着一维基线进行导航，则应当指定该基线的每一片段(segment)的相关视点集。如果可用的话，该信息将帮助能够对多视点视频内容进行解码的解码器来决定需要被解码的视点图像的子集，以便呈现导航空间中的给定位置。表3中例示了支持上述自由视点信息的补充增强信息消息的实施例。<table>tableseeoriginaldocumentpage24</column></row><table>在表3中用粗体指出了自由视点信息的补充增强信息消息的语法，并且语义学描述如下。将会注意，语法和/或语义学中引用的初始参数集是指可被放置在比特流的开始中或者可以在会话的开始中被传送的那些参数集。camera—array—type表示相才几阵歹'J的类型。left—bound—for—navigation表示导4元空间的左边界。right—bound—for—navigation表示导航空间的右边界。num—segments—in_navigation—space表示在具有不同一见点集的导4元空间中呈现所需的片段的数目。left—bound—segment表示导航空间中当前片段的左边界。num—views—needed—for—rendering表示当在当前片l殳内进行导力元时呈现所需的纟见点的lt目。viewjd—needed—for—rendering"]口]表示当在导航空间中的第i片段中进行导航时呈现所需的第j视点的view一id。转向图3A-图3D，用于编码多视点信息的示例性方法通常用附图标记300表示。将会理解，方法300包括用于对包括非编码相机视点信息的多视点信息进行编码的方法500和用于对包括自由视点信息的多视点信息进行编码的方法600。而且，将会理解，方法300也对包括编码相机视点信息的多视点信息进行编码。方法300包括起始块302,在该起始块302，将控制传递到功能块304。功能块304读取编码器配置文件，并且将控制传递到功能块306。功能块306建立编码参数，并且将控制传递到功能块308。功能块308创建高级语法(例如，序列参数集(SPS)、画面参数集(PPS)、和/或视点参数集)，并且将控制传递到功能块310。功能块310开始创建编码相机;f见点信息补充增强信息(SEI)消息，并且将控制传递到功能块312。功能块312设定编码视点的数目，并且将控制传递到判定块314。判定块314确定对于所有视点是否设定了编码视点的数目。如果是，则控制传递到功能块316。否则，控制传递到功能块320。功能块316将补充增强信息(SEI)消息写入比特流，并且将控制传递到功能块317。功能块317以带内或带外发送补充增强信息(SEI)消息，并且将控制传递到功能块318。功能块318编码视点，并且将控制传递到结束块399。功能块320设定viewjd语法参数，并且将控制传递到功能块322。功能块322设定view—num语法元素，并且将控制传递到功能块324。功能块324设定viewjevel语法参数，将控制传递到功能块326。功能块326设定视点相关存在标志，并且将控制传递到功能块328。功能块328设定比特速率信息存在标志，并且将控制传递到功能块330。功能块330设定帧速率信息存在标志，并且将控制传递到功能块332。功能块332设定帧大小消息存在标志，并且将控制传递到功能块334。功能块334设定子区域标记，并且将控制传递到功能块336。功能块336设定可升级消息存在标志，并且将控制传递到功能块338。功能块338设定简档/级别标志，并且将控制传递到功能块340。功能块340设定初始参数集标志，并且将控制传递到功能块342。功能块342设定相机参数存在标志，并且将控制传递到判定块344。判定块344确定是否设定简档/级别信息存在标志。如果是，则将控制传递到功能块346。否贝寸，将控制传递到功能块348。功能块346设定简档/级别约束标志，设定view—level标志，并且将控制传递到判定块350。判定块350确定是否设定比特速率信息存在标志。如果是，则将控制传递到功能块352。否则，将控制传递到判定块354。功能块352设定比特速率相关信息，并且将控制传递到判定块354。判定块354确定是否设定帧信息存在标志。如果是，则将控制传递到功能块356。否则，将控制传递到功能块358。功能块356设定帧速率相关信息，并且将控制传递到判定块360。判定块360确定是否设定帧大小信息存在标志。如果是，则将控制传递到功能块362。否则，将控制传递到功能块364。功能块362设定帧大小信息，并且将控制传递到判定块366。判定块366确定是否设定子区域信息存在标志。如果是，则将控制传递到功能块368。否则，将控制传递到功能块370。功能块368设定子区域信息，并且将控制传递到开/关(on-or-off)页面连接器395。页面连接器395将控制传递到判定块402。判定块402确定是否设定视点相关信息存在标志。如果是，则将控制传递到功能块404。否则，将控制传递到功能块406。功能块404设定视点相关信息参数，并且将控制传递到判定块408。判定块408确定是否设定参数集初始信息存在标志。如果是，则将控制传递到功能块410。否则，将控制传递到功能块412。功能块410设定参数集初始信息参数，并且将控制传递到判定块414。判定块414确定是否设定自由视点信息存在标志。如果是，则将控制传递到功能块416。否则，将控制传递到功能块418。功能块416设定自由视点信息参数，并且将控制传递到判定块420。判定块420确定是否设定可升级信息存在标志。如果是，则将控制传递到功能块422。否则，将控制传递到功能块424。功能块422设定可升级信息参数，并且将控制传递到判定块426。判定块426确定是否设定相机信息存在标志。如果是，则将控制传递到功能块428。否则，将控制传递到功能块430。功能块428设定相机信息参数，并且将控制传递到开/关页面连接器397。该开/关页面连接器397将控制返回到判定块314。并且将控制传递到判定块348。并且将控制传递到判定块360。并且将控制传递到判定块366。并且将控制传递到开/关页面连接器并且将控制传递到判定块408。并且将控制传递到判定块414。并且将控制传递到判定块420。并且将控制传递到判定块426。并且将控制传递到开/关页面连接器397。方法500包括起始块502，在该起始块502,将控制传递到功能块504。功能块504设定编码视点的数目，并且将控制传递到判定块506。判定块506确定对于所有未编码视点是否设定了任何标志。如果是，则控制传递到开/关页面连接器397。否则，控制传递到功能块508。功能块508设定未编码^f见点的view—id语法参数，并且将控制传递到功能块510。功能块510设定未编码;现点的^L点内插信息存在标志，并且将控制传递到功能块512。功能块512设定未编码视点的相机参数信息存在标志，并且将控制传递到判定块514。判定块514确定是否设定视点内插标志。如果是，则将控制传递到功能块516。否则，将控制传递到功能块518。功能块516设定视点内插信息，将控制传递到判定块520。判定块520确定是否设定相机参数存在标志。如果是，则将控制传递到功能块522。否27功能块348设定源view—id增量值，功能块358设定源viewjd增量值，功能块364设定源view—id增量值，功能块370设定源view—id增量值,395。功能块406设定源view—id增量值，功能块412设定源view—id增量值，功能块418设定源view—id增量值，功能块424设定源view—id增量值，功能块430设定源viewid增量值,则，将控制传递到功能块524。功能块522设定相机参数信息，并且将控制返回到判定块506。功能块518设定源view—id增量值，并且将控制传递到判定块520。功能块524设定源view—id增量值，并且将控制返回到判定块506。方法600包括起始块602,在该起始块602，将控制传递到功能块604。功能块604设定相机阵列类型，并且将控制传递到判定块606。判定块606确定相机阵列类型是否等于一。如果是，则控制传递到开/关页面连接器393。否则，将控制传递到功能块608。功能块608设定用于导4元的左边界，并且将控制传递到功能块610。功能块610设定用于导航的右边界，并且将控制传递到功能块612。功能块612设定导航空间中的片段的数目，并且将控制传递到判定块614。判定块614确定是否完成所有片段(即，片段集的范围和数目)。如果是，则将控制传递到开/关页面连接器393。否则，将控制传递到功能块616。功能块616设定左边界片段，并且将控制传递到功能块618。功能块618设定呈现所需的视点的数目，并且将控制传递到判定块620。判定块620确定是否完成所有^L点。如果是，则将控制返回到判定块614。否则，将控制传递到功能块622。功能块622按照需要设定view一id语法参数。转向图4A-图4D,用于解码多视点信息的示例性方法通常用附图标记700来表示。将要理解，方法700包括用于对包括未编码相机-视点信息的多视点信息进行编码的方法900和用于对包括自由视点信息的多视点信息进行编码的方法IOOO。而且，将会理解，方法700也对包括编码相机视点信息的多视点信息进行编码。方法700包括起始块702,在该起始块702，将控制传递到功能块704。功能块704在带内或带外接收序列参数集(SPS)、画面参数集(PPS)、和/或视点参数集(VPS)消息，并且将控制传递到功能块706。功能块706读取高级语法(序列参数集(SPS)、画面参数集(PPS)、和/或视点参数集(VPS)),并且将控制传递到功能块708。功能块708开始解析编码相机补充增强信息消息，并且将控制传递到功能块710。功能块710读取/解析编码视点的数目，并且将控制传递到判定块714。判定块714确定是否已经读取/解析所有视点。如果是，则将控制传递到功能块716。否则，将控制传递到功能块720。功能块716将补充增强信息(SEI)消息存储到存储器，并且将控制传递到功能块718。功能块718对视点进行解码，并且将控制传递到功能块结束块799。功能块720读取/解析view—id语法元素，将控制传递到功能块722。功能块722读取/解析view—num语法元素，将控制传递到功能块724。功能块724读取/解析view—level语法元素，并且将控制传递到功能块726。功能块726读取/解析视点相关存在标志，并且将控制传递到功能块728。功能块728读取/解析位速率信息存在标志，并且将控制传递到功能块730。功能块730读取/解析帧速率信息存在标志，并且将控制传递到功能块732。功能块732读取/解析帧大小信息存在标志，并且将控制传递到功能块734。功能块734读取/解析子区域标志，将控制传递到功能块736。功能块736读取/解析可升级信息存在标志，并且将控制传递到功能块738。功能块738读取/解析简档/级别标志，并且将控制传递到功能块740。功能块740读取/解析初始参数设定标志，并且将控制传递到功能块742。功能块742读取/解析相机参数存在标志，并且将控制传递到判定块744。判定块744确定是否已经读取/解析简档/级别信息存在标志。如果是，则将控制传递到功能块746。否则，将控制传递到功能块748。功能块746读取/解析简档/级别约束标志，读取/解析viewjevel语法元素，并且将控制传递到判定块750。判定块750确定是否已经读取/解析位速率信息存在标志。如果是，则将控制传递到功能块752。否则，将控制传递到判定块754。功能块752读耳又/解析位速率相关信息，并且将控制传递到判定块754。判定块754确定是否已经读取/解析帧信息存在标志。如果是，则将控制传递到功能块756。否则，将控制传递到功能块758。功能块756读取/解析帧速率相关信息，并且将控制传递到判定块760。判定块760确定是否已经读取/解析帧大小信息存在标志。如果是，则将控制传递到功能块762。否则，将控制传递到功能块764。功能块762读耳又/解析帧大小信息，并且将控制传递到判定块766。判定块766确定是否已经读取/解析子区域信息存在标志。如果是，则将控制传递到功能块768。否则，将控制传递到功能块860。功能块768读取/解析子区域信息，并且将控制传递到开/关页面连接器795。开/关页面连接器795将控制传递到判定块802。判定块802确定是否已经设定视点相关信息存在标志。如果是，则将控制传递到功能块804。否则，将控制传递到功能块806。功能块804读取/解析视点相关信息参数，并且将控制传递到判定块808。判定块808确定是否设定参数集初始信息存在标志。如果是，则将控制传递到功能块810。否则，将控制传递到功能块812。功能块810读取/解析参数集初始信息参数，并且将控制传递到判定块814。判定块814确定是否设定自由视点信息存在标志。如果是，则将控制传递到功能块816。否则，将控制传递到功能块818。功能块816读取/解析自由视点信息参数，并且将控制传递到判定块820。判定块820确定是否设定可升级信息存在标志。如果是，则将控制传递到功能块822。否则，将控制传递到功能块824。功能块822读取/解析可升级信息参数，并且将控制传递到判定块826。判定块826确定是否设定相机信息存在标志。如果是，则将控制传递到功能块828。否则，将控制传递到功能块830。功能块828读取/解析相机信息参数，并且将控制传递到开/关页面连接器797。功能块748读取/解析源viewjd增量值功能块758读取/解析源viewjd增量值功能块764读取/解析源view—id增量值功能块770读取/解析源viewjd增量值接器795。功能块806读取/解析源view—id增量值功能块812读取/解析源view—id增量值功能块818读取/解析源view—id增量值功能块824读取/解析源view—id增量值功能块830读取/解析源view—id增量值接器797。方法卯O包括起始块902，在该起始块902，将控制传递到功能块904。功能块卯4读取/解析未编码视点的数目，并且将控制传递到判定块906。判定块906确定是否已经读取/解析所有未编码视点。如果是，则控制传递到开/关页面连接器797。否则，控制传递到功能块908。功能块908读取/解析30,并且将控制传递到判定块750。,并且将控制传递到判定块760。,并且将控制传递到判定块766。,并且将控制传递到开/关页面连，并且将控制传递到判定块808。，并且将控制传递到判定块814。,并且将控制传递到判定块820。,并且将控制传递到判定块826。，并且将控制传递到开/关页面连view一id语法元素，并且将控制传递到功能块910。功能块910读取/解析视点内插信息存在标志，并且将控制传递到功能块912。功能块912读取/解析相机参数信息存在标志，并且将控制传递到判定块914。判定块914确定是否设定^L点内插标志。如果是，则将控制传递到功能块916。否则，将控制传递到功能块918。功能块916读取/解析视点内插信息，将控制传递到判定块920。判定块920确定是否设定相机参数存在标志。如果是，则将控制传递到功能块922。否则，将控制传递到功能块924。功能块918读取/解析源viewjd增量值，并且将控制传递到判定块920。功能块924读取/解析源view—id增量值，并且将控制传递到判定块906。方法1000包括起始块1002,在该起始块1002,将控制传递到功能块1004。功能块1004读取/解析相机阵列类型，并且将控制传递到判定块1006。判定块1006确定相机阵列类型是否等于一。如果是，则将控制传递到开/关页面连接器793。否则，将控制传递到功能块1008。功能块1008读取/解析用于导航的左边界，并且将控制传递到功能块1010。功能块1010读取/解析用于导航的右边界，并且将控制传递到功能块1012。功能块1012读取/解析导航空间中的片段的数目，并且将控制传递到判定块1014。判定块1014确定是否完成所有片段。如果是，则将控制传递到开/关页面连接器793。否则，将控制传递到功能块1016。功能块1016读取/解析左边界片段，并且将控制传递到功能块1018。功能块1018读取/解析呈现所需的视点的数目，并且将控制传递到判定块1020。判定块1020确定是否已经完成所有视点的解析。如果是，则将控制返回到判定块1014。否贝'J，将控制传递到功能块1022。功能块1022按照需要读取/解析view—id语法参数。现在将描述本发明的许多伴随的优点/特征，上面已经提到了一些伴随的优点/特征。例如，一个优点/特征是一种包括编码器的装置，所述编码器以至少一个高级语法元素对合成比特流中的多视点视频内容以及该多视点视频内容的多视点编码信息进行编码。另一个优点/特征是一种具有如上所述的编码器的装置，其中所述至少一个高级语法元素包括切片报头、序列参数集、画面参数集、视点参数集、网络提取层单元报头和补充增强信息消息中的至少一个。另一个优点/特征是具有如上所述的编码器的装置，其中所述多视点编码信息包括编码相机视点信息、未编码相机视点信息和自由^见点信息中的至少一个。再一个优点/特征是具有如上所述的编码器的装置，其中所述多视点编码信息包括编码相机视点信息、未编码相机视点信息和自由^L点信息中的至少一个，其中编码相机视点信息包括下列中的至少一个编码相机^f见点的数目和每个编码相机一见点的特性、作为对应于多视点视频内容的编码相机视点总数中的一个或多个中的任一个的编码相机视点的数目。而且，另一优点/特征是一种具有如上所述的编码器的装置，其中所述编码相机视点信息包括编码相机视点的数目和每个编码相机视点的特性中的至少一个，编码相机视点的数目是与所述多视点视频内容对应的编码相机视点总数中的一个或多个中的任一个，其中每个编码相机-现点的特征包括下列中的至少一个可升级信息、视点可升级信息、视点相关信息、感兴趣信息的区域、位速率、帧大小、帧速率、初始参数集和相机参数、解码器规范、比特流限制信息、视点标识符、和编码顺序信息，其中所述可升级信息包括时间可升级信息、空间可升级信息、和信噪比可升级信息中的至少一个，所述解码器规范由筒档和级别信息以及筒档和级别约束信息中的至少一个表示。再者，另一优点/特征是具有如上所述的编码器的装置，其中所述多视点编码信息包括编码相枳3见点信息、未编码相机;魄点信息和自由^L点信息中的至少一个，其中所述未编码相机视点信息包括未编码相机视点的数目和每个未编码相机视点的特性中的至少一个，编码相机视点的数目是与所述多视点视频内容对应的编码相机视点总数中的一个或多个中的任一个。而且，另一优点/特征是具有编码器的装置，其中所述未编码相机视点信息包括未编码相机视点的数目和每个未编码相机视点的特性中的至少一个，编码相机视点的数目是与所述多视点视频内容对应的编码相机视点总数中的一个或多个中的任一个，其中每个未编码视点的特性包括视点标识符、视点内插信息、和相机参数中的至少一个。另外，另一优点/特征是具有如上所述的编码器的装置，其中所述多视点编码信息包括编码相机视点信息、未编码相机视点信息和自由视点信息中的至少一个，其中所述自由视点信息包括用于在给定视点和观察角度处生成至少一个视点的参数和方法中的至少一个。而且，另一优点/特征是具有如上所述的编码器的装置，其中所述自由祸L点信息包括用于在给定视点和观察角度处生成至少一个视点的参数和方法中的至少一个，其中用于生成至少一个视点的参数包括下列中的至少一个相机阵列设定、导航空间的定义、和用于在导航空间中呈现特定位置的一组编码相才几i见点。而且，另一优点/特征是具有如上所述的编码器的装置，其中对于所述比特流，在带内和带外中的至少一个地发送所述至少一个高级语法元素。相关领域的普通技术人员基于此处的示教能够容易地确定本原理的这些和其它特征和优点。将会理解，本原理的示教能够以硬件、软件、固件、特殊用途处理器或者它们的组合的各种形式来实现。更优选地，本原理的示教被实现为硬件和软件的组合。而且，软件可4皮实现为有形地体现在程序存储单元上的应用程序。所述应用程序可以通过包括任何合适结构的机器上传并执行。优选地，所述机器被实现在计算机平台上，所述计算机平台具有诸如一个或多个中央处理单元("CPU")、随机存fc存储器("RAM")和输入/输出("I/O")接口之类的硬件。计算机平台也可以包括操作系统和微指令代码。此处所描述的各种处理和功能可以是微指令代码的一部分或者是应用程序的一部分，或者是它们的任意组合，它们可以由CPU来执行。另外，各种其它外围单元可以连接到计算机平台，例如另外的数据存储单元和打印单元。还应当理解，因为附图中描绘的一些组成系统元件和方法优选地以软件来实现，因此系统组件或处理功能块之间的真实连接可以根据本原理被编程的方式而有所不同。假设此处的示教，相关领域的普通技术人员将能够预料本原理的这些和类似的实现或者结构。尽管此处参考附图已经描述了图解性实施例，但是应当理解本原理不限化和修改，而不背离本原理的范畴或精神。所有这些变化和修改往往被包含在所附权利要求阐述的本原理的范畴之内。权利要求1.一种装置，包括编码器(100)，用于以至少一个高级语法元素对合成比特流中的多视点视频内容和所述多视点视频内容的多视点编码信息进行编码。2.如权利要求l所述的装置，其中所述至少一个高级语法元素包括下列中的至少一个切片报头、序列参数集、画面参数集、视点参数集、网络提取层单元报头和补充增强信息消息。3.如权利要求l所述的装置，其中所述多视点编码信息包括编码相才几一见点信息、未编码相机视点信息、和自由视点信息中的至少一个。4.如权利要求3所述的装置，其中所述编码相机视点信息包括编码相机视点的数目和每个编码相机视点的特性中的至少一个，编码相机视点的婆史目是与所述多视点视频内容对应的编码相机视点总数中的一个或多个中的任一个。5.如权利要求4所述的装置，其中每个编码相机视点的特征包括下列中的至少一个可升级信息、视点可升级信息、视点相关信息、感兴趣信息的区域、位速率、帧大小、帧速率、初始参数集和相机参数、解码器规范、比特流限制信息、视点标识符、和编码顺序信息，其中所述可升级信息包括时间可升级信息、空间可升级信息、和信噪比可升级信息中的至少一个，所述解码器规范由简档和级别信息以及简档和级别约束信息中的至少一个表示。6.如权利要求3所述的装置，其中所述未编码相机^见点信息包括未编码相机视点的数目和每个未编码相机视点的特性中的至少一个，编码相机一见点的数目是与所述多视点视频内容对应的编码相机视点总数中的一个或多个中的任一个。7.如权利要求6所述的装置，其中每个未编码视点的特性包括视点标识符、视点内插信息、和相机参数中的至少一个。8.如权利要求3所述的装置，其中所述自由视点信息包括用于在给定视点和观察角度处生成至少一个视点的参数和方法中的至少一个。9.如权利要求7所述的装置，其中用于生成至少一个视点的参数包括下列中的至少一个相机阵列设定、导航空间的定义、和用于在导航空间中呈现特定位置的一组编码相枳3见点。10.如权利要求l所述的装置，其中对于所述比特流，带内和带外中的至少一个地发送所述至少一个高级语法元素。11.一种方法，包括以至少一个高级语法元素对合成比特流中的多视点^L频内容和该多^L点内容的多视点编码信息进行编码(310)。12.如权利要求11所述的方法，其中所述至少一个高级语法元素包括下列中的至少一个切片报头、序列参数集、画面参数集、视点参数集、网络提取层单元报头和补充增强信息消息。13.如权利要求11所述的方法，其中所述多视点编码信息包括编码相机视点信息、未编码相机视点信息、和自由视点信息中的至少一个(310,500，600)。14.如权利要求13所述的方法，其中所述编码相机视点信息包括编码相机视点的数目和每个编码相机视点的特性中的至少一个，编码相机视点的数目是与所述多视点视频内容对应的编码相机视点总数中的一个或多个中的任一个(312)。15.如权利要求14所述的方法，其中每个编码相机视点的特征包括下列中的至少一个可升级信息、视点可升级信息、视点相关信息、感兴趣信息的区域、位速率、帧大小、帧速率、初始参数集、和相机参数、解码器规范、比特流限制信息、视点标识符、和编码顺序信息，其中所述可升级信息包括时间可升级信息、空间可升级信息、和信噪比可升级信息中的至少一个，所述解码器规范由简档和级别信息以及简档和级别约束信息中的至少一个表示(300)。16.如权利要求13所述的方法，其中所述未编码相机视点信息包括未编码相机视点的数目和每个未编码相机视点的特性中的至少一个，编码相枳^见点的数目是与所述多视点视频内容对应的编码相机视点总数中的一个或多个中的任一个(504)。17.如权利要求16所述的方法，其中每个未编码视点的特性包括视点标识符、视点内插信息、和相机参数中的至少一个(508,510,512,516,522)。18.如权利要求13所述的方法，其中所述自由视点信息包括用于在给定视点和观察角度处生成至少一个视点的参数和方法中的至少一个(414,416)。19.如权利要求18所述的方法，其中用于生成至少一个视点的参数包括下列中的至少一个相机阵列设定、导航空间的定义、和用于在导航空间中呈现特定位置的编码相机视点集(600)。20.如权利要求11所述的方法，其中对于所述比特流，带内和带外中的至少一个地发送所述至少一个高级语法元素(317)。21.—种装置，包括解码器(200),用于从至少一个高级语法元素对来自合成比特流的多朝L点视频内容以及所述多视点内容的多视点编码信息进行解码。22.如权利要求21所述的装置，其中所述至少一个高级语法元素包4舌下列中的至少一个切片报头、序列参数集、画面参数集、视点参数集、网络提取层单元报头和补充增强信息消息。23.如权利要求21所述的装置，其中所述多视点编码信息包括编码相机视点信息、未编码相机视点信息、和自由视点信息中的至少一个。24.如权利要求23所述的装置，其中所述编码相机视点信息包括编码相机视点的数目和每个编码相机视点的特性中的至少一个，编码相机视点的数目是与所述多视点视频内容对应的编码相机视点总数中的一个或多个中的任一个。25.如权利要求24所述的装置，其中每个编码相机视点的特征包括下列中的至少一个可升级信息、视点可升级信息、视点相关信息、感兴趣信息的区域、位速率、帧大小、帧速率、初始参数集和相机参数、解码器规范、比特流限制信息、视点标识符和编码顺序信息，其中所述可升级信息包括时间可升级信息、空间可升级信息和信噪比可升级信息中的至少一个，所述解码器规范由简档和级别信息以及简档和级别约束信息中的至少一个表示。26.如权利要求23所述的装置，其中所述未编码相机视点信息包括未编码相机视点的数目和每个未编码相机视点的特性中的至少一个，编码相才几视点的数目是与所述多视点视频内容对应的编码相机视点总数中的一个或多个中的任一个。27.如权利要求26所述的装置，其中每个未编码视点的特性包括视点标识符、视点内插信息、和相机参数中的至少一个。28.如权利要求23所述的装置，其中所述自由视点信息包括用于在给定视点和观察角度处生成至少一个视点的参数和方法中的至少一个。29.如权利要求28所述的装置，其中用于生成至少一个视点的参数包括下列中的至少一个相机阵列设定、导航空间的定义、和用于在导航空间中呈现特定位置的一组编码相机纟见点。30.如权利要求21所述的装置，其中对于所述比特流，带内和带外中的至少一个地接收所述至少一个高级语法元素。31.—种方法，包括从至少一个高级语法元素对来自合成比特流的多一见点视频内容以及所述多视点内容的多视点编码信息进行解码(708)。32.如权利要求31所述的方法，其中所述至少一个高级语法元素包:fe下列中的至少一个切片报头、序列参数集、画面参数集、视点参数集、网络提取层单元报头和补充增强信息消息。33.如权利要求31所述的方法，其中所述多视点编码信息包括编码相机视点信息、未编码相机视点信息、'和自由视点信息中的至少一个(708,900，1000)。34.如权利要求33所述的方法，其中所述编码相机视点信息包括编码相机视点的数目和每个编码相机视点的特性中的至少一个，编码相机视点的数目是与所述多视点视频内容对应的编码相机视点总数中的一个或多个中的任一个(710)。35.如权利要求34所述的方法，其中每个编码相机一见点的特征包括下列中的至少一个可升级信息、视点可升级信息、视点相关信息、感兴趣信息的区域、位速率、帧大小、帧速率、初始参数集和相机参数、解码器规范、比特流限制信息、视点标识符和编码顺序信息，其中所述可升级信息包括时间可升级信息、空间可升级信息和信噪比可升级信息中的至少一个，所述解码器规范由简档和级别信息以及简档和级别约束信息中的至少一个表示。36.如权利要求33所述的方法，其中所述未编码相机视点信息包括未编码相机视点的数目和每个未编码相机视点的特性中的至少一个，编码相机视点的数目是与所述多视点视频内容对应的编码相机视点总数中的一个或多个中的任一个(904)。37.如权利要求36所述的方法，其中每个未编码视点的特性包括视点标识符、视点内插信息、和相机参数中的至少一个(908,910,912,916,922)。38.如权利要求33所述的方法，其中所述自由视点信息包括用于在给定视点和观察角度处生成至少一个视点的参数和方法中的至少一个(814,816)。39.如权利要求38所述的方法，其中用于生成至少一个视点的参数包括下列中的至少一个相机阵列设定、导航空间的定义、和用于在导航空间中呈现特定位置的一组编码相机一见点(1000)。40.如权利要求31所述的方法，其中对于所述比特流，带内和带外中的至少一个地接收所述至少一个高级语法元素(704)。41.一种用于视频编码的视频信号结构，包括在合成比特流中编码的多视点视频内容，其中以至少一个高级语法元素编码所述多视点内容的多视点编码信息。42.—种具有在其上编码的视频信号数据的存储介质，包括在合成比特流中编码的多视点视频内容，其中以至少一个高级语法元素编码所述多视点内容的多视点编码信息。全文摘要提供了一种用于以高级语法表达多视点信息的方法和装置。公开了一种编码方法(300)和装置(100)，用于以至少一个高级语法元素对合成比特流中的多视点视频内容和所述多视点视频内容的多视点编码信息进行编码(310)。公开了一种解码方法(700)和装置(200)，用于从至少一个高级语法元素对来自合成比特流的多视点视频内容以及该多视点内容的多视点编码信息进行解码(708)。文档编号H04N7/26GK101578872SQ200880001741公开日2009年11月11日申请日期2008年1月4日优先权日2007年1月4日发明者澎尹,珀文·B·潘迪特,苏野平申请人:汤姆森特许公司