专利名称:编码和解码视频数据以起动随机存取和接合的方法和系统的制作方法
技术领域:
本发明涉及编码和解码数据的方法和系统。
发明的背景数字数据通常从某种类型的发射机发送到某种类型的接收机。发射机通常包括编码用于传输的数据的编码器和接收机通常包括解码接收的数据的解码器。有不同类型的数字数据,比如视频数据,音频数据,音频/视频数据等。当发送数字数据时,它通常在某种类型的信道中发送。
主要的视频压缩和传输格式源自于称为混合的基于块的运动补偿转换视频编码器的例子,它的例子包括ITU-T VCEG(视频编码专家组)和ISO/IEC MPEG(运动图像专家组)组织的视频编码标准——包括H.261,MPEG-1,H.262/MPEG-2视频,H.263,MPEG-4可视,和进行中的H.264/AVC标准草案。编码和压缩标难已经指定为很多其他类型的媒体,包括静止图像,音频,文件,网页等,和把这些信号多路复用在一起并同步。
应用最广泛的视频编码标准是H.262/MPEG-2视频,这里我们将把它用作参考的例子。通常,MPEG-2视频流由三种类型的帧或图像组成。在这篇文件中,我们使用术语“图像”。三种类型的MPEG-2图像是·内部图像(I-图像)·前向预测图像(P-图像);和·双向预测图像(B-图像)。
一个MPEG-2视频流或序列通常用称为图像组(GOP)的段定义。通常当以它们想要的速度显示时,一个GOP由一组1/2秒时段的图像组成。
图1说明了包括一个图像序列的MPEG-2视频流的开始,它们按照图像将显示的次序从左到右排序并索引,并从I-图像100(I0)开始。在该例子中,第一GOP从第一I-图像100(I0)开始并包括一直到并包含在下一个I-图像190(I9)之前的最后的P-图像160(P6)的连续图像。第二GOP从第二个I-图像190(I9)前面的第一个B-图像170(B7)开始。这个示例序列中的第一示例的GOP包括一个I-图像;两个P-图像;和四个B-图像。每个GOP包括一个或多个从诸如图像100(I0)的不紧接着在B-图像前面的I-图像开始或从紧接着在诸如图像190(I9)的I-图像前面的一个或多个连续的B-图像序列中的第一个诸如170(B7)的B-图像开始的连续图像。
解码通常从解码任意GOP的第一I-图像开始,它本质上独立于任何在前的GOP,例如,在第一GOP中的I-图像100(I0)或第二GOP中的I-图像190(I9)。对GOP中可以有的图像数没有限制,对视频系列中所有GOP中图像数相等也没有要求。
MPEG-2 I-图像和P-图像称为“桩”图像(或“关键”图像)。一个I-图像能够独立于任意其他图像解码。它不依赖构成它的画面的任意其他图像的数据。一个诸如图像130(P3)的MPEG-2 P-图像需要来自前一个解压缩的桩图像(例如,I-图像或P-图像)的数据起动它的解压缩。尽管它是依赖性的,但只依赖于已经解码的一个桩图像。
一个诸如图像110(B1)的MPEG-2 B-图像需要来自前一个和下一个将被解码的桩图像(例如,I-图像或P-图像)。即,MPEG-2 B-图像是双向依赖的。
在图1中,箭头的终点表示箭头指向的图像依赖的图像。例如,B-图像140(B4)依赖于P-图像130(P3)和P-图像160(P6)。
现在考虑图2的图像序列,它说明同一序列的各个I-、B-和P-图像的显示次序,其中图1所示的最后图像后面示出了一些附加图像,并且其中示出的第三GOP的开始,它从图像B16开始。显示次序是图像将被显示的顺序。所以,例如,如果正在显示各个图像,I0将是显示的第一个图像,接着是B1,B2等。但是注意,如果从被预测的那些图像(即,B-图像)的立场看序列,为了解码一个B-图像,解码器必须与一个紧随其后I-图像或P-图像的解码值相关。所以在该例子中,为了解码B2,解码器将与I0和P3都有关。即,为了解码B2解码器将必须解码I0和P3。
因此,编码器通常以与显示次序不同的次序发送图像,以便解码器能够与接收它们一样地解码它们。例如,图3说明了图2序列的传输次序和解码次序。因为解码器必须在参考它们的B-图像之前解码I-图像和P-图像,I-图像和P-图像在参考它们的B-图像之前发送。这里,注意在参考它的B1和B2之前发动P3。因而,当解码器按它的传输次序接收序列时,它能首先解码I0,接着解码参考I0的P3。接着,由于已经解码了I0和P3,解码器现在能够解码B1和B2。一旦解码器已经解码足够数量的图像,将再次安排图像为用于显示的显示次序。在该例子中,解码器能够通过使它的对I-图像和P-图像解码处理滞后其显示处理后的一个桩图像来完成重新排列(允许在解码P3后显示I0,紧接着解码B1后显示B1,紧接着解码B2后显示B2,解码P6后显示P3,紧接着解码B4后显示B4,紧接着解码B5后显示B5,解码I9后显示P6,紧接着解码B7后显示B7,等)。
现在考虑图3中序列随机存取的情况。例如,假定用户正在观看已经按照上述编码的数字电视节目,并突然转换频道到另一个编码节目。如果解码器试图在B-图像读取序列,解码器将不能解码B-图像,因为它没有B-图像参考前一个I-图像或P-图像的信息。同样,如果解码器对P-图像随机读取序列,将不能解码它,因为它将没有其所参考的前一个P-图像或I-图像。因此,在上述编码方案中,解码器不能在该序列中正确解码图像,直到检测到I图像。所以通常解码器将做的是向前扫描序列直到位于I-图像。接着,检测并解码一个附加的接着的桩图像后,能够从那一点向前开始显示良好质量的图像,由于所有按照解码顺序跟随那一点后的所有图像将是可解码的并因为它已经完成了它重新安排不按解码次序的图像为显示次序所需要的延迟程度。
例如,假定图3中,解码器随机在图像P3读取图像序列。这时,由于P3依赖于I0并且解码器不具有I0,所以将不能对P3解码。接着系统等待直到到达I9图像,系统知道它能够解码。跟着I9图像后面,解码器接收依赖于P6和I9的B7和B8。尽管系统具有I9,但它不具有P6图像。即,尽管解码器接收到P6图像,该图像依赖于P3,按顺序P3依赖于I0。由于解码器不能对P3解码,所以不能对P6、B7和B8解码。
系统接收的下一个图像是P12,它只依赖于I9。因此,系统能对P12解码。一旦系统解码了P12,将接着接收并能够解码B10和B11。因此,按照传输顺序从这一点向前,所有的图像都能够适当地解码并显示。
因此,随机读取一个编码序列,比如上述的一个编码序列,并不总能立即提供能解码并能显示的图像。
一种MPEG-2提供帮助随机存取的机制称为“闭合的GOP标志”。特别是,在单个I-图像上,一个闭合的GOP标志能够由编码器提供,它标识按照传输顺序(在I-图像之后)的任意随后的图像参照在I-图像之前的图像。即,如果闭合的GOP标志是“真”,则GOP是闭合的,并按照解码顺序跟随着I-图像的任意B-图像(如果有任意的B图像)不参照按照解码顺序在I-图像之前的任意图像。因而,闭合的GOP意味着GOP是自包含的并能够由解码器解码。因此,即使在B-图像中的一个能够参照按顺序的前一个图像,闭合的GOP标志表明当它被解码时这实际已经完成。另一方面,如果闭合的GOP标志是否定的,这意味着GOP不是闭合的,并告诉解码器B-图像依赖于解码器不具有的图像和数据。因此,解码器知道它不能解码随后的B-图像(按照解码的顺序在下一个桩图像之前的随后的任意B-图像)。在这种情况下,解码器将解码I-图像,接着跳过下一个B-图像并解码P-图像。在这一点之后,解码器已经恢复并能够开始显示视频并解码任意接下来的B-图像。在图3所示的示例序列中,从图像I0开始的GOP是闭合的,而从图像I9和I18开始的GOP可能是也可能不是闭合的(根据紧随着解码顺序的每个I-图像的B-图像是否使用来自I-图像之前的图像的预测)。
由于视频编码和解码标准发展并渐渐变得更复杂,提出了进一步的挑战来在不考虑用户经验的情况下,提供并增强诸如随机存取性的性能。因此,本发明由提供用于编码和解码数字数据的方法和系统的关心而产生。
发明的简述各种实施例提供促进视频编码方法的上下文中的解码的方法,视频解码方法允许编码图像序列的图像中复杂的依赖性。在一些实施例中,利用随机存取电或“RAP”的概念。一个随机存取点实际上是在包含促进序列的随机存取信息的一个图像序列中的一个位置。在一些实施例中,一个随机存取点能够包含不同类型的数据。在一些实施例中,这种数据能够用图像计数和/或时间来定义。在一些实施例种,一个随机存取点的数据能够包括一个或多个进入点和恢复点。这些点实际上提供解码器能够用于确定它的解码活动何时将产生准确和适当解码的图像的措施。
附图的简要说明图1是说明按照一种现有技术的编码格式的I-、B-和P-图像的图。
图2说明了按照显示顺序包括I-、B-和P-图像的一个图像序列。
图3说明了按照传输顺序包括I-、B-和P-图像的一个图像序列,其中尝试了随机存取。
图4说明了尝试随机存取的包括I-、B-和P-图像的一个图像序列。
图5说明了按照一个实施例包括含有数据的I-、B-和P-图像的一个图像序列。
图6是描述按照两个实施例的解码方法中的步骤的流程图。
图7是描述按照一个实施例的一个方法中的步骤的流程图。
图8说明了含有一个接合点的一个图像序列,并且它能够帮助理解能够使用一个或多个实施例的一个特定前后关系。
图9是一个计算机环境的高级图,结合该环境能够实现一个或多个实施例。
优选实施例的详细说明概括描述下文所述的实施例提供一种方法,它促进在视频编码标准情况下的解码,该视频编码标准允许一个编码图像序列的图像中有复杂的依赖性。引入的是随机存取点或“RAP”的概念。一个随机存取点实际上是包含促进序列的随机存取信息的图像序列中的一个位置。
随机存取点能够含有一种或多种类型的信息,它能够被解码器用来促进随机存取序列和解码其中的图像。一个随机存取点能够包含的一种类型的信息称为一个进入点或EP。一个随机存取点能够包含的另一种类型的信息称为恢复点或RP。因为随机存取点能够包含一种或多种类型的信息,遵循随机存取点能够包含进入点和恢复点之一或两者都包括。并且,尽管下文中讨论了进入点和恢复点所关注的内容,很明显并能够理解到这两种类型的信息由能够包含在图像序列中的特定信息类型组成,而不只是举例的那些。因此,在不脱离权利要求的主题内容的精神和范围的情况下能够包含其他类型的信息。
进入和恢复点实际上提供使解码器能够用于确定它的解码活动何时将产生准确并适当解码的图像的措施。读了以下说明后这将变得更明显。有可能这里描述的一些技术能够与不是视频的数据,比如音频数据结合使用。
本发明实施例能够使用的示例的视频编码标准描述本实施例的方面之前,讨论一个本发明实施例能够使用的视频编码标准是有用的。下文所述的视频编码标准是联合视频组(JVT)标准开发项目的工作,它是ITU-T视频编码专家组(VCEG)和ISO/IEC活动图像专家组(MPEG)的联合计划,进行新视频编码标准的开发。JVT项目产生于2001年12月,接手先前在VCEG的ITU-T H.26L项目下的工作,并产生最终用于ITU-T和MPEG两个标准的最终设计中。JVT/H.26L标准成果的主要目的是确定一种简单并直接的视频编码设计,以实现增强的压缩性能和提供基于包的“网络友好”的视频表示,用于“对话的”(即,可视电话)和“非对话的”(即,存储、广播或数据流)应用。因此,JVT/H.26L设计覆盖视频编码层(VCL),它提供视频图像内容的核心高压缩表示,和网络抽象层(NAL),它对通过各种网络传递的表示打包。VCL设计实现了在失真效率比上的很大改进——近似提供与现存标准相对比特率节约中两者中的一个因子。NAL设计被发展来通过现存的或将来的网络传送编码的视频数据,比如开关电路有线网,MPEG-2/H.222.0传输流,具有RTP打包的IP网络,和3G无线系统。批准后,JVT标准专用于设计为ITU-T推荐H.264和ISO/IEC 14496-10“先进视频编码”。
将描述的视频编码标准仍然利用I-、B-和P-图像的概念,但以不同的、更复杂的方式定义它们。从中一个良好的观点是来理解当前描述的视频编码标准是来自于上述MPEG-2观点。回忆用于随后的编码/解码范例的MPEG-2标准简单地总结如下·一个I-图像能够不依赖任何其他图像(例如,P-和B-图像)解码;并且按照解码次序,GOP中的第一图像是一个I-图像。
·一个P-图像需要来自恰好前一个解压缩的桩图像(例如,I-图像或P-图像)的数据,使它能够进行解码;并且用在P-图像解码中的桩图像是按顺序在P-图像之前的最后一个桩图像;并且它在按照传输顺序和显示顺序的P-图像之前。
·一个B-图像需要来自两个桩图像(例如,I-图像或P-图像)的数据使它能够进行解码。它们是按照传输顺序在B-图像之前的的最后两个桩图像,其中第一个是按照显示顺序的前一个图像,第二个是按照显示顺序的随后的图像。
按照用于视频编码和解码的JVT范例,一个I-图像仍然表示一个可独立解码的图像。但是,一个P-图像定义有一点不同。根据新标准,一个P-图像能够具有多于一个参考图像,而不像以前只有一个在前的参考图像。特别是,P-图像的每个区域具有一个参考图像,但一个P-图像的各个区域全体能够参照不同的图像。因此,作为一个整体,一个独立的P-图像能够参照不同的图像。例如,使用图2的序列,现在可能对图像P6参照图像P3和I0。除了参照多个图像,单个P-图像也可以参照按显示顺序的未来的图像。例如,P6图像的一些区域能够从I0、P3和I9预测,其中I9是相对于图像P6按照显示顺序在将来的一个图像。因此,一个P-图像能够依赖的图像数和按照显示顺序那些图像的排序在解码器能够存储图像的限制容量内几乎是任意的。
另外,B-图像定义稍有不同。首先,在以前的定义中,一个B-图像有两个参考图像。在先前的设计中,一个B-图像,比如图像B1的每个区域的解码处理能够参照以显示顺序中它的前一个或下一个桩图像的一个区域,比如图像I0或P3,或者能够两者都参照来形成它们之间的某种算术平均。在新的B-图像定义中,该概念保留(即,每个区域能够参照先前解码的图像的一个特定区域或两个这样的区域的平均),但是现在推广到能够从任意数量图像中选择对B-图像的每个区域解码的一个或两个区域(即,按照解码顺序在B-图像之前的一个或多个图像)。因而,不再刚好参照两个图像,B-图像能够参照任意合理数量的图像和/或任意合理数量图像的算术合并。所以,例如,参照图2序列,图像B2能够参照图像I0、P3和I9,并且这三个参考图像之间它能够参照那些参考图像中的一个的单个区域或参照那些图像的这样两个区域之间的算术平均值来解码B-图像中的任意区域。
另外,一个B-图像现在与旧标准不同之处在于,在旧标准中,B-图像不用作解码其他图像的桩图像。按照现在描述的标准,B-图像能存储来用作一个参考,并且其他图像的解码处理能够依赖它们。例如,图2中对图像B4的解码处理能够参照图像B2、P3、B5和P6的内容。
新标准中从旧标准中保留的一个概念是传输顺序(也称解码顺序)和显示顺序之间的不同,尽管它是大大推广了的形式。在新的草案标准中,用作其他图像的解码处理中的桩图像的任意图像在参考它们的图像之前发送到解码器。与此限制不同,图像按照数据依赖性的顺序发送,在图像的传输顺序上几乎没有限制,这与解码器存储它们直到它们不再为参考或显示目的所需要的容量不同。因此,如果图像P6参照图像P3,I0和I9,它必须按照解码顺序跟随它们。如果图像B1参考图像I0和P3,它必须按照解码顺序跟随它们。如果图像B2参考图像I0、P3和I9,它必须按照解码顺序跟随它们。并且如果图像B4参照图像B2、P3、B5和P6,它必须按照解码顺序跟随它们。遵守这些限制的一个传输顺序在图4中示出。
因而,该新标准能够简要综述如下·I-图像可独立解码;·I-图像不需要按照显示顺序发送;·P-图像能够参照多于一个图像——即,一个P-图像的每个不同区域能够参照不同的图像;·P-图像不仅能够参照按照显示顺序已经过去的图像,而且也可以参照按照显示顺序未来的图像,尽管它只能参照按照解码顺序的前一个图像;·B-图像能够参照多于两个参考图像——即,一个B-图像的每个区域能够参照按照解码顺序的许多在前图像之一的一个区域或两者这种区域的算术平均;·B-图像能够参照按照显示顺序在B-图像之前的一组图像,或者按照显示顺序在B-图像后面的一组图像,或包含B-图像先前的一些图像和随后的一些图像的一组图像,尽管它只能参照按照解码顺序的先前的图像;·B-图像能够用作其他图像解码时参照的桩图像,例如,它们能够用于预测一个P-图像。
现在考虑按照刚刚在上面说明的标准,试图随机存取一个编码图像序列的问题。例如,假定解码器试图随机存取图3中的序列(它已经按照刚刚在上面说明的标准编码)。假定该读取发生在B8图像。如在MPEG-2方案中,如果一个图像前进并向前扫描到下一个I-图像,该图像可能不会很有用,因为很多接下来的图像仍然依赖于该解码器不具有的图像。例如,假设图像P6和P12除了依赖于I9图像还可以依赖于I0图像。所以这里,解码器不可能不论是否具有解码后的在前的I-图像都解码P-图像。图像也可以在它们需要显示之前很久就发送,所以一个使用随机存取的解码器可以没有对于具有需要被显示的所有图像的任何保证,即使能够解码它遇到的所有图像。
在MPEG-2方案中,它使用闭合的GOP标志情况简单得多。如果一个解码器在闭合GOP标志=1的随机存取点开始解码,确保通过解码下一个I-图像,将能够解码并显示按照解码顺序的图像和所有接下来的图像。如果一个解码器在闭合GOP标志=0的随机存取点开始解码,确保通过解码下一个I-图像,将能够解码下一个P-图像,接着将能够解码并显示从该P-图像开始的序列中所有图像类型的所有剩余图像。对于上面刚刚描述的标准这并不足够有灵活性。如果所有可获得的图像都是闭合GOP标志,则除非新草案标准的灵活参考能力将被减弱以强加该行为,否则不能保证跟随着I-图像的接下来的视频的任意P-图像或B-图像能够解码。解码器简单的不具有任何方式来确定它是否已经能够开始解码和显示视频(除了I-图像)。解码器必须对甚至试图解码任意P-或B-图像小心,由于当它突然遇到新图像的一些区域时,解码器可能正在试图解码一些视频中,它试图进行需要参照解码器并不具有的一个图像的解码。
因此,提供一个开放GOP标志的旧方案是简单的,没有足够的信息提供用于复杂的视频编码标准的任何真正的随机存取能力,比如上文刚刚描述的那个标准。需要当解码器能够实际开始解码和显示图像时的更完全的指示。
随机存取点按照一个实施例,一个图像序列提供有一个或多个随机存取点或RAP。随机存取点实际上是在包含促进序列的随机存取的信息的一个图像序列中的一个位置。
作为一个例子考虑图5,它说明了一个示例的图像序列,统称为500。该序列已经用一个编码器编码,编码器提供一个或多个随机存取点和促进序列的随机存取的的相关信息。这里,表示出了一个随机存取点或RAP 502。回忆起随机存取点能够包含进入点和恢复点两者规定中的一个或多个。在该特定例子中,随机存取点包含与进入点或EP 504相关的信息,以及与恢复点或RP 506相关的信息。进入点和恢复点提供使得解码器能够用于确定何时它的解码活动将产生准确和适当解码的图像措施。
在另一个实施例中,一组促进随机存取一个视频序列的信息能够在紧靠在图像序列中的特定位置的数据中实现。例如,在视频流中建立用于解码处理开始的起始点和在视频流中建立指示可显示视频内容的实现的稍后点的随机存取促进数据可以包含在单独的数据文件或数据存储区中,而不在图像序列中特定位置的视频流中表示。
进入点进入点提供一种与解码处理的起始位置或相对于诸如随机存取点位置的某些确定位置应当发生的解码量相关的措施,从而具有在一些点或进入点之后的适当可解码及可显示的图像。进入点能够用很多种方式定义。一种定义进入点的方式是按照什么称为“预滚动计数”来定义。一个预滚动计数是在一些确定的图像之前已经遇到并解码了多少图像的制式,从而确保某些特定的图像和所有接下来的图像(按照显示顺序,按照解码顺序或同时按照显示顺序和解码顺序)能够被正确地解码。
考虑定义用于进入点定义目的的图像的情况是与随机存取点相关联的图像,或换句话说“当前图像”。在这种情况下,如果当前图像和接下来的图像将为了从向前的点正确显示而解码,随机存取点可能表示遇到并解码当前图像之前的三个图像。在该例子中,假定解码器在指定为“随机存取”的进入点之前的随机存取图像序列500,并试图解码接收的所有图像(这是指“最佳效果”解码并在以下标题为“最佳效果解码”部分中更详细论述)。在这种情况下,解码器将知道通过具有遇到并试图解码随机存取序列的图像后续的图像的优点,当前图像和所有接下来的图像能够适当解码并显示。
注意在该例子中,序列不需要利用恢复点,其与随机存取点的位置分离。即,随机存取点中进入点信息表示如果在该例子中解码由解码器解码的特定图像开始,则当前图像和所有接下来的图像将被正确解码和显示。
能够定义进入点的另一种方式是按照时间。例如,进入点能够以这种方式定义,即表示对解码器如果在随机存取点之前1/2秒和1/4秒开始解码,则当前图像和所有接下来的图像能够适当解码并显示。
恢复点一个恢复点提供一种量度在解码处理期间遇到的视频序列中的一个位置和在诸如随机存取点的位置的确定的位置之后应当发生多少次解码,从而具有正确的可解码和可显示的图像。一个恢复点能够按照图像计数或时间定义。例如,在随机存取点502,恢复点能够定义为表示如果解码器在随机存取点开始解码,则从那时起1/2秒的所有图像能够被正确解码并显示。或者,恢复点能够按照图像计数定义。即,随机存取点能够定义恢复点为从当前图像开始3个图像。因而,如果解码器试图解码接下来的3个图像,则随后的接下来的图像将能够被正确解码和显示。
合并进入点和恢复点按照一个实施例,一个随机存取点能够包含与进入点和恢复点都相关的信息。在这种情况下,随机存取点将能够指示给解码器,如果在过去的某些量度位置开始其解码活动(即在进入点),则在将来的某些量度位置(即在恢复点),所有图像将能被正确解码和显示。例如,进入点信息可能表示如果在两个图像之前开始解码,则从现在起1/4秒,在恢复点所有的图像将能够正确解码和显示。
图6是说明按照一个实施例的方法中的步骤的流程图。描述的方法能够根据适当配置的编码器实现。
步骤600处理一个视频序列的各个图像,以提供一个或多个随机存取点。编码器能够实现该步骤为编码各个图像。通过已知各个图像之间的依赖性,编码器能够确定随机存取点。例如,编码器可以知道只需要两个先前的图像来解码与一个随机存取点相关的图像。由于这一情报,编码器能够确定一个预滚动计数或一个进入点,它表示对于解码器,如果想正确解码和显示当前图像,应当试图解码在前的两个图像。可选择地或另外添加的是,编码器可能知道如果解码器在当前图像开始解码,则从当前图像开始1/4秒,所有接下来的图像能够正确解码和显示。
步骤602发送具有一个或多个随机存取点的编码的图像序列到一个或多个解码器。该步骤能够用任意适当的传输介质以任何适当方式实现。
解码器操作按照一个实施例,有两个基本方法,其中一个解码器能够与上述随机存取点连接操作。第一种方法称为“最佳效果解码”,第二种方法称为“保证解码”,在它们各自分离的标题部分将在下文立即论述每种方法。
最佳效果解码当一个解码器配置为执行最佳效果解码时,它将试图解码它看到的所有图像和图像区域。当解码器看到参照它不具有的一个图像和图像区域时,它能够把对丢失的图像的参照看作对填充了像中灰、黑色这样的值或一些其他特定或不特定的值的图像的参照。或者,它能够初始化将被解码的图像或区域为一些值,比如中灰、黑的或一些其他特定或不特定的值。解码器能够接着试图解码所有图像,但只有在指示随机存取点被填充的条件之后,将考虑图像内容完全正确(即,那些与进入点和/或恢复点相关联的情况)。
使用最佳效果方法提供在如何编码接下来的图像方面具有最大灵活性的编码器(例如,只更新具有内部信息的每个图像的一小部分),同时如果它能够解码视频流,根本不需要给解码器增加负担,做已经不能完成的工作。该方法也能够允许随机存取能力,只使用序列中的P-或B-图像进行。因而,随机存取点不需要在随机存取点或随机存取点之后存在I-图像。
确定解码确定解码指一种解码范例,其中解码器只解码它知道其能够解码的图像。例如,如果解码器看到一个I-图像,它解码I-图像,因为它知道能对其解码。另一方面,如果解码器看到一个P-图像,解码器知道不一定能够解码P-图像,所以它将不试图这样做。所以,使用图5的序列作为一个例子,解码器可能接着在进入点504开始并只解码I-图像,直到随机存取点中的条件满足为止。在条件满足的那一点,解码器将接着试图解码非I-图像,保证剩余图像不包含对不可获得的数据的参考。
示例的解码方法图7是描述按照一个实施例的方法的步骤流程图。流程图说明了上述的“最佳效果解码”和“确定解码”范例。这些方法能够与任何适当配置的解码器结合实现。
步骤700接收按照上述技术已经编码的编码后的图像序列。按照最佳效果解码,步骤702开始解码序列中的图像。这里,解码器试图使用诸如以上“最佳效果解码”部分中描述的技术,在它的能力内最佳地解码每个图像。步骤704确定与图像序列相关的一个随机存取点有关的条件。尽管该步骤在步骤702之后说明,但是不需要一定这样。在一个实施例中,步骤704确定的条件能够按照进入点、恢复点或两者共同确定。步骤706确定图像或图像区域是否未知。如果它参照解码器不具有的另一个图像或图像区域,该图像或区域是未知的。如果图像或区域是未知的,步骤708初始化参照的丢失的图像或将被解码的图像或区域为预定值,并分支到步骤712从那一点向前继续解码程序。以上提供了预先确定值的例子。另一方面,如果图像或区域已知(即,解码器已经具有的参考图像或区域或不需要参考图像),接着步骤712直接继续解码处理。步骤714确定在随机存取点是否满足条件。如果不满足条件,则方法返回到步骤706继续解码处理。另一方面,如果在随机存取点的条件满足,则步骤716能够把接下来的图像看作内容完全或近似正确。
步骤718描述与上述确定的解码步骤相关的步骤。因此,步骤718通过只解码它知道能够解码的图像开始解码图像(例如,只解码I-图像)。步骤720确定与随机存取点相关的条件。尽管该步骤在步骤718之后说明,但不需要一定这样。步骤722确定随机存取点条件是否满足。如果条件满足,步骤724继续只解码它知道能够解码的图像。另一方面,如果随机存取点满足条件,步骤726解码所有接下来的图像。
视频接合上述技术能够与视频接合结合起来使用,以促进解码处理。为了有助于这种解释,请看表示一个图像序列800的图8。假定一直到并包括图像B8的图像属于诸如广告的视频的第一部分,并且从I12开始的图像属于一个电影。即,广告序列和电影序列已经在示出的接合点接合在一起。这里,在从与广告相关的一个数据流到与电影相关的一个数据流的视频流之间有一个开关。
现在,考虑如果从图像I12开始的图像流是一个开放GOP能够引起的问题。这里,图像B10和B11可以假定存在P9,它在接合点之前。尽管有一个图像P9,但它不是与电影相关的图像。而且,它是与广告有关的图像。因此,如果解码器用P9解码B10和B11,则图像将不能正确解码。
在MPEG-2的前后关系中,已知作为短线链接标志的一个1比特标志用于表示一个粗略的接合点。如果解码器看到一个短线链接标志时,它把该标志看作一种指示,它指示有一个粗略的接合点并且它应当既不解码两个B-图像,也不应当试图用它们做任何事,如果它解码它们。
以很相同的方式,即上述视频编码标准中复杂参考把向图像序列随机存取复杂化,复杂参考也把已经数字接合的图像序列的处理复杂化。即,现在P15可回来参照图像P9,从而不仅两个B-图像将不正确地解码,而且P-图像也将不正确解码。
在这种情况下,解码器为了恢复可正确解码的图像的实际原因是编码器用什么做参考。因而,实际上取决于直到编码器决定以这种方式作出参考,解码器才能最终恢复一个合理的图像。
因而,在该例子中,在解码器可能做接合任意I-图像,能够提供一个具有能够促进解码处理的信息的随机存取点。特别是,编码器能够提供一个或多个进入点和恢复点来提供解码器以能够用于正确解码并显示与接合点最接近的图像的信息。所以,例如,在图像I12,编码器可能提供一个指示,指示这种与随机存取点一起产生的粗接合,该随机存取点表示接合操作适当的恢复点提前1/2秒。因此,在数字接合图像序列的上下文中,解码器将知道它什么时候能开始解码和显示正确的图像。
示例的计算环境图9说明了一个适当的计算环境900,其中能够实现上述的系统和相关方法。将描述的各种元件能够用于实现适当配置的解码器和编码器。
很显然,计算环境900只是适当的计算环境的一个例子并不意图对上述编码/解码系统的使用范围和功能提出任何的限制。计算环境900不应当解释为具有任何与示例的计算环境900中描述的元件的任何一个或其组合相关的依赖性或需要。
各种描述的实施例能够用多个其他通用或专用计算系统环境或结构操作。可以适用于媒体处理系统的公知的计算系统、环境和/或结构的例子包括但不限于个人计算机,服务器计算机,瘦客户机,粗客户机,手持或膝上设备,多处理器系统,基于微处理器的系统,机顶盒,可编程消费电子设备,网络PC,微型计算机,主帧计算机,包括任意上述系统或设备等的分布式计算环境。
在某种实现中,系统和相关方法可以用由计算机执行的诸如程序模块的计算机可执行指令的通用上下文适当地描述。通常,程序模块包括执行特定任务或实现特定抽象数据类型的例行程序,程序,目标,元件,数据结构等。实施例也能够用分布式计算环境实现,其中任务通过由一个通信网络连接的远程处理设备执行。在一个分布式计算环境中,程序模块可以位于本地或包括存储器存储设备的远程计算机存储媒体。描述的计算系统的元件能够用于实现有上述功能的编码器和解码器。
按照说明的图9的示例的实施例,示出了计算系统900,它包括一个或多个处理器或处理单元902,一个系统存储器904,和一个连接包括系统存储器的各种系统元件何处理器902的总线906。
总线906意图表示一个或多个任意几种类型的总线结构,包括存储器总线或存储器控制器,外围总线,图形加速端口和处理器,或使用各种总线结构中任一种的本地总线。通过示例而不是限制,这样结构包括工业标准结构(ISA)总线,微通道结构(MCA)总线,增强ISA(EISA)总线,视频电子标准协会(VESA)本地总线和也称为Mezzanine总线的外围元件扩展接口(PCI)总线。
计算机900一般包括各种计算机可读媒体。这种,媒体可以是任何由计算机900本地和/或远程存取的可获得的媒体,并且包括易失和非易失媒体,可拆除和不可拆除的媒体。
在图9中,系统存储器904包括诸如随机存取存储器(RAM)910的易失形式的计算机可读媒体和/或诸如只读存储器(ROM)908的非易失存储器。一个基本输入/输出系统(BIOS)912存储在ROM 908中,它包含帮助在计算机900中的元件之间传送信息的基本例行程序,比如起动期间进行的程序。RAM 910一般包含由处理单元902立即存取和/或当前操作的数据和/或程序模块。
计算机900还可以包括其他可拆除/不可拆除,易失/非易失计算机存储媒体。只通过图9的例子说明了一个用于从不可拆除、非易失磁性媒体读出并写入的一个硬盘驱动器928(未示出并通常称为“硬盘驱动器”),一个用于从可拆除、非易失磁盘932(例如“软盘”)中读出并写入的磁盘驱动器930,和一个用于从诸如CD-ROM、DVD-ROM或其他光学媒体的可拆除、非易失光盘936中读出并写入的光盘驱动器934。硬盘驱动器928,磁盘驱动器930和光盘驱动器934每个都通过一个或多个接口926连接到总线906。
驱动器和它们相关计算机可读媒体提供计算机可读指令,数据结构,程序模块和用于计算机900的其他数据的非易失存储。尽管这里描述的示例环境使用一个硬盘928,一个可拆除磁盘932和可拆除光盘936,本领域技术人员应当意识到其他类型的能够存储计算机可存取数据的计算机可读介质也可以用在示例的操作环境中,比如磁带,闪存卡,数字视频盘,随机存取存储器(RAM),只读存储器(ROM)等。
许多程序模块可以存储在硬盘928,磁盘932,光盘936,ROM 908或RAM910,包括例如但不限于一个操作系统914,一个或多个应用程序916(例如,多媒体应用程序924),其他程序模块918和程序数据920。用户可以通过诸如键盘938和点击设备940(比如“鼠标”)的输入设备输入命令和信息到计算机900。其他输入设备可以包括一个音频/视频输入设备953,话筒,操纵杆,游戏键盘,卫星盘,串行端口,扫描仪等(未示出)。这些和其他输入设备通过连接到总线906的输入接口942连接到处理单元902,也可以通过其他接口和总线结构连接,比如并行端口,游戏端口或通用串行总线(USB)。
监视器956或任意其他类型的显示设备也经诸如视频适配器或视频/图形卡944的接口连接到总线906。除了监视器,个人计算机通常包括其他外围输出设备(未示出),比如扬声器和打印机,它们可以通过输出外围接口946连接。
计算机900可以用与一个或多个远程计算机的逻辑连接在网络环境操作,比如一个远程计算机950。远程计算机950可以包括这里描述的与计算机相关的很多或所有元件和特征。
如图9所示,计算系统900通过一个局域网(LAN)951和一个通用广域网(WAN)952通信连接到远程设备(例如,远程计算机950)。这样的网络环境在办公室、企业范围的计算机网络,内联网和因特网中很常见。
当用在LAN网络环境时,计算机900通过适当的网络接口或适配器948连接到LAN 951。当用在WAN网络环境时,计算机900通常包括一个调制解调器954或其他通过WAN 952建立通信的其他装置。调制解调器可以经用户输入接口942或其他适当的机构连接到系统总线906,它可以是内部的或外部的。
在网络环境中,描述的与个人计算机900相关的程序模块或其中的部分可以保存在远程存储器存储设备中。例如但不限制,图9说明了远程应用程序916,它存在于远程计算机950的存储设备中。很显然示出并描述的网络连接是示例性的,也可以使用在计算机之间建立通信连接的其他装置。
结论上述各种实施例提供了促进在视频编码方法的前后关系中的解码方案,视频编码方法允许编码的图像序列的图像中复杂的依赖性。在一些实施例中能够获得特殊的优势,在利用这种复杂的图像依赖性的随机存取图像序列的前后关系中。
尽管本发明已经用特定于结构特征和/或方法逻辑步骤的语言进行了描述,应当理解在随附权利要求中定义的发明不一定限于描述的特定特征和步骤。而特定的特征和步骤作为实现要求的发明的优选形式公开。
权利要求
1.一种方法,包括编码一个图像序列的多个图像;和与所述编码结合,把数据与多个图像相关联,它提供一种由解码器使用的量度,来确定在图像序列中某些位置开始的解码活动何时将产生用于显示或其他用途的正确解码的图像。
2.如权利要求1所述的方法,其特征在于,所述多个图像包括I-、P-和B-图像。
3.如权利要求1所述的方法,其特征在于,所述量度按照图像计数定义。
4.如权利要求1所述的方法,其特征在于,所述量度按照时间定义。
5.如权利要求1所述的方法,其特征在于,所述量度按照图像计数和时间定义。
6.如权利要求1所述的方法,其特征在于,所述量度表示图像序列包括至少一个已经接合的部分。
7.一种配置来实现如权利要求1所述的方法的编码器。
8.一种包含权利要求7的编码器的计算机系统。
9.一种包含在计算机可读介质中的数据序列,数据序列包括组成一个图像序列的多个编码过的图像;和与多个图像相关并提供一种量度的数据,该量度能够由解码器使用来确定开始于图像序列中的一些位置的解码活动何时将产生正确解码的图像。
10.如权利要求9所述的数据序列,其特征在于,所述多个图像包括I-,P-和B-图像。
11.如权利要求9所述的数据序列,其特征在于,所述量度按照图像计数定义。
12.如权利要求9所述的数据序列,其特征在于,所述量度按照时间定义。
13.如权利要求9所述的数据序列,其特征在于,所述量度按照图像计数和时间定义。
14.如权利要求9所述的数据序列,其特征在于,所述量度表示图像序列包括至少一个已经接合的部分。
15.如权利要求14所述的数据序列,其特征在于,所述图像序列包括至少一个已经被接合的部分。
16.一种方法,包括编码一个图像序列的多个图像;和与所述编码结合,把一组或多组随机存取数据与图像序列相关联,各个所述随机存取信息组包括一个或多个进入点和恢复点,各个进入点和恢复点提供一种为显示和其他用途提供正确解码图像而应当发生的解码量的量度。
17.如权利要求16所述的方法,其特征在于,所述至少部分进入点按照图像计数定义。
18.如权利要求16所述的方法,其特征在于,所述至少部分恢复点按照图像计数定义。
19.如权利要求16所述的方法,其特征在于,所述至少部分进入点按照时间定义。
20.如权利要求16所述的方法,其特征在于,所述至少部分恢复点按照时间定义。
21.如权利要求16所述的方法,其特征在于,所述至少一组随机存取信息包含一个进入点和一个恢复点,所述点之一按照图像计数定义,而另一所述点按照时间定义。
22.如权利要求16所述的方法,其特征在于,所述多个图像包括I-、P-和B-图像。
23.如权利要求16所述的方法,其特征在于,所述随机存取信息表示图像序列包括至少已经被接合的一个部分。
24.如权利要求16所述的方法,其特征在于,所述至少部分组的随机存取信息被表示为图像序列中特定位置的随机存取点。
25.如权利要求24所述的方法,其特征在于,所述至少部分进入点按照图像计数定义。
26.如权利要求24所述的方法,其特征在于,所述至少部分恢复点按照图像计数定义。
27.如权利要求24所述的方法,其特征在于,所述至少部分进入点按照时间定义。
28.如权利要求24所述的方法,其特征在于,所述至少部分恢复点按照时间定义。
29.如权利要求24所述的方法,其特征在于,所述至少一个随机存取点包含一个进入点和一个恢复点,所述点之一按照图像计数定义,而另一所述点按照时间定义。
30.如权利要求24所述的方法,其特征在于,所述多个图像包括I-、P-和B-图像。
31.如权利要求24所述的方法,其特征在于,所述随机存取信息表示图像序列包括至少已经被接合的一个部分。
32.一种配置来实现如权利要求16所述的方法的编码器。
33.一种配置来实现如权利要求24所述的方法的编码器。
34.一种包含权利要求32的编码器的计算机系统。
35.一种包含权利要求33的编码器的计算机系统。
36.一种包含在计算机可读介质中的数据序列,数据序列包括组成一个图像序列的多个编码后的图像;和与多个图像相关的数据,所述数据包括一组或多组随机存取数据,各个所述随机存取信息组包括一个或多个进入点和恢复点,各个进入和恢复点提供一种为显示和其他用途提供正确解码图像而应当发生的解码量的量度。
37.如权利要求36所述的数据序列,其特征在于,所述至少部分进入点按照图像计数定义。
38.如权利要求36所述的数据序列,其特征在于,所述至少部分恢复点按照图像计数定义。
39.如权利要求36所述的数据序列,其特征在于,所述至少部分进入点按照时间定义。
40.如权利要求36所述的数据序列,其特征在于,所述至少部分恢复点按照时间定义。
41.如权利要求36所述的数据序列,其特征在于,所述至少一组随机存取信息包含一个进入点和一个恢复点,所述点之一按照图像计数定义,而另一所述点按照时间定义。
42.如权利要求36所述的数据序列,其特征在于,所述多个图像包括I-、P-和B-图像。
43.如权利要求36所述的数据序列,其特征在于,所述随机存取信息表示图像序列包括至少已经被接合的一个部分。
44.如权利要求36所述的数据序列,其特征在于,所述至少部分组随机存取信息被表示为图像序列中特定位置的随机存取点。
45.如权利要求44所述的数据序列,其特征在于,所述至少部分进入点按照图像计数定义。
46.如权利要求44所述的数据序列,其特征在于,所述至少部分恢复点按照图像计数定义。
47.如权利要求44所述的数据序列,其特征在于,所述至少部分进入点按照时间定义。
48.如权利要求44所述的数据序列,其特征在于,所述至少部分恢复点按照时间定义。
49.如权利要求44所述的数据序列,其特征在于,所述至少一个随机存取点包含一个进入点和一个恢复点,所述点之一按照图像计数定义,而另一所述点按照时间定义。
50.如权利要求44所述的数据序列,其特征在于,所述多个图像包括I-、P-和B-图像。
51.如权利要求44所述的数据序列,其特征在于,所述随机存取信息表示图像序列包括至少已经被接合的一个部分。
52.一种方法,包括编码一个图像序列的多个图像,各个图像包括用一种编码方案编码的I-、P-和B-图像,编码方案特征如下·I-图像可独立解码;·P-图像能够参照多于一个不同的图像;·P-图像能够参照按照显示时间将来的图像;·B-图像能够参照多于两个参考图像;·对于一个B-图像的任意特定区域,该区域能够参照一个或多个图像,并且如果该区域参照多于一个特定区域,它能参照该区域图像的一些算术组合;·B-图像能够用于预测一个P-图像或另一个B-图像;和与所述编码结合,把一个或多个随机存取点与图像序列相关,各个所述随机存取点组包括一个或多个进入点和恢复点,各个进入和恢复点提供一种提供用于显示和其他用途的正确解码图像应当发生的解码量的量度。
53.如权利要求52所述的方法,其特征在于,所述至少部分进入点按照图像计数定义。
54.如权利要求52所述的方法,其特征在于,所述至少部分恢复点按照图像计数定义。
55.如权利要求52所述的方法,其特征在于,所述至少部分进入点按照时间定义。
56.如权利要求52所述的方法,其特征在于,所述至少部分恢复点按照时间定义。
57.如权利要求52所述的方法,其特征在于,所述至少一个随机存取点包含一个进入点和一个恢复点,所述点之一按照图像计数定义,而另一所述点按照时间定义。
58.如权利要求52所述的方法,其特征在于,所述随机存取信息表示图像序列包括至少已经被接合的一个部分。
59.一种配置来实现如权利要求52所述的方法的编码器。
60.一种包含如权利要求59所述的编码器的计算机系统。
61.一种包含在计算机可读介质中的数据序列,数据序列包括一个图像序列的多个编码后的图像,各个图像包括用一种编码方案编码的I-、P-和B-图像,编码方案特征如下·I-图像可独立解码;·P-图像能够参照多于一个不同的图像;·P-图像能够参照按照显示时间将来的图像;·B-图像能够参照多于两个参考图像;·对于一个B-图像的任意特定区域,该区域能够参照一个或多个图像,并且如果该区域参照多于一个特定区域,它能参照该区域图像的一些算术组合;·B-图像能够用于预测一个P-图像或另一个B-图像;与图像序列相关的一个或多个随机存取点,各个随机存取点包括一个或多个进入点和恢复点,各个进入和恢复点提供一种为显示和其他用途提供正确解码图像而应当发生的解码量的量度。
62.如权利要求61所述的数据序列,其特征在于,所述至少部分进入点按照图像计数定义。
63.如权利要求61所述的数据序列,其特征在于,所述至少部分恢复点按照图像计数定义。
64.如权利要求61所述的数据序列,其特征在于,所述至少部分进入点按照时间定义。
65.如权利要求61所述的数据序列,其特征在于,所述至少部分恢复点按照时间定义。
66.如权利要求61所述的数据序列,其特征在于,所述至少一个随机存取点包含一个进入点和一个恢复点,所述点之一按照图像计数定义,而另一所述点按照时间定义。
67.如权利要求61所述的数据序列,其特征在于,所述随机存取信息表示图像序列包括至少已经被接合的一个部分。
68.一种方法,包括接收包括多个图像的编码后的图像序列,接收相关数据,它提供一种量度,能够用于确定在图像序列中某些位置开始的解码活动何时将产生正确解码的图像;和使用该数据,解码图像序列的各个图像。
69.如权利要求68所述的方法,其特征在于,所述多个图像包括I-、P-和B-图像。
70.如权利要求68所述的方法,其特征在于,所述量度按照图像计数定义。
71.如权利要求68所述的方法,其特征在于,所述量度按照时间定义。
72.如权利要求68所述的方法,其特征在于,所述量度按照图像计数和时间定义。
73.如权利要求68所述的方法,其特征在于,所述量度表示图像序列包括至少一个已经接合的部分。
74.一种配置来实现如权利要求68所述的方法的解码器。
75.一种包含权利要求74的解码器的计算机系统。
76.如权利要求68所述的方法,其特征在于,所述接收相关数据的操作包括接收至少部分组随机存取信息,它们表示为图像序列中特定位置的一个随机存取点。
77.如权利要求76所述的方法,其特征在于,所述至少部分组随机存取信息表示为按照图像计数定义的进入点。
78.如权利要求76所述的方法,其特征在于,所述至少部分组随机存取信息表示为按照图像计数定义的恢复点。
79.如权利要求76所述的方法,其特征在于,所述至少部分组随机存取信息表示为按照时间定义的进入点。
80.如权利要求76所述的方法,其特征在于,所述至少部分组随机存取信息表示为按照时间定义的恢复点。
81.如权利要求76所述的方法,其特征在于,所述至少一组随机存取信息包含一个进入点和一个恢复点,所述点之一按照图像计数定义,而另一所述点按照时间定义。
82.如权利要求76所述的方法,其特征在于,所述多个图像包括I-、P-和B-图像。
83.如权利要求76所述的方法,其特征在于,所述随机存取信息表示图像序列包括至少已经被接合的一个部分。
84.一种方法,包括接收包括多个图像的编码后的图像序列,接收相关数据,它提供一种能够用于解码处理的量度,所述数据包括一组或多组随机存取信息,各组所述随机存取信息包括一个或多个进入点和恢复点,各个进入和恢复点提供一种为显示或其他用途提供正确解码图像而应当发生的解码量的量度;和使用该数据,解码图像序列的各个图像。
85.如权利要求84所述的方法,其特征在于,所述至少部分进入点按照图像计数定义。
86.如权利要求84所述的方法,其特征在于,所述至少部分恢复点按照图像计数定义。
87.如权利要求84所述的方法,其特征在于,所述至少部分进入点按照时间定义。
88.如权利要求84所述的方法,其特征在于,所述至少部分恢复点按照时间定义。
89.如权利要求84所述的方法,其特征在于,所述至少一组随机存取信息包含一个进入点和一个恢复点,所述点之一按照图像计数定义,而另一所述点按照时间定义。
90.如权利要求84所述的方法,其特征在于,所述多个图像包括I-、P-和B-图像。
91.如权利要求84所述的方法,其特征在于,所述随机存取信息表示图像序列包括至少已经被接合的一个部分。
92.如权利要求84所述的方法,其特征在于,所述至少部分组随机存取信息表示为图像序列中特定位置的随机存取点。
93.如权利要求92所述的方法,其特征在于,所述至少部分进入点按照图像计数定义。
94.如权利要求92所述的方法,其特征在于,所述至少部分恢复点按照图像计数定义。
95.如权利要求92所述的方法,其特征在于,所述至少部分进入点按照时间定义。
96.如权利要求92所述的方法,其特征在于,所述至少部分恢复点按照时间定义。
97.如权利要求92所述的方法,其特征在于,所述至少一组随机存取信息包含一个进入点和一个恢复点,所述点之一按照图像计数定义,而另一所述点按照时间定义。
98.如权利要求92所述的方法,其特征在于,所述多个图像包括I-、P-和B-图像。
99.如权利要求92所述的方法,其特征在于,所述随机存取信息表示图像序列包括至少已经被接合的一个部分。
100.一种配置来实现如权利要求84所述的方法的解码器。
101.一种配置来实现如权利要求92所述的方法的解码器。
102.一种包含权利要求100的解码器的计算机系统。
103.一种包含权利要求101的解码器的计算机系统。
104.一种方法,包括接收包括多个图像的一个编码后的图像序列,各个图像包括用一种编码方案编码的I-、P-和B-图像,编码方案特征如下·I-图像可独立解码;·P-图像能够参照多于一个不同的图像;·P-图像能够参照按照显示时间将来的图像;·B-图像能够参照多于两个参考图像;·对于一个B-图像的任意特定区域,该区域能够参照一个或多个图像,并且如果该区域参照多于一个特定区域,它能参照该区域图像的一些算术组合;·B-图像能够用于预测一个P-图像或另一个B-图像;和接收相关数据,它提供一种能够用于解码处理的量度,所述数据包括一组或多组随机存取信息,各组所述随机存取信息包括一个或多个进入点和恢复点,各个进入和恢复点提供一种对提供用于显示或其他用途的正确解码图像应当发生的解码量的量度;和使用该数据,解码图像序列的各个图像。
105.如权利要求104所述的方法,其特征在于,所述至少部分进入点按照图像计数定义。
106.如权利要求104所述的方法,其特征在于,所述至少部分恢复点按照图像计数定义。
107.如权利要求104所述的方法,其特征在于,所述至少部分进入点按照时间定义。
108.如权利要求104所述的方法,其特征在于,所述至少部分恢复点按照时间定义。
109.如权利要求104所述的方法,其特征在于,所述至少一组随机存取信息包含一个进入点和一个恢复点,所述点之一按照图像计数定义,而另一所述点按照时间定义。
110.如权利要求104所述的方法,其特征在于,所述随机存取信息表示图像序列包括至少已经被接合的一个部分。
111.一种配置来实现如权利要求104所述的方法的解码器。
112.一种包含如权利要求111所述的解码器的计算机系统。
113.一种方法,包括接收包括多个图像的编码后的图像序列,接收相关数据,它提供一种能够用于解码处理的量度,所述数据包括一组或多组随机存取信息,各组所述随机存取信息包括一个或多个进入点和恢复点,各个进入和恢复点提供一种对为显示或其他用途提供正确解码图像而应当发生的解码量的量度;和使用所述数据,用最佳效果解码步骤解码图像序列的各个图像,最佳效果解码步骤的特征在于不管解码步骤是否可访问所参考的图像,它都试图解码所有的图像,如果解码步骤不能访问所参考的图像或其中的区域时,它就通过初始化所参考的不能访问的图像或其区域或者将拟解码的当前图像或其区域为预定的或不特定的值,来产生将被解码的区域。
114.如权利要求113所述的方法,其特征在于,所述至少部分进入点按照图像计数定义。
115.如权利要求113所述的方法,其特征在于,所述至少部分恢复点按照图像计数定义。
116.如权利要求113所述的方法,其特征在于,所述至少部分进入点按照时间定义。
117.如权利要求113所述的方法,其特征在于,所述至少部分恢复点按照时间定义。
118.如权利要求113所述的方法,其特征在于,所述至少一组随机存取信息包含一个进入点和一个恢复点,所述点之一按照图像计数定义,而另一所述点按照时间定义。
119.如权利要求113所述的方法,其特征在于,所述多个图像包括I-、P-和B-图像。
120.如权利要求113所述的方法,其特征在于,所述多个图像包括I-、P-和B-图像,其中图像用一种编码方案编码,该编码方案特征如下·I-图像可独立解码;·P-图像能够参照多于一个不同的图像;·P-图像能够参照按照显示时间将来的图像;·B-图像能够参照多于两个参考图像;·对于一个B-图像的任意特定区域,该区域能够参照一个或多个图像,并且如果该区域参照多于一个特定区域,它能参照该区域图像的一些算术组合;和·B-图像能够用于预测一个P-图像或另一个B-图像。
121.如权利要求113所述的方法,其特征在于,所述随机存取信息表示图像序列包括至少已经被接合的一个部分。
122.一种配置来实现如权利要求113所述的方法的解码器。
123.一种包含权利要求122的解码器的计算机系统。
124.一种方法,包括接收包括多个图像的编码后的图像序列,接收相关数据,它提供一种能够用于解码处理的量度,所述数据包括一组或多组随机存取信息,各组所述随机存取信息包括一个或多个进入点和恢复点,各个进入和恢复点提供一种对为显示或其他用途提供正确解码图像而应当发生的解码量的量度;和使所述该数据,用确定的解码步骤解码图像序列的各个图像,所述确定的解码步骤的特征在于它只解码那些所述解码步骤明显能够不参照其他无法用于解码步骤中的图像就能够解码的图像或区域。
125.如权利要求124所述的方法,其特征在于,所述至少部分进入点按照图像计数定义。
126.如权利要求124所述的方法,其特征在于,所述至少部分恢复点按照图像计数定义。
127.如权利要求124所述的方法,其特征在于,所述至少部分进入点按照时间定义。
128.如权利要求124所述的方法,其特征在于,所述至少部分恢复点按照时间定义。
129.如权利要求124所述的方法,其特征在于,所述至少一组随机存取信息包含一个进入点和一个恢复点,所述点之一按照图像计数定义,而另一所述点按照时间定义。
130.如权利要求124所述的方法,其特征在于,所述多个图像包括I-、P-和B-图像。
131.如权利要求124所述的方法,其特征在于,所述多个图像包括I-、P-和B-图像,其中图像包括用一种编码方案编码,该编码方案特征如下·I-图像可独立解码;·P-图像能够参照多于一个不同的图像;·P-图像能够参照按照显示时间将来的图像;·B-图像能够参照多于两个参考图像;·对于一个B-图像的任意特定区域,该区域能够参照一个或多个图像,并且如果该区域参照多于一个特定区域,它能参照该区域图像的一些算术组合;和·B-图像能够用于预测一个P-图像或另一个B-图像。
132.如权利要求124所述的方法,其特征在于,所述随机存取信息表示图像序列包括至少已经被接合的一个部分。
133.一种配置来实现如权利要求124所述的方法的解码器。
134.一种包含权利要求133的解码器的计算机系统。
全文摘要
各种实施例提供了促进视频编码标准的前后关系中解码的方案,该视频编码标准允许在编码过的图像序列的图像中有复杂的依赖性。在一些实施例中,利用一个随机存取点或“RAP”概念。一个随机存取点实际上是在包含促进序列的随机存取信息的一个图像序列中的一个位置。在一些实施例中,一个随机存取点能够包含不同类型的数据。在一些实施例中,这种数据能够用图像计数和/或时间来定义。在一些实施例中,一个随机存取点的数据能够包括一个或多个进入点和恢复点。这些点实际上提供解码器能够用于确定它的解码活动何时将产生准确和适当解码的图像的量度。
文档编号H04N7/24GK1618236SQ03802314
公开日2005年5月18日 申请日期2003年1月22日 优先权日2002年1月22日
发明者G·J·沙利文 申请人:微软公司