专利名称：自适应解码嵌入式视频比特流的方法及接收系统的制作方法
技术领域：
本发明有关于视频解码，更具体地有关于自适应解码嵌入式视频比特流的方法及接收系统。
背景技术：
随着多媒体信息通信技术的发展，实现不同数字解码和编码格式的需求已经增长了。例如，对于各种视频传输以及接收系统，对应原始视频内容的已优化视频比特流与不同环境和场景一起提供给相异终端(terminal)或者目标装置，例如个人数字助理(Personal Digital Assistants, PDA)、手机(cell phones)、数字电视(Digital Televisions, DTVs) 或者机顶盒(set-top box)。多视频流需要通过具有特定视频内容要求的不同终端或者目标装置，较优地适应相异网络。相应地，对应已优化视频比特流设定以及编码以与各种显示设备的终端参数兼容，以使得各种原始视频内容同时递送(delivery)，其中，显示设备的终端参数例如帧速率(frame rate)、显示分辨率(resolution)、显示能力以及网络条件(网络条件例如宽范围的传输带宽)。虽然不同类型传输器以及接收器之间可以经由使用多个已编码视频流而促进互操作性(interoperability)以及兼容性，原始视频内容需要多次编码以产生分别的视频比特流，因此大致上降低了编码效能，其中，原始视频内容多次编码产生的分别的视频流的每一者均依据不同传输带宽的设定目标以及限制装置的终端参数的组合。进一步说，当视频内容不可获得或者不完整时，已编码视频比特流首先需要解码然后使用新设定重新编码。作为结果，编码和重新解码过程增加了成本以及处理无效性(inefficiencies)。因此，迫切需要提供一种视频编码以及解码方案，不需要任何附加且耗时的解码和重新编码过程，就可以允许一个自原始视频内容获得的单一已压缩视频比特流与不同的传输带宽以及目标装置的终端参数相适应。
发明内容
有鉴于此，本发明提供一种自适应解码嵌入式视频比特流的方法及接收系统。本发明提供一种自适应解码嵌入式视频比特流的方法，该解码由视频接收系统所执行，该方法包含接收该嵌入式视频比特流；获取该视频接收系统的至少一终端参数，其中，该至少一终端参数包含该视频接收系统的显示参数以及系统存储器带宽使用参数的一者；根据该至少一终端参数截断该嵌入式视频比特流，以提取已截断视频比特流；以及解码该已截断视频比特流以重新构建视频数据。本发明提供一种自适应解码嵌入式视频比特流的接收系统，包含比特流分析器， 用于接收该嵌入式视频比特流，获取该视频接收系统的至少一终端参数，以根据该至少一终端参数截断该嵌入式视频比特流，以提取一截断视频比特流，其中，该至少一终端参数包含该视频接收系统的显示参数以及系统存储器带宽使用参数的一者；以及频解码器，耦接到该比特流分析器，用于解码该已截断视频比特流，以重新构建视频数据。
本发明提供的自适应解码嵌入式视频比特流的方法及接收系统，可以根据终端参数解码嵌入式视频比特流，有效地提高了压缩效能。
图1为根据本发明的嵌入式视频比特流的示例分层架构示意图。图2为根据本发明的另一个嵌入视频比特流的分层架构的示意图。图3为视频接收系统的实施例的方块示意图。图4为用于自适应解码嵌入式视频比特流的方法的实施例流程图。
具体实施例方式在说明书及权利要求当中使用了某些词汇来指称特定组件。所属领域中应可理解，制造商可能会用不同的名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的“包括”和“包含”为一开放式的用语，故应解释成“包含但不限定于”。以外，“耦接”一词在此包含任何直接及间接的电气连接手段。间接的电气连接手段包括通过其他装置进行连接。图1为根据本发明的嵌入式(embedded)视频比特流的示例分层(hierarchical) 架构示意图。在图1的实施例中，原始视频内容可以编码为嵌入式视频流，例如可调式 (scalable)视频比特流10。可调式视频比特流10包含基础层(base layer) 100以及几个增强层(enhancement layer) 102、104以及106，增强层106、104以及102分别支持空间 (spatial)可调整性(scalability)、时间(temporal)可调整性以及品质(quality)可调整性，所以图1中增强层106、104以及102亦可以标记为空间增强层106、时间增强层104 以及品质增强层102，下文中，将上述三者统称为增强层102、104以及106。特别地，分层架构(hierarchical structure)定义了可调式视频比特流10的时间、空间以及品质增强层。在运作过程中，基础层100包含可调式视频比特流10的最少信息，而且代表原始视频内容的最少细节。进一步说，可调式视频比特流10可以分为一个或者多个级别增强层。增强层102、104以及106为细化层(refinement layer)，用于提供重新构建所需附加信息，该重新构建所需附加信息对应视频数据，该视频数据指示出原始视频内容的更可靠的视频表达。也就是说，用于重新构建原始视频内容的增强层越多，原始视频内容就越详细。一般说来，几种类型的可调整性可以用于构建可调式视频比特流10。例如，可调整性可以包含空间可调整性、时间可调整性、品质或者保真度可调整性等等，其中，空间可调整性与不同显示分辨率有关，时间可调整性与不同目标帧速率 有关，品质或者保真度可调整性与不同信噪比(Signal-to-Noise Ratio, SNR)级别有关。更具体地，增强层可以包含一个或者多个空间增强层(例如空间增强层106)，其中，一个或者多个空间增强层适应 (accommodate)空间可调整性，该空间可调整性对应不同显示分辨率，例如640乘480像素 (用于VGA标准)以及800乘600像素(用于SVGA标准)。而且增强层可以包含一个或者多个时间增强层(例如时间增强层104)，其中，一个或者多个时间增强层适应时间可调整性，该时间可调整性对应不同目标帧速率，例如每秒30帧(frames per second, fps)以及每秒60帧。另外，增强层可以包含一个或者多个品质增强层(例如品质增强层102)，其中，一个或者多个品质增强层适应品质可调整性，该品质可调整性对应不同SNR级别，例如 30dB以及40dB。在图1所示实施例中可调式视频比特流10可以根据不同分辨率、不同帧速率或者不同SNR级别而重新构建对应视频数据。根据 一个实施例，增强层可以参考基础层100而编码。以此方式，在图1的实施例中，空间增强层106可以参考具有最低显示分辨率的基础层100而编码，其中最低显示分辨率例如320乘240像素(用于QVGA标准)。相似地，时间增强层104可以参考具有最低目标帧速率，例如每秒15帧的基础层100而编码。更进一步说，图1的品质增强层102可以参考具有最低SNR^f^n 25dB的基础层100而编码。根据其他实施例，经由利用可调整性，一个增强层(例如具有较高显示分辨率的空间增强层)可以只参考另一个特定增强层而编码，其中，另一个特定增强层例如具有相对较低显示分辨率的空间增强层。也就是说，相对较高级别增强层可以基于相对较低级别增强层或者基础层而编码。图2为根据本发明的另一个嵌入式视频比特流的分层架构示意图。 在图2的实施例中，原始视频内容，例如立体(stereoscopic)或者三维 (three-dimensional, 3D)视频内容，可以编码为嵌入式视频流，例如，多视图(multi-view) 视频比特流40。多视图视频比特流40包含基础视图400以及几个关联(d印endent)视图 402,404以及406，关联视图402、404以及406对应一个场景的不同视图。在运作过程中， 基础视图400可独立解码以重新构建用于二维显示的视频数据。进一步说，适应三维视角 (perspective)的关联视图402、404以及406参考基础视图400而编码，然后用于重新构建对应立体或者三维视频数据。图3为视频接收系统20的实施例的方块示意图。视频接收系统20用于自适应解码嵌入式视频比特流202。视频接收系统20可以用于不同系统，例如视频会议系统、监视 (surveillance)系统等。另外，经由使用包含广播信道(例如，地面电视光播)、通信网路信道(例如，无线网络)以及储存媒体(例如硬盘驱动器)的媒体源，嵌入式视频比特流202 可以自传输器传输到视频接收系统20。请参考图3，图3中视频接收系统20包含比特流分析器(analyzer) 204以及视频解码器206。在运作过程中，比特流分析器204接收嵌入式视频比特流202以及获取视频接收系统20的至少一终端参数。根据一个实施例，终端参数包含显示参数以及/或者系统存储器带宽使用参数，其中，显示参数由显示参数控制器208提供，系统存储器带宽使用参数来自系统存储器带宽监视单元210。请注意，至少一个终端参数可以仅包含来自显示参数控制器208的显示参数，来自系统存储器带宽监视单元210的系统存储器带宽使用参数，或者同时包含上述二者。根据一个实施例，视频接收系统20用于自适应解码可调式视频比特流，可调式视频比特流包含基础层以及至少一增强层，其中，基础层例如图1所示的基础层100，增强层例如图1所示的增强层102、104以及106。请注意，可调式视频比特流可以至少一种上述可调整性类型而作为特征。视频接收系统20实现的可调式视频比特流的解码过程参考图1以及图3而详细描述如下。在图3的实施例中，视频 接收系统20能够以可调式视频流的方式，根据至少一终端参数重新构建对应视频数据212，其中，至少一终端参数例如显示参数控制器208提供的显示参数，其中，显示参数可以为视频数据212的显示分辨率、目标帧速率或者SNR。显示参数可以根据用于显示视频数据212的显示单元的显示设备能力而确定，或者可替换地由使用者或者观看者设定。例如，显示分辨率可以根据显示单元(图未示)的规格而确定。另外， 显示分辨率可以根据显示单元的显示屏而确定，例如全屏显示(full screen display)、画中画(Picture-In-Picture,PIP)显示、画夕卜画(Picture-Out-Of-Picture,POP)显示，上述参数可以依据使用者需求而设定。视频接收系统20的运作描述如下。假设用户/观看者要求在显示单元的整个屏幕上全屏显示视频数据212，其中视频数据212自视频接收系统20输出，其中，显示单元支持的显示分辨率为640乘480像素。进一步假设可调式视频比特流包含具有320乘240像素的显示分辨率的基础层，以及具有两个空间增强层的几个增强层，其中，两个空间增强层可以适合(serve)多显示分辨率，第一个为640乘480像素，第二个为800乘600像素。运作过程中，自传输器接收到可调式视频比特流之后，耦接到视频解码器206的比特流分析器204确定是否可调式视频比特流需要根据视频接收系统20 (例如，显示参数例如显示分辨率)的至少一终端参数而截断(truncate)，如果是，则截断可调式视频比特流，产生已截断视频比特流214。根据已确定结果，已截断视频比特流214然后提供给视频解码器206。 更具体地，视频解码器206首先解码可调式视频比特流的基础层，接下来根据视频接收系统20的至少一终端参数而解码增强层。例如，在此情况下，既然显示单元支持的显示分辨率为640乘480像素，而且第一空间增强层的分辨率为640乘480像素，视频解码器206然后参考基础层而解码第一空间增强层。然后，视频解码器206重新构建对应视频数据212， 以匹配显示单元支持的显示分辨率或者用户设定的显示分辨率。附加地，请注意视频解码器206可以输出视频数据212给内部显示单元、外部显示单元或者上述二者。例如，视频数据212可以同时显示在折迭式手机的内部/外部显示窗口上。对于PIP显示或者POP显示，自视频接收系统20输出的视频数据212可在显示单元的整个屏上迭加一个更小的窗口而显示，或者在显示单元上显示为两个并排的窗口。相似地，假设可调式视频比特流包含基础层以及几个增强层，其中，基础层具有320乘240像素的显示分辨率，几个增强层包含两个空间增强层。两个空间增强层适合多显示分辨率，第一个为640乘480像素，第二个为800乘600像素。另外，假设视频数据212确定为在两个并排的POP窗口之一中显示，其中，两个并排的POP窗口将显示单元的显示屏分为同样大小的两个区域，例如，显示单元支持的分辨率为640乘480像素，则同样大小的两个区域则为 320乘240像素。在此情况下，根据视频接收系统200的至少一终端参数(例如，PSP窗口的显示分辨率)，比特流分析器204截断可调式视频比特流，以提取已截断比特流214。在此方面，两个空间增强层确定为已截断。也就是说，两个空间增强层直接截断或者丢弃。相应地，视频解码器206从可调式视频比特流提取所需基础层，然后不解码两个空间增强层而解码所需基础层。请注意，进一步地，显示参数可以根据视频接收系统20的给定场景而确定。特别地视频接收系统20的给定场景可以基于一些特定视频处理运作而确定，特定视频处理运作例如运动抖动消除(Motion Judder Cancellation, MJC)以及噪声消除(Noise Reduction, NR)，其中，特定视频处理运作被启动从而用于视频数据212。例如，MJC运作可以通过使用选单可选择软件按钮的接口而启动，或者可替换地使用特定硬件按钮而启动，其中，该选单可选择软件按钮显示在显示单元的屏上。在此情况下，系统资源，例如系统存储器带宽显著地由MJC运作而消耗；因此视频接收系统20的终端参数可以响应所启动的特定视频处理运作而改变。例如，终端参数，即，SNR级别可以在 35dB到32dB的范围内调整。这样，比特流分析器204的截断过程包含有效地以及自适应地提取基础层以及期望的品质增强层，以适应期望的SNR级别，因此提高了解码效能。请注意，视频处理运作逐帧处理视频数据212，而且不限于MJC运作或者噪声消除运作。根据另一个实施例，视频接收系统20提供用于自适应解码多视图视频比特流，该多视图视频比特流包含基础视图以及关联视图，其中关联视图在一场景对应不同视图，其中，基础视图例如图2的基础视图400，一场景对应不同视图的关联视图例如图2的关联视图402、404以及406。视频接收系统20实现的多视图视频比特流的解码过程参考图2以及图3详细描述如下。在此情况下，视频接收系统20能够根据至少一终端参数，例如显示参数控制器 208提供的显示参数(例如，显示单元的显示类型)，以多视图视频比特流的形式重新构建对应视频数据212。显示单元的显示类型代表显示单元上显示的视频数据212是二维还是三维，其中，显示类型可以根据显示单元的规格而确定，或者根据使用者所需或者所要求的期望显示类型而确定。特别地，显示单元的显示类型根据是否显示单元只支持二维或者三维显示而确定。可替代地，当用户要求三维显示单元的二维显示类型时，显示单元的显示类型可以确定为二维显示。例如，假设显示单元支持三维视频内容的显示。在此方面，在从传输器接收到嵌入式视频比特流202(即，如图2的多视图视频比特流40)之后，比特流分析器204确定没有关联视图需要截断或者丢弃，其中，关联视图例如图2所示的关联视图402、 404以及406。相应地，在解码基础视图400之后，视频解码器206继续完全解码关联视图 402,404以及406。随后，具有期望立体或者三维效果的对应视频数据212重新构建，然后在显示单元上显示。相似地，显示单元的显示类型可替换地由使用者确定。对于显示单元同时支持二维以及三维视频内容的情况，显示单元的显示类型可以由用户切换。当用户禁止了显示单元所支持的三维视频内容的显示时，视频解码器206相应地截断关联视图402、404以及 406，以及视频解码器206解码基础视图400，以重新构建对应二维视频数据212。如前所述，除了显示参数控制器208提供的显示参数，比特流分析器204确定是否嵌入式比特流202需要根据系统存储器带宽使用参数而截断，其中，系统存储器带宽使用参数来自系统存储器带宽监视单元210。特别地，系统存储器带宽监视单元210基于存储器配置、嵌入视频比特流202的内容以及视频接收系统20的特定视频处理运作而监视以及计算整体系统存储器带宽使用参数。详细地说，已优化存储器配置可以允许有效的存储器效能级别，即，高数据传输速率以及/或者低延迟(latency)，因此，获得高系统存储器带宽使用参数。进一步说，系统存储器带宽使用参数易受到嵌入式视频比特流202的内容的影响。 例如，解码嵌入式视频比特流202的B帧可能导致比解码I帧以及P帧更大的系统存储器带宽使用参数。此外，如前讨论，视频接收系统20的特定视频处理运作，例如MJC运作或者噪声消除运作，也可以改变系统带宽使用。在运作过程中，当系统存储器带宽确定为不足以完全解码嵌入式视频比特流202，那么根据来自系统存储器带宽监视单元210的系统存储器带宽使用参数，比特流分析器204截断嵌入式视频比特流202的冗余的或者不必要的部分，以减少视频解码器206的系统存储器带宽消耗或者计算需求。根据上述实施例，视频接收系统20允许嵌入式视频比特流202的有效以及高效的自适应。这样的自适应可以根据终端参数，经由直接去除嵌入式视频比特流202的一个或者多个不期望的增强层或者关联视图而重新构建对应视频数据212，因此方便用于不同环境以及运作条件的解码过程，以在已重新构建显示品质以及解码效能之间达到均衡。
图4为用于自适应解码嵌入式视频比特流的方法30的实施例流程图。在本发明的一个实施例中，嵌入式视频比特流为可调式视频比特流10，其中，可调式视频比特流10 包含基础层以及至少一增强层，其中，基础层例如图1的基础层100，至少一增强层例如图1 的增强层102、104以及106。在本发明的另一个实施例中，嵌入式视频比特流为图2的多视图视频比特流40，其中多视图视频比特流40包含基础视图以及至少一关联视图，其中，基础视图例如图2的基础视图400，至少一关联视图例如图2的关联视图402、404以及406。请参考图1、图2、图3以及图4，比特流分析器204接收嵌入式视频比特流202以及获取视频接收系统20的至少一终端参数(步骤S302)。至少一终端参数包含显示参数控制器208提供的显示参数以及/或者来自系统存储器带宽监视单元210的系统存储器带宽使用参数。然后，比特流分析器204根据至少一终端参数截断已接收嵌入式视频比特流202。 特别地，根据至少一终端参数，比特流分析器204确定是否嵌入式视频比特流202需要被截断(步骤S304)。请注意，根据至少一终端参数确定是否嵌入式视频比特流202需要被截断的详细描述在图1、图2以及图3中的实施例中提供，此处不再描述。当基于至少一终端参数，嵌入式视频比特流202需要截断时，比特流分析器204随后截断嵌入式视频比特流202的不必要的部分，以提取已截断视频比特流214 (步骤S306)。 在此方面，不对嵌入视视频比特流202做任和修改，直接丢弃增强层的冗余的或者不必要的增强层或者关联视图。例如，使用品质降低的终端参数，比特流分析器204可以截断所有增强层或者关联视图，以及视频解码器206仅解码基础层100或者基础视图400。更进一步可以注意到，用于截断嵌入视频比特流202的终端参数已经联合图1以及图2的实施例描述，因此，更进一步的描述为了简洁而省略。然后，视频解码器206解码已截断视频比特流214，以重新构建对应视频数据 212 (步骤 S308)。当确定嵌入式视频比特流202没有增强层或者关联视图需要由比特流分析器204 截断时，其中，比特流分析器204根据增强终端参数而确定是否需要截断增强层或者关联视图，视频解码器206然后解码嵌入式视频比特流202的全部内容，以重新构建对应视频数据 212(步骤 S310)。最后，对应视频数据212传递给显示单元用于显示，即在显示单元上显示对应视频数据(步骤S312)。本发明的前述实施例的描述，不需要附加嵌入式视频比特流的额外处理，提供了用于视频接收系统的直接以及自适应的解法，以实施部分提取，以及根据终端参数解码嵌入式视频比特流。因此有效地提高了压缩效能。 任何本领域技术人员，在不脱离本发明的精神 和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视所附权利要求所界定者为准。
权利要求
1.一种自适应解码嵌入式视频比特流的方法，其中由视频接收系统解码该嵌入式视频比特流，该方法包含接收该嵌入式视频比特流；获取该视频接收系统的至少一终端参数，其中，该至少一终端参数包含该视频接收系统的显示参数以及系统存储器带宽使用参数的一者；根据该至少一终端参数截断该嵌入式视频比特流，以提取一已截断视频比特流；以及解码该已截断视频比特流以重新构建视频数据。
2.如权利要求1所述的自适应解码嵌入式视频比特流的方法，其特征在于，该嵌入式视频比特流包含可调式视频比特流，该可调式视频比特流包含基础层以及至少一增强层。
3.如权利要求2所述的自适应解码嵌入式视频比特流的方法，其特征在于，该显示参数为显示分辨率、目标帧速率、视频数据的信噪比级别或者上述几者的组合。
4.如权利要求2所述的自适应解码嵌入式视频比特流的方法，其特征在于，该至少一增强层为空间增强层、时间增强层以及品质增强层之一，其中，该空间增强层适应空间可调整性，该时间增强层适应对应时间可调整性，该品质增强层适应品质可调整性，其中，该空间可调整性对应不同显示分辨率，该时间可调整性对应不同目标帧速率，以及该品质可调整性对应不同信噪比级别。
5.如权利要求1所述的自适应解码嵌入式视频比特流的方法，其特征在于，进一步包含将该视频数据输出至一显示单元以用于显示。
6.如权利要求5所述的自适应解码嵌入式视频比特流的方法，其特征在于，该嵌入式视频比特流包含多视图视频比特流，其中，该多视图视频比特流包含基础视图以及至少一关联视图。
7.如权利要求6所述的方法，其特征在于，该显示参数为该显示单元的显示类型。
8.如权利要求1所述的自适应解码嵌入式视频比特流的方法，其中，该显示参数基于至少一视频处理运作而确定，其特征在于，该至少一视频处理运作被启动从而用于该视频数据。
9.一种自适应解码嵌入式视频比特流的接收系统，包含比特流分析器，用于接收该嵌入式视频比特流，获取该视频接收系统的至少一终端参数，以根据该至少一终端参数截断该嵌入式视频比特流，以提取已截断视频比特流，其中， 该至少一终端参数包含该视频接收系统的显示参数以及系统存储器带宽使用参数的一者； 以及视频解码器，耦接到该比特流分析器，用于解码该已截断视频比特流，以重新构建视频数据。
10.如权利要求9所述的自适应解码嵌入式视频比特流的接收系统，其特征在于，该嵌入式视频比特流包含一可调式视频比特流，该可调式视频比特流包含基础层以及至少一增强层。
11.如权利要求10所述的自适应解码嵌入式视频比特流的接收系统，其特征在于，该显示参数为该视频数据的显示分辨率、目标帧速率、信噪比级别或者上述几者的组合。
12.如权利要求10所述的自适应解码嵌入式视频比特流的接收系统，其特征在于，该至少一增强层为为空间增强层、时间增强层以及品质增强层之一，该空间增强层适应空间可调整性，该时间增强层适应对应时间可调整性，该品质增强层适应品质可调整性，其中， 该空间可调整性对应不同显示分辨率，该时间可调整性对应不同目标帧速率，以及该品质可调整性对应不同信噪比级别。
13.如权利要求9所述的自适应解码嵌入式视频比特流的接收系统，其特征在于，该视频解码器进一步用于输出该视频数据至显示单元用于显示。
14.如权利要求13所述的自适应解码嵌入式视频比特流的接收系统，其特征在于，该嵌入式视频比特流包含多视图视频比特流，该多视图视频比特流包含基础视图以及至少一关联视图。
15.如权利要求14所述的自适应解码嵌入式视频比特流的接收系统，其特征在于，该显示参数为该显示单元的显示类型。
16.如权利要求9所述的自适应解码嵌入式视频比特流的接收系统，其特征在于，该显示参数基于至少一视频处理运作而确定，该视频处理运作被启动从而用于视频数据。
17.如权利要求9所述的自适应解码嵌入式视频比特流的接收系统，其特征在于进一步包含显示参数控制器，耦接于该比特流分析器，用于提供该显示参数；以及系统存储器带宽监视单元，耦接该比特流分析器，用于获取该系统存储器带宽使用参数。
全文摘要
本发明提供一种自适应解码嵌入式视频比特流的方法及接收系统，其中该自适应解码嵌入式视频比特流的接收系统包含比特流分析器，用于接收该嵌入式视频比特流，获取该视频接收系统的至少一终端参数，以根据该至少一终端参数截断该嵌入式视频比特流，以提取已截断视频比特流，其中，该至少一终端参数包含该视频接收系统的显示参数以及系统存储器带宽使用参数的一者；以及视频解码器，耦接到该比特流分析器，用于解码该已截断视频比特流，以重新构建视频数据。本发明提供的自适应解码嵌入式视频比特流的方法及接收系统，可以根据终端参数解码嵌入式视频比特流，有效地提高了压缩效能。
文档编号H04N7/26GK102158693SQ201010194519
公开日2011年8月17日 申请日期2010年6月8日 优先权日2010年2月11日
发明者游雅惠 申请人:联发科技股份有限公司