可分级视频流解码装置以及可分级视频流生成装置的制作方法

专利名称：可分级视频流解码装置以及可分级视频流生成装置的制作方法
技术领域：
本发明涉及一种数字视频系统，详细而言，涉及一种用于对时间可分级视频流进 行解码的可分级视频流解码装置，以及用于生成时间可分级视频流的可分级视频流生成装置。
背景技术：
近年来，已开发出由视频流生成装置生成多个视频流，并由重放(解码)装置对该 多个视频流的全部或者一部分有选择性地进行解码且能选择重放品质的可选型可分级视 频系统。作为可选择的重放品质，例如有帧频率、分辨率以及像素的量化误差。对于可选择 上述各种重放品质的可分级视频流系统，分别称之为时间可分级视频系统、空间可分级视 频系统、SNR(信噪比)可分级视频系统。其中，就时间可分级视频系统而言，重放装置可根据本身的解码能力等，来选择进 行重放时的帧率，因此，被视为是针对多种重放装置能够高效传送适当的流的技术。例如，非专利文献1 (MPEC_4Video规格)中记载了时间可分级视频系统。MPEC-4 Video规格是进行动态图像编码时常用的混合编码的一种。混合编码是一种由对帧内空间 冗余度进行压缩的技术与对编码帧与其前后帧之间的时间冗余度进行压缩的技术所组合 而成的编码方式。例如，可通过运动补偿预测或者仅称之为预测的技术来消除时间冗余度。 运动补偿预测是指，寻出编码帧与其前后帧之间的类似部分的对应关系，并根据编码帧的 前后帧来生成被视为与编码帧类似的图像的技术。在此，通过取得采用运动补偿预测所生 成的图像和编码帧之间的差分，来消除时间冗余度。在本说明书中的以下部分，进行预测时所利用的帧(例如，前后的帧)称之为参照 帧；表示编码帧与参照帧之间的类似部分的对应关系的信息称之为运动矢量；根据运动矢 量与参照帧，进行预测所获得的图像称之为预测图像；编码帧与预测图像之间的差分称之 为残差图像。另外，如上所述用于求出残差图像的方法称之为画面间预测编码模式，不进行 预测而只对帧内的空间冗余度进行压缩的方法称之为画面内预测编码模式，并将这些模式 统称为编码模式。在此，参照附图来说明非专利文献1中记载的时间可分级视频系统。图12是表示 现有技术中的时间可分级视频系统的概要构成的方框图。如图12所示，可分级视频流生成装置2通过对输入的影像1进行处理，生成基本 层流3和增强层流4这2种视频流。基本层流3是对影像1所包含的帧中的，如在图12中 示意性地画影线表示的帧进行编码而获得的视频流。此外，增强层流4是对画影线部分和 白色部分的帧的差分进行编码而获得的视频流。上述两种视频流通过传送路径5被传送到视频流重放(编码)装置6以及可分级 视频流重放(解码)装置7。视频流重放装置6只对基本层流3进行解码，并对由影像1所 包含的多个帧中的画影线部分的帧所构成的影像8进行重放。而可分级视频流重放装置7对基本层流3以及增强层流4进行解码，并对与影像1具有相同帧率的影像9进行重放。如 上所述，在时间可分级视频系统中，进行重放时的帧率因重放装置而异。在此，可分级视频流重放装置7按照以下方式对基本层流3和增强层流4进行解 码。图13是表示现有技术中的时间可分级视频系统的可分级视频流重放装置7的主 要结构的方框图。如图13所示，首先，输入部10将基本层流3输入到基本层视频解码器12 中。基本层视频解码器12对基本层流3进行解码。被解码后的帧被作为参照帧存储到基 本层视频解码器12的参照帧存储部15以及增强层视频解码器13的参照帧存储部14中。而输入部11将增强层流4输入到增强层视频解码器13中。增强层视频解码器13 的参照帧存储部14中存储有从基本层视频解码器12所取得的参照帧，以及由增强层视频 解码器I3本身所生成的参照帧。增强层视频解码器13根据这些参照帧，对增强层流4进 行解码。如上所述，基本层流3以及增强层4由影像1分割而成，通过重排部16对由基本 层视频解码器12以及增强层视频解码器13进行完解码的帧进行重排，能够获得与原来的 影像1具有相同帧数的影像。被重排后的帧被临时存储在输出帧存储部17中，并由显示部 18选择适当时机进行显示。在视频流重放装置6中，进行重放时的帧率较少，只对基本层流3进行解码，重放 影像1。专利文献1 日本国专利申请公开公报，特开2000-156839号公报(平成12年6月 6日公开)非专利文献1 JS0/IEC 14496-2 :2004 MPEG-4 Video 规格(平成 16年 7 月公开)

发明内容
但是，在现有技术中的可分级视频流重放(解码)装置中，必须针对基本层和增强 层分别设置解码单元，因而其结构较复杂。本发明是鉴于上述问题而开发的，其目的在于提供结构简单的可分级视频流解码 装置，以及用于生成适合于由该可分级视频流解码装置进行解码的解码图像流的可分级视 频流生成装置。(可分级视频流生成装置)本发明的可分级视频流生成装置的特征在于编码单元通过运动补偿预测来对多 个输入帧进行编码；分流单元将由该编码单元进行编码所得的各编码图像分为多个编码图 像流；该分流单元根据该编码单元对任意的输入帧进行编码时是否作为运动补偿预测的参 照帧使用应被分流的编码图像，来对该编码图像进行分流，该可分级视频流生成装置对被 分流的各编码图像流付与不同的识别符。根据上述结构，本发明的可分级视频流生成装置通过运动补偿预测来对输入影像 所包含的多个输入帧进行编码而获得编码图像。然后，将所获得的各编码图像分为例如基 本层流和增强层流等多个编码图像流。此时，对某个图像进行分流时所采用的判断基准为 对任意的输入帧进行编码时，作为用于运动补偿预测的参照帧是否使用该某个图像。因此，能够通过上述分流处理，使参照帧的编码后数据全包含于一个解码图像流中，其中该参照帧是指进行上述编码图像的解码处理时所使用的参照帧。由此所生成的多 个编码图像流能够适用于本发明的可分级视频流解码装置。另外，通过对各编码图像流付与不同的识别符，在可分级视频流解码装置中，易于 识别出将成为解码对象的编码图像流。例如，在重放能力较低的可分级视频流解码装置中， 易于进行只解码以及重放基本层流，而废弃增强层流的这一动作。(可分级视频流解码装置)为了达到上述目的，本发明的可分级视频流解码装置的特征在于包括流接收单 元，接收由权利要求1所述的可分级视频流生成装置所生成的多个编码图像流；重排单元， 根据付与编码图像流的识别符，从该流接收单元所接收的多个编码图像流中提取应由本装 置进行解码的1个以上的编码图像流，并对所提取到的1个以上的编码图像流中包含的各 编码图像，根据各自的显示时机信息或者解码时机信息，按解码顺序进行重排；解码单元， 对由该重排单元进行重排的该编码图像进行解码。根据上述结构，本发明的可分级视频流解码装置接收用于可分级视频系统的基本 层流以及增强层流，并在对该流进行解码之前，根据该流所包含的编码图像的各显示时机 信息或者解码时机信息来对该编码图像进行重排，获得一个流。因此，只需对重排后的编码 图像进行解码即可，并通过一个解码单元就能够对多个编码图像流进行解码，从而能够简 化装置整体的结构。另外，可根据付与各编码图像流的识别符来识别将成为解码对象的编码图像流， 从而能够简单地识别出将成为解码对象的编码图像流。例如，在重放能力较低的可分级视 频流解码装置中，易于进行只解码以及重放基本层流，而废弃增强层流的这一动作。在上述可分级视频流解码装置中，优选具备多个上述流接收单元；检测单元，检 测上述可分级视频流解码装置的状态；输入控制单元，根据该检测单元所检测出的状态，使 至少1个该流接收单元进行动作或者停止动作。根据上述结构，在本发明的可分级视频流解码装置中，对该可分级视频流解码装 置的状态进行检测，并根据该状态，使至少一个该流接收单元进行动作或者停止动作。由此，当上述可分级视频流解码装置例如处于电池残余量较少、装置温度较高、盖 子闭合、装置正在移动中、图像的运动较少等状态时，通过使至少1个流接收单元停止动 作，能够对解码处理量进行适当调整，降低耗电。(可分级视频流解码方法)本发明的可分级视频流解码方法的特征在于包括流接收工序，接收由权利要求 1所述的可分级视频流生成装置所生成的多个编码图像流；重排工序，根据付与编码图像 流的识别符，从通过该流接收工序所接收的多个编码图像流中提取应进行解码的1个以上 的编码图像流，并对所提取到的1个以上的编码图像流中包含的各编码图像，根据各自的 显示时机信息或者解码时机信息，按解码顺序进行重排；解码工序，对通过该重排工序进行 重排的该编码图像进行解码。根据上述结构，可获得与本发明的可分级视频流解码装置相同的作用效果。(可分级视频流解码装置的控制方法)本发明的可分级视频流解码装置的控制方法，其特征在于该可分级视频流解码 装置包括流接收单元、重排单元和解码单元，该流接收单元接收由权利要求1所述的可分级视频流生成装置所生成的多个编码图像流，该重排单元根据付与该编码图像流的识别 符，从该流接收单元所接收的多个编码图像流中提取应由本装置进行解码的1个以上的编 码图像流，并对所提取到的1个以上的解码图像流中包含的各编码图像，根据各自的显示 时机信息或者解码时机信息，按解码顺序进行重排，该解码单元对由该重排单元进行重排 的该编码图像进行解码，该可分级视频流解码装置的控制方法包括检测工序和输入控制工 序，在该检测工序中，检测上述可分级视频流解码装置的状态，在该输入控制工序中，根据 在该检测工序中检测出的状态，使至少1个该流接收单元进行动作或者停止动作。根据上述结构，可获得与本发明的可分级视频流解码装置相同的作用效果。(可分级视频流生成方法)本发明的可分级视频流生成方法，其特征在于包括编码工序和分流工序，在该编 码工序中，通过运动补偿预测来对多个输入帧进行编码；在该分流工序中，将通过该编码工 序进行编码所得的各编码图像分为多个编码图像流；在该分流工序中，根据在该编码工序 中对任意的输入帧进行编码时是否作为运动补偿预测的参照帧使用应被分流的编码图像， 来对该编码图像进行分流，对被分流的各编码图像流付与不同的识别符。根据上述结构，可获得与本发明的可分级视频流解码装置相同的作用效果。(程序以及记录介质)可通过计算机实现上述可分级视频流解码装置以及可分级视频流生成装置。此 时，用于使计算机作为上述各单元进行动作从而由计算机实现上述可分级视频流解码装置 的可分级视频流解码程序、由计算机来实现上述可分级视频流生成装置的可分级视频流生 成程序以及存储有这些程序的计算机可读取记录介质也属于本发明的范畴之内。另外，还可以通过计算机来实现上述可分级视频流解码方法、可分级视频流生成 方法以及可分级视频流解码装置的控制方法。此时，用于使计算机执行上述各工序从而由 计算机来执行上述可分级视频流解码方法的可分级视频流解码程序、用于由计算机来执行 上述可分级视频流生成方法的可分级视频流生成程序、用于由计算机来执行上述可分级视 频流解码装置的控制方法的可分级视频流装置的控制程序以及记录有这些程序的计算机 可读取记录介质也属于本发明的范畴之内。(发明的效果)根据本发明，能够提供结构简单的可分级视频流解码装置，以及用于生成该可分 级视频流解码装置适合进行解码的编码图像流的可分级视频流生成装置。


图1是表示本发明的一实施方式的可分级视频流生成装置的主要结构的方框图。图2是表示本发明的一实施方式的可分级视频流生成装置的输入数据以及输出 数据的概要说明图。图3是表示本发明的一实施方式的可分级视频流生成装置的编码控制部的动作 的流程图。图4是表示本发明的一实施方式的可分级视频流生成装置的视频编码部的动作 的流程图。图5是表示本发明的一实施方式的可分级视频流生成装置的输入数据以及输出数据的概要说明图。图6是表示本发明的一实施方式的可分级视频流生成装置的输入数据以及输出 数据的概要说明图。图7是表示本发明的一实施方式的可分级视频流解码装置的主要结构的方框图。图8是表示本发明的一实施方式的可分级视频流解码装置的重排部的动作的流 程图。图9是表示本发明的一实施方式的可分级视频流解码装置的重排部的动作的流 程图。图10是表示本发明的一实施方式的可分级视频流解码装置的主要结构的方框 图。图11是表示本发明的一实施方式的可分级视频流解码装置的输入控制部的动作 的流程图。图12是表示现有技术中的时间可分级视频系统的概要的方框图。图13是表示现有技术中的时间可分级视频系统的重放装置的主要结构的方框 图。<附图标记说明>1输入影像2可分级视频流生成装置3基本层流4增强层流5传送路径6视频流重放装置7可分级视频流重放装置8解码后低帧影像9解码后高帧影像10基本层流输入部11增强层流输入部12基本层视频解码器13增强层视频解码器14增强层参照帧存储器15基本层参照帧存储器16重排部17输出帧存储器18显示部100可分级视频流生成装置110影像输入部111输入帧存储部112编码控制部113视频编码部(编码单元)0082]114参照帧存储部(可分级视频流生成装置侧)
0083]115代码缓冲存储部
0084]116分流部(分流单元)
0085]117第1输出部
0086]118第2输出部
0087]200可分级视频流解码装置
0088]210第1输入部(流接收单元)
0089]211第2输入部(流接收单元)
0090]212第1输入流存储部
0091]213第2输入流存储部
0092]214重排部(重排单元)
0093]215参照帧存储部(可分级视频流重放装置侧)
0094]216视频解码部(解码单元)
0095]217输出帧存储部
0096]218输出部
0097]300可分级视频流解码装置
0098]310第1输入部(流接收单元)
0099]311第2输入部(流接收单元)
0100]312可分级视频解码部(解码单元)
0101]313传感部(检测单元)
0102]314输入控制部(输入控制单元)
0103]315输入开关部
0104]150输入影像
0105]151>250>350 基本层流
0106]152 154、251、；351 增强层流
0107]SlOO编码模式决定步骤
0108]SlOl画面内预测编码指示、参照帧指示步骤
0109]S102层选择步骤
0110]S103画面间预测编码指示、参照帧指示步骤
0111]S104画面间预测编码指示、非参照帧指示步骤
0112]S120编码模式判定步骤
0113]S121参照帧取得步骤
0114]S122运动矢量检索步骤
0115]S123残差图像作成步骤
0116]S124正交变换、量化步骤
0117]S125参照帧指示判断步骤
0118]S126逆量化、逆正交变换步骤
0119]S127解码图像作成步骤
0120]S128参照帧保存步骤
S129可变长编码步骤S200、S220第1流时刻取得步骤S201、S221第2流时刻取得步骤S222第1流时刻有效判断步骤S223时刻计算步骤S224过去时刻判断步骤S225未来时刻判断步骤S202.S226时刻比较步骤S203、S227第1流取出步骤S204、S228第2流取出步骤S205.S229 送流步骤S300电池残余量信息取得步骤S301阈值比较步骤S302输入开关切断步骤S303输入开关接通步骤
具体实施例方式本发明的发明人经过专心研究，发现了通过巧妙地选择参照帧来生成可分级流并 在解码时对这些可分级流进行重排，使得成为一个流，从而能够通过一个解码器进行解码 的方法，完成了本发明。以下，参照附图来说明本发明的实施方式。在本说明书中，各英文字母略语分别表示以下相应的长符用语MPEG表示Moving Picture Experts Group (运动图像专家组)；AVC 表示 Advanced Video Coding (高级视 步页编石马)；fps 表示 frame per second (每禾少显示中jlJ) ；PES 表示 Packetized Elementary Stream (打包基本流)；TS 表不 Transport Stream (传送流)；PTS 表不 Presentation Time Mamp (出现时间标记)；SEI 表示 Supplemental Enhancement Information (辅助增强信 息)ο[1 可分级视频流生成装置]图1是表示本发明的一实施方式的可分级视频流生成装置100的主要结构的方框 图。如图1所示，本实施方式所涉及的可分级视频流生成装置100包括影像输入部110、输 入帧存储部111、参照帧存储部114、视频编码部(编码单元)113、编码控制部112、编码缓 冲存储部115、分流部(分流单元)116、第1输出部117以及第2输出部118。可分级视频流生成装置100通过运动补偿预测，对输入影像150所包含的多个输 入帧(输入图像)进行编码，获得编码图像。然后，将所获得的各编码图像分为基本层流 151和增强层流152。此时，对某图像进行分流时的判断基准为对任意的输入帧进行编码 时，作为用于运动补偿预测的参照帧(参照图像)是否使用该图像。具体是，如果某个图像 被用作上述参照帧时，就将相应的编码数据划分为基本层流151，而某个图像不被用作上述 参照帧时，则将相应的编码数据划分为增强层流152。由此，能够通过上述分流处理，使得对解码上述编码图像时所使用的参照帧进行编码后的数据全都包含于基本层流151中。这样所生成的多个编码图像流，适于用本发明 的可分级视频流解码装置进行解码。(动作的一个例子)接下来，详细说明可分级视频流生成装置100的动作的一个例子。首先，就可分级视频流生成装置100对何种输入数据进行处理、生成何种输出数 据的情况，举一例进行说明。图2是表示输入数据(输入影像150)以及输出数据(基本层 流151以及增强层流152)的概要说明图。输入影像150由显示时机不同的多个帧构成。作为输入影像150，可使用一般的动 画。在图2中，以从左至右按显示顺序排列的方框表示输入影像150的各帧。可分级视频流生成装置100例如对上述各帧内的标记为I的帧(以下称为I帧) 进行画面内预测编码，而对标记为P的帧(以下称为P帧)进行画面间预测编码。另外，图 2中的弧线状箭头表示进行上述画面间预测编码时的参照帧和使用参照帧进行编码的编码 帧之间的关系。即，以上述箭头的起点所指的帧作为参照帧来对该箭头所指的帧进行画面 间预测编码。例如，在最左侧的2个帧中，从I帧指向P帧的箭头表示为了预测该P帧参照 该I帧的意思。关于将哪个帧作为I帧或者P帧，以及以哪个帧作为参照帧，将在以下进行 说明。可分级视频流生成装置100以帧作为单位，将上述各帧的编码后数据分为基本层 流151或者增强层流152。此时，可分级视频流生成装置100通过上述分流处理，使对上述 各帧进行解码时所要使用的参照帧的编码后数据全都包含于基本层流151中。另外，基本层流151以及增强层流152所包含的上述各帧的编码后数据，与表示该 各帧在输入影像150中的显示时机(显示时刻)的信息形成对应关系。接下来，具体说明各部分的动作。影像输入部110使应该进行编码的输入影像150的各帧与该各帧的显示时机形成 对应关系，并存储到输入帧存储部111中。视频编码部113通过画面内编码模式或者画面间预测编码模式，对输入帧存储部 111中存储的帧进行压缩编码，并将编码数据存储到编码缓冲存储部115中。关于详细内 容，将在后文中进行说明。另外，由编码控制部112对视频编码部113的编码模式进行控制。另外，分流部116将编码缓冲存储部115中存储的编码数据进行划分到第1输出 部117(基本层流151)或者第2输出部181(增强层流15 中的任意一个中。关于详细内 容，将在后文中进行说明。而上述分流的控制是由编码控制部112进行的。在此，如上所述，即使在基本层流151以及增强层流152中，上述显示时机信息也 与各帧的编码后数据形成对应关系，而在后述的可分级视频流解码装置中利用为该各帧的 显示时机。即，视频编码器113对上述各帧进行编码并存储到缓冲存储部115中时，也能相 对应地存储该各帧的显示时机信息。另外，分流部116将上述编码数据划分到第1输出部 117或者第2输出部118中时，也保持上述编码数据与该编码数据的显示时刻信息相对应的 状态而进行分流。在此，使特定信息与其他信息构成相对应的关系是指，达到参照该特定信 息可取得该其他信息的状态的意思。在本实施方式中，例举根据显示时机来进行重排的结 构，来说明编码数据的解码顺序和付与各流的显示时机信息的顺序相一致的情况。此外，如 后文所述，对于编码数据，还可以使作为取代显示时机信息的信息或者作为增加信息的，表示该编码数据所涉及的帧的解码开始时刻的解码时机信息与其形成对应关系。另外，可分级视频流生成装置100(第1输出部117以及第2输出部118)可对已 被分流的各编码图像流(基本层流151以及增强层流15 分别付与不同的识别符。由此， 在接收基本层流151以及增强层流152的可分级视频流解码装置中，根据付与各编码图像 流的识别符来识别成为解码对象的编码图像流，从而能够简单地识别出作为解码对象的编 码图像流。接着，参照图3来说明编码控制部112的动作。图3是表示涉及一个输入帧的编 码控制部112的动作的流程图。编码控制部112对所有的输入帧都进行以下相同的动作。编码控制部112首先选择对上述输入帧进行编码时的编码模式(步骤S100)。选 择编码模式时，可采用在每个规定时间对画面内预测编码模式和画面间预测编码模式进行 选择的方法、根据上述输入帧适合于哪个编码模式来进行选择的方法等各种方法。在此，可 根据所希望的传送时抗误码性和编码量之间的平衡关系来决定上述规定时间。一般而言， 随着选择画面内预测编码模式比率的增高，传送时抗误码性增高，且编码量也增多。在步骤SlOO中选择用画面内预测编码模式的情况下，编码控制部112向视频编码 部113发送画面内预测编码指示信号以及参照帧指示信号(步骤S101)。在此，参照帧指示 是指可将上述输入帧作为其他帧进行编码时的参照帧来使用的指示。而非参照帧指示则是 指不能将上述输入帧作为其他帧进行编码时的参照帧来使用的指示。关于视频编码部113 接收这些指示之后如何进行动作，将在后文中进行说明。相反，在步骤SlOO中选择用画面间预测编码模式的情况下，由编码控制部112选 择作为对其他帧进行编码时的参照帧是否使用对上述输入帧进行编码再进行解码所获得 的帧(步骤S102)，即，选择是否用作图2中箭头的起点所指的帧。作为进行上述选择的一 种方法，例如，在每个规定时间选择作为上述参照帧可使用某帧，而在其他情况下选择不可 作为上述参照帧使用该帧。在此，可根据分别应该分流到基本层流151以及增强层流152 中的帧的比率(例如1 1)来适宜设定上述规定时间。在步骤S102中，为了获得上述参照帧而选择了可使用的情况下，编码控制部112 向视频解码部113发送画面间预测编码指示信号以及参照帧指示信号(步骤S103)。相反，若在步骤S102选择了不可用作参照帧的情况下，编码控制部112向视频解 码部113发送画面间预测编码指示信号以及非参照帧指示信号(步骤S104)。然后，在步骤SlOl或者步骤S103中，如果向视频编码部113发送了参照帧指示信 号时，编码控制部112就向分流部116发出基本层分流指示信号控制，以使编码数据被包含 于基本层流151中(步骤S105)。相反，若在步骤S104中，向视频编码部113发送了非参照帧指示信号，编码控制部 112则向分流部116发出增强层分流指示信号控制，以使编码数据被包含于增强层流152中 (步骤 S106)。接下来，详细说明视频编码部113的动作。图4是表示涉及一个输入帧的视频编 码部113的动作的流程图。视频编码部113对所有的编码帧进行如下动作。视频编码部113最初对编码控制部112发出的编码模式指示信号进行确认(步骤 S120)。若上述编码模式指示信号为画面间预测编码指示，就进行以下步骤S121 S123的 运动补偿预测。
首先，视频编码部113从参照帧存储部114取得参照帧(步骤S121)。然后，视频 编码部113对上述参照帧和上述输入帧进行比较，并检索运动矢量，求出预测图像(步骤 S122)。然后，视频编码部113在像素值水平上，从上述输入帧图像中减去上述预测图像，求 出残差图像(步骤S123)。相反，若上述编码模式指示为画面内预测编码指示，视频编码部113就不进行从 上述输入帧图像中减去上述预测图像的处理，而是直接以上述输入帧取代上述残差图像。然后，视频编码部113将上述残差图像分成8X8个像素，共计64像素部分，并对 该各部分进行离散余弦变换等正交变换以及量化，获得系数列(步骤S124)。然后，视频编码部113对参照帧指示信号进行确认(步骤S125)。如果上述参照帧 指示信号是参照帧指示，就进行使上述输入帧能够用作参照帧的准备(以下的步骤SU6 S128)。当然，在解码装置中，将对流进行解码所获得的帧用作参照帧，因此，在编码装置中， 作为参照帧所使用的不是上述输入帧本身而是对该输入帧的编码数据进行解码之后的帧。首先，视频编码部113对通过步骤SlM所获得的上述系数列进行逆变换，从而对 残差图像进行复原(步骤SU6)。然后，视频编码部113将通过步骤S122求出的上述预测图 像加在上述残差图像上，获得解码帧(步骤S127)。视频编码部113可在参照帧存储部114 中存储上述解码帧，由此在对其他帧进行编码时作为参照帧可使用该解码帧(步骤SU8)。 另外，视频编码部113在包含有上述输入帧的编码数据的位流中，记录表示作为参照帧是 否使用对该编码数据进行解码所获得的帧的标记。最后，视频编码部113对通过步骤SlM所获得的上述系数列进行可变长编码(步 骤SU9)。在已进行画面间预测编码的情况下，将用于指定参照帧的信息也记录到流中。并 将所获得的位流(bit stream)存储到编码缓冲存储部中。在此，被存储的流是尚未分成基 本层以及增强层的单一流，可通过通常的视频解码器对其进行解码。分流部116取出编码缓冲存储部115中存储的上述位流，如果编码控制部112发 送的分流指示信号为基本层分流指示，就向第1输出部117输出该位流，而上述分流指示信 号为增强层分流指示时，则向第2输出部118输出该位流。在此，分流部116采用输入了输 入影像150时取得的显示时机(时刻)与1个帧的位流一一相对的格式来进行输出。然后，第1输出部117输出基本层流151，第2输出部118输出增强层流152。此 时，第1输出部117以及第2输出部118例如可以对基本层流151以及增强层流152分别 付与不同PID，进行TS包化。(本实施方式的优点)通过以上结构，取代使用可应对可分级编码的编码装置的方法，只需对通过通常 的编码处理所获得的流进行适当的分流，就能够实现简单地生成基本层流和增强层流的可 分级视频流生成装置。(变形例1更换输入单元的变形例)以上说明了作为影像输入部110设想使用存储单元的情况，当然也可以使用其他 单元。例如，可以使用通信控制单元，也可以使用拍摄单元。另外，还可以使用具备其他视 频编码方式的解码功能的单元。通过以上结构，可应用于对通信路或者相机等发送的输入 进行实时编码和传送的系统，或者对编码方式进行变更之后再传送的系统等。(变形例2更换编码方式的变形例)
关于视频编码部113进行编码时所使用的视频编码方式，只要能够进行运动补偿 预测，可以采用任何方式。例如，可以使用MPEG-2、MPEG-4、MPEG-4AVC等。另外，还能够采 用应对于多种编码方式并根据需要可进行灵活变更的结构。通过上述结构，由于能够输出 各种编码方式的流，因此能够增加可对应的重放装置。(变形例3生成多个增强级的例子)关于视频编码部113进行编码时所使用的视频编码方式，只要是能够从过去的3 个以上编码帧中选出参照帧的编码方式，可以有2个以上的增强层流。例如，在图5中，表示了除第1增强层流152之外，还生成第2增强层流153的例 子。图5中的符号表示与图2中的符号相同的意思，但是将各帧的编码数据分为各流时，按 照基本层流151、第2增强层流153、第1增强层流152、第2增强层流153的顺序反复进行 分流。基本层流151与第1增强层流152之间的关系，与以上说明的内容相同。在图5所 示的实施方式中，通过用第2增强层流153进行解码，可解码获得更为中间的帧。通过以上 结构，可获得拓大了重放品质选择范围的效果。(变形例4进行双向预测的例子)对于视频编码部113来说，作为参照帧，可以使用显示时机为过去的帧，还可以使 用未来的帧来进行编码。图6表示了对于一部分帧，以其前后的帧作为参照帧来进行编码 的例子。在图6中，表示了对于记载有B的帧(以下，称之为B帧)，根据显示顺序为过去和 未来的帧来进行预测，即，以双向画面间预测编码模式进行编码的方式。在此情况下，可以 将B帧的编码后数据分为增强层流154。通过采用双向预测，在更适合根据未来的帧进行预 测的情况下，能够获得更正确的预测图像，因此能够减少残差图像的信号强度以及提高编 码效率。(变形例5更换输出单元的变形例)作为第1输出部117以及第2输出部118，通常设想采用通信控制单元。此外，可 以是其中的至少一方是存储单元。通过上述结构，还能够应用于预先在存储器中存储编码 结果，然后根据重放装置用户的要求由其他发送装置从存储器中读取该编码结果的并发送 给通信路的随选传送中。(变形例6输出流格式的变更)关于第1输出部117以及第2输出部118进行输出时的格式，可采用MPEG-2TS等 传送用包的形式进行多重输出。在使用MPEG-2 TS的情况下，作为与流相对应的时刻(时 机)，可使用PTS。通过这种方法，能够使用传送MPEG-2 TS的各种传送路径。在作为编码 方式采用MPEG-4 AVC的情况下，由于在流水平上规定有每个帧的时刻即Picture Timing SEI，因此，若以此作为与流相对应的时刻，则可通过与MPEG-4 AVC相对应的解码装置来对 流直接进行重放。另外，根据本发明的可分级视频流生成装置的一实施方式，就可分级视频流生成 装置可作如下表述，即，其特征在于具备通过运动补偿预测来对输入影像进行压缩编码 并生成流的视频编码部、用于存储进行上述运动补偿预测时所使用的参照帧的参照帧存储 部、将上述流分为2种以上的流的分流部、用于对上述视频编码部以及上述分流部进行控 制的编码控制部，上述分流部根据是否以编码后的帧作为参照帧来进行分流。[2 可分级视频流解码装置]
图7是表示本发明的一实施方式的可分级视频流解码装置200的主要结构的方 框图。如图7所示，本实施方式的可分级视频流解码装置200包括第1输入部(流接收单 元)210、第2输入部(流接收单元)211、第1输入流存储部212、第2输入流存储部213、重 排部(重排单元)214、参照帧存储部215、视频解码部(解码单元)216、输出帧存储部217 以及输出部218。可分级视频流解码装置200即使在接收到基本层流(编码图像流)250以及增强 层流(编码图像流)251的情况下，在对该流进行解码之前，也可以将该流所包含的编码图 像根据该解码图像各自的显示时机信息来进行重排，从而获得一个流。因此，对重排后的流 进行解码即可，通过一个解码单元也能够对多个编码图像流进行解码，从而能够简化装置 整体的结构。(动作一个例子)以下，详细说明可分级视频流解码装置200的动作的一个例子。第1输入部210将基本层流250顺次存储到第1输入流存储部212中。第2输入 部211将增强层流251顺次存储到第2输入流存储部213中。在此，作为基本层流250以及增强层流251，可使用通过对影像进行编码所获得的 具有时间可分级性的流，并且，作为增强层流251可使用不包含被用作参照帧的帧的编码 数据的流。作为此类流，例如有通过本发明的可分级视频流生成装置生成的基本层流以及 增强层流。另外，第1输入部210以及第2输入部211能够接收各种传送路径的基本层流250 以及增强层流251即可，例如可以是无线广播接收装置。重排部214对第1输入流存储部212中存储的基本层流250的各编码数据，和第2 输入流存储部213中存储的增强层流251的各编码数据进行重排，并将重排的流作为一个 流发送给视频解码部216。图8是说明重排部214反复进行重排处理中的一次处理单位的流程图。重排部 214反复进行以下处理，直至处理完第1输入流存储部212以及第2输入流存储部213中存 储的编码数据为止。如图8所示，重排部214首先取得第1输入流存储部212中存储的基本层流250 以及第2输入流存储部213中存储的增强层流251两者之先头部的编码数据显示时机(时 刻)信息(步骤S200以及S201)。然后，重排部214对所取得的显示时机进行比较(步骤S202)。若位于基本层流 250的先头的编码数据的显示时机较早，重排部214就从第1输入流存储部212中取得该编 码数据(步骤S203)，并将此输出给视频解码部216(步骤20 。相反，若位于增强层流251 的先头的编码数据的显示时机较早，重排部214就从第2输入流存储部213中取得该编码 数据(步骤S204)，并将此输出给视频解码部216(步骤20 。在此，通常有必要根据编码 数据的解码顺序来对视频解码部216进行输入。在本实施方式中，关于在编码数据的解码 顺序和付与各流的显示时机信息的顺序相一致的情况下，根据显示时机来进行重排的结构 进行了说明，但是，例如对通过以上所述的双向预测而被编码的视频流进行处理时，还存在 解码顺序和显示时机信息的顺序不一致的情况。在此类情况下，可取代显示时机信息，预先 对可分级视频流生成装置付与表示该帧的解码开始时刻的解码时机信息，然后按该解码时机信息的顺序来进行重排。在增强层流251中不包含编码数据的情况下，只需对基本层流250进行解码即可。 因此，在增强层流251中不包含编码数据的情况下，重排部214可省略进行步骤S202中的 比较处理，无条件地进入步骤S204的处理即可。另外，重排部214可根据付与基本层流250以及增强层流251的识别符(例如，TS 包的PID)，来提取将成为解码对象的编码图像流。由此，能够简单地进行只对将成为解码对 象的编码图像流的解码。如上所述，重排部214按显示时机顺序(时刻顺序)对第1输入流存储部212以 及第2输入流存储部213中存储的编码数据进行重排，并将重排的编码数据作为1个流发 送给视频解码部216。视频解码部216从重排部214接收如上所述的流的输入，并按照输入顺序对该流 中包含的编码数据进行解码。作为视频解码部216的处理程序，可采用一般常用的视频解 码器的处理程序。即，视频解码部216通过进行可变长解码、逆量化以及逆正交变换，获得 残差图像。另外，视频解码部216从存参照帧存储部215取得上述流所指定的参照帧，并根 据运动矢量来生成预测图像。然后，视频解码部216通过对上述预测图像和上述残差图像 进行合并，获得输出帧(解码后图像)，并将此存储到输出帧存储部217中。如上所述，上述流具有用于表示是否将解码后帧作为参照帧来使用的标识。如果 上述标识表示的是将该解码后帧作为参照帧使用的情况时，视频解码部216就将所获得的 输出帧存储到参照帧存储部215中。最后，输出部218从输出帧存储部217中取出输出帧并进行输出。(本实施方式的优点)根据上述本实施方式的可分级视频流解码装置200，通过在历来的可分级视频流 装置的基础上仅增设第2输入部211、第2输入流存储部213、重排部214而成的简单结构， 就能够使用基本层流250和增强层流251的两者来进行解码和重放，获得与输入影像具有 相同帧率的影像。此外，在未输入增强层流251的情况下，如上所述，重排部214向视频解码部216 只发送基本层流250，并进行解码，重放低帧率的影像。(变形例1编码方式的变形例)视频解码部216所对应的视频编码方式，必须与视频生成装置中采用的编码方法 相对应，此外，还可以采用使视频解码部216预先与多个编码方式构成对应，根据所输入的 视频流的编码方式来灵活变更。另外，还可以在用于生成基本层流250以及增强层流251 的可分级视频流生成装置上，预先或者随时显示可分级视频流解码装置200所能够对应的 编码方式的列表，从而能够从该列表中选出最适合于两者的视频编码方式。根据上述结构， 系统不再受编码方式的限制，而能够增加可重放的位流的数量。(变形例2可应对延迟的例子)可通过不同的传送路径来传送基本层流250和增强层流251。例如有，通过广播传 送基本层流250，而采用通信方式来传送增强层流251等方法。各传送路径分别具有不同的 延迟量。例如在通信中，根据再送或者协议而对传送方式等进行变换时，可能会导致数秒至 数十秒的延迟。另外，即使在使用相同的传送路径时，由于基本层流250和增强层流251的传送量不同，因此有时在传送路径中的中转设备上可能会出现处理时间上的差距。在这些 情况下，可通过以下程序来应对。图9是表示输入到可分级视频流解码装置200中的2个流中的一个发生延迟时的 对应处理的流程图。与上述动作例一样，重排部214首先取得第1输入流存储部212以及第2输入流 存储部213中存储的流的位于先头的编码数据的显示时机信息(步骤S220以及S221)。然后，重排部214就所取得的基本层流250的位于先头的编码数据的显示时机是 否有效进行判断(步骤S22》。如果上述显示时机无效(基本层流250中不含有效的编码 数据)，就不输出解码数据而是结束处理。其理由在于，例如，即使在增强层流251中包含编 码数据的情况下，如果基本层流250中不包含编码数据，就无法进行解码，因此在第1输入 流存储部212中一个基本层流250的编码数据也没被存储的情况下，目的在于保留接下来 的处理。另外，重排部214以所取得的基本层流250的先头部的编码数据显示时机Tl， 和所取得的增强层流251的位于先头的编码数据的显示时机T2中相对较早的时刻作为 Tmin (步骤 S222)。在此，如下所述，重排部214保持最后输出给视频解码部216的帧的显示时机。在 Tmin比该最后输出的帧的显示数据更早(旧)的情况下，重排部214从该编码数据所包含 的流中删除显示时刻为Tmin的帧的编码数据，并重新进行处理(步骤S2M)。通过上述结 构，即使当几乎同时发送的流中的有一个在传送路径中发生延迟时，也能避免无法重放先 输入的流的问题。另外，在Tmin为某规定时刻的未来时刻的情况下，重排部214可结束处理(步骤 S225)。在此，上述规定时刻是指，从重排部214所保持的最后输出的帧的显示时机起相距 一定时间的未来时刻。如上所述，当一个流发生延迟时，可删除该延迟的数据。但是，如果 能够在一定时间内纠正该延迟，就无需删除该延迟的流，而是通过保留先到达的流的处理， 能够将延迟的流也用于解码。可通过对基本层流250和增强层流251的延迟量预先进行测定，来决定上述规定 时间，也可以根据其他的接收时刻履历来决定上述规定时间，还可以使该规定时间包含于 流的附加信息中。但是，如果输入流存储部212以及213的剩余容量较小，则省略该控制， 而进行输出。通过上述结构，在上述输入流存储部212以及213的容量所容许的范围内，能 够吸收某一个流的输入延迟，从而能够利用两个流进行解码。(变形例3具备录像重放功能的例子)可分级视频流解码装置200还可以具备录像重放功能。例如，可与重排部214并 列地配设内置有录像存储器的录像重放部。上述录像重放部取得基本层流205以及增强层 流251中的至少一个，并存储到上述录像存储器中。然后，上述录像重放部读取上述录像存 储器中存储的基本层流250以及增强层流251中的至少一个，并传送给重排部214。之后， 重排部214进行如上所述的解码动作。通过以上结构，能够对输入的流进行录像，然后在用 户所希望的时间进行重放。(变形例4通过录像实现高画质的例子)在上述录像重放的例子中，可以在完全不同的时刻输入流。在此情况下，例如，首先输入一个流并将该流记录在上述录像存储器中，然后在别的时刻输入另一个流并将该另 一个流追加记录到该录像存储器中。重放时使用两个流进行重放。追加记录后输入的流时， 为了使装置能够识别出后输入的流与先前已记录的流之间的关联性，可采用有规则的文件 名，或者根据附加信息使两者构成关联。记录时可以追加记录到相同的文件中，而重放时可 以边分流边读取。或者，记录时可以进行与重排部214相同的重排处理，将两个流作为1个 流进行存储。根据上述结构，通过广播接收基本层流250并进行录像，然后以通信的方式接 收增强层流251并追加录像，以此产生在重放时能够使用两个流来进行重放而获得高画质 的效果。(变形例5输入流格式的种类)关于基本层流250以及增强层流251的格式，只要编码数据和时刻构成一一对应， 可采用任何格式。例如，采用MPEG-2 TS的情况下，1个帧的流被存储到PES包中，与其相对 应的时刻被存储为PES头的PTS。输入MPEG-2 TS时，为了抽取编码数据，需要进行逆多重处理。为此，可以在重排部 214和视频解码部216之间设置逆重叠部，由该逆重叠部进行逆重叠处理。另外，也可以在 第1输入部210以及第2输入部211进行输入时进行逆重叠处理。关于后一个方法，尤其 是在编码方式为MPEG-4 AVG形式的情况下，作为与帧相对应的时刻，存储Picture Timing SEI,因此可以采用该方法。另外，还存在将与多个帧相对应的帧存储到1个PES中的情况， 如果此时也在第1输入部210以及第2输入部211进行输入时进行逆重叠，就能够利用 Picture Timing SEI0在此，根据本发明的可分级视频流解码装置的一实施方式，可作如下表述，本发明 的可分级视频流解码装置包括用于输入由本发明的可分级视频流生成装置生成的2个以 上的流的2个以上的输入部；对于被输入的2个以上的流，根据付与该流的时间信息来进行 重排而排成1个流的重排部；对1个视频流进行解码的视频解码部。[3 节电型可分级视频流解码装置]如今，已开发出具备视频流重放功能的便携式电话机等小型信息处理装置。这些 装置多靠电池驱动，为使装置能够保持长时间的电池驱动，被要求降低耗电。尤其是，视频 流重放中进行较复杂的处理，从而需要较多的电力，因此降低装置耗电的要求更高。例如， 专利文献1中揭示了一种可降低耗电的数字摄像装置。该装置包括像液晶寻像器的内部显 示单元，根据是否连接有电视机等外部设备来控制解码动作量，从而降低耗电。另外，专利 文献1中，作为减少动作量的具体方法，例举了削减由解码电路进行解码的图像的分辨率、 灰阶、帧率的方法。但是在专利文献1中，为了削减耗电，省略了解码处理的一部分，因此需要用于追 加进行帧间隔、像素间隔等处理的复杂结构。根据本发明的可分级视频流解码装置的一实施方式，能够通过简单的结构来降低 耗电。图10是表示本实施方式的可分级视频流解码装置300的主要结构的框图。如图10 上述，本发明的可分级视频流解码装置300包括第1输入部(流接收单元)310、第2输入部 (流接收单元)311、可分级视频解码部312 (解码单元)、传感部(检测单元)313、输入控制 部(输入控制单元)314、输入开关部315。可分级视频流解码装置300对可分级视频流解码装置300的状态进行检测，并根据该状态，使至少1个该流接收单元运行或者停止运行。由此，当可分级视频流解码装置300处于例如电池残余量较少、装置温度较高、盖 子闭合、装置正在移动、图像的运动较少等状态时，能够使至少一个流接收单元停止，以对 处理量进行适当调整，降低耗电。(动作的一个例子)以下，详细说明可分级视频流解码装置300的动作的一个例子。第1输入部310接收基本层流350，并将接收到的流发送给可分级视频解码部 312。第2输入部311接收增强层流351，并将接收到的流发送给可分级视频解码部312。可分级视频解码部312对基本层流350以及增强层流351进行解码，并输出动画。 关于可分级视频解码部312的内部结构，在本实施方式中未进行限定，例如可以采用与本 发明的可分级视频流解码装置200相同的结构。传感部313是用于检测可分级视频流解码装置300的电池残余量信息的单元，其 将取得的电池残余量信息发送给输入控制部314。输入控制部314根据感应器部313提供 的信息，来判断是否对增强层流351进行解码以及输入控制。图11是说明输入控制部314的动作的流程图。输入控制部314从传感器部313取 得电池残余量信息(步骤S300)，并与规定阈值进行比较(步骤S301)。如果电池残余量信 息低于上述阈值，输入控制部314就进行使输入开关部315切断的控制(步骤S302)，而电 池残余量信息高于上述阈值时，输入控制部314就进行使输入开关部315接通的控制(步 骤 S303)。输入开关部315受输入控制部314的控制。当输入开关部315接通时，第2输入 部311进行输入增强层流351的动作。而输入开关部315切断时，第2输入部311就停止 动作，不进行增强层流351的输入。因此，输入开关部315接通时，可分级视频解码部312 必然会使用基本层流350以及增强层流351来对输出帧进行解码，而输入开关部315切断 时，可分级视频解码部312只使用基本层流350对输出帧进行解码。(本实施方式的优点)根据以上结构，当电池残余量变少时，本实施方式的可分级视频流解码装置300 可通过减少解码处理量来抑制耗电，因此，在维持重放的同时能够延长装置的运转时间。并 且，在可分级视频流解码装置300中，无需在可分级视频解码部312构筑特别的节电结构， 只通过追加简单的结构，即，传感器部313、输入控制部314、输入开关部315，就能够获得以 上效果。(变形例1传感部是温度感应器的例子)感应器部313可以是用于取得可分级视频流解码装置300的温度信息的温度感应 器。在此情况下，输入控制部314进行如下控制当温度信息超过阈值时，使输入开关部315 切断；当温度信息为阈值以下时，使输入开关部315接通。根据上述结构，当装置的温度上 升时，通过省略对增强层流351进行解码来减少处理量，从而抑制发热并能够削减耗电。(变形例2传感部是显示屏盖部传感器的例子)在出于保护显示屏表面等的目的，将可分级视频流解码装置300组装在设有开闭 可能的盖子的装置中的情况下，传感部313可以是用于该装置的显示屏盖的开闭传感器。 在此情况下，输入控制部314进行如下控制当上述显示屏盖被关闭时，使输入开关315切断；当该显示屏被盖打开时，使输入开关315接通。上述装置的显示屏该被关闭时，用户观 看影像的可能性较低，因此，即使省略对增强层流351进行解码以及降低画质，也不会影响 到用户的使用方便性。从而，根据上述结构，在不影响到用户的使用方便性的情况下能够抑 制耗电。(变形例3传感部为加速度感应器的例子)感应器部313还可以是用于检测装置的加速度的加速度感应器。此时，输入控制 部314进行如下控制当加速度超过阈值时，使输入开关部315切断；而加速度为阈值以下 时，使输入开关部315接通。当使装置进行下降、上升、摇动等加速度运动的期间，用户观看 影像的可能性较低，因此，即使省略对增强层流351进行解码以及降低画质，也不会影响到 用户的使用方便性。从而，根据上述结构，在不影响到用户的使用方便性的情况下能够抑制 耗电。(变形例4传感部部为运动矢量感应器的例子)感应器部313还可以是用于检测可分级视频解码部312进行解码途中所获得的运 动矢量的感应器或者程序。在此情况下，输入控制部314进行如下控制当根据运动矢量所 求出的评价值，例如全像素的尺寸之和超过阈值时，使输入开关部315接通；而该尺寸之和 为阈值以下时，使输入开关部315切断。解码后影像中的运动较少时，即使省略对增强层流 351中包含的下一个帧进行解码，外观上并不会出现太大的差别，因此，不会损害用户的使 用方便性。从而，根据上述结构，在不影响到用户的使用方便性的情况下能够抑制耗电。(变形例5多个传感器的组合)感应器部313可由多个感应器单元构成。此时，输入控制部314通过对多个感应 器所提供的信息进行综合，来对输入开关部315进行接通/切断控制。另外，在上述动作例以及变形例的说明中，具体使用了“以上” “以下” “高于” “低 于”等用语，但这并不是对是否包含等值的情况的严格限定，可以将“以上”替换成“高于”。(变形例6对控制进行连续切换的例子)另外，在以上例子中，输入控制部314通过对感应器部313所提供的值(连续值) 和阈值进行比较，来对输入开关部315进行接通/切断的2值控制。此外，输入控制部314 还可以对输入开关部315进行连续控制。例如，感应器部313所提供的值与阈值大致相同 时，输入控制部314可以按1比1的时间分配来对输入开关部315的接通/切断进行断续 的切换控制。(变形例7使控制延迟的例子)另外，可以在输入控制部314上设置开关计时部，从传感器部313所提供的信息达 到切换条件的那个时间点起经过一定时间之后，对输入开关部315进行控制，该切换条件 是指对输入开关部315的接通/切断进行切换的条件。根据上述结构，能够抑制发生因传 感部提供的信息频繁地超过阈值而导致输入开关部315也频繁地进行接通以及切断控制， 从而无法进行自然的影像重放的现象。(变形例8用户操作可能的例子)此外，还可以在可分级视频流解码装置300上设置用户操作部，使用户能够对各 种阈值进行设定，或者使用户能够对输入开关部315进行控制。根据上述结构，能根据用户 的指示来降低画质，从而抑制耗电。
(变形例9对控制条件进行记忆的例子)可根据用户的操作履历，进行最适当的控制。即，输入控制部314对用户进行输入 开关部315的控制操作时的装置状态，例如温度等进行记录，待再次出现该状态时，对输入 开关部315进行相同的控制。根据上述结构，能够迎合用户的嗜好，对增强层流351解码时 的接通/切断进行细微的控制，从而能够提高方便性和节电性能。在此，根据本发明的可分级视频流重放装置的一实施方式，可作如下表述，可分级 视频流重放装置包括用于检测可分级视频流重放装置的状态的传感部；根据从感应器部 取得的可分级视频流重放装置的状态来判断流的输入控制的输入控制部；通过上述输入控 制部的控制，使至少一个输入部停止输入的输入开关部。(与现有广播方式具有互换性的结构例)在此，通过使用本发明的可分级视频流生成装置以及可分级视频流解码装置，可 运用与现有的广播方式具有互换性的对应时间可分级的广播。以下，说明与单频段的部分 接收服务(以下称为单频段广播，One Segment Broadcasting)进行互换运用的例子，其中， 单频段部分接收服务是针对在现有的地上数字广播(ISDB-T)方式中使用的便携式电话机 等移动设备终端的服务。在单频段广播中，作为视频流的编码方式采用MPEG-4 AVC，作为流格式采用 MPEG-2 TS0如上所述，在本发明的可分级视频流生成装置以及可分级视频流解码装置中， 能够利用MPEG-4 AVC和MPEG-2 TS0利用付与MPEG-2 TS的各TS包的PID (包识别符)， 可实现与单频段广播的互换。PID是用于识别该包所包含的流是视频、声频、字幕数据以及其他数据中的哪一个 流的识别符。但是，PID的值并不直接表示流形式。除了 PID之外，还另规定有用于识别构 成广播的视频、声频、字幕等流的形式的流形式Gtream Type)。并且，还相对于各流独立地 传送用于表示各PID与各流形式之间的对应关系的表(PMT)。在采用MPEG-2TS的系统中， 可以通过参照PMT来识别与各PID相对应的流形式，可以采用与流种类相对应的解码器来 进行解码以及重放。对于单频段广播等现有的数字广播中使用的流形式，设有如下表1中0X1 OX IB所示的分配规定。表1流形式类别
权利要求
1.一种可分级视频流生成装置，其特征在于编码单元通过运动补偿预测来对多个输入帧进行编码； 分流单元将由该编码单元进行编码所得的各编码图像分为多个编码图像流； 该分流单元根据该编码单元对任意的输入帧进行编码时是否作为运动补偿预测的参 照帧使用应被分流的编码图像，来对该编码图像进行分流，该可分级视频流生成装置对被分流的各编码图像流付与不同的识别符。
2.一种可分级视频流解码装置，其特征在于包括流接收单元，接收由权利要求1所述的可分级视频流生成装置所生成的多个编码图像流；重排单元，根据付与编码图像流的识别符，从该流接收单元所接收的多个编码图像流 中提取应由本装置进行解码的1个以上的编码图像流，并对所提取到的1个以上的编码图 像流中包含的各编码图像，根据各自的显示时机信息或者解码时机信息，按解码顺序进行 重排；解码单元，对由该重排单元进行重排的该编码图像进行解码。
3.根据权利要求2所述的可分级视频流解码装置，其特征在于包括 多个上述流接收单元；检测单元，检测上述可分级视频流解码装置的状态；输入控制单元，根据该检测单元所检测出的状态，使至少1个该流接收单元进行动作 或者停止动作。
4.一种可分级视频流解码方法，其特征在于包括流接收工序，接收由权利要求1所述的可分级视频流生成装置所生成的多个编码图像流；重排工序，根据付与编码图像流的识别符，从通过该流接收工序所接收的多个编码图 像流中提取应进行解码的1个以上的编码图像流，并对所提取到的1个以上的编码图像 流中包含的各编码图像，根据各自的显示时机信息或者解码时机信息，按解码顺序进行重 排；解码工序，对通过该重排工序进行重排的该编码图像进行解码。
5.一种可分级视频流解码装置的控制方法，其特征在于 该可分级视频流解码装置包括流接收单元、重排单元和解码单元，该流接收单元接收由权利要求1所述的可分级视频流生成装置所生成的多个编码图 像流，该重排单元根据付与该编码图像流的识别符，从该流接收单元所接收的多个编码图像 流中提取应由本装置进行解码的1个以上的编码图像流，并对所提取到的1个以上的解码 图像流中包含的各编码图像，根据各自的显示时机信息或者解码时机信息，按解码顺序进 行重排，该解码单元对由该重排单元进行重排的该编码图像进行解码， 该可分级视频流解码装置的控制方法包括检测工序和输入控制工序， 在该检测工序中，检测上述可分级视频流解码装置的状态，在该输入控制工序中，根据在该检测工序中检测出的状态，使至少1个该流接收单元进行动作或者停止动作。
6.一种可分级视频流生成方法，其特征在于 包括编码工序和分流工序，在该编码工序中，通过运动补偿预测来对多个输入帧进行编码；在该分流工序中，将通过该编码工序进行编码所得的各编码图像分为多个编码图像流；在该分流工序中，根据在该编码工序中对任意的输入帧进行编码时是否作为运动补偿 预测的参照帧使用应被分流的编码图像，来对该编码图像进行分流， 对被分流的各编码图像流付与不同的识别符。
7.一种可分级视频流解码程序，其特征在于用于使权利要求2或者3所述的可分级视频流解码装置进行动作， 并使计算机作为上述各单元而发挥作用。
8.一种可分级视频流生成程序，其特征在于用于使权利要求1所述的可分级视频流生成装置进行动作， 并使计算机作为上述各单元而发挥作用。
全文摘要
本发明的可分级视频流生成装置，根据是否作为参照帧使用编码图像，将编码后的各编码图像分为多个编码图像流，并对该多个编码图像流付与不同的识别符。本发明的可分级视频流解码装置，接收由本发明的可分级视频流生成装置所生成的多个编码图像流，并对根据付与编码图像流的识别符所提取到的1个以上的编码图像流中包含的各编码图像，按解码顺序进行重排和解码。由此，能够提供结构简单的可分级视频流系统。
文档编号H04N7/32GK102150432SQ20098013596
公开日2011年8月10日 申请日期2009年9月4日 优先权日2008年9月17日
发明者井上理, 伊藤典男, 高桥真毅 申请人:夏普株式会社