图像处理设备和方法、以及信息处理设备和方法

专利名称：图像处理设备和方法、以及信息处理设备和方法
技术领域：
本发明涉及图像处理设备和方法、以及信息处理设备和方法，尤其涉及提高针对 流数据的特殊再现的响应性的图像处理设备和方法、以及信息处理设备和方法。
背景技术：
以往，MPEG (Moving Picture Coding Experts Group，运动图像专家组)2 作为 运动图像的编码方式已广泛普及，而且近年还出现了 MPEG4PartlO =AVC(Advanced Video Coding,高级视频编码)(以下称为AVC)等。MPEG2和AVC被要求提高随机再现等特殊再现中的响应性。为应对上述期望，MPEG2中有一种通过不重复解码参考图片而是通过进行特殊再 现来高效率地进行特殊再现的方法(例如，参考专利文献1)。在先技术文献专利文献1 JP-2006-319962A。

发明内容
发明所要解决的问题但是，AVC现阶段还不能充分应对上述期望。这是因为AVC为了提高其压缩效率 而与MPEG2相比大幅度提高了参考图片的自由度的缘故。因此，不能将MPEG2中的现有方 法直接应用于AVC中的特殊再现。具体而言，MPEG2中有I图片(Intra Picture,帧内图片)、P图片(Predictive Picture，预测图片)、B 图片(Bi-directional PredictivePicture，双向预测图片)三种 图片。I图片是与前后图片无关而仅在该图片内独立编码而得的图片。即，I图片是不具 有参考图片的图片。P图片是通过帧间前向预测编码而得到的图片。即，P图片是位于前方的I图片或 P图片作为参考图片进行预测的图片。B图片是通过前向和后向双方向的预测编码而得到的图片。即，B图片是将I图片 或P图片作为参考图片来参考位于前方、后方、或这双向方的图片的图片。但是，如上所述，在AVC中大幅度地提高了 MPEG2中的I图片、P图片、B图片的参
考自由度。例如，AVC在P图片中也能将前方的两个图片设为参考图片、或者将后方的两张图片设为参考图片。另外，例如AVC在B图片中也能仅将前方的图片作为参考图片、或者仅将 后方的图片作为参考图片。因此，在AVC中，只是确定是I图片、P图片、还是B图片的图片类型是不能进行预 测编码的。因此，不能将MPEG2中的上述现有方法直接应用于AVC中的特殊再现。而且，现阶段在AVC中也找不到适于提高随机再现等特殊再现中的响应性的其他方法。本发明就是鉴于上述情况而完成，并用于提高流数据的特殊再现中的响应性。 本发明一个方面的图像处理设备包括保持装置，当解码由包含头部的存取单元 构成的流时，所述保持装置保持对作为处理对象的存取单元进行解码所需的参考图片；分 析装置，所述分析装置通过分析所述流来针对每个所述存取单元检测所述头部；以及生成 装置，当由所述分析装置检测出的所述头部是表示改变图片的删除顺序的头部时，所述生 成装置按照所述头部所表示的删除顺序删除包含在与所述头部相对应的存取单元中的图 片，并生成表示保持到所述保持装置中的参考图片的保持信息。当需要将新的参考图片包 含到被保持在所述保持装置中的N个图片中时，所述生成装置按照第一规则生成所述存取 单元的保持信息，所述第一规则是按照被保持在所述保持装置中的时间从久到新的顺序删 除图片的规则。所述头部的种类可以包括包含有与所述流整体的编码有关的信息的第一头部； 包含有与所述图片整体的编码有关的信息的第二头部、以及包含有表示改变所述图片的删 除顺序的信息的第三头部。在上述图像处理设备中，也可以在所述分析装置检测出所述第三头部时，所述生 成装置按照第二规则生成所述保持信息，所述第二规则是按照由该头部指定的删除顺序删 除图片。在上述图像处理设备中，也可以在预定图片的解码阶段所述保持装置保持新的参 考图片时，所述生成装置按照被保持在所述保持装置中的时间从久到新的顺序删除所述图 片，并按解码的顺序生成所述保持信息。上述图像处理设备还可以包括解码装置，所述解码装置基于由所述生成装置生成 的所述保持信息来控制保持到所述保持装置中的所述图片，由此解码所述流。在上述图像处理设备中，所述生成装置还可以使用所述头部生成表示所述流中的 所述图片的输出顺序的信息。上述图像处理设备还可以包括存储装置，所述存储装置存储由所述分析装置分析 的所述头部以及由所述生成装置生成的所述保持信息。在上述图像处理设备中，所述存取单元可以包含经编码的图片的实际数据，并且 能够包含能够确定所述图片的解码是否需要参考图片、并在需要时能够确定参考图片的头 部。本发明一个方面的图像处理设备的图像处理方法是与上述本发明一个方面的图 像处理设备相对应的方法。其中，所述图像处理设备包括保持装置，所述保持装置在由包 含头部的存取单元构成的流被解码时保持对作为处理对象的存取单元进行解码所需的参 考图片。所述图像处理方法包括以下步骤分析步骤，用于通过分析所述流来针对每个所 述存取单元检测所述头部；生成步骤，用于当通过所述分析步骤的处理检测出的所述头部 是表示改变图片的删除顺序的头部时，按照所述头部所表示的删除顺序删除包含在与所述 头部相对应的存取单元中的图片，并生成表示保持到所述保持装置中的参考图片的保持信 息。所述生成步骤包括当需要将新的参考图片包含到被保持在所述保持装置中的N个图片 中时按照第一规则生成所述存取单元的保持信息的步骤，其中所述第一规则是按照被保持 在所述保持装置中的时间从久到新的顺序删除图片的规则。
本发明一个方面的信息处理设备包括保持装置，当由多个存取单元构成的流数 据以存取单元为单位被解码时，所述保持装置保持包含对作为处理对象的存取单元进行解 码所需的参考图片的N个图片(N是大于或等于1的整数值)，所述存取单元包含经编码 的图片的实际数据，并且能够包含头部，所述头部能够确定所述图片的解码是否需要参考 图片，并在需要时能够确定参考图片；分析装置，所述分析装置通过分析所述流数据来针对 每个所述存取单元分别检测所述头部；以及生成装置，所述生成装置使用由所述分析装置 按所述存取单元单位检测出的所述头部，针对包含在所述流数据中的每个存取单元生成列 表，所述列表中罗列了表示在解码阶段使所述保持装置保持的所述N个图片的保持信息。本发明一个方面的信息处理设备的图像处理方法是与上述本发明一个方面的图 像处理设备相对应的方法。其中，所述信息处理设备包括保持装置，所述保持装置在由多个 存取单元构成的流数据以存取单元为单位被解码时，保持包含对作为处理对象的存取单元 进行解码所需的参考图片的N个图片(N是大于或等于1的整数值)，所述存取单元包含经 编码的图片的实际数据，并且能够包含头部，所述头部能够确定所述图片的解码是否需要 参考图片，并在需要时能够确定参考图片。所述信息处理方法包括以下步骤分析步骤，用 于通过分析所述流数据来针对每个所述存取单元分别检测所述头部；以及生成步骤，用于 使用通过所述分析步骤的处理按所述存取单元单位检测出的所述头部，针对包含在所述流 数据中的每个存取单元生成列表，所述列表中罗列了表示在解码阶段使所述保持装置保持 的所述N个图片的保持信息。根据本发明的一个方面，能够提高流数据的特殊再现中的响应性。


图1是用于说明AU的一个构成例的图；
图2是对SPS、PPS的ID进行说明的图；图3是对DPB列表的生成进行说明的图；图4是示出应用了本发明的图像处理设备的一个实施方式的一个构成例的图；图5是用于说明作为应用了本发明的图像处理方法的一个例子的流数据再现处 理的流程图；图6是用于说明图5的流数据再现处理中的第一 DPB列表生成处理的流程图；图7是用于说明图5的流数据再现处理中的第一解码处理的流程图；图8是用于说明图5的流数据再现处理中的第二 DPB列表生成处理的流程图；图9是用于说明图5的流数据再现处理中的第二解码处理的流程图；图10是用于说明本发明的效果的图；图11是用于说明本发明的效果的图；图12是用于说明本发明的效果的图；图13是用于说明匪CO的图。
具体实施例方式下面，参考附图，对作为应用本发明的图像处理设备的实施方式的两个实施方式 (下面分别称为第一实施方式和第二实施方式)进行说明。按照以下顺序进行说明。
1.本发明的概要；2.第一实施方式(完整地生成DPB列表的情况)；3.第二实施方式(简单地生成DPB列表的情况)。<1.本发明的概要〉首先，为了易于理解本发明，对应用本发明的方法(下面称为本发明的方法)的概要进行说明。下面，假定按照本发明的方法被执行的处理的动作主体是图像处理设备来进行说 明。在本实施方式中，图像处理设备以流数据为处理对象并以AU(ACCeSS Unit，存取 单元)为单位执行处理。AU是存储与一个图片相应的量的编码数据的单位，例如具有图1所示的结构。如图1所示，AU通过将AU定界符、SPS (Sequence Parameter Set，序列参数 集)、PPS(Picture Parameter Set,图片参数集)、SEI(Supplemental Enhancement Information,附加增强信息)、主图片等按照此顺序配置而构成。其中，对于AU来说必须的构成要素仅是“主图片”，“主图片”即为图片的实际数据。 即，其他构成要素不是必须的，而是根据AU或有或无。AU定界符是表示AU的开头的起始码。AU定界符中例如包含有表示包含在该AU 中的片段的类型的信息(代码名Primary_piC_type)。片段是进行编码的基本单位。另外，主图片由一个以上的片段构成。SPS是包含与序列整体有关的信息的头部。序列是指被压缩编码的流数据全体，其 由多个图片组(Group of Picture，下面称为GOP)构成。例如，SPS中包含有表示流数据的概况的信息(代码名pr0file_idC)和表示流的 级别的信息(代码名:Level_idc) 0另外，例如在SPS中包含有计算POC(Picture Order Count,图片序列号)所需的 信息。POC是表示图片的输出顺序的信息。作为计算POC所需的信息，例如在SPS中包含有 代石马名ρic_order_cnt_type, offset_for_non_ref_pic, num_ref_flame_in_pic_order_ cnt_cycle。另外，SPS中包含有用于确定包含自己的AU属于哪一序列的ID (Identification、 代码名seq_parameter_set_id)。这是因为在AVC中，可以把多个序列放在一个流数据中 处理的缘故。具体而言，在后述的PPS中，通过指定SPS的ID中的号码来识别包含自己的AU属 于哪个序列。PPS是表示图片全体的编码模式的头部。例如，PPS中包含有表示熵编码模式的标记的信息(代码名entr0py_C0rding_ mode_flag)。另外，例如在PPS中包含有计算POC所需的信息。作为计算POC所需的信息，例如 在 PPS 中包含有代码名pic_order_present_flag0另外，例如在PPS中与SPS同样地包含有ID (代码名pic_parameter_set_id)。 另外,例如在PPS中包含有PPS要参考的SPS的ID (代码名seq_parameter_set_id)。
在后面说明的主图片的片段头部中，通过指定PPS的ID中的号码来识别自己所属 的AU属于哪个序列。这样，图像处理设备通过追溯PPS的ID、SPS的ID，可识别某个AU属于哪个序列。 关于PPS的ID、SPS的ID的详细情况，将在后面参考图2进行说明。SEI是表示在VCL(Video Coding Layer，视频编码层)的解码中不是必须的附加 fn息白勺fn息。 例如，SEI中包含有与 HRD (Hypothetical Reference Decoder，虚拟参考解码器) 有关的各图片的定时信息和平移扫描功能，所述平移扫描功能是将解码后的图像的一部分 截取显示的功能。另外，例如在SEI中包含用户独自定义的信息(用户数据)等。如上所述，主图片是图片的实际数据，包括一个以上的片段。例如，一个片段头部 与一个片段关联。片段头部中例如包含规定片段中的第一个宏块地址的信息(代码名first_mb_ in_slice)和规定片段的编码类型的信息(代码名:SliCe_type)。另外，例如在片段头部中包含如上所述指定PPS的ID号的信息(代码名pic_ parameter—set—id)。另外，例如在片段头部中包含计算POC所需的信息。例如在片段头部中包含有 代 石马 名pic_order_Cnt_lsb, delta_pic_order_cntZ_bottom, de1ta_pic_order_cnt, redundant_pic_cnt,作为计算POS所需的信息。图像处理设备在输入了处理对象的流数据时以这样的AU为单位，对流数据进行 分析。首先，图像处理设备从流数据中检测出AU。图像处理设备对AU进行分析，提取并保存例如上述SPS、PPS、片段头部这样的解 码所需的信息。如上所述，提取出的SPS、PPS、以及片段头部中包含有用于求出POC的信息。因此， 图像处理设备基于这些信息计算P0C。并且，图像处理设备还能够根据SPS、PPS、以及片段头部的信息求出DPB (Decoded Picture Buffer，解码图片缓冲器)列表。DPB是用于保存在预测作为解码对象的图片时使用的解码图像的缓冲器。在本说 明书中，作为保存在该缓冲器中的解码图像的列表，采用了 DPB列表的称呼。关于DPB列表 的详细情况，将在后面使用图3进行说明。在AVC中，当解码作为解码对象的图片时，参考DPB中的图片。因此，图像处理设 备需要在解码图片的时刻保持有DPB列表。以往的图像处理设备在每次解码作为解码对象 的一个图片时更新DPB列表。S卩，以往的图像处理设备并没有在解码之前生成DPB列表。与此相对，在本发明中，为了更顺利地进行特殊再现，采用对于不需要的图片不进 行解码的方法。为此，在本发明中采用了在输入流数据时提取出SPS、PPS以及片段头部并 在解码之前预先生成DPB列表的方法。该方法是本发明的方法。 图1是AU的一个构成例。 这里，在说明本发明实施方式之前，为了易于理解本发明，先参考图2对AU中包含 的SPS、PPS的ID进行说明。
另外，SPS, PPS中的ID的种类已被限定。具体而言，SPS的ID是0至31总计32 种。另外，PPS中的ID是0至255总计256种。因此，在包含大量AU的流数据的情况下， 有时也存在ID相同的SPS和PPS的情况。图2是时刻η和η+1中的GOP的一个构成例。η表示大于或等于1的整数值。在图2中，记载在表示SPS、PPS的方框中的记号ID_k(k是大于等于0的整数值， 是各个ID可取的值)表示SPS、PPS的ID。一下，当记载为SPS (ID_k)时，表示是ID = k的 SPS0同样，当记载为PPS (ID_k)时，表示是ID = k的PPS0并且，图2所示的I、B、P分别表示I图片、B图片、P图片。另外I、B、P上添加的 数字是I图片、B图片、P图片的图片号。另外，记载在表示I图片、B图片或P图片的方框中的SPS或PPS的ID表示与该 图片对应的SPS或PPS的ID。具体来说，GOP(η)中与IOl相对应的SPS和PPS的每一个分别是SPS(ID_0)禾口 PPS(ID_0)。另夕卜，GOP(η)中与BOO相对应的SPS和PPS的每一个分别是SPS(ID_0)禾口 PPS(ID_1)。 在图2的例子中，GOP (η)中按编码顺序包含多个AU。S卩，在GOP (η)中，作为第一 AU,包含 SPS (ID_0)、PPS (ID_0)、IOl (SPS (ID_0)、PPS (ID_0))。接着在 DOP (η)中，作为第二 AU,包含 PPS (ID_1)、BOO (SPS (ID_0)、PPS (ID_1))。再接着在 GOP (η)中，作为第三 AU，包含 PPS(ID_2)、P03 (SPS(ID_0)、PPS (ID_2))。另外，在图2的例子中，G0P(n+l)中按编码顺序包含多个AU。S卩，在G0P(n+l)中， 作为第一 AU,包含 SPS (ID_0)、PPS (ID_0)、111 (SPS (ID_0)、PPS (ID_0))。接着在 DOP (η+1) 中，作为第二 AU，包含 PPS (ID_1)、BlO (SPS (ID_0)、PPS (ID_1))。再接着在 GOP (η+1)中，作 为第三 AU,包含 PPS (ID_2)、P13 (SPS (ID_0)、PPS (ID_2))。例如，下面说明在作为图像处理设备的动作而执行按GOP(η)中的Ρ03、GOP(η+1) 中的Ill、G0P(n)中的P03的顺序(如图2所示的1、2、3的顺序)进行显示的动作的情况 下显示显示顺序处于第三个的P图片、P03的情况。这里，P03将IOl作为参考图片。因此，为了解码显示顺序为第一个的P03，图像处 理设备需要首先解码作为参考图片的101，之后再解码P03。因此，图像形成装置按照101、 P03的顺序进行解码。接着，图像处理设备对显示顺序为第二个的111进行解码。111由于是没有参考图 片的图片，因此图像处理设备仅解码111。接着，在图像处理设备解码显示顺序为第三个的P03的情况下，当显示顺序为第 一个的P03已被解码时，IOl作为参考图片也已被解码。因此，IOl的解码后的视频信号已被 保存在图像处理设备的存储器等中。在此情况下，图像处理设备不解码IOl而至解码P03。这里，为了解码显示顺序为第三个的P03，需要GOP(n)中的SPS(ID_0)以及 PPS(ID_2)。但是，AVC中存在以下规则与作为解码对象的AU对应的SPS、PPS只要在该AU被 输入之前输入即可。因此，有时也会在作为解码对象的AU被输入之前很早就已输入了该AU 相对应的SPS、PPS。在以往的AVC中，如果存在相同ID的SPS和PPS，则常常用在后输入的SPS和PPS覆盖。例如，在图2的例子中，由于显示顺序为第二个的111已被解码，因此GOP(n)中的SPS(ID_0)已被G0P(n+l)中的SPS(ID_0)覆盖。因此，尽管P03的解码中需要的是GOP(η) 中的SPS(ID_0)，但却参考GOP(η+1)中的SPS(ID_0)。因此，图像处理设备有时会引起无法 正常解码Ρ03的问题。因此，应用本发明的方法的图像处理设备在保存SPS、PPS以及片段头部的情况 下，即使存在ID相同的SPS、PPS以及片段头部，也不进行覆盖，而是按各个AU独立地进行保存。以上，参考图2，对包含在AU中的SPS、PPS的ID进行了说明。下面参考图3，对在 实现本发明的方法所需的DPB列表生成方法进行说明。图3是用于说明图像处理设备使用DPB列表进行再现的动作的一个例子的图。在图3中，按照从上到下的顺序分别示出了“解码顺序”、“DPB列表”、“缓冲器”、“显 示顺序”、“缓冲器(逆向再现)”、“解码顺序(逆向再现)，，等各项的信息。在“解码顺序”项中示出了构成解码对象的流数据的各个AU(图片)的解码顺序。 艮口，在图3的例子中，“解码顺序”项中示出的图片沿时间轴方向依次被解码。在“DPB列表”项中示出了进行上述解码时的DPB列表。在DPB列表中，表示应在时刻tm+1保存到DPB中的图片的列表需要至少在之前的 时刻tm生成。关于DPB列表的生成方法，将在后面参考图6进行说明。可保存在DPB中的图片的最大数目(下面称为DPB最大图片数)事先已被决定。 例如在本实施方式中，DPB最大图片数假定已由用户任意决定。具体来说，例如在图3的例 子中，DPB最大图片数被决定为4。在“缓冲器”项中示出了保存解码后的图片的缓冲器的保存内容。在该缓冲器中， 分为参考图片和非参考图片来保存解码后的图片。在“显示顺序”项中示出了构成解码对象的流数据的各个AU(图片)的显示顺序。 艮口，在图4的例子中，“显示顺序”项中示出的图片沿时间轴方向被依次显示。在“缓冲器(逆向再现)”项中示出了在反向再现(下面称为逆向再现)流数据时 保存解码后的图片的缓冲器的保存内容。该缓冲器也将解码后的图片分为参考图片和非参 考图片来保存。在“解码顺序(逆向再现)”项中示出了逆向再现时的构成解码对象的流数据的各 个AU(图片)的解码顺序。S卩，在图4的例子中，“解码顺序”项中示出的图片沿与时间轴方 向相反的方向依次被解码。首先，在时刻tl，图像处理设备参考DPB列表中的时刻tl的内容(Il)对Il进行 解码，并将解码后的Il保存在DPB中。此时，在缓冲器中保存Il作为参考图片。接着，在时刻t2，图像处理设备参考DPB列表中的时刻t2的内容(I1、B0)对BO进 行解码，并将解码后的BO保存在DPB中。由此，与DPB列表中的时刻t2的内容相符地，解 码后的I1、B0被保存在DPB中。并且，BO作为非参考图片最新被保存在缓冲器中。接着，在时刻t3，图像处理设备参考DPB列表中的时刻t3的内容(II、P3、B0)对 P3进行解码，并将解码后的P3保存在DPB中。由此，与DPB列表中的时刻t3的内容相符 地，解码后的I1、P3、B0被保存在DPB中。并且，P3作为参考图片最新被保存在缓冲器中。此时，图像处理设备显示BO。P3的解码、P3向DPB以及缓冲器中的保存同时进行。接着，在时刻t4，图像处理设备参考DPB列表中的时刻t4的内容(I1、P3、B0、B2) 对B2进行解码，并将解码后的B2保存在DPB中。由此，与DPB列表中的时刻t4的内容相 符地，解码后的11、P3、BO、B2被保存在DPB中。但是，在图3的例子中，DPB最大图片数被决定为4。因此，此时刻已达到DPB的最 大图片数。由此，图像处理设备删除DPB列表的非参考图片BO、B2中显示顺序更早的B0。 在图3中，用斜线示出了要被删除的图片。另外，在时刻t4，图像处理设备显示12。P3的解码、P3向DPB以及缓冲器中的保 存同时进行。在此后的解码中也同样，图片的解码、解码后的图片的保存以及解码后的图片的 显示被同时进行。在时刻t4的时间点(图像处理设备对B2进行解码的时间点)，DPB列表达到DPB 最大图片数。因此，在时刻t4以后的图片的解码中，必需删除1个图片。图片的删除顺序 是在DPB列表中首先从解码顺序早的非参考图片开始删除。当DPB列表中 没有非参考图片 时，从解码顺序早的参考图片开始删除。接着，在时刻t5，图像处理设备参考DPB列表中的时刻t5的内容(I1、P3、P5、B2) 对P5进行解码，并将解码后的P5保存在DPB中。由此，与DPB列表中的时刻t5的内容相 符地，解码后的I1、P3、P5、B2被保存在DPB中。但是，如上所述，DPB列表已到达DPB最大 图片数，因此从DPB列表中删除作为非参考图片的B2。另外，在时刻t5，P5作为参考图片最新被保存在缓冲器中。如此，图像处理设备基于DPB列表依次解码。接着，对进行逆向再现时的一个解码示例进行说明，逆向再现是特殊再现的一个 例子。例如，假定图像处理设备按照P29、P28、P27…的顺序进行逆向再现。图像显示装 置为了显示P29，需要在顺序再现中对P29进行解码时保存在缓冲器的参考图片中的图片 (图 3 的 A)。即这里需要 I1、P3、I21、P23、P27、P29。然而，当图像处理设备通过逆向再现来显示P29时，在该时间点，缓冲器中已保存 有图3的B所示的11、121、？23、？25、？27、？29』31，而缺少？3。因此，在此情况下，P3被解
码并最新被保存在缓冲器中。如此，当进行逆向再现等特殊再现时，由于要显示的图片的参考图片某种程度上 已被保存在缓冲器中，因此能够以良好的响应性进行再现处理。<2.第一实施方式〉[应用本发明的图像处理设备的构成例]图4是示出应用了本发明的图像处理设备的第一实施方式的构成例的框图。在图4例子的图像处理设备中设置有CPU(Central Processing Unit，中央处 理器)1、北桥芯片(North Bridge) 2、存储器3、HDD (Hard DiskDrive，硬盘驱动器)4、以 及南桥芯片5。另外，在图4例子的图像处理设备中设置有PCI (Peripheral Component Interconnect/Interface，周边组件互连或接口)总线6、数据总线7、以及控制总线8。并 且，在图4例子的图像处理设备中设置有CPU 9、输入分析部10、解码部11、输出部12、以及存储器13。CPU (Central Processing Unit) 1与北桥芯片2连接，例如对存储在HDD 4中的数据的读出等处理进行控制。另外，例如CPU 1生成并输出以下指令用于指示由CPU 9执行的解码的调度、解 码和显示输出的控制等处理的开始、变更或者结束。北桥芯片2与PCI总线6连接，例如基于CPU 1的控制经由南桥芯片5接收存储 在HDD 4中的数据。另外，北桥芯片2将从HDD 4接收的数据经由PCI总线6发送给输出分析部10。 并且，北桥芯片2还与存储器3连接，进行CPU 1的处理所需的数据的收发。存储器3是可对CPU 1所执行的处理所需的数据进行保存的存储用存储器。南桥芯片5控制HDD 4的数据写入和读出。HDD 4中存储有流数据。CPU 9经由控制总线8对输入分析部10、解码部11以及输出部12执行的处理进 行控制。输入分析部10经由PCI总线6与北桥芯片2连接。另外，输入分析部10经由数 据总线7与存储器13连接。并且，输入分析部10经由控制总线8与CPU 9连接。输入分析部10在输入了流数据时依次检测AU。输入分析部10从测出的AU中提取SPS、PPS以及片段头部。输入分析部10将提取的SPS、PPS以及片段头部按每个AU保存在图片信息区域 21。另外，如先前参考图2进行说明的那样，在以往的AVC中，如果存在相同ID的SPS 和PPSJU SPS、PPS以及片段头部可能被在时间上靠后输入的SPS和PPS覆盖，有可能阻碍 正常的解码。因此，在本发明中，即使ID相同，也不对SPS、PPS、以及片段头部进行覆盖，而 是按每个AU保存在图片信息区域21。并且，输入分析部10提取最前头的片段头部，并进行该AU与哪个SPS、PPS相对应 的关联(下面称为SPS、PPS的关联)。另外，输入分析部10对该AU的图片是否是参考图 片进行分析。当该AU的图片是参考图片时，输入分析部10不仅分析最前头的片段头部，还分析 包含在AU中的所有片段头部，并确认有无MMCO (Memory Management Control Operation, 存储管理控制操作)。MMCO是用于更新DPB列表的信息。另外，输入分析部10按照各个AU将提取出的SPS保存在存储器13的SPS区域 22。另外，输入分析部10也按照各个AU将提取出的PPS保存在存储器13的PPS区域23。 这是用于以后能够容易参考SPS、PPS的处理。另外，输入分析部10即使是在将SPS、PPS分别保存在SPS区域22、PPS区域23的 情况下，也与保存在图片信息区域21的情况一样，即使ID相同也不覆盖SPS、PPS,而是按 照各个AU保存在SPS区域22、PPS区域23中。另外，也存在检测出的AU中没有SPS和PPS的情况。此时，输入分析部10向保存 在SPS区域22、PPS区域23中的与检测出的AU相对应的SPS、PPS中记入指针(pointer)。指针也可以记入到保存在流数据区域24的流数据区域24中的SPS和PPS中，而 不是记入SPS区域22、PPS区域23中分别保存的SPS和PPS中。
但是，如上所述，在AVC中存在需要的SPS和PPS被后续输入的其他流数据覆盖的 可能性。因此，在本发明中采用不向流数据记入指针而是向分别保存在SPS区域22、PPS区 域23中的SPS和PPS记入指针的方法。另外，有一种叫做AVCHD(Adcanced Video Codec High Definition，松下株式会社 和索尼株式会社的注册商标)的高清晰度运动图像记录格式。在AVCHD中，SPS和PPS受 到必须位于同一 GOP中的限制。由此，在AVCHD的情况下，也能够将对于SPS和PPS的指针 赋予保存在流数据区域24中的流数据。CPU 9适时地基于保存在图片信息区域21中的SPS、PPS、以及片段头部进行POC 的计算。并且，CPU 9生成DPB列表。POC和DPB列表被保存在图片信息区域21。并且，CPU 9从保存在图片信息区域21中的SPS、PPS以及片段头部还一并取得 DPB最大图片数或要解码的图片是参考图片还是非参考图片等信息。另外，每当解码后得到了 MMCO时，CPU 9更新DPB列表，并更新图片信息区域21的 fn息O解码部11基于CPU 9的控制对接收到的流数据进行解码，输出非压缩的影像信 号。解 码部11能够在比显示1帧的显示时间充分短的时间内解码1帧。解码部11经由数据总线7与存储器13连接。经解码部11解码的非压缩的视频 信号被保存在存储器13的图像信息区域25。解码部11为能够高速解码而被构成为能够并列控制多个解码器11-1至11_N(N 是大于等于1的整数值)。通过解码器11-1至Il-N(N是大于等于1的整数值)被解码的非压缩的视频信号 被保存在作为公用存储器的存储器13的图像信息区域25中，以避免重复对参考图片进行 解码。另外，解码部11也可以被设置为不包含在图像处理设备中的独立的装置。如果CPU 9没有进行DPB列表的生成，则解码部11优先对参考图片进行解码。如果CPU 9正在进行DPB列表的生成，则解码部11如下进行解码。解码部11基于保存在图片信息区域21的DPB列表进行解码。解码部11对于成 为解码对象的AU，基于DPB列表，调查是否有参考图片。如果没有参考图片，则对该作为解码对象的AU进行解码。与此相对，如果作为解 码对象的AU存在参考图片，则解码部11调查该参考图片是否全部完成解码。换句话说，调 查作为解码对象的AU的参考图片是否全部作为解码后的非压缩的视频信号而存在于图像 信息区域25中。如果参考图片全部被解码，则对作为解码对象的AU进行解码。如果参考图片没有 全部被解码，则先对尚未解码的参考图片进行解码，之后对作为解码对象的图片进行解码。解码部11在解码参考图片时，也基于DPB列表，调查有没有该参考图片还要参考 的参考图片。如果有后者的参考图片，则解码部11先对后者的参考图片进行解码，之后对前者 的参考图片进行解码。如果没有后者的参考图片，则解码部11直接解码前者的参考图片。确定解码顺序的基本思路与MPEG2相同。S卩，解码部11优先解码参考图片。优先解码的参考图片被保存在图像信息区域25中，非参考图片在需要显示的时间点由解码部11解码。在上述的AVCHD中存在参考B图片不被用于其他参考图片参考的限制。由此，在AVCHD的情况下，解码部11优先解码I图片和P图片。另外，解码部11 根据需要对参考B图片和非参考图片进行解码。当以这样的顺序进行解码时，在对某个图片进行解码之前，该图片的参考图片已 全部被保存在图像信息区域25中。因此，解码部11能够马上对该图片进行解码。另外，通过将参考图片某种程度上预先保存在图像信息区域25中，CPU 9能够以 良好的响应性进行逆向再现等特殊再现。输出部12输出从存储器13输入的解码后的非压缩视频信号。在特殊再现的情况下，由图中没有示出的输入部通过直接或间接的指示来决定要 输出 的帧。解码部11对所决定的帧进行解码，之后由输出部12基于CPU 9的控制而输出 解码后的非压缩视频信号。当来自输入部的指示为间接指示时，可预测接下来要输出的帧。 因此，在间接指示的情况下，解码部11还依次对可预测的帧进行解码。存储器13例如被构成为包括图片信息区域21、保存SPS的SPS区域22、保存PPS 的PPS区域23、流数据区域24、图像信息区域25。图片信息区域21保存有从输入分析部10输入的SPS、PPS、头部数据等信息。并 且，图片信息区域21保存从CPU 9输入的POC和DPB列表。并且，图片信息区域21还保存 作为解码对象的图片是参考图片还是非参考图片的信息。SPS区域22与图片信息区域21分开独立地保存每个AU的SPS。PPS区域23与图片信息区域21分开独立地保存每个AU的PPS。流数据区域24暂时保存从输入分析部10输入的流数据，并将其提供给解码部11。图像信息区域25保存经解码部11解码的非压缩视频信号。图1所示例子的图像处理设备能够作为系统来构成。这里，系统表示由多个装置 和处理部构成的装置整体。[关于图像处理设备的处理的说明]下面，对由应用了图1所示例子的本发明的图像处理设备再现流数据的处理(下 面称为流数据再现处理)进行说明。图5是用于说明应用本发明的图像处理设备的处理中的流数据再现处理的一个 例子的流程图。在步骤Sl中，CPU 1从HDD 4中读出流数据，并将该流数据输出给输入分析部10。在步骤S2中，CPU 9控制输入分析部10，以针对所输入的流数据生成DPB列表。 下面将这样的步骤S2的处理称为DPB列表生成处理。关于DPB列表生成处理的详细情况， 将在后面参考图6和图8进行说明。在步骤S3中，CPU 9控制解码部11，以基于生成的DPB列表来解码流数据。下面， 将这样的步骤S3的处理称为解码处理。关于解码处理的详细情况，将在后面参考图7和图 9进行说明。由此，流数据被解码，流数据再现处理结束。接着，关于步骤S2的DPB列表生成处理和步骤S3的解码处理，分别按照该顺序进 行详细说明。
图6是示出DPB列表生成处理的详细例子的流程图。为了与后述的DPB列表生成处理的另一例(第二实施方式)清楚地进行区别，将 图6所示例子的DPB列表生成处理特别称为第一 DPB列表生成处理。在步骤Sll中，输入分析部10检测出AU并保存在图片信息区域21。由此，处理进 入到步骤S12。在步骤S12中，输入分析部10判断是否从AU中提取出了 SPS。换句话说，输入分 析部10判断在测出的AU中是否包含有SPS。当输入分析部10提取出了 SPS时，在步骤S12 中判断为“是”，处理进入步骤S13。在步骤S13中，输入分析部10将提取出的SPS保存在SPS区域22中。由此，处理 进入到步骤S14。与此相对，当输入分析部10没有提取出SPS时，在步骤S12中判断为“否”，步骤 S13的处理不被执行，处理进入到步骤S14。在步骤S14中，输入分析部10判断是否从AU中提取出了 PPS。换句话说，判断在检 测出 的AU中是否包含PPS。当输入分析部10提取出了 PPS时，在步骤S14中判断为“是”， 处理进入到步骤S15。在步骤S15中，输入分析部10将提取出的PPS保存在PPS区域23中。由此，处理 进入到步骤S16。与此相对，当输入分析部10没有提取出PPS时，在步骤S14中判断为“否”，步骤 S15的处理不被执行，处理进入到步骤S16。在步骤S16中，输入分析部10判断是否从AU提取出了片段头部。换句话说，判断 在测出的AU中是否包含有片段头部。当输入分析部10提取了片段头部时，在步骤S16中 判断为“是”，处理进入到步骤S19。另外，关于步骤S19之后的处理，将在后面进行说明。与此相对，当输入分析部10没有提取出片段头部时，在步骤S16中判断为“否”，处 理进入到步骤S17。在步骤S17中，输入分析部10将输入进来的流数据保存在流数据区域24中。S卩，由于SPS、PPS、片段头部中的某一个没被提取出，因此输入分析部10不能预先 分析AU。因此，此时CPU 9不会预先生成DPB列表，输入进来的流数据直接被保存在流数据 区域24中。在步骤S18中，输入分析部10判断是否检测出了包含在流数据中的所有AU。当输 入分析部10判断为已检测出包含在流数据中的所有AU时，结束第一 DPB列表生成处理。与此相对，当输入分析部10判断为没有检测出包含在流数据中的所有AU时，处理 返回到S11，重复执行其以后的处理。S卩，重复执行步骤Sll到S17的处理以及后述的步骤S19到S23的处理的循环处 理，直到在步骤S18中输入分析部10判断为已检测出包含在流数据中的所有AU为止。以上是在步骤S16中输入分析部10没有从AU提取出片段头部时的处理。与此相 对，下面说明在输入分析部10从AU提取出了片段头部的情况、即在步骤S16中判断为“是” 从而处理进入到步骤S19中的情况。在步骤S19中，输入分析部10判断提取出的片段头部是否为最前头的片段头部。当输入分析部10判断为提取出的片段头部不是最前头的片段头部时，在步骤S19中判断为“否”，处理进入到步骤S21。关于步骤S21之后的处理，将在后面进行说明。与此相对，当输入分析部10判断为提取出的片段头部是最前头的片段头部时，在 步骤S19中判断为“是”，处理进入到步骤S20。在步骤S20中，CPU 9进行SPS和PPS的关联、POC的计算以及DPB列表的生成。 另外，这里生成的DPB列表是在所述被测出的AU的输入时间点的DPB列表。在步骤S21中，输入分析部10判断测出的AU是否为参考图片。当检测出的AU不 是参考图片时，在步骤S21中判断为“否”，处理进入到步骤S17，并实施其以后的处理。与此相对，当检测出的AU是参考图片时，在步骤S21中判断为“是”，处理进入到步 马聚S22 ο 在步骤S22中，输入分析部10对包含在AU中的所有片段头部进行分析，判断是否 存在MMC0。当AU中没有MMCO时，在步骤S22中判断为“否”，处理进入到步骤S17，并实施 其以后的处理。与此相对，当AU中存在MMCO时，在步骤S22中判断为“是”，处理进入到步骤S23。在步骤S23中，CPU 9基于后述的MMCO的指示来更新DPB列表，处理进入到步骤 S17。如此生成DPB列表，并结束DPB列表生成处理。以上对图5所示例子的流数据再现处理中的、步骤S2的DPB列表生成处理的详细 例子进行了说明。接着，对步骤S3的解码处理的详细例子进行说明。图7是示出解码处理的详细例子的流程图。另外，为了与后述的解码处理的另一例(第二实施方式)清楚地进行区别，将图7 所示例子的解码处理特别称为第一解码处理。在步骤S31中，解码部11指定要显示的帧。在步骤S32中，解码部11基于DPB列表，确认有没有用于对要显示的帧进行解码 所需的参考图片。在步骤S33中，解码部11判断参考图片是否全部被保存在图像信息区域25中。当 参考图片全部被保存在图像信息区域25中时，在步骤S33中判断为“是”，处理进入到步骤 S35。关于步骤S35以后的处理，将在后面进行说明。与此相对，当并非所有的参考图片都被保存在图像信息区域25中时，在步骤S33 中判断为“是”，处理进入到步骤S34。在步骤S34中，解码部11对没被保存在图像信息区域25中的参考图片进行解码。 由此，处理返回到步骤S32，重复其以后的处理。即重复执行步骤S32、步骤S33的“否”、步骤S34的循环处理，直到所有的参考图 片被保存到图像信息区域25为止。当所有参考图片的解码结束、解码后的所有参考图片被 保存在图像信息区域25中时，在步骤S33中判断为“否”，处理进入到步骤S35。在步骤S35中，解码部11开始进行与要显示的帧相对应的图片的解码。在步骤S36中，解码部11将解码后的图片作为要显示的帧输出给图像信息区域 25。在步骤S37中，解码部11判断是否输出了所有要显示的帧。当解码部11判断为已输出了所有要显示的帧时，在步骤S37中判断为“是”，并结束第一解码处理。
与此相对，当解码部11判断为要显示的帧还没有全部输出时，处理返回到步骤 S31，重复其以后的处理。即重复执行步骤S31到S36的处理的循环处理，直到在步骤S37中解码部11判断 为已全部输出要显示的帧为止。以上，参考图5、图6、图7，对应用本发明的图像处理设备中的流数据再现处理的 第一实施方式进行了说明。采用了参考图6说明的DPB列表生成处理和参考图7说明的解码处理的流数据再 现处理是预先完整构建DPB列表的情况下的处理。在第一实施方式的解码处理中，CPU 9不 论有无MMCO都不需要更新DPB列表。与此相对，第二实施方式的流数据再现处理是没有预先完整地构建DPB列表的情 况下的处理，该流数据再现处理采用了参考图8在后说明的DPB列表生成处理和参考图9 在后说明的解码处理。因此，在第二实施方式中，当片段头部中存在MMCO时，CPU 9需要在 解码处理中更新DPB列表。对此，将在后面参考图8和图9进行详细说明。换句话说，第一实施方式是完整地生成DPB列表的方法。与此相对，第二实施方式 是简单地生成DPB列表的方法。<3.第二实施方式>参考图8、图9，对应用了本发明的图像处理设备的第二实施方式进行说明。在第二实施方式中，关于图5流程图中的步骤S2的DPB列表生成处理和步骤S3 中的解码处理安装此顺序进行详细说明。图8是示出DPB列表生成处理的详细例子的流程图。为了与上述的DPB列表生成处理的另一例(第一实施方式)清楚地进行区别，将 图8所示例子的DPB列表生成处理特别称为第二 DPB列表生成处理。图8所示例子的第二 DPB列表生成处理中的步骤S51至步骤S58的处理与图6所 示例子的第一 DPB列表生成处理中的步骤Sll至步骤S18的处理相同。因此省略其说明。并且，图8所示例子中的第二 DPB列表生成处理中的步骤S60到步骤S63的处理与 图6所示例子中的第一 DPB列表生成处理中的步骤S20到步骤S23的处理是相同的处理。 因此，省略该说明。即，图8所示例子的第二 DPB列表生成处理和图6所示例子的第一列表生成处理 只有步骤S59和步骤S19不同。进一步来说，步骤S19和步骤S59判断处理本身是相同的， 只是在判断结果为“否”时处理的前进方向不同而已。因此，下面对图8所示例子的第二DPB 列表生成处理中的步骤S59和图6所示例子的第一 DPB列表生成处理中的步骤S19的差异 进行说明。在图8的步骤S59中，输入分析部10判断提取出的片段头部是否为最前头的片段 头部。当输入分析部10提取出的片段头部不是最前头的片段头部时，在步骤S59中判断为 “否”，处理进入到步骤S57，实施其以后的处理。与此相对，如上所述，在图6的步骤S 19中，当输入分析部10没有提取出最前头 的片段头部时，在步骤S19中判断为“否”，处理进入到步骤S21。即，在图8所示例子的DPB列表生成处理中，当提取出的片段头部不是最前头的片 段头部时，不进行进一步的分析。与此相对，在图6所示例子的DPB列表生成处理中，当提取出的片段头部不是最前头的片段头部、即是最前头以外的片段头部时，进行步骤S21以 后的处理。换句话说，在第一实施方式中，在最前头的片段头部以外的片段头部中也判断其 AU是否为参考图片。并且，在第一实施方式中，通过判断在片段头部中是否有MMCO并更新 DPB列表，来生成完整的DPB列表。与此相对，在第二实施方式中生成简单的DPB列表。以上，对第二实施方式的图5所示例子的流数据再现处理中的步骤S2的DPB列表 生成处理的详细例子进行了说明。下面，对步骤S3的解码处理的详细例子进行说明。图9是示出第二实施方式的解码处理的详细例子的流程图。另外，为了与上述的解码处理的另一例(第一实施方式)清楚地进行区别，将图9 所示例子的解码处理特别称为第二解码处理。图9所示例子的第二解码处理中的步骤S71至步骤S75的处理与图7所示例子的 第一解码处理中的步骤S31至步骤S35的处理相同。
并且，图9所示例子的第二解码处理中的步骤S78、S79的处理与图7所示例子的 第一解码处理中的步骤S36、S37的处理相同。因此，省略其说明。S卩，图9所示例子的第二解码处理和图7所示例子的第一解码处理的差异仅在于 图9所示例子的第二解码处理中的步骤S76、步骤S77。因此，下面对步骤S76、步骤S77进 行说明。在步骤S76中，解码部11判断解码后的图片中是否包含有MMC0。当解码后的图片 包含有MMCO时，处理进入到步骤S77。在步骤S77中，CPU 9基于MMCO对DPB列表进行更新，处理进入到步骤S78。与此相对，在步骤S76中，解码部11在解码后的图片中不包含MMCO时不需要对 DPB列表进行更新。因此，处理进入到步骤S78。S卩，在图9所示例子的解码处理中，没有生成在图8所示例子的DPB列表生成处理 中正确的DPB列表。因此，当解码后的图片中有MMCO时，需要更新DPB列表。以上，参考图8和图9对第二实施方式进行了说明。下面，参考图10至图12对本 发明的第一实施方式、第二实施方式能够起到的效果进行说明。图10中示出了流数据A、B中的解码顺序和显示顺序。流数据A中的解码顺序是I0、P4、Br2、Bl、B3的顺序。另外，流数据A中的显示顺 序是 I0、Bl、Br2、B3、P4 的顺序。流数据B中的解码顺序是I0、P4、Br3、Bl、B2的顺序。另外，流数据B中的显示顺 序是 I0、Bl、B2、Br3、P4 的顺序。在图10以后的图中，I、P如参考图2所说明的那样分别表示I图片和P图片。另 夕卜，Br表示参考B图片，B表示非参考B图片。在不是应用本发明的图像处理设备的情况下，即在不预先求出POC和DPB列表的 情况下(下面将该情况称为以往的情况)，图像处理设备仅取得流数据的图片的种类信息。因此，在以往的情况下，对于流数据A、B中的任一个，部只能得到是解码顺序为I、 P、Br、B、B的图片的信息。此时，例如假定用户有“想显示第三个图片(在流数据A中为Br2，在流数据B中 为B2”的期望。
在以往的情况下，仅基于指示解码顺序为I、P、Br、B、B的信息，将有多种可能的显示顺序可应对上述期望。由此，图像处理设备需要一边针对每个图片依次求出P0C，一边进 行解码。因此，在以往的情况下，图像处理设备不能迅速地应对用户的期望。但是，在应用了本发明的图像处理设备的情况下，即在预先求出POC和DPB列表的 情况下(下面将该情况称为本发明的情况)，先明确P0C。因此，可事先辨别所述解码顺序为I、P、Br、B、B的流数据的显示顺序例如是具有 流数据A的构成还是具有流数据B的构成。由此，图像处理设备可通过所需最低限度的解 码(在流数据B的情况下，I0、P4、Br3、B2)来显示第三个图片B2。换句话说，在本发明的 情况下，图像处理设备能够迅速应对用户的期望。图11的A是AVC的流数据的解码顺序的一个例子及其DPB列表。另外，在图11 的B中，用箭头示出了图11的A的流数据的各个图片中的、参考图片的依赖关系。图11的A所示例子的流数据的解码顺序与MPEG2中的通常的解码顺序大致相同， 其相对于MPEG2中的通常的解码顺序的不同点在于使用了在AVC标准中添加的参考B图 片Br。另外，在图11的B所示例子的参考图片的依赖关系中设有I图片、P图片不参考B 图片的限制。在此情况下，即使不预先求出POC和DPB列表，只通过图片的种类以及是参考图片 还是非参考图片的信息，解码部11就能够先解码I图片和P图片。与此相对，图12的A是AVC的流数据的解码顺序的另一例子及其DPB列表。另外， 在图12的B中，用箭头示出了图12的A的流数据的各个图片中的、参考图片的依赖关系。图12的A所示例子的流数据的解码顺序与如图11的A所示的MPEG2中的通常的 构成不同，该解码顺序为P、Br、Br、B、P。在此情况下，仅通过图片的种类以及是参考图片还是非参考图片的信息是难以预 测显示顺序的。由此解码部11不能先只解码I图片和P图片。例如，在图12的例子中，当解码Pll时，需要P5、Br6、P8的DPB列表。但是，在以 往的情况下，由于图像处理设备无法预先生成DPB列表，因此在解码Br6的时间点不清楚要 删除哪个图片才好。因此，在以往的情况下，有可能生成错误的DPB列表。其结果是，之后 的解码可能无法正常地进行。在本发明的情况下，由于预先生成有正确的DPB列表，因此即使在图12的例子中， 图像处理设备也能正常地进行解码。接着，参考图13，对存在MMCO时的DPB列表的生成进行说明。图13的A是AVC的流数据的解码顺序的一个例子及其DPB列表。另外，在图13 的B中，用箭头示出了图13的A的流数据的各个图片中的参考图片的依赖关系。图13的A所示的流数据的解码顺序与图12的A所示例子的流数据的解码顺序相 同。图13的A相对于图12的A的不同点在于Br6中存在MMCO。在图13的A中，当Br6中没有MMCO时，CPU 9在DPB列表的生成中删除P5、Br3、 P8中的Br3。但是，当存在MMCO时，CPU 9遵从MMCO的指示。例如在该例子中，假定存在 删除P8并将Br3留在DPB列表中的MMCO的指示。此时，图13所示例子的解码顺序与图11例子的解码顺序相同，但B7以后的DPB列表完全不同。从而，在这种情况下，需要基于MMCO的指示对DPB进行更新操作，即生成完 整的DPB列表。应用本发明的图像处理设备的输入分析部10能够从流数据中检测出AU，预先提 取出SPS、PPS、片段头部这样的解码所需的信息并保存这些信息。CPU 9能够基于这些信息 预先生成DPB列表。在应用本发明的图像处理设备中，通过在解码之前生成DPB列表，可通过所需最 低限度的解码来再现流数据。在应用本发明的图像处理设备中，通过在解码之前预先计算P0C，可提高进行流数 据的特殊再现时的响应性。上述一系列的处理既可以通过硬件来执行，也可以通过软件来执行。当通过软件 来执行一系列的处理时，构成该软件的程序被安装到计算机中。这里，计算机包括被组装在 图4的图像处理设备专用的硬件中的计算机、或通过安装各种程序可执行各种功能的例如 通用的个人计算机等。在被组装于图4的图像处理设备专用的硬件中的计算机中，上述一系列的处理由 CPU 1例如通过执行以下动作而进行。S卩，例如CPU 1将存储在存储器3中的程序下载到图 中没有示出的RAM (Random AccessMemory，随机存取存储器)来执行，由此上述一系列的处 理被进行。
计算机(CPU 1)所执行的程序例如能够记录在作为包介质等的移动介质33中来 提供。另外，程序能够通过局域网、因特网、数字卫星广播等有线或无线的传输介质来提供。在计算机中，通过将移动介质33安装到驱动器32中，程序能够安装到存储器3或 HDD 4中。另外，程序能够经由有线或无线的传输介质被通信部31接收并被安装到存储器 3和HDD 4等中。除此之外，程序还能够预先安装在存储器3或HDD 4等中。计算机所执行的程序既可以是按照本发明中说明的顺序以时间序列进行处理的 程序，也可以是并列执行处理、或者在必要的定时例如在被调出时等执行处理的程序。
权利要求
一种图像处理设备，包括保持装置，当解码由包含头部的存取单元构成的流时，所述保持装置保持对作为处理对象的存取单元进行解码所需的参考图片；分析装置，所述分析装置通过分析所述流来针对每个所述存取单元检测所述头部；以及生成装置，当由所述分析装置检测出的所述头部是表示改变图片的删除顺序的头部时，所述生成装置按照所述头部所表示的删除顺序删除包含在与所述头部相对应的存取单元中的图片，并生成表示保持到所述保持装置中的参考图片的保持信息，其中，当需要将新的参考图片包含到被保持在所述保持装置中的N个图片中时，所述生成装置按照第一规则生成所述存取单元的保持信息，所述第一规则是按照被保持在所述保持装置中的时间从久到新的顺序删除图片的规则。
2.如权利要求1所述的图像处理设备，其中，所述头部的种类包括包含有与所述流整体的编码有关的信息的第一头部；包含有与 所述图片整体的编码有关的信息的第二头部、以及包含有表示改变所述图片的删除顺序的 信息的第三头部。
3.如权利要求2所述的图像处理设备，其中，当所述分析装置检测出所述第三头部时，所述生成装置按照第二规则生成所述保持信息，所述第二规则是按照由该头部指定的 删除顺序删除图片。
4.如权利要求1所述的图像处理设备，其中，当在预定图片的解码阶段所述保持装置保持新的参考图片时，所述生成装置按照被保 持在所述保持装置中的时间从久到新的顺序删除所述图片，并按解码的顺序生成所述保持 fn息ο
5.如权利要求ι所述的图像处理设备，其中，还包括解码装置，所述解码装置基于由所述生成装置生成的所述保持信息来控制保持 到所述保持装置中的所述图片，由此解码所述流。
6.如权利要求1所述的图像处理设备，其中，所述生成装置还使用所述头部生成表示所述流中的所述图片的输出顺序的信息。
7.如权利要求1所述的图像处理设备，其中，还包括存储装置，所述存储装置存储由所述分析装置分析的所述头部以及由所述生成 装置生成的所述保持信息。
8.如权利要求1所述的图像处理设备，其中，所述存取单元包含经编码的图片的实际数据，并且能够包含能够确定所述图片的解码 是否需要参考图片、并在需要时能够确定参考图片的头部。
9.一种图像处理设备的图像处理方法，其中，所述图像处理设备包括保持装置，所述保 持装置在由包含头部的存取单元构成的流被解码时保持对作为处理对象的存取单元进行 解码所需的参考图片，所述图像处理方法包括由所述图像处理装置执行的以下步骤分析步骤，用于通过分析所述流来针对每个所述存取单元检测所述头部；生成步骤，用于当通过所述分析步骤的处理检测出的所述头部是表示改变图片的删除顺序的头部时，按照所述头部所表示的删除顺序删除包含在与所述头部相对应的存取单元中的图片，并生成表示保持到所述保持装置中的参考图片的保持信息；所述生成步骤包括当需要将新的参考图片包含到被保持在所述保持装置中的N个图片中时按照第一规则生成所述存取单元的保持信息的步骤，其中所述第一规则是按照被保 持在所述保持装置中的时间从久到新的顺序删除图片的规则。
10.一种信息处理设备，包括保持装置，当由多个存取单元构成的流数据以存取单元为单位被解码时，所述保持装 置保持包含对作为处理对象的存取单元进行解码所需的参考图片的N个图片，其中N是大 于或等于1的整数值，所述存取单元包含经编码的图片的实际数据，并且能够包含头部，所 述头部能够确定所述图片的解码是否需要参考图片，并在需要时能够确定参考图片；分析装置，所述分析装置通过分析所述流数据来针对每个所述存取单元分别检测所述头部；以及生成装置，所述生成装置使用由所述分析装置按所述存取单元单位检测出的所述头 部，针对包含在所述流数据中的每个存取单元生成列表，所述列表中罗列了表示在解码阶 段使所述保持装置保持的所述N个图片的保持信息。
11.一种信息处理设备的信息处理方法，其中，所述信息处理设备包括保持装置，所述 保持装置在由多个存取单元构成的流数据以存取单元为单位被解码时，保持包含对作为处 理对象的存取单元进行解码所需的参考图片的N个图片，其中N是大于或等于1的整数值， 所述存取单元包含经编码的图片的实际数据，并且能够包含头部，所述头部能够确定所述 图片的解码是否需要参考图片，并在需要时能够确定参考图片，所述信息处理方法包括由信息处理设备执行的以下步骤分析步骤，用于通过分析所述流数据来针对每个所述存取单元分别检测所述头部；以及生成步骤，用于使用通过所述分析步骤的处理按所述存取单元单位检测出的所述头 部，针对包含在所述流数据中的每个存取单元生成列表，所述列表中罗列了表示在解码阶 段使所述保持装置保持的所述N个图片的保持信息。
全文摘要
本发明提供能够提高针对流数据的特殊再现的响应性的图像处理设备和方法、以及信息处理设备和方法。输入分析部(10)对输入的流数据预先提取片段头部、SPS、以及PPS，并在保存到图片信息区域(21)的同时，还将SPS、PPS分别保存到SPS区域(22)、PPS区域(23)中。片段头部、SPS、以及PPS中包含计算POC以及生成DPB列表所需的数据。CPU(9)基于由输入分析部(10)提取的片段头部、SPS、以及PPS进行POC的计算以及DPB列表的生成。解码部(11)基于预先生成的DPB列表来实施解码处理。本发明能够应用在MPEG4 Part10AVC的流数据再现装置中。
文档编号H04N7/50GK101841708SQ20101013507
公开日2010年9月22日 申请日期2010年3月11日 优先权日2009年3月18日
发明者上原健志, 小籔恭平, 渕江孝明 申请人:索尼公司