运动图像解码装置以及运动图像解码方法

专利名称：运动图像解码装置以及运动图像解码方法
技术领域：
本发明涉及运动图像解码装置以及运动图像解码方法，其对根据进行 帧间预测的编码标准来编码后的编码图像进行解码。
背景技术：
在以往的技术中，作为利用针对运动图像数据的帧间差分的压缩编码
(以下，简单地称为"编码")技术中有，MPEG(Moving Picture Expert Group : 运动图像专家组)编码技术(参照非专利文献1)。并且，在近些年，采用了实 现高压缩的R264(参照非专利文献2)，以作为编码标准。
并且，在作为针对运动图像数据的编码以及解码的要素技术的帧间预 测中，由于利用已解码的图像的信息预测像素值，因此需要存储已解码的 图像的存储器。在以往的技术中，因需要的存储容量或芯片面积的关系， 而将该存储器设置在包括解码部等的系统LSI的外部(参照专利文献1)。
被存储到外部存储器的图像是正在解码中的图像、有可能正在解码中 的图像将要参考的图像以及被输出到显示部的图像的全部。
据此，除了将正在解码中的图像写入到外部存储器的处理以外，还需 要以下的工作等，S卩，为了进行帧间预测而将已解码的图像从外部存储器 依次读入到解码部。
尤其在后者的为了进行帧间预测而依次读入已解码的图像的处理中， 数据的传输频度以及传输量非常大。因此，存在的问题是，导致外部存储 器的存取带宽的增大，并且，因需要作为外部存储器的高速存储器而使成 本变高。
对此，在近些年，内置在系统LSI中的大容量存储器(EmbeddedDRAM) 的实用化进展了，并开发了以下的技术，即，除了外部存储器以外，还利 用内部存储器，从而减少存取外部存储器。
在专利文献2中公开了以下的技术，即，在MPEG编码处理中，通过 将用于运动检索处理的数据写入到内部存储器以及外部存储器两者，并将需要的数据配置在广频带的内部存储器，从而提高运动检索处理的处理效
率(参照专利文献2)。
专利文献1 :(日本)特开2004—215049号公报 专利文献2 :(日本)特开2002—218474号公报
非专利文献1 : ITU—T劝告H.262 "Information technology — Gener ic coding of moving pictures and associated audio information: Video "
非专利文献2 : ITU—T劝告H.264 "Advanced video coding for generic audiovisual services"
在所述专利文献2中说明了，在编码处理中，在内部具有存储参考图 像的帧存储器的情况下的结构。
在将这些结构应用到解码处理的情况下，在H.264标准中，将已解码 的数据，即将帧间预测所需要的图像的数据，为了利用于帧间预测而写入 到内部存储器，与此同时，为了输出到显示器等的外部装置而写入到外部 存储器。
在此情况下存在的问题是，由于在内部存储器中记忆正在解码中的图 像和正在解码中的图像所需要的能够参考的图像，因此导致内部存储器所 需要的容量增加。

发明内容
鉴于所述以往的问题，本发明的目的在于提供一种运动图像解码装置， 其利用帧间预测对编码图像进行解码，并且，不使解码所需要的存储容量 增加而高效率地进行解码处理。
为了解决所述以往的问题，本发明的运动图像解码装置，对具有编码 图像的运动图像数据进行解码，该编码图像是通过编码方式进行编码而得 到的编码图像，该编码方式是指最多参考n幅的图像来进行帧间预测的编 码方式，n为2以上的整数，所述运动图像解码装置，包括解码单元，利 用帧间预测对所述运动图像数据中包含的编码图像进行解码；第一记忆单 元，保持通过所述解码单元得到的已解码图像，以使通过所述解码单元得 到的已解码图像被输出到外部；第二记忆单元，能够存储n幅已解码图像， 该n幅已解码图像是在所述解码单元进行帧间预测时能够参考的n幅已解 码图像；以及传输单元，将已解码图像从所述第一记忆单元传输到所述第二记忆单元，使得在由所述解码单元对一幅编码图像开始进行解码之前所
述n幅己解码图像被存储在所述第二记忆单元。
根据该结构，解码单元参考的最多n幅己解码图像，在该解码前，从 第一记忆单元被传输到第二记忆单元，该第二记忆单元是解码单元进行帧 间预测时的参考目标。
因此，不需要像以往的技术那样在对某个编码图像正在进行解码中将 该解码结果的数据蓄积到第二记忆单元。
也就是，本发明的运动图像解码装置能够，只将解码对象的编码图像 能够参考的已解码图像，记忆到作为帧间预测时的参考目标的第二记忆单 元。据此，能够防止第二记忆单元的必要容量增大。
具体而言，能够将第二记忆单元的容量变为能够存储n幅已解码图像 的容量。
并且，解码单元，只要向第二记忆单元存取，就能够取得应该参考的 所有的已解码图像。因此，能够高效率地进行解码处理。
例如，在以集成电路的一个功能来实现解码单元的情况下，能够不使 该集成电路具有的内部存储器的容量增加，而将该内部存储器作为第二记 忆单元来使用。据此，能够高速地执行伴随帧间预测的解码处理。
并且，也可以是，所述第一记忆单元，在所述解码单元对编码图像进 行解码期间，依次蓄积通过所述解码单元得到的已解码数据，从而保持构 成已解码图像的所有的数据，该已解码图像是所述编码图像的解码结果， 所述传输单元，在对所述一幅编码图像开始进行解码之前，且在按照解码 顺序所述一幅编码图像的前一幅编码图像的解码结束后，幵始传输所述n 幅已解码图像中的一幅已解码图像。
根据该结构，在未进行解码处理的期间，即在从解码单元向第一记忆 单元未传输已解码的数据的期间，能够将已解码图像传输到第二记忆单元。 因此，能够使运动图像解码装置高效率地工作。
并且，也可以是，所述传输单元，在所述传输中，将已解码图像从所 述第一记忆单元传输到所述第二记忆单元，该已解码图像是所述n幅已解 码图像中的一幅，也是所述前一幅编码图像的解码结果。
如此，在某个图像的解码结束后，只将该解码后的图像的数据从第一 记忆单元传输到第二记忆单元，从而能够更减少从第一记忆单元向第二记忆单元的数据传输量。
并且，也可以是，本发明的运动图像解码装置，还包括判断单元， 判断在对所述一幅编码图像进行解码时，多个已解码图像的每一个是否被 参考，所述传输单元，将已解码图像从所述第一记忆单元传输到所述第二
记忆单元，使得在对所述一幅编码图像开始进行解码之前n幅已解码图像 被存储在所述第二记忆单元，该n幅已解码图像是由所述判断单元判断为 在对所述一幅编码图像进行解码时被参考的n幅己解码图像。
根据该结构，只实际参考的已解码图像被存储到第二记忆单元。因此， 能够减少数据传输所需要的处理负荷。
并且，也可以是，所述传输单元，只将n幅已解码图像中的所述第二 记忆单元未存储的已解码图像从所述第一记忆单元传输到所述第二记忆单 元，该n幅已解码图像是由所述判断单元判断为在对所述一幅编码图像进 行解码时被参考的n幅已解码图像。
根据该结构，传输单元，不会将已经存储在第二记忆单元的已解码图 像，从第一记忆单元传输到第二记忆单元。也就是，数据传输所需要的处 理效率会提高。
并且，也可以是，所述解码单元和所述第二记忆单元在一个集成电路 中，所述第一记忆单元被配置在所述集成电路的外部。
根据该结构，通过将集成电路的内部存储器作为第二记忆单元使用， 从而能够实现高速地进行解码处理的运动图像解码装置。
并且，也可以是，所述运动图像数据具有的编码图像是通过所述编码 方式进行编码而得到的1920像素X 1080像素的图像的数据，所述编码方式 是指H.264标准所规定的、最多参考四幅图像来进行帧间预测的编码方式， 所述解码单元，参考从所述第一记忆单元被传输到所述第二记忆单元的四 幅已解码图像中的一幅以上的已解码图像来对所述编码图像迸行解码。
根据该结构，能够实现运动图像解码装置，该运动图像解码装置是对 根据H.264标准高效率地被压缩编码的运动图像数据进行解码的装置，也 是不增加解码所需要的记忆容量而适当地进行解码处理的装置。
并且，本发明的再生装置，再生运动图像数据，所述再生装置，包括 权利要求1所述的运动图像解码装置；输入单元，接受所述运动图像数据 的输入，并将其提供给所述运动图像解码装置；以及显示单元，依次显示从所述第一记忆单元输出的多个已解码图像。
据此，能够实现再生装置，该再生装置不增加解码所需要的记忆容量 而高效率地解码并再生运动图像数据。
并且，本发明的运动图像解码装置，对具有编码图像的运动图像数据 进行解码，该编码图像是通过编码方式进行编码而得到的编码图像，该编
码方式是指最多参考n幅的图像来进行帧间预测的编码方式，n为2以上的 整数，所述运动图像解码装置，包括解码单元，利用帧间预测对所述运 动图像数据中包含的编码图像进行解码；第一记忆单元，保持通过所述解 码单元得到的已解码图像，以使通过所述解码单元得到的已解码图像被输 出到外部；第二记忆单元，存储n幅已解码图像，该n幅已解码图像是在 所述解码单元进行帧间预测时能够参考的n幅已解码图像；以及传输单元， 将已解码图像从所述第二记忆单元传输到所述第一记忆单元，该已解码图 像是所述第二记忆单元所存储的一幅以上的已解码图像中的、应该在所述 第一记忆单元所存储的已解码图像后被显示的已解码图像。
根据该结构，能够将被参考的己解码图像存储到第二记忆单元，并按 照出图的时机将已解码图像从第二记忆单元传输到第一记忆单元。
因此，只要在各个编码图像的解码时向第二记忆单元存取，就能够取 得参考图像，并且，比以往更减少第一记忆单元所需要的容量。
而且，也能够以集成电路来实现本发明，该集成电路包括本发明的运 动图像解码装置的特征的构成部。在此情况下，能够使用该集成电路具有 的内部存储器以作为第二记忆单元，使用配置在该集成电路外部的外部存 储器以作为第一记忆单元。
而且，能够以将本发明的运动图像解码装置的特征的构成部的工作作 为步骤的运动图像解码方法来实现本发明，也能够以用于使计算机执行这 些步骤的程序来实现本发明，还能够以记录有该程序的记录介质来实现本 发明。
而且，也能够将该程序通过因特网等传输介质或DVD等记录介质分发。
本发明的运动图像解码装置，只将解码对象的编码图像能够参考的图 像，记忆到参考目标的第二记忆单元。据此，能够防止第二记忆单元的容 量增大。因此，本发明能够提供运动图像解码装置以及运动图像解码方法，其 利用帧间预测对编码图像进行解码，并且，不增加解码所需要的记忆容量 而高效率地进行解码处理。


图l是示出本发明的实施例1中的运动图像解码装置的主要功能结构 的功能框图。
图2是示出H.264解码器的主要功能结构的功能框图。 图3是实施例1中的运动图像解码装置的处理的流程图。 图4是示出H.264流的阶层构造的图。
图5是实施例1的运动图像解码装置中的解码处理的时序图的一个例子。
图6是示出本发明的实施例2中的运动图像解码装置的主要功能结构 的功能框图。
图7是实施例2中的运动图像解码装置的处理的流程图。 图8是示出连续的图像序列的一个例子的图。 图9是示出图像的编码顺序和显示顺序的对应关系的图。 图10是示出本发明的实施例3中的运动图像解码装置的主要功能结构 的功能框图。
图11是实施例3中的运动图像解码装置的处理的流程图。
图12是包括利用本发明的集成电路的编码图像的再生装置的结构图。
附图标记
10、 20、 30运动图像解码装置 50、 60、 70系统LSI
100、600、900 H.264解码器
101、601、901第一传输部
102、602、902第二传输部
103、603、903第三传输部
104、604、904出图部
105、605、905编码数据提供部106、 606、 906内部存储器
107、 608、 908外部存储器 200编码流缓冲器
201可变长解码部 202逆量化部 203帧间预测部 204帧内预测部 205解块滤波部 206解码图像缓冲器 607、 907判断部 1000再生装置 1100电路板 1105显示部 1110流输入部 1111外部输出部
具体实施例方式
以下，参照

本发明的实施例。 (实施例1)
图1是示出本发明的实施例1中的运动图像解码装置10的主要功能结 构的功能框图。
以下，利用图1说明实施例1中的运动图像解码装置10的结构。 如图1示出，实施例1的运动图像解码装置10包括系统LSI50、和配
置在系统LSI50外部的外部存储器107。
系统LSI50具有H.264解码器100、第一传输部101、第二传输部102、
第三传输部103、出图部104、编码数据提供部105、以及用于帧间预测的
内部存储器106。
也就是，在一个LSI(Large Scale Integration :大规模集成电路)中包括 这些要素，从而构成系统LSI50。
外部存储器107是本发明的运动图像解码装置中的第一记忆单元的一 个例子，也是存储编码图像以及已解码图像的数据的存储器。也就是一种存储器，其保持解码对象的编码图像，并且保持通过H.264解码器100得 到的已解码图像，以使通过H.264解码器100得到的已解码图像被输出到 外部。
内部存储器106是本发明的运动图像解码装置中的第二记忆单元的一 个例子，也是能够存储在通过H.264解码器100进行帧间预测时能够参考 的n幅已解码图像的存储器。
而且，该n是编码标准所规定的能够参考的最多幅数，在本实施例中， 能够存储四幅HD(High Definition :高清晰度)图像(1920像素X 1080像素)。
编码数据提供部105是一种处理部，读取外部存储器107所存储的编 码数据，并将其提供给H.264解码器100。
H.264解码器100是本发明的运动图像解码装置中的解码单元的一个 例子，也是利用帧间预测对运动图像数据中包含的编码图像进行解码的处 理部。
具体而言，H.264解码器100是利用帧间预测处理算法的H.264编码流 的解码电路。对于H.264解码器100，在后面利用图2进行详细说明。
第一传输部101是将通过H.264解码器100得到的已解码图像的数据 传输到外部存储器107的处理部。
而且，在本说明书以及权利要求书中，"传输"是作为包含"复制"的 广义概念来使用，所述"复制"是指在原来的地方保留信息的状态下将该 信息复制到其它的地方。
第二传输部102是本发明的运动图像解码装置中的传输单元的一个例 子，也是将外部存储器107所存储的已解码图像的数据复制到内部存储器 106的处理部。
第三传输部103是将内部存储器106所存储的已解码图像的数据复制 到H.264解码器100的处理部。
而且，第一传输部101是本发明的集成电路中的第一传输单元的一个 例子，第二传输部102是本发明的集成电路中的第二传输单元的一个例子。
如此，第一传输部101、第二传输部102以及第三传输部103分别是， 在构成要素之间复制数据时所使用的。并且，内部存储器106所存储的已 解码图像是，在以后的图像的解码时被参考的。
具体而言，内部存储器106，通过从第二传输部102接受外部存储器107所存储的已解码图像的数据，从而存储用于帧间预测处理的已解码图像
的数据。
而且，在本实施例中，所有的已解码图像通过第二传输部102从外部 存储器107被复制到内部存储器106，其处理是在下一个编码图像的解码开 始之前进行的。
而且，在R264解码器IOO利用帧间预测来进行解码时，内部存储器 106所存储的数据中实际上用于参考的数据通过第三传输部103被复制到 H.264解码器100。
出图部104是一种处理部，读取外部存储器107所存储的已解码图像 的数据，并将其输出到外部显示器。据此，在与运动图像解码装置10连接 的外部显示器上显示已解码图像。
其次，利用图2说明11.264解码器100的结构。
图2是示出R264解码器100的主要功能结构的功能框图。
如图2示出H.264解码器100具有存储编码流的编码流缓冲器200、可 变长解码部201、逆量化部202、帧间预测部203、帧内预测部204、解块 滤波部205、以及写出已解码图像的解码图像缓冲器206。
编码流缓冲器200是临时保持所输入的运动图像数据的缓冲器。具体 而言，H.264的编码流被输入到编码流缓冲器200。
可变长解码部201是对所输入的编码流实施可变长解码处理的处理部。 逆量化部202是对通过可变长解码部201得到的数据进行逆量化处理以及 逆整数变换处理的处理部。
帧间预测部203是进行帧间预测处理的处理部，帧内预测部204是进 行帧内预测处理的处理部。
具体而言，根据通过可变长解码部201得到的值，来判断在解码该图 像时进行帧内预测处理、还是进行帧间预测处理。根据其判断结果，通过 帧间预测部203或帧内预测部204的任一方进行预测处理。
解块滤波部205是对通过帧间预测部203或帧内预测部204得到的数 据实施滤波处理的处理部。
解码图像缓冲器206是临时保持进行了滤波处理的数据的缓冲器。
解码图像缓冲器206所蓄积的数据，通过第一传输部101被传输到外 部存储器107。也就是，外部存储器107，也用于存储11264解码器100所解码的己解码图像。
其次，说明具有图1以及图2示出的结构的运动图像解码装置10中的
H.264解码器100的解码处理的顺序。
在外部存储器107存储有作为解码对象的H.264编码后的运动图像数 据的情况下，首先，该运动图像数据通过编码数据提供部105被提供到 H.264解码器100。
H.264解码器100，将从编码数据提供部105接受的运动图像数据存储 到编码流缓冲器200，并利用可变长解码部201进行可变长解码处理。
根据通过可变长解码处理解码后的信息，在判断为解码对象的图像是 不利用帧间预测的图像的种类的情况下，然后通过逆量化部202进行逆量 化处理以及逆整数变换处理。
在解码对象的图像是利用帧间预测的图像的情况下，并且，在作为解 码单位的宏块(以下，也表示为"MB")是利用帧间预测的MB的情况下， 利用第三传输部103从存储有已解码图像的数据的内部存储器106中取得 已解码图像的数据。所取得的数据被输入到帧间预测部203。
帧间预测部203，利用该己解码图像的数据进行帧间预测处理。从帧间 预测部203输出的数据，经过解块滤波部205被存储到解码图像缓冲器206。
并且，在解码对象的MB是进行帧内预测的MB的情况下，通过帧内 预测部204进行帧内预测处理后，被解码的数据经过解块滤波部205被存 储到解码图像缓冲器206。
解码图像缓冲器206所存储的数据，通过第一传输部101被传输到外 部存储器107。
在此，在通过R264解码器IOO对图像进行解码后，在H.264解码器 100不工作的期间，第一传输部101也不传输数据。
并且，在已解码图像的数据被写入到外部存储器107的情况下，在下 一个编码图像的解码开始之前，即在未进行通过H.264解码器100的解码 处理的期间，利用第二传输部102将有可能在下一个解码中被参考的图像 的数据复制到内部存储器106。
而且，在本实施例中，所有的已解码图像从外部存储器107被传输到 内部存储器106，以作为有可能被参考的图像。
并且，对于被传输到内部存储器106的已解码图像，根据此后将要被解码的编码图像的图像头(pictureheader)所示的信息来被判断是否需要。因 此，被判断为此后不被参考的己解码图像，即被判断为不需要保留时的已 解码图像，从内部存储器106中被删除。
通过其处理，如上所述，在出现以后的解码处理时利用帧间预测的MB 的情况下，内部存储器106存储有帧间预测所需要的参考图像的数据，该 内部存储器106是帧间预测时的参考目标。
因此，H,264解码器100，不需要向外部存储器107存取。 一般而言， 向系统LSI的内部存储器的存取能够比向位于外部的存储器的存取更高速 地进行。
因此，运动图像解码装置10，不利用高速的外部存储器107，而只向 配置在系统LSI50内部的内部存储器160存取，从而能够进行帧间预测处 理。
而且，外部存储器107所存储的已解码图像，通过出图部104从外部 存储器107中被读出后，被输出到外部显示器。据此，在外部显示器上显 示包含该图像的运动图像。
对于如上所述的解码处理的流程，利用图3的流程图进行说明。 图3是实施例1中的运动图像解码装置10的处理的流程图。 首先，R264解码器100处于初始状态，即处于等待图像解码处理开始 的状态(S300)。
在该状态下，例如根据用户的指示，开始解码图像。具体而言，首先， 称为图像头的数据由可变长解码部201解码，该图像头存储有使编码流中 包含的图像整体具有特征的信息(S301)。
在图像头的解码结束的情况下，然后进行称为切片头(sliceheader)的数 据的解码处理(S302)。
在R264标准中，从通信路径的抗错性等的观点来， 一幅图像被分割 为称为切片的多个单位。
图4是示出H.264流的阶层构造的图。
如图4示出，切片是将一个画面的图像以带状来分割为#1至#11的，各 个切片由多个宏块(MB)构成。
MB是16X16像素的编码以及解码的单位。也就是，切片是典型的16 线的MB的条带。而且，也能够跨过多个线来构成单一切片。在此情况下，切片由16X n(n是自然数)的MB的条带构成。切片头是配置在包含多个MB的切片的 开头的数据，也是在切片内的宏块共通的参数被编码的数据。
在H,264解码器100，在切片头的解码结束的情况下，然后由可变长解 码部201对MB的头部的解码开始(S303)。
在MB的头部中包含该MB的详细信息的数据被编码，通过解释该数 据，从而能够判定该MB是进行帧间预测的MB还是进行帧内预测的 MB(S304)。
在该MB是进行帧内预测的MB的情况下，帧内预测部204对该MB 进行帧内预测处理(S307)。从帧内预测部204输出的数据，经过解块滤波部 205的解块处理，被存储到解码图像缓冲器206。
解码图像缓冲器206所存储的数据，通过第一传输部101被传输到外 部存储器107(S308)。
另一方面，在该MB是利用帧间预测处理的MB的情况下，H.264解 码器100利用第三传输部103来取得内部存储器160所存储的已解码图像 的数据。帧间预测部203利用取得的已解码图像的数据进行帧间预测处理 (S306)。
在帧间预测处理完成后，从帧间预测部203输出的数据，经过解块滤 波部205的解块处理，被存储到解码图像缓冲器206。
解码图像缓冲器206所存储的数据，通过第一传输部101被传输到外 部存储器107(S308)。
并且，在MB的解码结束后，判定该MB是否为该MB所属的切片的 末端的MB(S309)。
因此，在判定为该MB不是切片的末端的MB的情况下(S309的"否")， 然后进行以后的MB的解码处理。在该MB是切片的末端的MB的情况下 (S309的"是")，然后判定该MB是否为图像的末端的MB(S310)。
因此，在判定为该MB不是图像的末端的MB的情况下(S310的"否")， 然后进行以后的切片的解码。在该MB是图像的末端的MB的情况下(S310 的"是")，H,264解码器100使对该图像的解码处理完成。
而且，例如通过可变长解码部201进行所述的判定处理(S309以及 S310)。在所述一系列处理完成时，外部存储器107存储有H.264解码器100 所解码的数据的全部。也就是，外部存储器107存储有构成该图像的已解 码数据的全部。
如此，解码处理完成后被写出到外部存储器107的已解码图像的数据， 通过第二传输部102被传输到内部存储器106(S311)。该传输后，H，264解 码器100以规定的定时来开始下一个图像的解码。
然后，例如，直到用户指示结束该运动图像数据的再生为止，或者， 直到该运动图像数据整体的解码处理结束为止，反复进行所述处理。
图5是实施例1的运动图像解码装置10中的解码处理的时序图的一个 例子。而且，图中的"#0"等编号是识别各个图像的编号。
运动图像解码装置IO，如上所述，反复进行以下的处理，即，将解码 后用于帧间预测的图像的数据从外部存储器107复制到内部存储器106的 处理。
据此，如图5示出，内部存储器106存储有在后续图像的解码处理时 所需要的已解码图像的数据的全部。
因此，运动图像解码装置IO，在进行后续图像的解码时，能够只向内 部存储器106存取来执行帧间预测。
而且，在已解码图像#4被传输到内部存储器106之前，图像#0 图像 #3中此后不被参考的一幅以上的图像被删除。
并且，在解码处理停止的状态下，进行从外部存储器107到内部存储 器106的数据传输处理。也就是，没有像以往那样在解码处理的期间中已 解码数据被传输到内部存储器106的情况。因此，对于内部存储器106的 容量，只要是能够存储为了进行帧间预测而必要且最低限度的数据的容量 即可。
而且，在H.264标准中规定有等级，该等级用于规定解码器的能力以 及被编码的比特流的复杂程度等。并且，按每个等级规定有支持编码工具 的范围，该编码工具是标准所规定的编码处理的要素技术。
具体而言，支持全高清晰电视机以及Blu—ray盘等的光盘所支持的 1920像素X 1080像素的运动图像流的等级中，在H.264的标准上规定有在 帧间预测能够参考的已解码图像最多四幅图像。
例如，在实施例1的运动图像解码装置IO将该运动图像流作为解码对象的情况下，能够将内部存储器106的容量成为标准所规定的四幅图像的 容量。
如上所述，实施例1的运动图像解码装置10，在反复进行的解码处理 的停止期间，将用于以后的帧间预测的参考图像从外部存储器107传输到 内部存储器106。
也就是，在运动图像解码装置10中，在对一幅编码图像的解码处理的 期间中，不发生向内部存储器106的数据传输，而只进行向外部存储器107 的数据传输。然后，在该解码处理完成的情况下，直到下一个解码处理开 始为止，该已解码图像的数据从外部存储器107被复制到内部存储器106。
据此，与像以往的运动图像解码装置那样将正在解码中的数据向内部 存储器和外部存储器同时写入的情况相比，能够减少内部存储器的一幅图 像的容量。
具休而言，在本实施例的运动图像解码装置10的情况下，如图5示出， 例如对图像#4的解码处理中存在于内部存储器106的数据是，图像#0 图 像#3这四幅的数据。也就是，内部存储器106具有四幅图像的容量即可。
然而，在以往的运动图像解码装置的情况下，在对图像#4的解码处理 中，解码结束后的MB的数据依次被写入到内部存储器。因此，内部存储 器需要五幅图像的容量。这些必要容量的差异是在其它的解码处理的期间 也同样发生的。
如此，本实施例的运动图像解码装置10，不会使解码所需要的存储容 量增加，具体而言，不会使内部存储器所需要的容量增加。
并且，在解码处理的停止期间，即在不进行通过第一传输部101的向 外部存储器107的数据传输的期间，将已解码图像从外部存储器107传输 到内部存储器106。因此，不会使运动图像解码装置10的数据传输所涉及 的处理负荷不必要地增大。
如此，在实施例1的运动图像解码装置10中，由于从内部存储器106 能够取得所有的参考图像，因此能够保证解码处理的迅速性。
而且，通过将只写出到外部存储器107的已解码图像，以此后的解码 处理中的帧间预测所需要的定时来传输到内部存储器106，从而与以往相比 能够减少内部存储器106的必要容量。制到内部存储器106。
在此，在将多个已解码图像从外部存储器107复制到内部存储器106 时，也可以从在进行复制的紧前的解码结束之前已经存储在内部存储器106 的图像的数据开始依次进行复制。
并且，也可以从按照解码顺序解码刚结束的图像的数据开始依次进行 复制。
也就是，在某一幅编码图像的解码开始之前，内部存储器106存储有 有可能在其解码处理中被参考的所有的已解码图像即可。
并且，其存储的顺序不仅限于特定的顺序。并且，在解码处理的一次 的停止期间，也可以将多个已解码图像从外部存储器107传输到内部存储 器106。
如本实施例，通过按每个停止期间，只将进行紧前的解码处理而得到 的一幅已解码图像从外部存储器107复制到内部存储器106，从而能够使从 外部存储器107到内部存储器106的一次的数据传输量更减少。
并且，在本实施例中，如图1示出，运动图像解码装置IO包括第一传 输部IOI、第二传输部102、第三传输部103以及编码数据提供部105，以 分别作为不同的功能框。
然而，它们是在内部存储器106以及外部存储器107的构成要素之间 传输数据的单元。因此，也可以以单一的功能框来实现，从而以时分来进 行各个部实行的功能。或者，也可以以单一的功能框来实现，从而能够并 行执行多个功能。 (实施例2)
图6是示出本发明的实施例2中的运动图像解码装置20的主要功能结 构的功能框图。
利用图6说明实施例2中的运动图像解码装置20的结构。
如图6示出，运动图像解码装置20，除了实施例1中的运动图像解码 装置IO包括的构成要素以外，还包括判断部607。
也就是，运动图像解码装置20包括集成有多个功能的系统LSI60、以 及配置在系统LSI60外部的外部存储器608。
系统LSI60具有H.264解码器600、第一传输部601、第二传输部602、 第三传输部603、出图部604、编码数据提供部605、以及用于帧间预测的内部存储器606，还具有判断部607。
判断部607是判断多个已解码图像分别在编码图像的解码时是否被参 考的处理部。也就是，判断部607具有检测后续的图像将要参考的图像的 作用。
具体而言，判断部607，根据对编码图像进行解码时得到的图像头中包 含的信息来进行该判断。对于判断的具体例子，在后面利用图8进行说明。 对于其它的各个构成要素的作用，由于与实施例1相同，因此省略说明。
其次，利用图7 图9说明实施例2中的运动图像解码装置20的工作。 图7是实施例2中的运动图像解码装置20的处理的流程图。 如图7示出，实施例2中的运动图像解码装置20的基本处理流程，与
图3示出的实施例2中的运动图像解码装置20的处理流程相同。
也就是，在图7中，从等待图像解码开始(S700)到解码后的MB是否
为图像的末端的MB的判定(S710)为止的处理，与图3中的各个处理(S300
S310)相对应。
然而，实施例2中的运动图像解码装置20，在解码后的MB是图像的 末端的MB的情况下(S710的"是")，判断部607，判断已解码图像的数 据是否用于帧间预测。
因此，只将被判断为用于帧间预测的已解码图像，从外部存储器608传 输到内部存储器606。
据此，能够使从外部存储器608到内部存储器606的数据传输量减少。
禾U用图8以及图9说明，与通过判断部607的参考图像的确定有关的 处理的具体例子。
图8是示出连续的图像序列的一个例子的图。而且，以下的说明中示 出，H.264的解码处理中的参考图像的判断方法的一个例子。
对于图8示出的各个图像的符号进行说明。描述为I、 P、 B的符号示 出图像的种类。I所示的图像(I图像)是只将帧内预测作为编码工具来利用 的图像，也是不利用其它的已解码图像的数据也能够解码的图像。
P所示的图像(P图像)是利用已解码图像的数据进行帧间预测的图像， 存在只能参考的一幅图像之类的限制。
B所示的图像(B图像)是与P图像相同进行帧间预测的图像，但也能够同时参考的二幅图像。
而且，被添加到I、 P以及B的数字示出编码的顺序。由于按照该编码
的顺序来构成编码流，因此该顺序也与解码的顺序一致。
然而，另一方面，由于出图的顺序为Io、 B3、 B2、 B4、 P,,因此得知在 解码后出图时有可能需要按照规定的顺序重新排列。
在图8示出的例子中，例如P,图像参考Io图像。并且，B2图像参考I()
和P!。并且，B3图像参考Io和B2， B4参考B2和P!。
在具有这些图像间的参考关系的流的情况下，例如B3和B4是非参考
图像，该非参考图像在对其它的图像进行解码时不被用于帧间预测的参考。
由于这些图像在解码后不被参考，因此判断部607判断这些图像不是参考 图像。
具体而言，在各个图像的图像头包含一种信息，该信息示出应该将哪 个图像作为用于参考的图像来保留、以及参考哪个图像。判断部607，例如 从H.264解码器600接受该信息，从而能够判断各个图像是否为参考图像。
该判断后，本实施例的运动图像解码装置20，不会将外部存储器608 所存储的B3以及B4的图像的数据复制到内部存储器606。
图9是示出图像的编码顺序和显示顺序的对应关系的图。
而且，图9示出图8所示的处于参考关系的多个图像的编码顺序和显 示顺序的对应关系。
如图9示出，首先，对只利用帧内预测的Io图像进行解码，然后，对 参考Io图像来进行帧间预测的Pi图像进行解码。
并且，由于B2图像的解码是参考Io图像和Pi图像来进行的，因此得知
Io图像和P！图像的解码后进行B2图像的解码。
这些图像解码顺序和显示顺序的关系是，能够根据存储在所述图像的 开头的图像头中包含的信息来判断的。
至U此为止进行了解码的Io、 Pi以及B2的各个图像是，在帧间预测时被 参考的图像。
因此，在本结构中，1o图像的解码结束且被写入到外部存储器608后， 在P,图像的解码幵始之前，Io的数据通过第二传输部602从外部存储器608 被传输到内部存储器606。
并且，在&图像的解码完成的情况下，同样，在B2的解码开始之前P,的数据从外部存储器608被传输到内部存储器606。
另一方面，在B3的解码中利用Io和B2的数据以作为参考图像，在B4
的解码中利用B2和Pi的数据以分别作为参考图像，但是，通过判断部607
判断为在以后的帧间预测中不使用B3以及B4。据此，这些的己解码图像的
数据不会被传输到内部存储器606。
如此，在实施例2的运动图像解码装置20中，在通过判断部607只将 需要的数据存储在内部存储器606的状态下能够进行解码。并且，经过这 些顺序，解码顺序和显示顺序的关系成为像图9那样。
如上所述，实施例2的运动图像解码装置20，包括判断部607，从而 针对已解码图像，判断是否应该通过第二传输部602从外部存储器608复 制到内部存储器606。据此，能够只将此后实际上用于帧间预测的已解码图 像的数据复制到内部存储器606，从而能够减少对传输所需要的数据量。
在此，如上所述，在H.264标准中规定有等级，该等级用于规定解码 器的能力等，并且按每个等级规定有支持标准所规定的编码工具的范围。
具体而言，如上所述，支持全高清晰电视机以及Blu—ray盘等的光盘 所支持的1920像素X 1080像素的运动图像流的等级中，规定有用于帧间预 测的已解码图像最多四幅图像。
例如，在实施例2的运动图像解码装置20，将该运动图像流作为解码 对象的情况下，也可以将内部存储器606的大小作为标准所规定的四幅图 像的容量本身。
而且，对于判断部607具有的判断各个图像是否被参考的功能，也可 以是例如11.264解码器600具备的。在此情况下，通过H.264解码器600 指示第二传输部602，从而只将被参考的已解码图像从外部存储器608传输 到内部存储器606即可。 (实施例3)
图10是示出本发明的实施例3中的运动图像解码装置30的主要功能 结构的功能框图。
以下，利用图10说明实施例3的运动图像解码装置30的结构。
如图10示出，运动图像解码装置30的结构与实施例2中的运动图像 解码装置20相同。
也就是，运动图像解码装置30包括集成有多个功能的系统LSI70、以及配置在系统LSI70外部的外部存储器卯8。
系统LSI70具有H.264解码器900、第一传输部901 、第二传输部902、 第三传输部903、出图部904、编码数据提供部905、以及用于帧间预测的 内部存储器906，还具有判断部907。
如此，实施例3中的运动图像解码装置30的结构与实施例2中的运动 图像解码装置20的结构相同。
但是，实施例3中的运动图像解码装置30与实施例1中的运动图像解 码装置10以及实施例2中的运动图像解码装置20不同，第二传输部902 将己解码图像从内部存储器906传输到外部存储器908。
实施例3中的运动图像解码装置30，根据其特征，能够减少外部存储 器908的容量。
而且，对于各个构成要素的基本作用，由于与实施例1以及实施例2
相同，因此省略说明。
其次，利用图11说明实施例3中的运动图像解码装置30的工作。
图ll是实施例3中的运动图像解码装置30的处理的流程图。
首先，H.264解码器900处于初始状态，即处于等待图像解码处理开始
的状态(SIOOO)。
在该状态下，例如，在根据用户的指示开始图像的解码的情况下，H.264 解码器900对图像头进行解码(SIOOI)。
判断部907，根据解码后的图像头中包含的信息来判断该图像是否为用 于帧间预测的图像(S1002)。
在该图像不是用于帧间预测的图像的情况下(S1002的"否")，H.264 解码器900，然后进行切片头的解码处理(S1004)。
另一方面，在该图像是用于帧间预测的图像的情况下(S1002的"是")， H.264解码器900，在以后的处理中将该图像的解码结果只写入到内部存储 器906。
在此情况下，在该图像的解码后，在于对后续的图像进行解码时出图 的定时的数据，在此时被存储在内部存储器906。于是，为了将该数据出图 而传输到外部存储器908，而开始第二传输部902的传输处理(S1003)。 其次进行切片头的解码处理(S1004)、以及宏块头的解码处理(S1005)。 然后，进行正在解码中的MB是否为进行帧间预测的MB的判断(S1006)。在是进行帧间预测的MB的情况下(S1006的"是")，H.264解码 器卯0，利用第三传输部903来从内部存储器906取得已解码图像的数据。 而且，利用取得的已解码图像的数据进行帧间预测处理(S1008)。
并且，在是不进行帧间预测的MB的情况下(S1006的"否")，进行帧 内预测处理(S1009)。
利用帧间预测(S1008)或帧内预测(S1009)来解码的MB，被写出到内部 存储器906或外部存储器卯8的任一方。
具体而言，按照该图像为了帧间预测而是否被后续的图像参考的判断 (S1010)的结果来决定输出目标。
在判断部907判断为该图像是被后续的图像参考的图像的情况下 (S1010的"是")，该已解码的MB，利用第三传输部903被传输到内部存 储器906(S1012)。
在判断部907判断为该图像是不被后续的图像参考的图像的情况下 (S1010的"否")，该已解码的MB，利用第一传输部901直接被写出到外 部存储器卯8(S1011)。
在MB的解码完成的情况下，判定该MB是否为该MB所属的切片的 末端的MB(S1013)。在该MB不是切片的末端的MB的情况下(S1013的 "否")，移向下一个MB的解码处理。
并且，在该MB是切片的末端的MB的情况下(S1013的"是")，然后 判定该MB是否为图像的末端的MB(S1014)。
在该MB不是图像的末端的MB的情况下(S1014的"否")，移向下一
个切片的解码处理。
并且，在该MB是图像的末端的MB的情况下(S1014的"是")，移向
数据传输的完成确认(S1015)。
具体而言，在属于该图像的MB的解码全部完成后，判定从内部存储
器906到外部存储器908的出图用数据的传输(S1013)等的、由各个传输部
的数据传输是否全部完毕(S1015)。
而且，该判定是例如H.264解码器900与各个传输部通信来进行的。 在传输未完成的情况下(S1015的"否")，等待传输完成(S1015的"是")，
然后移向下一个图像的解码处理。
运动图像解码装置30，经过以上的顺序，从而能够在解码处理中用于帧间预测的数据全部存储在内部存储器906的状态下开始下一个图像的解 码。
据此，不为了帧间预测而向内部存储器906存取也能够进行解码工作， 因此不需要高速的外部存储器908。
并且，被写入到外部存储器908的数据是，预定正在出图中的图像后 将要出图的图像的数据。据此，为了存储已解码图像的数据而外部存储器 908需要的容量是二幅图像的容量即可。 (实施例1 3的补充事项)
在实施例1 3中均说明了 H.264的解码处理。但是，本发明能够应用 到参考多个帧来对运动图像数据进行编码的任何运动图像编码标准。
并且，本发明也能够应用到例如将编码后的运动图像数据再生的再生 装置。
图12是包括利用本发明的集成电路的编码图像的再生装置1000的结 构图。
而且，在图12中示出再生装置1000中包括实施例1的运动图像解码 装置10的结构，但也可以再生装置1000中包括运动图像解码装置20或运 动图像解码装置30，而替代运动图像解码装置10。
如图12示出，再生装置IOOO包括电路板1100和显示部1105。
电路板1100包括具有系统LSI50和外部存储器107的运动图像解码装 置IO、流输入部1110、以及外部输出部llll。
系统LSI50是集成多个功能的一个LSI，具有像实施例1中说明那样的 功能上的结构。
流输入部1110是本发明的再生装置的输入单元的一个例子，也是从存 储卡、硬盘驱动器、光盘驱动器、地波天线、卫星广播天线、以及IP(Internet Protocol :因特网协议)网络等接受输入信号并提取编码流，从而提供给运动 图像解码装置10的处理部。
具体而言，流输入部1110所提取的编码流被写入到外部存储器107。 被写入到外部存储器107的编码流，与实施例1的处理流程(参照图3)相同 被输入到系统LSI50且被解码后，通过第一传输部101被写入到外部存储 器107。
而且，流输入部1110是，在图12中被记载为被安装在电路板1100上的另一个电路。但是，流输入部1110也可以在系统LSI50的内部包括、或 可以被安装在其它的电路板来与电路板1100连接。
并且，流输入部1110也可以，针对存储卡、硬盘驱动器、光盘驱动器、 地波天线、卫星广播天线、以及IP网络等的外部输入分别包括的电路。
被写入到外部存储器107的已解码图像的数据，通过出图部104被输 入到外部输出部1111，该外部输出部1111管理显示部1105的显示处理。 外部输出部llll，将该图像的数据输出到显示部1105。据此，该图像被显 示在显示部1105。
而且，外部输出部1111是在图12中被记载为被安装在电路板1100上 的另一个电路。但是，流输入部1110也可以在系统LSI50的内部包括、或 可以被安装在其它的电路板来与电路板1100连接。
根据具有这些结构的将编码图像再生的再生装置1000，能够通过具有 更少的内部存储器的集成电路来将编码图像再生。
并且，这些再生装置1000，能够应用到将从存储卡、硬盘驱动器、光 盘驱动器、地波天线、卫星广播天线等的装置输入的编码流再生的各种设 备。
而且，在所有的实施例中，R264解码器、传输部、编码数据提供部、 或出图部等的各个功能框是，以典型的集成电路的LSI来实现的，但也可 以将它们分别作为单芯片化，还可以将它们在包括一部分或全部的状态下 作为单芯片化。
在此，设想了 LSI，但是根据集成度不同，有时被称为IC、超(Super)LSI、 特大(Ultra)LSI。
并且，对于集成电路化的方法不仅限于LSI，也可以以专用电路或通用 处理器来实现。也可以利用在制造LSI后能够编程的FPGA(Fidd Programmable Gate Array :现场可编程门阵列)、或可重构LSI内部的电路 单元的连接或设定的可重构处理器。
而且，当然，若因半导体技术的进步或导出的其它的技术而出现代替 LSI的集成电路化的技术，则可以利用其技术对功能框进行集成化。
本发明能够提供一种运动图像解码装置，其利用帧间预测对编码图像 进行解码，并且，不使解码所需要的存储容量增加而高效率地进行解码处 理。因此，本发明的运动图像解码装置能够应用到数字照相机、数字摄像机、DVD、 Blu—my光盘播放机、数字电视机、数字电视机的接收机、汽 车导航系统、或与因特网连接的机顶盒等。
权利要求
1、一种运动图像解码装置，对具有编码图像的运动图像数据进行解码，该编码图像是通过编码方式进行编码而得到的编码图像，该编码方式是指最多参考n幅的图像来进行帧间预测的编码方式，n为2以上的整数，所述运动图像解码装置，包括解码单元，利用帧间预测对所述运动图像数据中包含的编码图像进行解码；第一记忆单元，保持通过所述解码单元得到的已解码图像，以使通过所述解码单元得到的已解码图像被输出到外部；第二记忆单元，能够存储n幅已解码图像，该n幅已解码图像是在所述解码单元进行帧间预测时能够参考的n幅已解码图像；以及传输单元，将已解码图像从所述第一记忆单元传输到所述第二记忆单元，使得在由所述解码单元对一幅编码图像开始进行解码之前所述n幅已解码图像被存储在所述第二记忆单元。
2、 如权利要求1所述的运动图像解码装置，所述第一记忆单元，在所述解码单元对编码图像进行解码期间，依次 蓄积通过所述解码单元得到的已解码数据，从而保持构成已解码图像的所 有的数据，该已解码图像是所述编码图像的解码结果，所述传输单元，在对所述一幅编码图像开始进行解码之前，且在按照 解码顺序所述一幅编码图像的前一幅编码图像的解码结束后，开始传输所 述n幅已解码图像中的一幅已解码图像。
3、 如权利要求2所述的运动图像解码装置，所述传输单元，在所述传输中，将已解码图像从所述第一记忆单元传 输到所述第二记忆单元，该己解码图像是所述n幅已解码图像中的一幅， 也是所述前一幅编码图像的解码结果。
4、 如权利要求1所述的运动图像解码装置，还包括判断单元，判断在对所述一幅编码图像进行解码时，多个已解码图像的每一个是否被参考，所述传输单元，将已解码图像从所述第一记忆单元传输到所述第二记忆单元，使得在对所述一幅编码图像开始进行解码之前n幅已解码图像被 存储在所述第二记忆单元，该n幅已解码图像是由所述判断单元判断为在 对所述一幅编码图像进行解码时被参考的n幅已解码图像。
5、 如权利要求4所述的运动图像解码装置，所述传输单元，只将n幅己解码图像中的所述第二记忆单元未存储的 已解码图像从所述第一记忆单元传输到所述第二记忆单元，该n幅已解码 图像是由所述判断单元判断为在对所述一幅编码图像进行解码时被参考的 n幅已解码图像。
6、 如权利要求l所述的运动图像解码装置，所述解码单元和所述第二记忆单元被包含在一个集成电路中，所述第 一记忆单元被配置在所述集成电路的外部。
7、 如权利要求1所述的运动图像解码装置，所述运动图像数据具有的编码图像是通过所述编码方式进行编码而得 到的1920像素X 1080像素的图像的数据，所述编码方式是指H.264标准所规定的、最多参考四幅图像来进行帧 间预测的编码方式，所述解码单元，参考从所述第一记忆单元被传输到所述第二记忆单元 的四幅已解码图像中的一幅以上的已解码图像来对所述编码图像进行解 码。
8、 一种再生装置，再生运动图像数据，所述再生装置，包括 权利要求1所述的运动图像解码装置；输入单元，接受所述运动图像数据的输入，并将其提供给所述运动图 像解码装置；以及显示单元，依次显示从所述第一记忆单元输出的多个已解码图像。
9、 一种运动图像解码装置，对具有编码图像的运动图像数据进行解码， 该编码图像是通过编码方式进行编码而得到的编码图像，该编码方式是指 最多参考n幅的图像来进行帧间预测的编码方式，n为2以上的整数，所述运动图像解码装置，包括解码单元，利用帧间预测对所述运动图像数据中包含的编码图像进行 解码；第一记忆单元，保持通过所述解码单元得到的已解码图像，以使通过 所述解码单元得到的已解码图像被输出到外部；第二记忆单元，存储n幅已解码图像，该n幅已解码图像是在所述解 码单元进行帧间预测时能够参考的n幅已解码图像；以及传输单元，将已解码图像从所述第二记忆单元传输到所述第一记忆单 元，该己解码图像是所述第二记忆单元所存储的一幅以上的已解码图像中 的、应该在所述第一记忆单元所存储的已解码图像后被显示的已解码图像。
10、 一种运动图像解码方法，对具有编码图像的运动图像数据进行解 码，该编码图像是通过编码方式进行编码而得到的编码图像，该编码方式 是指最多参考n幅的图像来进行帧间预测的编码方式，n为2以上的整数， 所述运动图像解码方法，包括解码步骤，利用帧间预测对所述运动图像数据中包含的编码图像进行 解码；第一记忆步骤，使第一记忆单元对在所述解码步骤得到的已解码图像 进行保持，以使在所述解码步骤得到的已解码图像被输出到外部；以及传输步骤，将已解码图像从所述第一记忆单元传输到所述第二记忆单 元，使得在所述解码步骤对一幅编码图像开始进行解码之前n幅已解码图 像被存储在第二记忆单元，该n幅已解码图像是在所述解码步骤进行帧间 预测时能够参考的n幅已解码图像，在所述解码步骤，参考所述第二记忆单元所记忆的所述n幅已解码图 像来对所述一幅编码图像进行解码。
11、 一种集成电路，用于运动图像解码装置，该运动图像解码装置对 具有编码图像的运动图像数据进行解码，该编码图像是通过编码方式进行编码而得到的编码图像，该编码方式是指最多参考n幅的图像来进行帧间 预测的编码方式，n为2以上的整数，所述集成电路，包括解码单元，利用帧间预测对所述运动图像数据中包含的编码图像进行 解码；第一传输单元，将通过所述解码单元得到的已解码图像传输到所述集 成电路的外部的第一记忆单元；第二记忆单元，能够存储n幅已解码图像，该n幅己解码图像是在所 述解码单元进行帧间预测时能够参考的n幅已解码图像；以及第二传输单元，将已解码图像从所述第一记忆单元传输到所述第二记 忆单元，使得在所述解码单元对一幅编码图像开始进行解码之前所述n幅 已解码图像被存储在所述第二记忆单元。
全文摘要
本发明提供一种运动图像解码装置，对具有编码图像的运动图像数据进行解码，该编码图像是通过编码方式进行编码而得到的编码图像，该编码方式是指最多参考n(n为2以上的整数)幅的图像来进行帧间预测的编码方式，所述运动图像解码装置，包括H.264解码器，利用帧间预测对运动图像数据中包含的编码图像进行解码；外部存储器，保持已解码图像，以使该已解码图像被输出到外部；内部存储器，能够存储n幅已解码图像，该n幅已解码图像是在帧间预测时能够参考的n幅已解码图像；以及第二传输部，将已解码图像从外部存储器传输到内部存储器，使得在对一幅编码图像开始进行解码之前n幅已解码图像被存储在内部存储器。
文档编号H04N7/32GK101543082SQ200880000638
公开日2009年9月23日 申请日期2008年5月14日 优先权日2007年5月22日
发明者田中健, 近村启史 申请人:松下电器产业株式会社