图像解码装置的制作方法

专利名称：图像解码装置的制作方法
技术领域：
本发明涉及将编码后的图像数据解码的图像解码装置，特别涉及使具 备多个解码器来并行解码的情况下的解码处理速度提高的技术。
背景技术：
近年来，图像、特别是运动图像为了满足高画质、大画面的要求，其 数据量增大，考虑将这些大容量化的运动图像数据用网络传送的情况及记 录在储存媒体中的情况等，开发了将运动图像数据压縮编码的技术。
例如，作为国际标准标准，有MPEG-2 (Motion Picture Experts Group: 运动图象专家组)、H.264/MPEG-4AVC (Advanced Video Codec)等。
通过这些标准编码后的运动图像数据通常一边用图像解码装置解码一 边显示。
目前的图像尺寸的主流是标准画质电视(SDTV)的720像素480行的 图像尺寸，但可以预想到今后高清电视(HDTV)的1920像素1080行的 图像尺寸以及更大画面的数字电影标准的图像尺寸会增加。
在该数字电影标准中，规定了称作2K标准的2048像素1080行的图像 尺寸、及称作4K标准的4096像素2160行的图像尺寸。
已开发了对应于这些图像尺寸的解码用的单芯片LSI，但在通过1个解 码器进行解码的情况下，图像尺寸越大，越需要高的运算性能和宽的数据 带宽，导致高成本、高电力消耗。
所以，提出了通过使用多个处理能力较低的解码器、例如SDTV用的 解码器并行地进行解码处理来实现HDTV用的高性能的解码装置的技术 (参照专利文献l)。
利用图18简单地说明，输入了从传输解码器1送出的位流的4个解码 器即图像解码器4、 5、 6、 7从位流中选择负责的片段的数据并解码，输出 给帧存储器2、 3。图像解码器4、 5、 6、 7按照片段的编号顺序选择片段， 在各缓存将所选择的片段的数据读入的定时一起一边使用共通的帧存储器一边开始解码处理。
根据该技术，即使使用处理能力较低的解码器，也能够实现较高的处 理能力。
专利文献h日本特开平10-178644号公报
但是，随着压縮解压縮技术的发展而导入了用来提高编码效率的各种 技术，片段间的压縮后的位数的离差有变大的倾向。
在压縮后的各片段的数据量的离差较大的情况下，如果将片段简单地 建立顺序并分配给各解码器，则解码处理所需要的时间的不均衡变大，较 早地结束了解码处理的解码器较长地空闲。

发明内容
所以，本发明的目的是提供一种能够高效地利用多个解码器来实现比 各个解码器更高的处理性能的图像解码装置。
为了达到上述目的，有关本发明的图像解码装置，将被编码且由多个
部分数据构成的图像数据解码，其特征在于，具备多个解码器；属性信
息取得机构，取得属性信息，该属性信息是对上述部分数据的解码处理时
间带来影响的属性，至少包括该部分数据的数据量；决定机构，基于由上 述属性信息取得机构取得的关于部分数据的属性信息，决定将该部分数据 解码的解码器；以及解码机构，使由上述决定机构决定的两个以上的解码 器并行地将两个以上的部分数据解码。 发明效果
上述结构的图像解码装置由于能够按照每个构成图像数据的部分数 据，考虑对其解码处理时间带来影响的属性来决定解码的解码器，所以在 由多个解码器将多个部分数据并行解码的情况下，能够抑制各解码器的解 码处理吋间的不均衡，提高处理效率。
艮P,通过决定将各部分数据解码的解码器，以使各解码器的处理时间 的偏差变少，能够縮短解码器不进行解码处理的时间，实现图像数据的解 码处理的高效化。
此外，由于并行地处理图像数据的多个部分数据，所以即使是原本需 要用具备比各解码器更高的处理能力的解码器解码的图像数据，也能够正
5确地解码。
进而，可以使用多个处理性能相对较低的解码器较便宜地实现进行需 要高处理能力的图像数据的解码处理的解码装置。例如，能够通过便宜的
具备较低的处理能力的解码器便宜地提供直接接受DTV (Digital Television)广播等的数字编码的数字信号、能够进行解码处理的实时处理 那样的解码装置。
此外，也可以是，上述图像解码装置还具备取得上述多个解码器各自 的处理能力的处理能力取得机构；上述决定机构基于由上述属性信息取得 机构取得的关于部分数据的属性信息和由上述处理能力取得机构取得的各 解码器的处理能力，决定将该部分数据解码的解码器。
由此，在决定将图像数据的部分数据解码的解码器时，由于能够添加 解码器的性能，所以能够实现解码处理的更高效化。
此外，在新追加/删除解码器的情况下，也由于在决定将图像数据的部 分数据解码的解码器时基于最新的解码器的信息决定将部分数据解码的解 码器，所以即使对暂时构成的装置新追加扩展、或去除编码器，也能够在 当前时刻的装置中发挥处理性能。
在专利文献l的以往技术中，即使在将4个解码器LSI化的情况下，4 个解码器也共用总线而使用LSI外部的帧存储器，所以具有能够削减输入 输出管脚的优点，但由于需要将用于此的结构制作在LSI内，所以具有不 能容易地进行图像数据的扩展的不良状况。例如，在使用SDTV用的解码 器实现HDTV用的解码装置的情况下，不能容易地设为4K标准的画面尺 寸用。
在本发明中，基本上不需要特别的结构，基于图像数据的属性和解码 器的处理性能进行解码处理，所以即使在例如利用SDTV用的解码器实现 HDTV用的解码装置的情况下，也仅通过追加必要数量的解码器，就能够 容易地进行设为4K标准的画面尺寸用的解码装置的扩展等。
此外，也可以是，上述图像解码装置还具备存储有对应信息的对应存 储机构，该对应信息使由上述决定机构决定的解码器的标识符与由该解码 器解码的部分数据的标识符相对应；上述部分数据的属性信息表示在将该 部分数据解码时是否需要参照其他部分数据的解码结果；上述决定机构决定处理能力比将其他部分数据解码的解码器高的解码器，作为将属性信息
表示需要参照该其他部分数据的解码结果的部分数据解码的解码器；上述 解码机构在解码的部分数据需要参照其他部分数据的解码结果时，取得上 述对应信息的与该其他部分数据相对应的解码器的输出结果，并将该部分 数据解码。
由此，由于存储有图像数据的各部分数据是被哪个解码器解码的，所 以在为了进行解码而需要由其他解码器解码的图像的情况下，能够从该其 他解码器取得需要的图像来进行解码处理。
此外，由于为了进行解码而需要由其他解码器解码的图像的部分数据 被决定为通过处理能力较高的解码器解码，所以即使进行了取得由其他解 码器解码的图像的处理，也能够使有关解码处理的时间赶得上其他解码器 的处理时间。
此外，也可以是，上述解码机构在将属性信息表示需要参照其他部分 数据的解码结果的部分数据解码之前，将该其他部分数据解码。
由此，为了进行解码，在将需要其他部分数据的解码后的图像的部分 数据解码之前，将该其他部分数据解码，所以在需要时能够取得其他部分 数据的图像。结果，能够不停止而迅速地进行解码处理。
此外，也可以是，上述部分数据的属性信息是该部分数据的数据量； 上述解码器的处理能力是该解码器输入的数据的带宽；上述决定机构决定 带宽比将其他部分数据解码的解码器宽的解码器，作为解码将比其他部分 数据大的数据量作为属性信息的部分数据的解码器。
由此，数据量较大的部分数据通过运算能力较高的解码器或数据带宽 较宽的运算器进行解码处理，所以即使是数据量较大的部分数据，也能够 使有关解码处理的时间与其他解码器的处理时间匹配。
此外，也可以是，上述部分数据是作为上述图像数据的位流的一部分， 是构成图片的位串。
此外，也可以是，上述部分数据是作为上述图像数据的位流的一部分， 是构成图片的一部分的位串。
由此，能够使图像数据的部分数据成为图片或比图片小的部分的数据， 所以能够根据图像数据的压縮编码方式，将适当大小的部分数据用解码器解码。
比图片小的部分的数据例如是片段或宏块等。


图1是表示实施方式1的图像解码装置的结构的框图。
图2是表示图像数据与片段的关系的图。
图3是利用图像解码装置IO将图片解码显示的概要图。
图4是表示属性信息1100的结构及内容例的图。
图5是表示性能信息2100的结构及内容例的图。
图6是表示分配信息5100的结构及内容例的图。
图7是表示分配数据3100等的结构及内容例的图。
图8是表示图像解码部(4000)等将片段解码的时间图的图。
图9是表示生成分配数据的处理的流程图。
图IO是表示由图像解码部进行的将片段解码的处理的流程图。
图11是表示图像数据与图片的关系的图。
图12是表示图片类型、显示顺序、参照画面、解码顺序的关系的图。
图13是表示属性信息6100的结构及内容例的图。
图14是表示分配信息6200的结构及内容例的图。
图15是表示图像解码部将图片解码的时间图的图。
图16是表示实施方式3的图像解码装置的结构的块图。
图17是表示实施方式4的图像解码装置的结构的块图。
图18是表示以往的图像解码装置的块图。
图19是表示分配信息5200的结构及内容例的图。
标号说明
10、 20、 30图像解码装置 1000属性信息检测部 1100属性信息 2000分配决定部 2100性能信息 2200、 5100分配信息2300性能信息取得部
3000分配数据生成部
4000、 4001、 4002、 4003图像解码部
4100数据接收部
4200参照图像取得部
4300解码器
4400参照图像送出部
5000、 5001、 5002、 5003图像存储部
5200编码数据
5300解码数据
8000分配数据储存部
9000图像组装部
具体实施例方式
<实施方式1> <概要>
有关本发明的图像解码装置是将编码后的图像的位流(以下称作"图 像数据")以规定的单位、例如片段单位分割、通过根据各片段的特性使解 码器分担来减少解码器的空闲时间而进行有效率的解码处理的装置。
此外，本图像解码装置通过在适当时候取得各解码器的处理性能，来 对应于解码器的增减，并且也考虑各解码器的处理能力而进行片段的分担， 由此能够更有效率地进行解码处理。
以下，利用附图对本发明的实施方式的图像解码装置进行说明。另外， 在本实施方式中，对于将以MPEG-2标准制作的图像数据解码的情况进行 说明。
<功能>
图1是表示图像解码装置的结构的块图。
图像解码装置10包括属性信息检测部1000、分配决定部2000、分配 数据生成部3000、图像解码部4000、 4001、 4002、 4003及图像存储部5000、 5001、 5002、 5003。另外，在本实施方式中，说明了具备4个图像解码部
9的情况，但并不限于此。
首先，属性信息检测部iooo具有以可变长编码的图像数据作为输入并
按照每个构成该图像数据的片段检测其属性的功能。在本图中，将图像数 据用中空箭头表示。
所谓的属性，是指该片段的数据量及图片类型、运动补偿信息(画面 内预测、前向预测、后向预测、双向预测)等的特征信息。属性信息检测
部1000根据取得的属性，对图像数据进行可变长解码，并取得属性。在本
实施方式中，作为属性，使用不需要可变长解码就能够取得的数据量。
属性信息检测部1000将输入的图像数据基本上原样输出。 这里，利用图2对图像数据及片段进行说明。 图2是表示图像数据与片段的关系的图。
与画面帧相当的图片200由片段01 片段n构成，图像数据100由表 示片段的开头的起始码101、和作为将片段的图像压縮编码后的数据的数据 102构成。
起始码101由用16进制数表示为000001 (23个0后为1 )的值和然后 的8位数据这32位构成。该8位表示接着起始码的数据的种类。
MPEG-2标准的数据具有6层的层级构造，从上位开始由视频序列、 GOP、图片、片段、宏块、块构成，能够通过检测起始码来识别的层级是 序列、GOP、图片及片段。在该单位中以下说明的分配决定部2000将图像 数据分配给各图像解码部4000等。
在本实施方式中设检测片段。因而，起始码是"000001 01" "000001 af"，设"01" "af"是片段编号。
片段由从起始码开始的片段头110、和多个宏块(MB) 111构成，在 片段头中包含有片段类型。该片段类型表示片段是I片段、B片段还是P 片段，I片段是仅利用本片段内的信息就能够解码的片段，P片段和B片段 是通过参照其他片段的图像能够解码的片段。
宏块111由宏块类型和对应于该类型的数据、例如运动信息和画面间 预测误差数据构成。宏块类型表示该宏块是否需要参照其他片段的图像、 或者是单方向参照还是双方向参照等的信息。
属性信息检测部1000反复进行从图像数据100中检测起始码101、将到下个起始码为止的数据量作为该片段的属性信息存储的动作。
检测到的片段的属性作为属性信息1100被传递给分配决定部2000。具 体而言，存储在图像解码装置10内的作业用的存储器(未图示)中，由分 配决定部2000参照。在本图中，为了方便，描绘在检测属性信息的属性信 息检测部1000内。后述的性能信息2100、分配信息2100也同样。
接着，分配决定部2000具有决定使哪个图像解码部4000等进行构成 图像数据100的各片段的功能即片段分配的功能。
该分配决定部2000具备性能信息取得部2300，还具有在适当的时候取 得图像解码部4000等的处理性能并作为性能信息2100进行存储的功能。 该性能信息取得部2300具有检测搭载在本图像解码装置10中的各图像解 码部4000等的个数并取得各处理性能的功能。
分配决定部2000基于属性信息检测部1000检测到的属性信息1100和 该性能信息2100决定片段的分配，制作分配信息2100。属性信息IIOO、 性能信息2100、分配信息2100的详细情况利用图4 图6在后面说明。
另外，该分配决定部2000为了决定多个片段分配而具备储存多个片段 的图像数据100的缓存机构。
接着，分配数据生成部3000具有按照分配决定部2000决定的分配来 读出存储在分配决定部2000的存储器中的图像数据、生成对各图像解码部 4000等发送的分配数据并输出的功能。
所谓分配数据，是被分配的片段的图像数据或解码所需要的信息等。 分配数据生成部3000将从分配决定部2000接受到的图像数据解析，读出 解码所需要的信息。详细情况利用图7在后面说明。
图像解码部4000、 4001、 4002、 4003分别具有通常的解码功能，还具 有进行本图像解码装置10中特有的处理、例如从其他图像解码部取得需要 的图像等的处理的功能。
各图像解码部4000等有时在运算性能等的处理性能方面有差异，但进 行本图像解码装置IO所特有的处理的功能是相同的。
此外，图像存储部5000、 5001、 5002、 5003分别具有存储用于图像解 码部4000、 4001、 4002、 4003进行解码处理的各种数据的功能，有时各自 的容量分别不同，但存储本图像解码装置10所特有的数据、例如表示哪个片段由哪个图像解码部解码的数据等的功能是相同的。
因而，以下仅说明图像解码部4000和图像存储部5000。 首先，从图像存储部5000开始说明。
图像存储部5000存储分配信息5100、编码数据5200及解码数据5300。
分配信息5100是表示哪个片段被分配给哪个图像解码部的信息。在需 要参照其他图像解码部4001等解码后的图像时，在对其他对应的图像解码 部4001等进行参照的图像(以下称作"参照图像")的发送委托时参照该 信息。进而，在显示解码后的图像时，为了判断显示的图像存储在哪个图 像解码部4001等的图像存储部5000等中，也参照该信息。
该分配信息5100与分配决定部2000制作的分配信息2200基本上相同， 但存储的个数不同。即，如果制作了分配数据则不再需要分配信息2200从 而分配信息2200被更新，但对于分配信息5100来说，为了参照其他图像 解码部4001等或被参照，将必要的部分存储必要的期间。
所谓的参照所必要的部分，是有可能被参照的参照图像所包含的片段 的分配信息，所谓的必要的期间，是到被参照的可能性消失为止的期间、 即到片段的解码后的图像被显示为止的期间。
编码数据5200是对图像解码部4000分配的片段的图像数据和解码所 需要的信息。
解码数据5300是由图像解码部4000解码后的图像数据。 将该解码数据5300存储直到其图像被显示。B卩，存储到包含其图像的 图片被显示为止。
另外，本实施方式以将MPEG-2标准编码后的图像数据进行解码的情 况为例进行了说明，但例如在用H.265/AVC标准编码后的图像数据的情况 下，有时在被显示后也被参照，所以进行存储直到被显示且被参照的情况 消失。
接着，图像解码部4000包括数据接收部4100、参照图像取得部4200、 解码器4300及参照图像送出部4400。
首先，数据接收部4100具有下述功能，即，接收从分配数据生成部3000 送出的分配数据即所负责的片段的图像数据等，存储到图像存储部5000中。 分配信息5100和编码数据5200被存储。
12参照图像取得部4200具有下述功能，即，在片段的解码时，在需要参 照其他片段或图片的情况下，对其他图像解码部4001等进行参照图像的发 送委托，并取得参照图像。
解码器4300具有下述功能，即，读入图像存储部5000的编码数据5200 并解码，将解码后的片段(以下称作"解码片段")写入到解码数据5300 中。
参照图像送出部4400具有下述功能，即，在从其他图像解码部4001 等接受到参照图像的发送委托的情况下，从图像存储部5000的解码数据 5300中读出对应的图像，并发送给委托源。
接着，利用图3，简单地说明显示由多个图像解码装置4000等解码的 片段的方法。
图3是使用本图像解码装置10将图片解码显示的概要图。 说明将对图片200进行压縮编码后的图像数据(位流)解码、并作为
图片210(显示画面)显示的情况。图像组装部9000具有从图像存储部5000
等读出解码片段、重构一张图片并显示的功能。
首先，构成图片200的片段分别被分配给图像解码部4000、 4001等并
被解码。解码片段被存储到图像存储部5000等的解码数据5300、 5301等中。
图像组装部9000参照分配信息5100，从片段01开始依次从存储有对 应的片段的图像存储部5000、 5001等读出解码数据5300、 5301等并显示。
图像组装部9000显示一张图片的定时是对应于帧速率的时间。
另外，在本图中，参照图像存储部5000的分配信息5100，但当然也可 以参照其他图像存储部5001等的分配信息，图像组装部9000也可以从分 配决定部2000取得并存储到作业用存储器中等。
<数据>
以下，利用图4 图8对在本图像解码装置10中使用的主要的数据进 行说明。
图4是表示属性信息1100的结构及内容例的图。
属性信息1100由片段编号1101和数据量1102构成。
片段编号1101是片段的标识符，在本实施方式中是起始码内的片段编
13号(参照图2)。
数据量1102是片段的数据量，由属性信息检测部1000检测。
作为数据量的计算方法，例如根据片段的起始码(参照图2)的地址与 下个片段的起始码的地址的差计算。具体而言，片段的数据量(单位bit) 是对该地址的差乘以8 (bit)后的值。这是因为，通常片段的起始码以字 节(8bit)为单位编排。
例如，由片段编号1001 "01"表示的片段的数据量是"500" kbits。
图5是表示性能信息2100的结构及内容例的图。
性能信息2100包括图像解码部ID2101、运算能力2102及数据带宽 2103。
图像解码部ID2101是图像解码部4000等的标识符，假设"DecOO"表 示图像解码部4000， "Dec01"表示图像解码部4001， "Dec02"表示图像解 码部4002， "Dec03"表示图像解码部4003。
运算能力2102表示由图像解码部ID2101表示的图像解码部4000等的 运算能力，"SDTV"表示如果是SDTV图像尺寸的压縮编码数据则能够正 确地实时地解码显示的运算能力，"HDTV"表示如果是HDTV图像尺寸以 内的压縮编码数据则能够正确地实时地解码显示的运算能力。
这里，如果简单地说明编码标准与"SDTV"等的关系，则这些标准是 几个不同的标准的集合体，通过简档和等级规定。简档对应于图像被数字 编码时的不同的复杂度的程度、即定义使用的编码要素技术的集合，等级 对应于图像的不同的析像度。例如，MPEG-2的主简档@主等级(Main Profile@Main Level)以SDTV的图像尺寸的视频信号的编码为对象，主简 档@高等级以HDTV的图像尺寸的视频信号的编码为对象。
接着,数据带宽2103表示由图像解码部ID2101表示的图像解码部4000 等的输入数据带宽。
例如，由图像解码部ID2101 "Dec02"表示的图像解码部4002的运算 能力2102是"HDTV"、数据带宽2103是"80" Mbps。
图6是表示分配信息5100的结构及内容例的图。
由于分配信息2200也是同样的结构，所以仅说明分配信息5100。
分配信息5100由图像解码部ID5101和分配片段编号5102构成。图像解码部ID5101与性能信息2100的图像解码部ID2101是同样的。 分配片段编号5102表示对由对应的图像解码部ID5101表示的图像解
码部分配的片段的编号。这里表示的片段编号与属性信息1100的片段编号
1101相同。
例如，对应于图像解码部ID5101"DecOO"的分配片段编号5102是"01"， 由于属性信息1100的片段编号1101 "01"的片段的数据量1102是"500" kbits,所以对图像解码部ID5101 "DecOO"的图像解码部分配500kbits的 片段。
另外，这里将分配片段编号分配到2，但并不限于此。
图7是表示分配数据3100等的结构及内容例的图。
该分配数据3100、 3101、 3102、 3103是分配数据生成部3000生成的 数据，按照各图像解码部4000、 4001、 4002、 4003生成。
该分配数据3100等是对分配的片段的数据附加了分配信息2200和解 码所需要的信息(在本图中记载为"参数")2210后的数据。
具体而言，在被分配的最初的片段的起始码101之前附加分配信息 2200和解码所需要的信息(参数)2210。此时，将表示用户数据的起始码 2201 "000001 b2"附加在分配信息2200等之前。
所谓该解码所需要的信息(参数)，是分配数据生成部3000(参照图1) 解析图像数据而提取的信息。具体而言，是传递给各图像解码部4000等的 片段的数据以外的部分、例如处于比片段更上位层的序列头或GOP头等中 包含的帧尺寸及帧速率等、各图像解码部4000等将片段解码时需要的信息。
由此，对各图像解码装置4000等通知分配的片段的数据和分配信息 2200，通过参照该分配信息2200，能够取得参照图像。
这里，对将片段分配给图像解码部的一种方法进行说明。
<分配信息的制作方法>
图8是表示图像解码部4000等将片段解码的时间图的图。 在本图中，"S01"表示片段编号是"01"的片段，"S02"等也同样。 "DecOO" "Dec03"是图像解码部ID。
与DecOO将片段Ol解码的期间(t0)并行，在DecOl中将片段02和 片段03解码，在Dec02中将片段04和片段05解码，Dec03将片段06解码。
各个图像解码部Dec00 Dec03如果结束分配的片段的解码，则从分配 数据生成部3000送出下个分配数据，开始片段07 片段11的解码(tl)。
在本实施方式中，分配片段，以尽量消除从各图像解码部Dec00 Dec03的解码处理结束到下个解码处理为止的空闲时间。
一般，片段单位的数据量越大，片段的处理负荷越高，所以需要通过 处理能力较高的图像解码部进行解码处理。
此外，为了对各图像解码部供给分配数据而不会妨碍各图像解码部中 的解码处理，需要根据分配的片段的数据量决定数据带宽。即，分配的片 段的数据量越大，需要分配能够接收图像数据的数据带宽越宽的图像解码 部。
这样，通过考虑图像解码部的处理性能和片段的数据量而将片段分配 给图像解码部，能够高速地进行构成图片的各片段的处理，能够使构成图 片的所有片段在l帧时间内结束，能够进行实时处理。
<动作〉
以下，利用图9和图10对有关本发明的图像解码装置10的动作进行 说明。
图9是表示生成分配数据的处理的流程图，图10是表示由图像解码部 进行的将片段解码的处理的流程图。
该生成分配数据的处理和将片段解码的处理并行地进行。即，在将片 段解码的期间中制作下个分配数据。
首先，利用图9说明生成分配数据的处理。
该处理是属性信息检测部1000、分配决定部2000及分配数据生成部 3000进行的处理。
读入了作为图像数据的位流的属性信息检测部1000 (步骤S100)检测 起始码(步骤S110)。
如果检测到起始码，则读出片段编号，跳过对图像数据的读取直到检 测到下个起始码，检测片段的数据量。将片段编号和数据量登记到属性信 息1100中(步骤S120)。
检测到属性信息的属性信息检测部1000将读入的图像数据原样传递给
16分配决定部2000，分配决定部2000决定将读入的图像数据的片段分配给哪 个图像解码部(步骤S130)。
在决定后，判断是否使图像解码部开始解码处理，在判断为否的情况 下再读入图像数据(步骤S140:"否")。
在判断为开始解码的情况下(步骤S14(h "是")，对分配数据生成部 3000委托按照分配信息2200制作分配数据。
这里，关于是否使图像解码部开始解码处理的判断，例如在分配决定 部2000具备的储存有图像数据的缓存机构溢出、并且所有的图像解码部 4000等的解码处理结束的情况下，判断为开始解码处理。
接受到分配数据的生成委托的分配数据生成部3000参照分配信息 2200,读出储存在分配决定部2000的存储器中的图像数据，生成对图像解 码部4000等发送的图像数据(步骤S150)。将生成的分配数据分别向各图 像解码部4000、 4001等送出(步骤S160)。
如果不再有图像数据(步骤S170:"是")，则处理结束，如果还有(步 骤S170:"否")，则继续生成分配数据的处理。
接着，利用图IO说明将片段解码的处理。
该处理是各图像解码部4000、 4001等进行的处理。这里，说明图像解 码部4000的动作。其他图像解码部4001等也并行地进行同样的解码处理。
接收到分配数据3100 (参照图7)的数据接收部4100 (步骤S200), 从接收到的分配数据3100取出分配信息2200,存储到图像存储部5000内 的分配信息5100中，将片段的数据存储在编码数据5200中(步骤S210)。 存储的数据接收部4100对解码器4300委托解码的开始。
接受到委托的解码器4300从编码数据5200中依次读出解码的片段中 的宏块(以下称作"对象宏块")(步骤S220)，并开始解码。
解码器4300在对象宏块的解码时，判断是否需要参照由其他图像解码 部4001等解码的片段的宏块、即是否参照其他图像解码部。
基于对象宏块的类型和参照的片段，参照存储在图像存储部5000中的 分配信息5100，来判断是否参照其他图像解码部。
具体而言，在对象宏块的类型表示是需要参照其他片段的图像的情况 下，且在该其他片段被分配给其他图像解码部4001等的情况下，判断为参照。因而，即使在对象宏块的类型表示需要参照其他片段的图像的类型的 情况下，也有不判断为参照的情况。此外，对象宏块的类型表示画面内参 照编码的情况下也判断为不参照。
在判断为参照其他图像解码部的情况下(步骤S230:"是")，对参照 图像取得部4200委托取得参照的宏块(以下称作"参照宏块")的解码后 的数据。此时，指定能够确定参照宏块的信息、例如图片编号和运动矢量 等。
被委托取得参照宏块的参照图像取得部4200参照存储在图像存储部 5000中的分配信息5100，求出进行了参照宏块的解码的图像解码部 ID5101。参照图像取得部4200以求出的图像解码部ID5101为目的地，委 托发送参照宏块的数据，并取得该数据(步骤S250)。
此外，在不需要参照其他片段的宏块时(步骤S230:"否")，从图像 存储部5000的解码数据5300读出参照宏块的数据(步骤S240)。
解码器4300使用所取得的参照宏块的数据等，将对象宏块解码，将解 码后的数据写入到解码数据5300中(步骤S260)。
进行该宏块的解码处理直到被分配的片段结束(步骤S270)。在结束 后，对分配决定部2000通知结束。
<实施方式2>
<概要>
在实施方式1中，以片段为单位，基于片段的数据量分配给图像解码 部，但在本实施方式中，说明以图片为单位并基于图片的类型(1、 P、 B) 分配给图像解码部的例子。也可以基于片段的类型而以片段为单位进行分 配，但这里为了便于说明，以图片为单位进行说明。
MPEG-2标准的图片有以下的3种类型。
是进行画面内预测的I图片、根据过去的图片进行前向预测的P图片、 以及根据过去和未来的图片进行双向预测的B图片。 <功能>
本实施方式的图像解码装置的结构与实施方式1同样。 不同点是以图片为单位解码来进行动作、和属性信息检测部1000代替 检测片段的属性而检测图片的属性。
18在实施方式1中，作为片段的属性而求出片段的数据量，而在本实施 方式中，作为图片的属性而求出图片类型。
此外，随之，根据图片类型，分配决定部2000将图片分配给图像解码 部4000等。
图11是表示图像数据与图片的关系的图。
起始码301由以16进制数表述为"000001 (23个0后为l)"的值和 然后的"00"的数据这32位构成。
属性信息检测部1000从图像数据300中检测起始码301，从图片头(未 图示)中读出图片类型，将读出的图片类型和参照图片作为该图片的属性 信息进行存储，重复读出直到下个起始码。从起始码301到下个起始码303 之间的数据302为1个图片的图像数据。
<数据>
以下，利用图12 图15对本实施方式的属性信息6100和分配信息2200 进行说明。
首先，利用图12，说明图片类型、显示顺序、参照画面、解码顺序的 关系。
矩形表示图片，其中的"1"、 "B"、 "P"分别表示I图片、B图片、P 图片。
"显示顺序"表示显示图片的顺序，在本说明中为图片编号。 "参照画面"表示对应的图片参照的图片编号，"解码顺序"表示图片 的解码的顺序。
例如，"显示顺序"为"4"的图片的"参照画面"是"0"，即，是参 照图片编号为"0"的图片的P图片，"解码顺序"是"1"，即是第2个解 码的图片。
图13是表示属性信息6100的结构及内容例的图。该属性信息6100代 替实施方式l的属性信息IIOO。
属性信息6100包括解码顺序6101、图片编号6102、图片类型6103及 参照图片6104。
解码顺序6101表示解码的图片的顺序。
图片编号6102表示图片的标识符，这里为图片的显示编号。图片类型6103表示图片的类型，"1"、 "B"、 "P"分别表示I类型、B 类型、P类型。
此外，参照图片6104表示对应的图片参照的图片的图片编号。gp，如 果该参照图片没有被解码，则对应图片不能正确地解码。
例如，解码顺序6101为"0"、即最初解码的图片，是图片编号6102 为"0"的图片，是图片类型6103为"1"、即能够仅通过画面内预测来解 码的I图片。由于是I图片，所以没有参照图片6103。
接着，图14是表示分配信息6200的结构及内容例的图。该分配信息 6200代替实施方式1的分配信息2200。
分配信息6200包括解码顺序6101和图像解码部6201。
解码顺序6101与属性信息6100的解码顺序6101相同。此外，图像解 码部6201是图像解码部的标识符，假设"DecOO"表示图像解码部4000， "Dec01"表示图像解码部4001, "Dec02"表示图像解码部4002， "Dec03" 表示图像解码部4003。
例如，解码顺序6101为"0"的图片由"DecOO"和"Dec03"解码。
以下，对将图片分配给图像解码部的一个方法进行说明。
<分配信息的制作方法>
图15是表示图像解码部将图片解码的时间图的图。
在本图中，"PO(I)"表示是图片编号为"O"的图片、是I图片。"P2(B)" 等也同样。"DecOO" "Dec03"是图像解码部ID。
本图的时间图表示按照图14所示的分配信息6200进行解码处理的情 况。最初，将图片0 (解码顺序"0")用DecOO和Dec03解码，接着将图 片4 (解码顺序"1")解码。图片0和图片4如实施方式1那样，分别按照 片段被分配给DecOO和Dec03并被解码。
然后，将图片1 (解码顺序"2")和图片2 (解码顺序"3")用DecOl 解码，将图片3 (解码顺序"4")用Dec02解码，将图片8 (解码顺序"5") 用DecOO和Dec03解码。
这里，说明分配的基本的考虑方式的例子。
这里，考虑两个要素。第l个是图片类型，第2个是参照图片。
首先，参照图像的读出较多的图片分配给数据带宽较宽的图像解码部。由于考虑大多情况下以B图片、P图片、I图片的顺序进行图像读出，所以 以该顺序分配给数据带宽较宽的图像解码部。
接着，由于如果不是将作为参照图片的I图片或P图片解码之后，就 不能解码B图片，所以将作为图片编号"1"的参照图片的图片编号"4" 先解码(参照t10)。此时，由于能够解码的图片除此以外没有其他的，所 以对DecOl和Dec02没有分配图片。然后，将图片编号"1"的图片解码(参 照图11)。
这样，考虑图片类型和参照图片来决定图片的解码顺序和分配的图像 解码部，制作分配信息6200 (参照图14)。 <动作>
本实施方式的图像解码装置的动作与利用图9和图10说明的实施方式 1同样。
不同点是以图片为单位解码、以及与其相伴的在步骤S120中检测到的 属性信息6100和在步骤S130中制作的分配信息6200。
在本实施方式中，由于在各图像存储部5000等中存储有解码后的图片 (以下称作"解码图片")或解码图片的一部分，所以图像组装部9000 (参 照图3)参照分配信息6200，根据显示顺序读出编码图片，根据需要组装 并显示。
<实施方式3>
图16中表示本实施方式的图像解码装置20的块图。
在实施方式1中，图像解码部4000、 4001、 4002、 4003分别具备图像 存储部5000、 5001、 5002、 5003，但在本实施方式中，仅共用1个图像存 储部5900这一点不同。
在实施方式1中，各图像存储部5000等存储有分配信息5100、编码数 据5200及解码数据5300 (参照图l)。
在本实施方式中，各图像解码部4000等分别在图像存储部5900内被 分配用来存储分配信息5100和编码数据5200的区域，并使解码数据5300 为共通的。另外，分配信息5100也可以设为共通。
所谓使解码数据5300为共通，例如是以图片为单位设置存储解码图片 的区域。
21各图像解码部4000等参照分配信息5100,将解码分配数据3100等的 结果、即作为被分配的片段的解码结果的解码片段存储到解码图片内的对 应的片段的位置中。
各图像解码部4000等通过分别将被分配的片段的解码片段写入到解码 图片的区域中，完成解码图片。
此外，在需要参照图像时，从解码图片的区域读出对应的参照宏块并 解码。
关于显示，在实施方式1中，需要按照图像帧的光栅顺序将要显示的 解码结果从各图像存储部5900读出。在本实施方式中，解码片段被写入到 被分配的区域中，以构成图片。因而，通过从编码图片按照光栅顺序发送 给显示编码结果的机构，能够显示图像帧，所以具有不需要从片段组装图 片的优点。
<实施方式4>
在图17中表示本实施方式的图像解码装置30的框图。
在实施方式1中，由分配数据生成部3000生成的分配数据3100等被 送出到图像解码部4000、 4001、 4002、 4003中，但在本实施方式中，不同 点是，暂时存储到分配数据储存部8000中，从分配数据储存部8000对各 图像解码部4000等送出分配数据。
设置分配数据储存部8000是因为，分配数据生成部3000相对于图像 解码部4000等的生成处理有时赶不上图像解码部4000等的处理。在赶不 上的情况下，不能进行图像解码处理的实时处理。
所谓的分配数据的生成处理赶不上的情况，是例如使分配的单位为比 片段小的单位、例如以多个宏块为单位的情况。
在以通常的MPEG-2标准解码的位流中，能够通过起始码识别的段 (segment)的最小单位是片段单位，但通过对位流逐一进行可变长解码， 能够识别作为片段层以下的单位的宏块的划分。
所以，通过对识别出的宏块的划分附加不通过MPEG-2标准约定的起 始码，能够进行以多个宏块为单位的分段化。
在此情况下，为了进行多个宏块单位下的分配，需要将图像数据100 逐一进行可变长解码，不会如实施方式1等那样在属性信息检测部1000中将图像数据跳过读取，所以花费与通常的解码动作同样的处理时间。
因而，发生分配数据生成部3000的生成处理赶不上图像解码部4000 等的处理的情况。
所以，通过将由分配数据生成部3000生成的分配数据储存到分配数据 储存部8000中并与图像解码部4000等的处理非同步，能够使图像解码部 4000等的解码处理赶上画面帧的显示。
此吋，在逐一进行可变长解码的过程中，也可以取得运动矢量等的运 动补偿信息，作为属性信息附加在分配数据中。
该作为运动补偿信息的运动矢量在将参照图像从图像存储部5000等读 出时参照。
此外，在因属性信息检测部1000 分配数据生成部3000的处理能力相 对于图像解码部4000等的处理能力较低而不能进行图像解码部4000等中 的实时处理的情况下，本实施方式也是有效的。
以下，对将图像数据分配给多个图像解码部的一个方法进行说明。
<分配信息的制作方法>
各图像解码部4000等的图像数据的处理时间为均等的，并且对各图像 解码部4000等分配图像数据，以使处理时间变短。
具体而言，根据要解码的图像数据(位流)的每单位时间的宏块数、 和各图像解码部4000等的处理性能即每单位时间能够处理的宏块数，决定 分配。
首先，求出图像数据的每l秒的宏块数"1 (英文字母)"。
宏块数"1"根据图像数据的对应图像帧尺寸和帧速率求出。帧尺寸和 帧速率从头信息中取得。
如果设宏块为"16像素X16像素"、设帧尺寸为"s (水平像素数)X t(垂直像素数)"，设帧速率为"u"，则在1秒钟必须解码的宏块数为"—s/16 Xt/16Xu"。 "/"为余数四舍五入。
例如，在图像数据是数字电影标准的4K标准的情况下，如果图像帧尺 寸为4096像素2160线，帧速率为每秒24帧，则在1秒钟必须解码的宏块 的个数为"1=256X135X24=829,440"个。
接着，求出各图像解码部4000等的每1秒能够处理的宏块数"Pi"。 "i"
23是能够并行处理的图像解码部4000等的数量1 n，在本实施方式中n是4。
如果设作为图像解码部的规格而被规定的对应图像帧尺寸为"si (水平 像素数)Xti (垂直像素数)"、设帧速率为"ui",则在1秒钟能够解码的 宏块数为"Pi=si/16Xti/16Xui"。
例如，由于SDTV的图像帧尺寸是720像素480行，帧速率是每秒30 帧，所以性能信息2100的运算能力2102 (参照图5)为"SDTV"的图像 解码部能够进行每秒"Pi=45X30X30=40,500"个的宏块的处理。
这里，考虑进行超过了单一的图像解码部的性能的单一位流的图像数 据的解码处理的情况。
如果设图像解码部的处理性能"Pi"的总和为"Q"，则为了形成"l/Q〈"， 前提是能够确保多个图像解码部。
接着，对确保的图像解码部分配宏块，并使处理时间成为均等。设对 各图像解码部分配的图像数据的量为"mi"。 "i"是确保的图像解码部4000 等的数量l n。
以使各图像解码部处理被分配的宏块的时间"mi/Pi"尽可能相等的方 式，将宏块分配给图像解码部。
这样，通过将宏块分配给各图像解码部，能够缩短图像解码部空闲的 时间，能够进行高效率的解码处理。
在本实施方式中，利用在一秒钟能够解码处理的宏块数计算处理能力， 但处理能力的计算并不限于此。
此外，确保的图像解码部既可以是图像解码装置具备的所有的图像解 码部，也可以是一部分图像解码部。在使用一部分图像解码部的情况下， 也可以通过不使用的其他图像解码部进行其他图像数据的解码处理。
另外，在分配其他实施方式的片段或图片的情况下，也可以基于构成 各片段及图片的宏块数决定解码的图像解码部。
<补充>
以上，对本发明的实施方式进行了说明，但本发明并不限于上述实施 方式，也可以如以下这样。
(l)在实施方式中，分配信息5100存储在图像存储部5000等中，但 也可以存储在图像解码部4000等的内部的存储器中。在将分配信息5100存储在图像解码部4000等的内部的存储器中的情 况下，具有向分配信息5100的访问变得高速的优点。
(2) 在实施方式中，结构为，分配信息5100使分配片段编号5102对 应于各图像解码部ID5101，但也可以是图19所示那样的分配信息5200那 样的结构。
艮P，使图像解码部ID5202对应于各片段编号5201。通过做成这样的 结构，能够消除对各图像解码部分配的片段的个数的限制，具有能够进行 更灵活的分配的优点。
(3) 在实施方式中，将片段的解码所需要的序列头及图片头内的信息 作为分配数据发送给各图像解码部，但也可以通过其他方法通知给各图像 解码部。
例如，在实施方式中仅将分配的片段的数据与分配信息2200 —起传递 给各图像解码部，但也可以将整个图像数据、例如从视频序列的开头开始 的数据都与分配信息2200—起传递给各图像解码部。在此情况下，各图像 解码部分别从整个图像数据中取出被分配的片段数据，作为编码数据5200 进行保存。各图像解码部由于可以参照序列头或图片头，所以能够得到解 码所需要的信息。
此外，控制图像的解码的属性信息检测部1000、分配决定部2000、分 配数据生成部3000也可以将所需要的信息不经由流而设定在各图像解码部 中。
(4) 图像解码装置也可以将图1的各结构要素的全部或一部分通过1 个芯片或多个芯片的集成电路实现。
例如，除了图像存储部5000等以外的各功能部也可以在单一的半导体 集成电路上实现。
此外，也可以是，图像解码部4000等由单一的半导体集成电路实现， 属性信息检测部1000、分配决定部2000和分配数据生成部3000在单一的 半导体集成电路上实现。
此夕卜，也可以是，图像解码部4000等分别由不同的半导体集成电路实 现，段数据量/特征信息检测机构101、属性信息检测部IOOO、分配决定部 2000和分配数据生成部3000在单一的半导体集成电路上实现。(5) 图像解码装置既可以将图1的各结构要素的全部或一部分通过计 算机的程序实现，也可以通过其他任何的形态实现。
在计算机程序的情况下，既可以是使计算机读入写入到CD-ROM等任 何记录媒体中的程序而执行的形式，也可以是经由网络下载程序而执行的 形式。
(6) 图像解码部4000等和图像存储部5000等也可以由STB (Set Top Box)、 DVD录制机那样的单独的系统实现。
此外，分配数据储存部8000也可以由带硬盘的DVD录制机等装备硬 盘的设备的硬盘来实现。
(7) 在实施方式中，根据数据量进行以片段为单位的分配，根据图片 类型进行图片单位的分配，但也可以配合这些或这些以外的属性、通过数 据量和类型等决定分配。
(8) 在实施方式中，作为图像解码部的性能信息2100而使用运算能 力和数据带宽，但也可以是其他信息。
此外，在实施方式中，使用可使用的所有图像解码部，但也可以是一 部分，进而也可以将多个图像数据的位流解码。 工业实用性
本发明可以适用于迸行图像的解码处理的AV设备中。
权利要求
1、一种图像解码装置，将被编码且由多个部分数据构成的图像数据解码，其特征在于，具备多个解码器；属性信息取得机构，取得属性信息，该属性信息是对上述部分数据的解码处理时间带来影响的属性，至少包括该部分数据的数据量；决定机构，基于由上述属性信息取得机构取得的关于部分数据的属性信息，决定将该部分数据解码的解码器；以及解码机构，使由上述决定机构决定的两个以上的解码器并行地将两个以上的部分数据解码。
2、 如权利要求l所述的图像解码装置，其特征在于， 上述图像解码装置还具备取得上述多个解码器各自的处理能力的处理能力取得机构；上述决定机构基于由上述属性信息取得机构取得的关于部分数据的属 性信息和由上述处理能力取得机构取得的各解码器的处理能力，决定将该 部分数据解码的解码器。
3、 如权利要求2所述的图像解码装置，其特征在于， 上述图像解码装置还具备存储有对应信息的对应存储机构，该对应信息使由上述决定机构决定的解码器的标识符与由该解码器解码的部分数据 的标识符相对应；上述部分数据的属性信息表示在将该部分数据解码时是否需要参照其 他部分数据的解码结果；上述决定机构决定处理能力比将其他部分数据解码的解码器高的解码 器，作为将属性信息表示需要参照该其他部分数据的解码结果的部分数据 解码的解码器；上述解码机构在解码的部分数据需要参照其他部分数据的解码结果 时，取得上述对应信息的与该其他部分数据相对应的解码器的输出结果， 并将该部分数据解码。
4、 如权利要求3所述的图像解码装置，其特征在于， 上述解码机构在将属性信息表示需要参照其他部分数据的解码结果的部分数据解码之前，将该其他部分数据解码。
5、 如权利要求4所述的图像解码装置，其特征在于， 上述部分数据的属性信息是该部分数据的数据量； 上述解码器的处理能力是该解码器输入的数据的带宽； 上述决定机构决定带宽比将其他部分数据解码的解码器宽的解码器，作为对比其他部分数据大的数据量作为属性信息的部分数据进行解码的解 码器。
6、 如权利要求l所述的图像解码装置，其特征在于， 上述部分数据是作为上述图像数据的位流的一部分，是构成图片的位串。
7、 如权利要求l所述的图像解码装置，其特征在于， 上述部分数据是作为上述图像数据的位流的一部分，是构成图片的一部分的位串。
8、 一种在图像解码装置中使用的图像解码方法，上述图像解码装置将 被编码且由多个部分数据构成的图像数据解码，其特征在于，上述图像解 码方法包括多个解码器；属性信息取得步骤，取得属性信息，该属性信息是对上述部分数据的 解码处理时间带来影响的属性，至少包括该部分数据的数据量；决定步骤，基于在上述属性信息取得步骤中取得的关于部分数据的属 性信息，决定将该部分数据解码的解码器；以及解码步骤，使在上述决定步骤中决定的两个以上的解码器并行地将两 个以上的部分数据解码。
全文摘要
有关本发明的图像解码装置具备多个解码器，将解码的图像数据分为多个部分数据，取得关于该部分数据的属性、表示给该部分数据的解码处理时间带来影响的属性的属性信息，基于关于部分数据的属性信息，决定将该部分数据解码的解码器，使由上述决定机构决定的两个以上的解码器将两个以上的部分数据并行地解码。
文档编号H04N7/26GK101455085SQ20078001886
公开日2009年6月10日 申请日期2007年5月23日 优先权日2006年5月24日
发明者和田由之, 桥本隆 申请人:松下电器产业株式会社