专利名称：图像编码方法及装置、图像解码方法及装置、程序的制作方法
技术领域：
本发明涉及用来将图像数据高效率地削减并编码的图像编码方法及装置、图像解 码方法及装置、以及程序。
背景技术：
以往，作为用于图像压缩的技术，已知有以MPEG(Moving PictureExperts Group/ 运动图片专家组)为代表的国际标准编码规格。并且，为了进一步削减图像数据，已知有 通过同时采用编码装置的将在局部解码图像彼此间进行运动探索处理而生成的图像作为 预测图像或解码图像使用的技术和已有的编码技术、使压缩率提高的技术(例如专利文 献1)。更具体地讲，在专利文献1中，将通过已有的编码规格生成的预测图像、与在局部解 码图像彼此中进行运动探索处理而生成的图像按照像素块切换而编码，由此使压缩效率提 尚ο
[专利文献1]日本特开2008-1M015号公報
[非专利文献1]「改訂三版H.264/AVC教科書」、2009年1月1日発行、l· ^ R&D，第125《一夕(ζ今夕/卜夕口 口y夕)
但是，在专利文献1所示那样的方法、即将通过已有的编码规格生成的预测图像 与在解码图像彼此中进行运动探索处理而新生成的图像以块单位切换编码的方法中，除了 已有的标志信息以外，新需要使用哪个图像的判断信息(标志信息)。因而，根据输入影像， 由来于该判断信息的符号量变多，用专利文献1的方法压缩的情况与通过以往规格压缩的 情况相比，压缩效率有可能下降。发明内容
本发明是鉴于这样的状况而做出的，目的是提供一种用来不需要新的判断信息而 改善压缩效率的技术。
为了解决上述问题，本发明基于作为H. 264/AVC的编码信息(标志)已经规定的 跳过模式(跳过的宏块)，选择通过已有的方法生成的已有预测图像(帧内或帧间预测图 像)及通过插值预测生成的插值预测图像的某一方作为预测图像。
即，在本发明中，在将图像编码并传送时，首先生成对于编码对象图像的预测图像 与编码对象图像的差分数据。并且，将差分数据编码，生成编码图像数据并输出。此外，在 生成预测图像时，基于与编码对象图像建立了关联的跳过模式信息，将帧内或帧间预测图 像与在局部解码图像彼此中执行运动探索而生成的插值预测图像的某一方作为预测图像 输出。另外，当生成预测图像时，仅对编码对象图像是B图片、该B图片的跳过模式为有效 的编码对象区域控制处理，以将上述插值预测图像作为上述预测图像输出。此外，在编码对 象图像是P图片的情况下，控制处理，以将帧内或帧间预测图像作为预测图像输出。
另一方面，在将编码图像数据解码而生成解码图像数据的情况下，首先将编码图 像数据进行句法解析，至少分离为解码对象的编码图像数据、和包括跳过模式信息的、解码所需要的编码信息。并且，将解码对象的编码图像数据解码，生成预测误差数据。进而，将 预测误差数据与预测图像相加而生成解码图像。此外，在生成预测图像时，基于跳过模式信 息，将帧内或帧间预测图像和在已有的解码图像彼此中执行运动探索而生成的插值预测图 像的某一方作为预测图像输出。
本发明的其他特征通过以下用来实施本发明的实施方式及附图会变得清楚。
根据本发明，能够用比以往方式少的符号量记录并传送影像信号。
图1是表示本发明的实施方式的图像编码装置的概略结构的图。
图2是表示本发明的第1实施方式的编码部的详细结构的图。
图3是表示编码对象帧与前后的帧的关系的图。
图4是表示插值预测图像与已有预测图像混杂的情况的帧例的图。
图5是表示本发明的实施方式的解码装置的概略结构的图。
图6是用来说明解码处理的详细情况的流程图。
图7是用来说明作为变形例的解码处理的详细情况的流程图。
图8是表示本发明的第2实施方式的编码部的详细结构的图。
附图标记说明
101影像输入部
102区域分割部
103编码部
104可变长编码部
201、801减法器
202、802频率变换-量化部
203,503,803逆量化-逆频率变换部
204,504,804 加法器
205、505、805解码图像存储部
206、806帧内预测部
207,807帧间预测部
208,808帧内/帧间预测图像选择部
209、809、508解码图像运动探索部
210、509插值预测图像生成部
211、507插值预测图像决定部
501可变长解码部
502句法解析部
506预测图像生成部
510影像显示装置具体实施方式
本发明是关于不传送表示预测图像生成方式(将已有(帧内/帧间)预测图像和插值预测图像的哪个作为预测图像)的标志(判断信息)而实现编码的图像编码装置、以 及将不使用该标志而编码的图像解码的图像解码装置的。特别是，本发明适合于依据例如 H. 264/AVC规格的编码及解码。
以下，参照附图对本发明的实施方式进行说明。但是，需要注意的是，本实施方式 只不过是用来实现本发明的一例，并不限定本发明的技术范围。此外，在各图中对于共通的 结构赋予相同的标号。
(1)第1实施方式
<图像编码装置的整体结构>
图1是表示本发明的实施方式的图像编码装置的概略结构的图。101是存储输入 图像的影像输入部。102是将输入图像分割为编码对象区域(例如宏块单位或片单位)的 区域分割部。103是将由区域分割部分割后的输入图像数据以编码单位进行编码、局部解码 的编码部。104是将由编码部103编码后的数据进行可变长编码的可变长编码部。以下，对 本实施方式的各处理部的详细情况进行叙述。
影像输入部101将输入图像以编码的顺序重新排列。顺序的重新排列根据图片是 帧内预测图片(I图片)、单向预测图片(P图片)或双向预测图片(B图片)的某个来执行， 由此将图像群(例如G0P)从显示顺序重新排列为编码顺序。
接着，区域分割部102将编码对象帧分割为编码对象区域。分割的区域的形状既 可以是正方形、长方形区域那样的块单位(例如宏块单位或片单位)、也可以是watershed 法那样的方法提取的对象单位。此外，分割的区域的大小也可以是从16X16像素那样的在 已有编码规格中采用的大小到64X64像素那样的较大的尺寸。将由区域分割部102分割 后的图像发送给编码部103。
〈编码部的详细结构〉
图2是表示编码部103的更详细的结构的图。201是计算由区域分割部102分割 后的图像与由插值预测图像决定部211决定的图像(是局部解码图像、对象编码区域的预 测图像图像内/图像间预测图像及插值预测图像的某个)的差分、输出残差(预测误差数 据)的差分器。
202是将差分器201输出的差分数据进行频率变换、将频率变换后的数据量化的 频率变换-量化部。203是将频率变换-量化部202输出的数据逆量化之后，进行逆频率变 换的逆量化-逆频率变换部。
204是将逆量化-逆频率变换部203输出的数据与由插值预测图像决定部211决 定的图像相加、输出解码图像的加法器。205是将加法器204输出的数据(解码图像)存储 的解码图像存储部。
209是在存储在解码图像存储部中的解码图像彼此中检测最近似的区域、输出运 动信息的解码图像运动探索部。
206是根据与编码对象区域同一个帧内、该区域的周边像素生成预测图像的帧内 预测部。207是从与编码对象区域属于的帧不同的帧内的区域检测接近于编码对象区域的 图像的图像、使用由解码图像运动探索部209得到的运动信息执行运动补偿、生成预测图 像的帧间预测部。208是选择帧内预测图像或帧间预测图像的中的编码效率较高者(例如 选择符号量较少的预测方式)、将所选择的预测图像作为已有预测图像输出的、帧内/帧间预测图像选择部。
210是基于由解码图像运动探索部检测到的运动信息生成插值图像的插值预测图 像生成部。211是决定使用由插值预测图像生成部210生成的图像(插值预测图像)或由 帧内/帧间预测图像选择部208生成的预测图像(已有预测图像)的哪个的插值预测图像 决定部。选择插值预测图像的是编码对象图像为B图片、编码对象区域的跳过模式为有效 的情况。即，插值预测图像决定部211基于跳过模式信息，决定将已有预测图像及插值预测 图像的哪个选择为应取与编码对象图像的差分的图像。
接着，对编码部103的各处理部的详细情况进行说明。频率变换-量化部202将 编码对象图像与生成的预测图像的差分图像使用例如DCT(Discrete Cosine Transform) 或小波变换等进行频率变换，将频率变换后的系数量化。将量化后的数据发送给可变长编 码部104及逆频率变换-逆量化部203。
逆量化-逆频率变换部203进行频率变换-量化部202进行的处理的逆处理。即， 将输入到那里的数据进行逆量化，将逆量化后的数据通过逆DCT或逆小波变换等进行逆频 率变换，生成相当于上述差分图像(预测误差数据)的图像。
此外，加法器204将相当于从逆量化-逆频率变换部203输出的差分图像的图像、 与由插值预测图像决定部211决定的预测图像相加而生成局部解码图像。将生成的局部解 码图像存储到解码图像存储部205中。
帧内预测部206使用存储在解码图像存储部205中的已解码的编码对象区域的周 边像素生成预测图像。此外，帧间预测部207通过匹配处理检测输入的编码对象区域的图 像数据与存储在解码图像存储部205中的已解码帧内的图像区域的图像数据最近似的区 域，将该检测到的区域作为预测图像。
将存储在解码图像存储部205中的解码图像也发送给解码图像运动探索部209。 解码图像运动探索部209执行以下的处理。
首先，如图3所示，使用编码对象帧η (η是表示编码顺序的自然数)的前后的帧内 的像素fy (x-dx, y-dy)及fn+1 (x+dx, y+dy)，求出式(1)所示的预测误差绝对值和SADn(X， y)。这里，R是运动探索时的区域尺寸，m是用来提高运动探索的精度的偏移量。
式 权利要求
1.一种图像编码方法，将图像数据编码并输出编码图像数据，其特征在于，具备 生成对于编码对象图像的预测图像与上述编码对象图像的差分数据的步骤； 将上述差分数据编码而生成编码图像数据并输出的步骤；将上述编码图像数据解码并生成局部解码图像的步骤；以及使用上述局部解码图像生成上述预测图像的步骤，即基于与上述编码对象图像建立了 关联的跳过模式信息，将帧内或帧间预测图像和在上述局部解码图像彼此中进行运动探索 而生成的插值预测图像的一方作为上述预测图像而输出的步骤。
2.如权利要求1所述的图像编码方法，其特征在于，在生成上述预测图像的步骤中，仅对上述编码对象图像是B图片、并且该B图片的上述 跳过模式为有效的编码对象区域，将上述插值预测图像作为上述预测图像输出。
3.如权利要求2所述的图像编码方法，其特征在于，在生成上述预测图像的步骤中，在上述编码对象图像是P图片的情况下，将上述帧内 或帧间预测图像作为上述预测图像输出。
4.一种图像解码方法，将传送来的编码图像数据解码并输出解码图像数据，其特征在 于，具备将上述编码图像数据进行句法解析、至少分离为解码对象的编码图像数据和包括跳过 模式信息的、解码所需要的编码信息的步骤；将上述解码对象的编码图像数据解码并生成预测误差数据的步骤； 将上述预测误差数据和预测图像相加而生成解码图像并输出的步骤；以及 使用已有的解码图像生成上述预测图像的步骤，即基于上述跳过模式信息，将帧内或 帧间预测图像和在上述已有的解码图像彼此中执行运动探索而生成的插值预测图像的一 方作为上述预测图像而输出的步骤。
5.如权利要求4所述的图像解码方法，其特征在于，在生成上述预测图像的步骤中，仅对上述解码对象的编码图像数据是B图片、并且该 B图片的上述跳过模式为有效的解码对象区域，将上述插值预测图像作为上述预测图像输出ο
6.如权利要求5所述的图像解码方法，其特征在于，在生成上述预测图像的步骤中，在上述解码对象的编码图像数据是P图片的情况下， 将上述帧内或帧间预测图像作为上述预测图像输出。
7.一种图像解码装置，将传送来的编码图像数据解码，输出解码图像数据，其特征在于，具备句法解析部，对上述编码图像数据进行句法解析，至少分离为解码对象的编码图像数 据和包括跳过模式信息的、解码所需要的编码信息；解码处理部，将上述解码对象的编码图像数据解码，生成预测误差数据； 解码图像生成部，将上述预测误差数据与预测图像相加，生成解码图像并输出；以及 预测图像生成部，使用已有的解码图像生成上述预测图像；上述预测图像生成部基于上述跳过模式信息，将帧内或帧间预测图像和在上述已有的 解码图像彼此中执行运动探索而生成的插值预测图像的一方作为上述预测图像输出。
8. 一种程序，其特征在于，用来使计算机作为权利要求7所述的图像解码装置发挥功能。
全文摘要
本发明提供一种图像编码方法及装置、图像解码方法及装置、程序。尤其提供一种用来不需要新的判断信息(编码标志信息)而改善压缩效率的技术。在按照解決手段编码对象区域的压缩中，基于跳过模式(不将编码对象区域的信息压缩而将以前的编码对象区域的信息复制的处理)，决定是使用通过已有的编码规格生成的已有预测图像、还是在解码图像彼此中进行运动探索处理而新生成的插值预测图像。
文档编号H04N7/26GK102036068SQ20101050180
公开日2011年4月27日 申请日期2010年9月30日 优先权日2009年10月2日
发明者中村克行, 小松佑人, 斋藤升平, 村上智一, 横山彻 申请人:日立民用电子株式会社