帧最近的I帧(或P帧)分离出的第一图像或第二图像中的一个、以及(2)从在未来侧与B帧最近的I帧(或P帧)分离出的第一图像或第二图像中的一个分别成为参照图像的候选。在压缩B帧的各图像的情况下,压缩处理部113从参照图像的候选中按每一块选择过去和未来的各一个参照图像,并使用两个参照图像的解码值来进行各块的运动补偿预测。
[0101]另外,从RAW图像的相同的颜色排列提取的Gl像素和G2像素在第一图像和第二图像中分别配置在相同的像素位置。但是,如上所述,在第一图像和第二图像之间会产生由于颜色排列中的像素位置的差异而导致的图案的偏移。因此,在第一图像和第二图像之间进行运动补偿预测时,优选的是,压缩处理部113的预测信息生成部20考虑颜色排列中的像素位置的差异如以下的(A)、(B)那样来进行G1、G2成分间的预测。该G1、G2成分间的预测以作为编码对象的图像的块为单位来独立地进行。
[0102]这里,关于以下的(A)、⑶的说明,在图12-图25中,通过圆圈来表示RAW图像中的Gl像素、G2像素的排列。另外,在图12-图25中,通过框线来表示一个颜色排列的范围(第一图像和第二图像的样本点)。另外,在第一图像和第二图像之间,将预测源像素的参照像素的位置相对于预测目标图像的关注像素的位置的位置偏移称为运动矢量MV[x,y]。运动矢量MV通过向右的偏移而增加X,通过向左的偏移而减小X。同样,运动矢量MV通过向下的偏移而增加y,通过向上的偏移而减小y。在以下的说明中,说明预测源图像为第一图像、预测目标图像为第二图像的例子,两者的关系也可以反过来。
[0103](A)基于像素插补处理的预测
[0104]图12、图13是表示基于像素插补处理的像素值的预测例子的图。在像素插补处理中,在第一图像和第二图像之间,通过预测源图像的多个像素的插补值对预测目标图像的关注像素的值进行预测。
[0105]图12、图13表示了通过与关注像素相邻的预测源图像(第一图像)的4像素(Gla-Gld)的平均值求出预测目标图像(第二图像)的关注像素G2x的值的例子。在图12、图13的情况下,由于通过4个相邻像素的平均来预测关注像素的像素值,因此能够抑制预测源图像的解码值所包含的编码失真。
[0106]在图12的例子中,在颜色排列的左上配置有Gl像素,在颜色排列的右下配置有G2像素。在图12的情况下,虽然像素Gla和像素G2x属于相同的样本点,但是关注像素(G2x)由于插补而受到像素Glb-Gld的影响。因此,预测源图像的参照像素的范围相对于关注像素(G2x)的位置向右偏移0.5像素,向下偏移0.5像素。因此,图12的例子中的运动矢量MV 为[0.5,0.5]。
[0107]另外,在图13的例子中,在颜色排列的右上配置有Gl像素,在颜色排列的左下配置有G2像素。在图13的情况下,虽然像素Glb和像素G2x属于相同的样本点,但是关注像素(G2x)由于插补而受到像素Gla、Glc、Gld的影响。因此,预测源图像的参照像素的范围相对于关注像素(G2x)的位置向左偏移0.5像素,向下偏移0.5像素。因此,图13的例子中的运动矢量MV为[-0.5,0.5]。
[0108]上述基于图像插补处理的运动补偿预测在图案的变化较小的块中被选择的概率高。由于动态图像中还包括很多无运动的部分,因此在第一图像和第二图像的压缩编码中,选择图12、图13的预测的频率也变高。因此,编码部15在基于图像插补处理的运动补偿预测的情况下也可以分配最短的编码来提高压缩效率。
[0109]例如,在第一动作例子的第一图像和第二图像的压缩编码中,编码部15在图12的情况下也可以向基于运动矢量MV[0.5,0.5]的运动补偿预测分配最短的编码。另外,在第一动作例子的第一图像和第二图像的压缩编码中,编码部15在图13的情况下也可以向基于运动矢量MV[-0.5,0.5]的运动补偿预测分配最短的编码。
[0110]上述预测值的计算方法依赖于所应用的编码方式。因此,基于像素插补处理的预测不限于图12、图13的例子。例如,也可以如图14那样,通过基于预测源图像(第一图像)的16个Gl像素的插补值(例如16个Gl成分的平均值或加权平均值)来求出预测目标图像(第二图像)的关注像素G2x的值。另外,图14的例子中的运动矢量MV为[0.5,0.5]。
[0111](B)基于像素偏移处理的预测
[0112]图15-图25是表示基于像素偏移处理的像素值的预测例子的图。在像素偏移处理中,在第一图像和第二图像之间,根据在预测源图像中处于不同位置的像素的值来对预测目标图像的关注像素的值进行预测。
[0113]图15-图18是在颜色排列的左上配置有Gl像素、在颜色排列的右下配置有G2像素的情况。
[0114]在图15的情况下,根据在RAW图像中位于右上的像素Glb的值来对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图15的情况下,预测源图像的参照像素(Glb所属的样本点)相对于预测目标图像中的关注像素(G2x所属的样本点)的位置向右偏移I像素。因此,图15的例子中的运动矢量MV为[1,0]。
[0115]在图16的情况下,根据在RAW图像中位于左下的像素Glc的值来对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图16的情况下,预测源图像的参照像素(Glc所属的样本点)相对于预测目标图像中的关注像素(G2x所属的样本点)的位置向下偏移I像素。因此,图16的例子中的运动矢量MV为[0,I]。另外,如图15、图16那样的运动补偿预测在包括从左下向右上的斜向边缘的图案的块中被选择的概率高。
[0116]在图17的情况下,根据在RAW图像中位于左上的像素Gla的值来对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图17的情况下,预测源图像的参照像素(Gla所属的样本点)与预测目标图像中的关注像素(G2x所属的样本点)的位置相同。因此,图17的例子中的运动矢量MV为[0,0]。
[0117]在图18的情况下,根据在RAW图像中位于右下的像素Gld的值来对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图18的情况下,预测源图像的参照像素(Gld所属的样本点)相对于预测目标图像中的关注像素(G2x所属的样本点)的位置向右偏移I像素并向下偏移I像素。因此,图18的例子中的运动矢量MV为[1,I]。另外,如图17、图18那样的运动补偿预测在包括从右下向左上的斜向边缘的图案的块中被选择的概率高。
[0118]另一方面,图19-图22是在颜色排列的右上配置有Gl像素、在颜色排列的左下配置有G2像素的情况。
[0119]在图19的情况下,根据在RAW图像中位于右上的像素Glb的值来对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图19的情况下,预测源图像的参照像素(Glb所属的样本点)与预测目标图像中的关注像素(G2x所属的样本点)的位置相同。因此,图19的例子中的运动矢量MV为[0,0]。
[0120]在图20的情况下,根据在RAW图像中位于左下的像素Glc的值来对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图20的情况下,预测源图像的参照像素(Glc所属的样本点)相对于预测目标图像中的关注像素(G2x所属的样本点)的位置向左偏移I像素并向下偏移I像素。因此,图20的例子中的运动矢量MV为[-1,I]。另外,图19、图20那样的运动补偿预测在包括从左下向右上的斜向边缘的图案的块中被选择的概率较高。
[0121]在图21的情况下,根据在RAW图像中位于左上的像素Gla的值来对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图21的情况下,预测源图像的参照像素(Gla所属的样本点)相对于预测目标图像中的关注像素(G2x所属的样本点)的位置向左偏移I像素。因此,图21的例子中的运动矢量MV为[_1,0]。
[0122]在图22的情况下,根据在RAW图像中位于右下的像素Gld的值来对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图22的情况下,预测源图像的参照像素(Gld所属的样本点)相对于预测目标图像中的关注像素(G2x所属的样本点)的位置向下偏移I像素。因此,图22的例子中的运动矢量MV为[0,I]。另外,如图21、图22那样的运动补偿预测在包括从右下向左上的斜向边缘的图案的块中被选择的概率较高。
[0123]在图15-图22中,说明了将相对于关注像素在RAW图像中以倾斜45度相邻的参照像素用于预测的例子,但是不限于上述例子。作为其他的例子,说明图23-图25。另外,图23-图25是在颜色排列的左上配置有Gl像素、在颜色排列的右下配置有G2像素的情况。
[0124]图23表示了根据2个属于右侧的颜色排列的像素Glf的值对预测目标图像(第二图像)的关注像素G2x的值进行预测的例子。图23的例子中的运动矢量MV为[2,0]。
[0125]图24表示了根据属于左下的颜色排列的像素Glg的值对预测目标图像(第二图像)的关注像素G2x的值进行预测的例子。图24的例子中的运动矢量MV为[1,1]。另外,如图23、图24那样的运动补偿预测在包括从左下向右上以大约18.4度(=tan-1 (1/3))倾斜的边缘的图案的块中被选择的概率较高。
[0126]图25表示了根据I个属于右侧的颜色排列的像素Glg和2个属于右侧的颜色排列的像素Glf的平均值对预测目标图像(第二图像)的关注像素G2x的值进行预测的例子。图25的例子中的运动矢量MV为[1.5,0]。另外,如图25那样的运动补偿预测在包括从左下向右上以大约26.6度(=tan_1(l/2))倾斜的边缘的图案的块中被选择的概率较高。
[0127]压缩处理部113在包括斜向边缘的图案的块中,根据边缘的角度和方向来选择基于图15-图25的像素偏移处理的预测。由此,能够减小第一图像和第二图像的预测误差,能够更高效地进行编码。
[0128]在#103中,通过图12-图14所示的图像插补处理、图15-图22的像素偏移处理,压缩处理部113能够使运动矢量的探索范围成为从关注像素的位置在空间方向上土 I像素的范围。另外,根据图23-图25的像素偏移处理,压缩处理部113能够使运动矢量的探索范围成为从关注像素的位置在空间方向上±2像素的范围。
[0129]另外,如果与从不同的RAW图像分离的第一图像和第二图像的运动补偿预测相比,在从相同的RAW图像分离的第一图像和第二图像的运动补偿预测中,能够应用上述像素插补处理和像素偏移处理的频率变高。因此,在从相同的RAW图像分离的第一图像和第二图像的运动补偿预测中,压缩处理部113能够通过像素插补处理和像素偏移处理将运动矢量的探索范围设定得较窄,从而能够抑制运算负荷。
[0130]步骤#104:图像处理引擎104经由记录I/F107将被压缩编码了的图像的数据(#103)记录在存储介质110中。
[0131]步骤#105:图像处理引擎104判断是否接收到了结束动态图像摄影的指示。在满足上述条件的情况下(是的情况下),处理转移到#106。另一方面,在不满足上述条件的情况下(否的情况下),返回到#101,图像处理引擎104重复上述动作。通过从#101到#105的否的情况下的循环,对依次获取的RAW图像的帧在颜色成分的更换后进行压缩编码,在记录介质上记录动态图像。
[0132]步骤#106:图像处理引擎104生成RAW动态图像的附带数据。上述附带数据包括原RAW图像的图像尺寸和颜色排列的图案、基于图像变换部112的图像的重新排列的方式(第一图像和第二图像的像素排列、图像尺寸)等、以及用于压缩了的RAW动态图像的解码的信息。
[0133]然后,#106中的图像处理引擎104在包括被压缩了的RAW动态图像数据的压缩RA