图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程 ...的制作方法
【技术领域】
[0001]本发明涉及对多视点图像进行编码和解码的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质。
[0002]本申请基于在2012年9月25日向日本提出申请的特愿2012-211154号要求优先权，将其内容引用于本文。
【背景技术】
[0003]历来，已知有由用多个摄像机对相同被摄体和背景进行拍摄的多个图像构成的多视点图像。将用该多个摄像机拍摄的活动图像称为多视点活动图像(或多视点视频)。在以下的说明中，将用一个摄像机拍摄的图像(活动图像)称为“二维图像(活动图像)”，将用位置或方向(以下，称为视点)不同的多个摄像机对相同被摄体和背景进行拍摄的二维图像(二维活动图像)群称为“多视点图像(多视点活动图像)”。
[0004]二维活动图像关于时间方向具有强的相关，能够通过利用该相关来提高编码效率。另一方面，在多视点图像、多视点活动图像中，在各摄像机同步的情况下，与各摄像机的视频的相同时刻对应的帧(图像)是从不同的位置对完全相同状态的被摄体和背景进行拍摄的帧(图像)，因此，在摄像机间具有强的相关。在多视点图像、多视点活动图像的编码中，能够通过利用该相关来提高编码效率。
[0005]此处，对涉及二维活动图像的编码技术的现有技术进行说明。在包括作为国际编码标准的H.264、MPEG-2、MPEG-4的现有的许多二维活动图像编码方式中，利用运动补偿预测、正交变换、量化、熵编码这样的技术来进行高效率的编码。例如，在H.264中，能够实现利用与过去或未来的多个帧的时间相关的编码。
[0006]例如在非专利文献I中记载了关于H.264中使用的运动补偿预测技术的细节。对H.264中使用的运动补偿预测技术的概要进行说明。H.264的运动补偿预测许可将编码对象帧分割为各种尺寸的块并在各块中具有不同的运动矢量和不同的参考帧。通过在各块中使用不同的运动矢量来实现补偿了按每个被摄体不同的运动的精度高的预测。另一方面，通过在各块中使用不同的参考帧来实现考虑了由于时间变化而产生的遮蔽的精度高的预测。
[0007]接下来，对现有的多视点图像、多视点活动图像的编码方式进行说明。多视点图像的编码方法与多视点活动图像的编码方法的不同之处在于，在多视点活动图像中，除了摄像机间的相关之外，还同时存在时间方向的相关。可是，关于利用摄像机间的相关的方法，在哪一种情况下都能够使用相同的方法。因此，此处，对在多视点活动图像的编码中使用的方法进行说明。
[0008]关于多视点活动图像的编码，历来存在利用为了利用摄像机间的相关而将运动补偿预测应用于相同时刻的由不同摄像机所拍摄的图像的“视差补偿预测”来高效率地对多视点活动图像进行编码的方式。此处，视差指的是在配置于不同的位置的摄像机的图像平面上，被摄体上的相同部分存在的位置之差。图13是示出在摄像机间产生的视差的概念图。在图13所示的概念图中，垂直地俯视光轴为平行的摄像机的图像平面。像这样，在不同的摄像机的图像平面上被摄体上的相同部分所投影的位置一般称为对应点。
[0009]在视差补偿预测中，基于该对应关系，根据参考帧来预测编码对象帧的各像素值，对其预测残差和示出对应关系的视差信息进行编码。视差按照每个成为对象的摄像机对、位置而变化，因此，需要按进行视差补偿预测的每个区域对视差信息进行编码。实际上，在H.264的多视点编码方式中，按使用视差补偿预测的每个块对表示视差信息的矢量进行编码。
[0010]由视差信息提供的对应关系能够通过使用摄像机参数基于极几何约束不是以二维矢量而是以示出被摄体的三维位置的一维量来表示。作为示出被摄体的三维位置的信息，存在各种表现，但是多使用从成为基准的摄像机到被摄体的距离、与摄像机的图像平面不平行的轴上的坐标值。再有，也存在不使用距离而使用距离的倒数的情况。此外，由于距离的倒数为与视差成比例的信息，所以也存在设定2个成为基准的摄像机而将被摄体的三维位置表现为由这些摄像机所拍摄的图像间的视差量的情况。由于不管使用怎样的表现，在其物理意义上都没有本质的不同，所以在以下不进行表现的区别，将示出这些三维位置的信息表现为深度。
[0011]图14是极几何约束的概念图。根据极几何约束，与某一摄像机的画面上的点对应的其他的摄像机的图像上的点被约束在极线这样的直线上。此时，在得到了针对其像素的深度的情况下，对应点在极线上被单值确定。例如，如图14所示那样，关于针对在第一摄像机图像中投影到m位置的被摄体的第二摄像机图像中的对应点，在实空间中的被摄体的位置为M’的情况下被投影到极线上的位置m’，在实空间中的被摄体的位置为M’’的情况下被投影到极线上的位置m’’。
[0012]在非专利文献2中，利用该性质，依照由针对参考帧的深度图(距离图像)提供的各被摄体的三维信息来根据参考帧合成针对编码对象帧的预测图像，由此，生成精度高的预测图像，实现高效的多视点活动图像的编码。再有，基于该深度而生成的预测图像被称为视点合成图像、视点内插图像、或者视差补偿图像。
[0013]进而，在专利文献I中，最初将针对参考帧的深度图变换为针对编码对象帧的深度图，使用该变换后的深度图来求取对应点，由此，能够仅针对需要的区域生成视点合成图像。由此，在一边按成为编码对象或解码对象的帧的每个区域切换生成预测图像的方法一边对图像或活动图像进行编码或解码的情况下，实现了用于生成视点合成图像的处理量、用于临时积累视点合成图像的存储器的量的削减。
[0014]现有技术文献专利文献
专利文献1:日本国特开2010-21844号公报。
非专利文献
非专利文献 1:1TU-T Recommendat1n H.264 (03/2009), "Advanced video codingfor generic aud1visual services' March, 20090
非专利文献2:Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and YoshiyukiYASHIMAj ^Mult1-view Video Coding based on 3-D Warping with Depth Map〃， InProceedings of Picture Coding Symposium 2006， SS3-6， April, 2006o
【发明内容】
[0015]发明要解决的课题
根据专利文献I所记载的方法，由于能针对编码对象帧得到深度图，所以能够根据编码对象帧的像素求取参考帧上的对应的像素。由此，通过仅针对编码对象帧的指定的区域生成视点合成图像，从而在仅编码对象帧的一部分区域需要视点合成图像的情况下，与通常生成I帧量的视点合成图像的情况相比，能够削减处理量、所要求的存储器的量。
[0016]然而，在对于编码对象帧的全部需要视点合成图像的情况下，由于产生根据针对参考帧的深度图来合成针对编码对象帧的深度图的需要，所以存在如下问题:与根据针对参考帧的深度图直接生成视点合成图像的情况相比，其处理量增加。
[0017]本发明鉴于这样的事情而完成，其目的在于提供一种能够在生成处理对象帧的视点合成图像时在不使视点合成图像的品质显著降低的情况下以少的运算量生成视点合成图像的图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序、以及记录介质。
[0018]用于解决课题的方案
本发明是一种图像编码方法，在对作为多个视点的图像的多视点图像进行编码时，使用针对与编码对象图像的视点不同的视点的编码完毕的参考视点图像和作为所述参考视点图像内的被摄体的深度图的参考视点深度图来一边在视点间预测图像一边进行编码，所述图像编码方法具有:假想深度图生成步骤，生成分辨率比所述编码对象图像低并且作为所述编码对象图像内的所述被摄体的深度图的假想深度图；以及视点间图像预测步骤，根据所述假想深度图和所述参考视点图像来生成针对所述编码对象图像的视差补偿图像，由此，进行视点间的图像预测。
[0019]优选的是，本发明的图像编码方法还具有:相同分辨率深度图生成步骤，在其中，根据所述参考视点深度图来生成分辨率与所述编码对象图像相同的相同分辨率深度图，在所述假想深度图生成步骤中，通过缩小所述相同分辨率深度图来生成所述假想深度图。
[0020]优选的是，在本发明的图像编码方法中的所述假想深度图生成步骤中，通过按所述假想深度图的每个像素从针对在所述相同分辨率深度图中对应的多个像素的深度之中选择示出与视点最近的深度来生成所述假想深度图。
[0021]优选的是，本发明的图像编码方法还具有:缩小深度图生成步骤，在其中，通过缩小所述参考视点深度图来生成所述参考视点图像内的所述被摄体的缩小深度图，在所述假想深度图生成步骤中，根据所述缩小深度图来生成所述假想深度图。
[0022]优选的是，在本发明的图像编码方法中的所述缩小深度图生成步骤中，仅针对纵方向或者横方向的任一个缩小所述参考视点深度图。
[0023]优选的是，在本发明的图像编码方法中的所述缩小深度图生成步骤中，通过按所述缩小深度图的每个像素从针对在所述参考视点深度图中对应的多个像素的深度之中选择示出与视点最近的深度来生成所述假想深度图。
[0024]优选的是，本发明的图像编码方法还具有:样本像素选择步骤，在其中，从所述参考视点深度图的像素选择一部分的样本像素，在所述假想深度图生成步骤中，通过变换与所述样本像素对应的所述参考视点深度图来生成所述假想深度图。
[0025]优选的是，本发明的图像编码方法还具有:区域分割步骤，在其中，依照所述参考视点深度图与所述假想深度图的分辨率之比将所述参考视点深度图分割为部分区域，在所述样本像素选择步骤中，按每个所述部分区域选择所述样本像素。
[0026]优选的是，在本发明的图像编码方法中的所述区域分割步骤中，依照所述参考视点深度图与所述假想深度图的分辨率之比来决定所述部分区域的形状。
[0027]优选的是，在本发明的图像编码方法中的所述样本像素选择步骤中，按每个所述部分区域将具有示出与视点最近的深度的像素或者具有示出离视点最远的深度的像素中的任一个选择为所述样本像素。
[0028]优选的是，在本发明的图像编码方法中的所述样本像素选择步骤中，按每个所述部分区域将具有示出与视点最近的深度的像素和具有示出离视点最远的深度的像素选择为所述样本像素。
[0029]本发明是一种图像解码方法，在根据作为多个视点的图像的多视点图像的码数据对解码对象图像进行解码时，使用针对与所述解码对象图像的视点不同的视点的解码完毕的参考视点图像和作为所述参考视点图像内的被摄体的深度图的参考视点深度图来一边在视点间预测图像一边进行解码，所述图