动态图像压缩装置、动态图像解码装置、图像压缩装置、图像解码装置、拍摄装置以及程序的制作方法
【技术领域】
[0001]本发明涉及动态图像压缩装置、动态图像解码装置、图像压缩装置、图像解码装置、拍摄装置以及程序。
【背景技术】
[0002]关于动态图像的摄影，提出了具有RAW动态图像的摄影模式的摄影装置，所述RAW动态图像的摄影模式对从拍摄元件输出的图像在相机内不进行显像处理就进行记录。在该RAW动态图像的记录中，还提出有从拜耳阵列(Bayer array)分离各种颜色成分并对每一种颜色成分进行压缩编码。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开2011-41144号公报
【发明内容】
[0006]发明所要解决的问题
[0007]然而，拜耳阵列的两个相同颜色成分具有较高的相关性。因此，如果利用该相关性，则能够进一步提高RAW动态图像的压缩编码的效率。
[0008]用于解决问题的手段
[0009]作为本发明的一个例子的动态图像压缩装置包括获取部、图像变换部、以及压缩处理部。获取部获取将多个帧与拍摄顺序相关联的RAW动态图像，所述多个帧中不同的3个颜色成分的像素按照2行2列的颜色排列周期性配置。图像变换部将关注的帧中、与奇数行的第一颜色成分对应的第一像素组和与偶数行的第一颜色成分对应的第二像素组分别分离，并将包括第一像素组的第一图像和包括第二像素组的第二图像交替地排列在时间轴方向上。压缩处理部对第一图像和第二图像进行图像间预测编码压缩。
[0010]作为本发明的其他例子的图像压缩装置包括获取部、分离部、以及压缩处理部。获取部获取二维状地配置有多个颜色成分的像素的RAW图像。分离部将RAW图像内的第一颜色成分分离为第一图像和第二图像。压缩处理部基于第一图像和第二图像的图像间的差量对第一图像进行压缩处理。
[0011]作为本发明的其他例子的动态图像解码装置包括获取压缩RAW动态图像数据的获取部、解码处理部、以及图像变换部。压缩RAW动态图像数据是关于不同的3个颜色成分的像素按照2行2列的颜色排列周期性配置的多个帧，将与各帧的奇数行的第一颜色成分对应的第一像素组和与偶数行的所述第一颜色成分对应的第二像素组分别分离，并且将包括所述第一像素组的第一图像和包括所述第二像素组的第二图像交替地排列在时间轴方向上并进行图像间预测编码压缩而得到的。解码处理部对压缩RAW动态图像数据进行解码。图像变换部按照颜色排列来重新排列被解码的RAW动态图像数据的第一图像和第二图像。
[0012]作为本发明的其他例子的图像解码装置包括获取压缩RAW动态图像数据的获取部、对压缩RAW动态图像数据进行解码的解码处理部、以及图像变换部。压缩RAW动态图像数据是将二维状地配置有多个颜色成分的像素的RAW图像内的第一颜色成分分离为第一图像和第二图像，并基于第一图像和第二图像的图像间的差量对第一图像进行压缩处理而得到的。图像变换部按照预定的颜色排列来重新排列被解码的RAW动态图像数据的第一图像和第二图像。
【附图说明】
[0013]图1是表不第一实施方式的电子相机的构成例子的图。
[0014]图2的(a)-(d)是表示拜耳阵列中的各颜色像素的排列例子的图。
[0015]图3是表不压缩处理部的构成例子的图。
[0016]图4是表不解码处理部的构成例子的图。
[0017]图5是表示RAW动态图像记录模式下的电子相机的动作的流程图。
[0018]图6是表示作为编码对象的RAW图像的例子的图。
[0019]图7的(a)-(d)是表示通过第一动作例子中的RAW图像的颜色成分的重新排列而生成的图像的图。
[0020]图8是表示RAW图像全部是I帧的情况的运动补偿预测的例子的图。
[0021]图9是表示RAW图像是I帧、P帧的情况的运动补偿预测的例子的图。
[0022]图10是表示RAW图像是I帧、P帧、B帧的情况的运动补偿预测的例子的图。
[0023]图11是表示RAW图像是I帧、P帧、B帧的情况的运动补偿预测的例子的图。
[0024]图12是表示基于像素插补处理的像素值的预测例子的图。
[0025]图13是表示基于像素插补处理的像素值的预测例子的图。
[0026]图14是表示基于像素插补处理的像素值的预测例子的图。
[0027]图15是表示基于像素偏移处理的像素值的预测例子的图。
[0028]图16是表示基于像素偏移处理的像素值的预测例子的图。
[0029]图17是表示基于像素偏移处理的像素值的预测例子的图。
[0030]图18是表示基于像素偏移处理的像素值的预测例子的图。
[0031]图19是表示基于像素偏移处理的像素值的预测例子的图。
[0032]图20是表示基于像素偏移处理的像素值的预测例子的图。
[0033]图21是表示基于像素偏移处理的像素值的预测例子的图。
[0034]图22是表示基于像素偏移处理的像素值的预测例子的图。
[0035]图23是表示基于像素偏移处理的像素值的预测例子的图。
[0036]图24是表示基于像素偏移处理的像素值的预测例子的图。
[0037]图25是表示基于像素偏移处理的像素值的预测例子的图。
[0038]图26的(a)、(b)是表示通过第二动作例子中的RAW图像的颜色成分的重新排列而生成的图像的图。
[0039]图27的(a)、(b)是表示通过第二动作例子的变形例I中的RAW图像的颜色成分的重新排列而生成的图像的图。
[0040]图28的(a)、(b)是表示通过第二动作例子的变形例2中的RAW图像的颜色成分的重新排列而生成的图像的图。
[0041]图29的(a)、(b)是表示通过第三动作例子中的RAW图像的颜色成分的重新排列而生成的图像的图。
[0042]图30的(a)、(b)是表示通过第三动作例子的变形例中的RAW图像的颜色成分的重新排列而生成的图像的图。
[0043]图31是表示通过RAW动态图像记录模式压缩了的RAW动态图像的解码动作的例子的流程图。
[0044]图32是表示第二实施方式中的动态图像解码装置的构成例子的图。
【具体实施方式】
[0045]〈第一实施方式的说明〉
[0046]图1是表示作为拍摄装置、动态图像压缩装置、动态图像解码装置的一个例子的第一实施方式的电子相机的构成例子的图。
[0047]第一实施方式的电子相机100具有动态图像摄影功能，并且作为动态图像摄影模式之一而具有RAW动态图像记录模式。RAW动态图像记录模式下的电子相机100对数字显像处理前的RAW形式的动态图像(RAW动态图像)进行压缩编码并记录。另外，数字显像处理是指将未加工的RAW图像变换为与照片相当的图像的图像处理。作为一个例子，数字显像处理包括颜色插补处理、灰度变换处理、白平衡调整处理、颜色变换处理。
[0048]电子相机100具有拍摄光学系统101、拍摄元件102、信号处理部103、图像处理引擎104、第一存储器105、第二存储器106、记录I/F107、显示器108、以及操作部109。这里，信号处理部103、第一存储器105、第二存储器106、记录I/F107、显示器108、以及操作部109分别与图像处理引擎104连接。另外，操作部109是接收用户的操作(例如动态图像摄影的指示、模式切换的指示等)的开关。
[0049]拍摄光学系统101由例如包括变焦透镜、聚焦透镜的多个透镜构成。另外，为简单起见，在图1中通过一个透镜图示了拍摄光学系统101。
[0050]拍摄元件102是对基于通过了拍摄光学系统101的光束而形成的被摄体的成像进行拍摄(摄影)的设备。拍摄元件102的输出与图像处理引擎104连接。上述拍摄元件102既可以是依次扫描方式的固态成像元件(例如CCD)，也可以是XY寻址方式的固态成像元件(例如CMOS) ο
[0051]这里，在拍摄元件102的受光面上呈矩阵状排列有多个受光元件(像素)。并且，分别使不同颜色成分的光透过的多种彩色滤光片按照预定的颜色排列而配置在拍摄元件102的像素中。因此，拍摄元件102的各个像素通过彩色滤光片的颜色分解而输出与各颜色成分对应的电信号。例如，在第一实施方式中，红色(R)、绿色(G)、蓝色(B)的彩色滤光片按照2行2列的拜耳阵列周期性地配置在受光面上。作为一个例子，在拍摄元件102的像素排列的奇数行交替地排列有G、B的像素，在像素排列的偶数行交替地排列有R、G的像素。并且，在像素排列的整体中，绿色像素配置成方格图案。由此，拍摄元件102能够在拍摄时获取彩色的图像。在本说明书的说明中，有时将奇数行的绿色像素表示为G1，将偶数行的绿色像素表示为G2。另外，拜耳阵列中的各颜色像素的排列图案不限于上述例子，也可以是奇数行配置红色像素、偶数行配置蓝色像素。另外，图2的(a)-(d)表示拜耳阵列中的各颜色像素的排列例子。
[0052]信号处理部103对从拍摄元件102输入的图像信号依次进行模拟信号处理(相关双采样、黑电平校正等)、A/D转换处理、数字信号处理(缺陷像素校正等)。从信号处理部103输出的图像(RAW图像)的数据输入到图像处理引擎104。
[0053]图像处理引擎104是综合控制电子相机100的动作的处理器。例如，图像处理引擎104使用从拍摄元件102输入的图像信号来执行自动对焦(AF)、自动曝光(AE)的控制。
[0054]另外，图像处理引擎104具有显像处理部111、图像变换部112、压缩处理部113、以及解码处理部114。显像处理部111对RAW图像执行上述数字显像处理。
[0055]图像变换部112在RAW动态图像记录模式中基于像素的颜色成分将RAW动态图像的各帧分别分离为多个图像。例如，图像变换部112按照颜色来分离RAW动态图像的I帧的像素并将其重新排列。并且，图像变换部112例如分离为包括与奇数行的绿色成分(Gl)对应的第一像素组的第一图像、以及包括与偶数行的绿色成分(G2)对应的第二像素组的第二图像。另外，后面将详细地说明第一图像和第二图像的例子。
[0056]另外，图像变换部112在RAW动态图像记录模式中将上述第一图像和第二图像交替地排列在时间轴方向上并输出。另外，图像变换部112在对通过RAW动态图像记录模式压缩了的动态图像数据进行解码时，重新排列第一图像和第二图像而解码为原来的RAW图像。
[0057]压缩处理部113将动态图像的各帧分割为预定尺寸的块(block)单位，并使用运动补偿预测来对动态图像的数据进行压缩编码。另外，RAW动态图像记录模式下的压缩处理部113对由图像变换部112排列在时间轴方向上的第一图像和第二图像进行图像间预测编码压缩。另外，后面将详细地说明压缩处理部113的构成例子。
[0058]解码处理部114对由压缩处理部113进行了压缩编码的动态图像的数据进行编码。另外，后面将详细地说明编码处理部114的构成例子。
[0059]另外，图像处理引擎104所包括的显像处理部111、图像变换部112、压缩处理部113、以及解码处理部114的功能块能够通过任意的处理器、存储器、以及其他的LSI来硬件化地实现，也可通过加载于存储器的程序等来软件化地实现。
[0060]第一存储器105在图像处理的前步骤或后步骤来暂时地存储图像的数据。例如，第一存储器105是作为易失性存储介质的SDRAM (Synchronous Dynamic Random AccessMemory)。另外，第二存储器106存