解码方法、解码装置以及电子照相机的制作方法

专利名称：解码方法、解码装置以及电子照相机的制作方法
技术领域：
本发明涉及对由全光相机(Plenoptic Camera)所拍摄并编码的图像 进行解码的解码方法、解码装置以及在光学系统的形状上具有特征的电 子照相机。
背景技术：
图25是用于说明通常的照相机的对焦功能的图。通过对焦镜头121 和未图示的其他光学系统(例如变焦光学系统)被聚光的光被投射到配 置在像平面121F上的摄像元件27上。如箭头121B所示，对焦镜头121 相对于像平面121F的位置能沿着光轴121H而变更。该对焦镜头121的 位置在例如自动对焦(AF)等的控制时用于照相机的固件等的处理，并 使用离散数值来管理。图中121A表示这种"对焦值"。在通常的照相机的光学系统包含变焦光学系统的情况下、或者是复 杂的光学系统的情况下，对焦镜头121由包含多个透镜的透镜组构成。 在该情况下，对焦值121A成为表示这种透镜组的可变更和可控制的总体 状态的值。照相机的镜头以使平面上的物体在平面上成像为基础。这里，将通 过配置成规定的对焦值的对焦镜头121没有模糊地成像在像平面121F上 的平面称为"最佳的物体平面"。当被摄体位于最佳的物体平面121D上 时，在完全对焦的状态下成像在摄像元件127上。通过改变对焦值121A， 可改变从像平面121F到最佳的物体平面121D的距离、即被摄体距离 121E。对焦值121A与被摄体距离121E —对一对应。实际上，即使存在与模糊的容许范围对应的被摄场深度121G，并且物体平面121J从最佳的物体平面错开该深度121G的量，光也会在实质 上对焦的状态下被投射到摄像元件127上。图26A示出使用这种通常的照相机进行摄影的情况。首先，通过自 动对焦或者用户的手动对焦的操作使焦点对准被摄体X。该动作对应于 通过使对焦镜头121沿光轴方向121H移动，来使最佳的物体平面121D 与被摄体X的被摄体面一致。图26A示出对焦镜头121移动到某个对焦 值121A，并且最佳的物体平面121D与被摄体X的被摄体面一致的状态。 当在该状况下按下释放按钮时，来自被摄体X的光经由对焦镜头121在 对焦的状态下被投射到摄像元件127上。与此相对，如图26B所示，全光相机将来自被摄体X的光投射到微 透镜阵列25上。g卩，在图26B中的像平面121F上设置有微透镜阵列， 摄像元件127配置在其后方的面上。根据这种结构，投射到微透镜阵列125 上的来自被摄体X的各种光线K1、 K2、 K3被各个微透镜125A分离，被 投射到摄像元件127的一部分127A上。因此，在由摄像元件的一部分127A 成像的信息内包含有光线方向的信息。另一方面，由于被摄体X的光被投 射到微透镜阵列125上，因而可以说，在摄像元件127的成像结果中包 含有位置信息，该位置信息表示光线是来自被摄体的哪个位置的光。这样，全光相机的摄像元件的成像结果即图像信息(光场(Light Field)图像)包含有空间中的光线的信息(光线信息)。如上所述，全光 相机可对四维的光线信息进行采样。例如，在美国登记专利6,097,394中公开了对光线信息(光场图像信 息)进行编码的方法。在该方法中，为了提高解码速度，采用了矢量量 子化。并且，该方法不同于例如在对解码数据的存取较为复杂的动态图 像专家组(Moving Picture Experts Group (MPEG))等中采用的预测编码， 而是参照码书(Codebook)(字典数据)内的索引并将其输出来进行矢量 编码数据的解码。然而，上述那样的对光线信息进行编码的照相机例如使用一个对焦 值进行摄影并对光线信息进行编码和存储。之后，上述照相机读出光线信息并对其进行解码，可根据该信息生成与多个对焦值对应的图像并显示。然而，在上述的美国登记专利6，097，394中，对根据光线信息在什么 样的时机生成并显示与多个对焦值对应的图像却未作公幵。在"Fourier Slice Photography", RenNg， Stanford University, 2005 中公开了傅立叶切片(Fourier Slicing)法，该方法对由全光相机所取得 的图像进行重新对焦(Refocus)来生成以各种对焦值进行了对焦的图像。 然而，该"Fourier Slice Photography", RenNg， Stanford University, 2005 对取得光线信息的全光相机等设备在什么样的时机生成并显示与多个对 焦值对应的图像却未作公开。并且，在上述的美国登记专利6,097,394中记载的编码方法中，由于 使用试错(Try and Error),因而处理负荷大，在使用便携型全光相机进 行实时摄像的情况下未必适当。因此，期待出现一种组装到便携型全光 相机内的更为适当的编码方法和解码方法。发明内容本发明的第一 目的是提供可对经编码的光线信息进行解码来生成图 像信息、并可根据该图像信息高效地生成并显示与多个对焦值对应的图 像的解码方法和解码装置以及电子照相机。在本发明的第1方式中，提供了一种解码方法，该解码方法对经编 码的光线信息进行解码，该光线信息包含来自被摄体的光线入射到规定 面上时在该面上的位置信息以及该光线入射到上述面上的角度信息，该 解码方法具有以下步骤对在被摄体摄影时所获得且与上述被摄体相关 联的经编码的第1图像信息和与上述第1图像信息不同种类的经编码的 第2图像信息进行解码，并根据经解码的第1图像信息和第2图像信息 生成上述光线信息；根据上述所生成的光线信息，生成与被摄体摄影时 的第1对焦值对应的图像信息并将其存储在存储介质内；显示基于与上 述第1对焦值对应的图像信息的图像；以及根据上述所生成的上述光线 信息，生成与不同于上述第1对焦值的第2对焦值对应的图像信息并将 其存储在上述存储介质内；其中，生成并存储与上述第2对焦值对应的图像信息的步骤与上述显示的步骤并行执行或者先于上述显示的步骤执 行。在本发明的第2方式中，提供了一种解码装置，该解码装置对经编 码的光线信息进行解码，该光线信息包含来自被摄体的光线入射到规定 面上时在该面上的位置信息以及该光线入射到上述面上的角度信息，该 解码装置具有解码部，其对在被摄体摄影时所获得且与上述被摄体相 关联的经编码的第1图像信息和与上述第1图像信息不同种类的经编码 的第2图像信息进行解码，生成上述光线信息；第1图像生成部，其根 据上述所生成的光线信息，生成与被摄体摄影时的第1对焦值对应的图 像信息并将其存储在存储介质内；显示部，其显示与由上述第1图像生 成部所生成的上述图像信息对应的图像；以及第2图像生成部，其根据 由上述解码部所生成的上述光线信息，生成与不同于上述第1对焦值的 第2对焦值对应的图像信息并将其存储在上述存储介质内。在本发明的第3方式中，提供了一种电子照相机，该电子照相机具 有对焦镜头；微透镜阵列，其由配置在上述对焦镜头的焦点位置上的 多个微透镜构成；摄像元件，其由二维配置的多个像素构成，上述多个 像素将依次通过上述对焦镜头和上述多个微透镜各方而形成的被摄体像 转换成电信号；以及编码部，其对与上述多个像素的受光结果对应的光 线信息进行编码；其中，上述对焦镜头的与光轴垂直的面的二维形状和 构成上述微透镜阵列的各微透镜的二维形状大致相同。在本发明的第4方式中，提供了一种解码方法，该解码方法对与经 编码的光线信息对应的图像数据进行解码，该光线信息包含来自被摄体 的光线入射到规定面上时在该面上的位置信息以及该光线入射到上述面 上的角度信息，该解码方法具有以下步骤对在被摄体摄影时所获得且 构成上述经编码的光线信息的第1图像信息进行解码，生成与构成上述 图像数据的多个二维块数据分别对应的第1像素数据；针对上述多个二 维块数据各方，根据该二维块数据的上述第1像素数据，对构成上述经 编码的光线信息的第2图像信息进行解码，生成第2像素数据；根据上 述第1像素数据和上述第2像素数据，生成与被摄体摄影时的第1对焦值对应的图像数据并将其存储在存储介质内；显示与上述第1对焦值对 应的图像数据；以及根据上述第1像素数据和上述第2像素数据，生成 与不同于上述第1对焦值的第2对焦值对应的图像数据并将其存储在存 储介质内。本发明的其他优点将在随后的说明中进行阐述，其中一部分根据该 说明将变得显而易见，或者可以通过本发明的实践而获知。本发明的优 点可以借助于下文中具体指出的手段和组合来实现并获得。


包含于说明书中并构成说明书的一部分的附图例示了本发明的实施 方式，并与以上给出的一般说明和以下给出的实施方式的详细说明一起 用于对本发明的原理进行阐述。图1A和图1B是本发明的第1实施方式的数字照相机的外观图。 图2是本发明的第1实施方式的数字照相机的整体结构图。 图3是用于说明图2所示的微透镜阵列和摄像部的像素之间的关系 的图。图4是用于说明微透镜块的图。图5是用于说明图2所示的处理部的功能的一部分的功能框图。 图6是用于说明图5所示的像素数据生成部的处理的流程图。 图7是用于说明本发明的实施方式中的微透镜块的图。 图8是用于说明本发明的实施方式中的处理块的图。 图9A和图9B是用于说明本发明的实施方式中的微透镜块的编码方 法的图。图IO是用于说明本发明的实施方式的编码方法中采用的Z形扫描的图。图11是用于说明本发明的实施方式中记录被编码的图像数据的格式 的图。图12是用于说明对与图2所示的摄像部的成像结果对应的图像数据 进行编码并将其写入到工作存储器内的动作的流程图。图13是用于说明图12所示的步骤S24的处理的流程图。 图14是用于说明本发明的实施方式中的再现处理的流程图。 图15是用于说明本发明的实施方式中的再现处理的接着图14的流 程图。图16是用于说明图14和图15所示的再现处理中的数据流向的图。 图17A、图17B、图17C是用于说明图14所示的再现处理的图。 图18是用于说明本发明的实施方式的数字照相机在再现时的对焦 和变焦的调整处理的流程图。图19是用于说明镜头推近图像的图。图20是用于说明根据由全光相机所拍摄的图像信息而生成从各种 描绘角度观察对象物而观察到的图像的情况的图。图21是用于说明操作了图1B所示的十字操作部的情况的处理的流 程图。图22是用于说明本发明的第2实施方式的数字照相机的光学系统的 结构的图。图23是用于说明使用光学系统是圆形的且为8X8像素的摄像部的情况的有效像素的图。图24是用于说明使用光学系统是矩形的且为8X8像素的摄像部的情况的有效像素的图。图25是用于说明通常的照相机的原理的图。图26A是用于说明现有的照相机的摄像原理的图。图26B是用于说明现有的全光相机的摄像原理的图。
具体实施方式
以下，对本发明的实施方式的数字照相机进行说明。 <第1实施方式〉图1A和图1B是本发明的第1实施方式的数字照相机1的外观图。 如图1A所示，在数字照相机1的前表面配置有来自被摄体的光入射的光 入射口 4以及闪光灯5。数字照相机1的可拆装存储器39构成为可拆装。并且，在数字照相机1的上表面配置有用于执行静态图像摄影的释放开关6。
如图1B所示，在数字照相机1的背面配置有液晶等的显示部43和 操作部22。
图2是本发明的实施方式的数字照相机1的内部结构图。如图2所 示，数字照相机l例如具有操作部22，光学系统23，微透镜阵列25， 摄像部27，模拟前端(Analog Front End (AFE)) 29，工作存储器31， 处理部32，存储器接口 (I/F)33，内部存储器35，存储器接口 (I/F) 37， 可拆装存储器39，视频存储器41，显示部43，外部接口 (I/F) 45，快 闪存储器47，以及CPU48。
AFE 29、工作存储器31、处理部32、存储器接口 33、存储器接口 37、视频存储器41、外部接口45以及CPU48经由信号线21电连接。
如图1B所示，操作部22具有镜头推近按钮810，镜头拉远按钮 811，对焦值向前按钮820，以及对焦值向后按钮821。镜头推近按钮810、 镜头拉远按钮811、对焦值向前按钮820以及对焦值向后按钮821配置成 十字形状。在数字照相机1的背面的上侧配置有对焦值向前按钮820。在 数字照相机l的背面的下侧配置有对焦值向后按钮821。并且，在数字照 相机1的背面的右侧配置有镜头推近按钮810。在数字照相机1的背面的 左侧配置有镜头拉远按钮811。
图1A所示的按钮的配置是一例，能适当变更。
而且，操作部22例如在数字照相机1的背面的按钮810、 811、 820、 821的下侧配置有十字操作部830。十字操作部830构成为，在位于中心 的确定(OK)按钮831的周围配置有上箭头按钮832、下箭头按钮833、 右箭头按钮834以及左箭头按钮835。上箭头按钮832、下箭头按钮833、 右箭头按钮834以及左箭头按钮835在按下了确定按钮831的状态下被 按下、和在未按下确定按钮831的状态下被按下这两种情况下具有不同 的模式。
在按下了确定按钮831的状态下，上箭头按钮832、下箭头按钮833、 右箭头按钮834以及左箭头按钮835用于指定再现图像的描绘角度。再现图像的描绘角度例如可针对上下左右分别在0 10。的范围内指定。数字照相机1是使用图25B所说明的全光相机，根据光线信息生成多个描 绘角度的再现图像。并且，在未按下确定按钮831的状态下，上箭头按钮832、下箭头 按钮833、右箭头按钮834以及左箭头按钮835用于使在再现图像内显示 变焦图像的窗朝上下左右移动。而且，操作部22具有图像保存按钮840和取消按钮841。图像保存 按钮840用于保存例如根据光线信息而生成的与某个对焦值对应的图像、 或者某个描绘角度的图像。取消按钮841用于所有操作的取消、或者使 用中的模式的解除等。光学系统23例如由对焦镜头23a和变焦镜头23b构成。光学系统23 对来自被摄体的光进行聚光等并使其朝微透镜阵列25射出。对焦镜头23a将来自被摄体的各点的光投射到微透镜阵列25上的一 个会聚点上。例如在摄影模式中，当按下了镜头推近按钮810时，变焦 镜头23b朝镜头推近方向(广角侧)移动，当按下了镜头拉远按钮811 时，变焦镜头23b朝镜头拉远方向(望远侧)移动。在本实施方式中，对焦镜头23a和变焦镜头23b的二维形状例如是 圆形。如图3和图4所示，微透镜阵列25由配置成sXt的矩阵状的多个微 透镜ML (s、 t)构成。构成微透镜阵列25的各微透镜将入射到该微透 镜的来自被摄体的各点的光(会聚光)按照来自该点的射出方向(角度) 进行分离(separate),并投射到摄像部27的摄像面上的对应的像素上。摄像部27是CCD或CMOS传感器，其相对于微透镜阵列25位于 光学系统23的相反侧。摄像部27既可以是单板式，也可以是三板式。 摄像部27构成为把多个像素配置成矩阵状。在本实施方式中，例如，对 于构成摄像部27的像素，以6X6像素的微透镜块MLB为单位来处理。 微透镜块MLB (s、 t)例如与一个微透镜ML (s、 t)相对应。另外，微 透镜块MLB (s、 t)无需与一个微透镜ML (s、 t) 一对一地相对应。微 透镜块MLB (s、 t)也可以通过像素插值处理等来生成。如图4所示，各微透镜块MLB (s、 t)被分配6X6的像素PIC (u， v)。摄像部27生成与对各像素所接收的光进行光电转换而产生的电荷对 应的模拟RAW图像信号。在本实施方式中，如后所述，处理部32根据由RAW图像信号得到 的数字RAW图像数据进行插值处理等，生成各微透镜块MLB (s、 t)的 像素PIC (u， v)的像素数据L (u， v, s， t)。在本实施方式中，各微透镜块MLB (s、 t)的6X6的像素的像素数 据L (u， v， s， t)具有光线信息。广义上的光线信息是指光线的信息。 一般，为了获得光线的信息， 需要获得该光线在自由空间内通过的一点(x， y, z)和通过该点时的角 度(e， (j))。然而，在数字照相机l的摄影等中所设想的自由空间中，无 论取光线上的哪个点放射亮度都是不变的，因而将一般的光线信息视为 四维的光线信息。即，这里的光线信息是包含光线与规定的二维多样体 交叉的点的位置和入射到该多样体的角度的信息在内的信息。此时，规 定的多样体是假想的，是任意的多样体。规定的多样体例如是平面或球 面。并且，多样体也可以不是单一的，例如还可以由2个不同的平面构 成。而且，根据光线信息的用途，还可以不是四维的光线信息，而是三 维的光线信息，其中，该三维的光线信息是基于仅考虑光线与规定的平 面交叉的点的位置(二维)、和入射到该平面的角度(二维)中的该光线 与平面上的一个方向矢量所成的角度(一维)的信息。而且，还可以把光线信息描述为两个规定的第1平面与第2平面交 叉的2个部位的信息。这样的描述方法例如记载在美国登记专利6,097，394中。在本实施方式中的数字照相机1中，可把微透镜阵列25的平面设为 规定的平面。此时，可以视为用坐标(s、 t)描述该平面上的位置，并用 坐标(u， v)描述针对该平面的入射角。AFE 29对从摄像部27所输入的模拟图像信号实施规定的模拟前端 处理。然后，AFE29对处理后得到的图像信号进行A/D转换，并将通过 A/D转换得到的数字RAW图像数据写入到工作存储器31内。工作存储器31暂时存储处理部32的处理对象数据或者处理后的数 据。工作存储器31例如是同步(Synchronous) DRAM (SDRAM)。
处理部32如后所述进行通过摄像所得到的图像数据的编码、解码等 处理。处理部32例如是数字信号处理器(Digital Signal Processor) (DSP)。 后面详细说明处理部32的处理。
内部存储器35例如是快闪存储器等半导体存储器，其固定装入在数 字照相机1内。内部存储器35存储通过摄像所得到的图像数据，并经由 存储器接口 33将图像数据输入输出给信号线21。
可拆装存储器39例如是由快闪存储器构成的存储卡，其可拆装地安 装在数字照相机1上。可拆装存储器39存储通过摄像所得到的图像数据， 并经由存储器接口 37将图像数据输入输出给信号线21。
视频存储器41暂时存储由处理部32所生成的显示用的图像数据。 显示部43显示与存储在视频存储器41内的图像数据对应的图像。显示 部43例如是液晶显示器。
外部接口 45在与数字照相机1的外部设备之间进行数据的输入输 出。外部接口 45例如是通用串行总线(Universal Serial Bus) (USB)接 C3。
快闪存储器47存储用于执行摄像动作的各种程序和用于执行各种 处理的参数。
CPU 48执行从快闪存储器47所读出的程序，统一控制数字照相机1 的动作。
以下，说明图2所示的处理部32。图5是用于说明图2所示的处理 部32的功能的一部分的功能框图。
如图5所示，处理部32例如具有像素数据生成部50、间隔提取处 理部51、联合图像专家组(JointPhotographic Experts Group) (JPEG)编 码部53、全光编码部55、头部附加部61、头部解释部63、 JPEG解码部 65、全光解码部67、以及再现图像生成部68作为功能块。
另外，可以不使用DSP，而使用专用的硬件电路来构成像素数据生 成部50、间隔提取处理部51、 JPEG编码部53、全光编码部55、头部附加部61、头部解释部63、 JPEG解码部65、全光解码部67以及再现图像 生成部68中的一部分。并且，也可以利用DSP以外的处理器来实现这些 功能中的一部分或全部。
对处理部32的处理进行大致划分，例如包括生成像素数据L(u， v， s， t)的处理，对像素数据L (u， v， s， t)进行编码的处理，对经编 码的像素数据L (u， v， s， t)进行解码的处理，显示与经解码的像素数 据对应的图像的处理，以及生成并显示与所指定的对焦值对应的图像的 处理。
以下，依次说明各处理。
首先，说明像素数据生成部50。图6是用于说明像素数据生成部50 的处理的流程图。 步骤S11:
像素数据生成部50例如从工作存储器31中读出RAW图像数据。 步骤S12:
像素数据生成部50对所读出的RAW图像数据进行去马赛克 (de-mosaic)处理、失调(Misalliance)校正处理以及插值处理等。去马 赛克处理是通过在摄影时对各像素从其周边像素收集不足的颜色信息并 赋予给该像素从而补充颜色信息，制作出全色图像的处理。例如，在很 多数字照相机采用的单板式彩色图像传感器中，由于各像素仅具有单色 的颜色信息，因而需要去马赛克处理。在三板式的情况下，不需要去马 赛克处理。失调校正处理例如是使RAW图像数据表示的图像旋转，校正 图4所示的微透镜阵列25的微透镜ML (s， t)的排列和摄像部27的微 透镜块MLB的排列在横向上的失调的处理。插值处理例如是为了使各微 透镜块MLB包含规定数量的像素数据而进行的。 步骤S13:
像素数据生成部50将在步骤S12所生成的1帧部分的像素数据L(u， v， s， t)作为应编码的图像数据(image data to be encoded) TE写入到工 作存储器31等内。像素数据L (u， v， s， t)是光线信息的一例。
下面，说明用于对应编码的图像数据TE进行编码的间隔提取处理部51、 JPEG编码部53、全光编码部55以及头部附加部61。
间隔提取处理部51对构成应编码的图像数据TE的像素数据L (u， v， s， t)中的如图7所示各微透镜块MLB内的像素PIC (4， 4)、即像 素PIC (u0， v0)以外的像素PIC (u， v)的像素数据L (u， v， s， t) 进行间隔提取，生成图像数据TE2。通过间隔提取，图像数据TE2如图 8等所示成为由像素数据L (u0， v0， s， t)构成的数据。
JPEG编码部53对由间隔提取处理部51所生成的图像数据TE2实 施JPEG编码处理，生成JPEG哈夫曼代码(Huffinan Code) JF。 JPEG 哈夫曼代码JF是第1图像信息的一例，JPEG编码部53的编码处理是第 1编码处理的一例。在本实施方式中，作为第1编码处理的一例，例示了 JPEG编码处理，然而也可以使用其他的空间频率变换。
JPEG编码部53对图像数据TE2实施DCT转换处理而生成DCT转 换系数K。然后，JPEG编码部53对DCT转换系数K进行量子化。然后， JPEG编码部53对量子化后的DCT转换系数从低频分量(直流)向高频 分量呈Z状扫描。然后，JPEG编码部53对扫描后的DCT转换系数实施 哈夫曼代码等的熵编码，生成JPEG哈夫曼代码JF。
如图5所示，全光编码部55具有路径扫描部57和LZW处理部59。 如上所述，JPEG编码部53对由像素数据L (u0， v0， s， t)构成的 图像数据TE2进行编码。与此相对，全光编码部55对应编码的图像数据 TE内的像素数据L (uO7 v0， s， t)以外的像素数据L (u， v， s， t)进 行可逆编码，生成字串数据WORD。
如图9A所示，路径扫描部57以各微透镜块MLB内的像素PIC(uO， v0)为基点，沿着路径PATH1、 PATH2、 PATH3、 PATH4、 PATH5这5 个路径扫描像素PIC (u0， v0)以外的像素PIC (u， v)的像素数据L (u， v， s， t)。
这里，路径扫描部57在路径PATH1的扫描中，生成像素数据L(5， 4， s， t)与像素数据L (u0， v0， s， t)的差分数据D (5， 4， s， t)、像 素数据L (5， 3， s， t)与像素数据L (5， 4， s， O的差分数据D (5， 3， s， t)、像素数据L (6， 3， s， t)与像素数据L (5， 3， s， t)的差分数据D (6， 3， s， t)、以及像素数据L (6， 4， s， t)与像素数据L (6， 3， s， t)的差分数据D (6， 4， s， t)。然后，路径扫描部57生成由差分 数据D (5， 4， s， t)、 D (5， 3， s， t)、 D (6， 3， s， t)、 D (6， 4， s， O构成的字W0RD1。
并且，路径扫描部57在路径PATH2的扫描中，生成像素数据L(4， 3， s， t)与像素数据L (u0， v0， s， t)的差分数据D (4， 3， s， t)、像 素数据L (4， 2， s， t)与像素数据L (4， 3， s， t)的差分数据D (4， 2， s， t)、像素数据L (5， 2， s， t)与像素数据L (4， 2， s， t)的差分 数据D (5， 2， s, t)、像素数据L (4， 1， s， t)与像素数据L (5， 2， s， t)的差分数据D (4， 1， s， t)、以及像素数据L (3， 1， s， t)与像 素数据L (4， 1， s， t)的差分数据D (3， 1， s， t)。然后，路径扫描部 57生成由差分数据D (4， 3， s， t)、 D (4， 2， s， t)、 D (5， 2， s， t)、 D (4， 1， s， t)、 D (3， 1， s， t)构成的字WORD2。
并且，路径扫描部57在路径PATH3的扫描中，生成像素数据L(3， 3， s， t)与像素数据L (u0， v0， s， t)的差分数据D (3， 3， s， t)、像 素数据L (3， 2， s， t)与像素数据L (3， 3, s， t)的差分数据D (3， 2， s， t)、像素数据L (2， 2， s， t)与像素数据L (3， 2， s， t)的差分 数据D (2， 2， s， t)、像素数据L (2， 3, s， t)与像素数据L (2， 2， s， t)的差分数据D (2， 3， s， t)、以及像素数据L (1， 3， s， t)与像 素数据L (2， 3， s， t)的差分数据D (1， 3， s， t)。然后，路径扫描部 57生成由差数据D (3， 3， s， t)、 D (3， 2, s， t)、 D (2， 2， s， t)、 D (2， 3， s， t)、 D (1， 3， s， t)构成的字WORD3。
并且，路径扫描部57在路径PATH4的扫描中，生成像素数据L (3， 4， s, t)与像素数据L (u0， v0， s， t)的差分数据D (3， 4， s， t)、像 素数据L (2， 5， s， t)与像素数据L (3， 4， s， t)的差分数据D (2， 5， s， t)、像素数据L (2， 4， s， t)与像素数据L (2, 5， s， t)的差分 数据D (2， 4， s， t)、以及像素数据L (1， 4， s， t)与像素数据L (2， 4， s， t)的差分数据D (1， 4， s， t)。然后，路径扫描部57生成由差分 数据D (3， 4， s， t)、 D (2， 5， s， t)、 D (2， 4， s， t)、 D (1， 4， s，t)构成的字WORD4。
并且，路径扫描部57在路径PATH5的扫描中，生成像素数据L(4, 5， s， t)与像素数据L (uO, v0， s， t)的差分数据D (4， 5， s， t)、像 素数据L (3， 5， s， t)与像素数据L (4， 5， s， t)的差分数据D (3， 5， s， t)、像素数据L (3， 6， s， t)与像素数据L (3， 5， s， t)的差分 数据D (3， 6， s， t)、像素数据L (4， 6, s， t)与像素数据L (3， 6， s， t)的差分数据D (4， 6， s， t)、以及像素数据L (5， 5， s， t)与像 素数据L (4, 6， s， t)的差分数据D (5， 5， s, t)。然后，路径扫描部 57生成由差分数据D (4， 5， s， 0、 D (3， 5， s， t)、 D (3， 6， s， t)、 D (4， 6， s， t)、 D (5， 5, s， t)构成的字WORD5。
这里，如图7所示，各微透镜块MLB内的4个角的像素PIC(u， v) 的像素数据L (1， 1， s， t)、 L (1， 2， s， t)、 L (2， 1， s, t)、 L (5， 1， s， t)、 L (6， 1， s， t)、 L (6, 2， s， t)、 L (1， 5， s， t)、 L (1， 6， s， t)、 L (2， 6, s， 0、 L (5， 6， s， t)、 L (6， 5， s， t)、 L (6， 6， s， t)由于微透镜块MLB与微透镜ML的位置关系的原因而不能获得有效 的像素数据，因而不进行上述的扫描。不能在各微透镜块MLB内的4个 角的像素中获得有效的像素数据是因为，包含对焦镜头23a的光学系统 23具有圆形形状，经由对焦镜头23a投影在微透镜块MLB上的像具有模 糊不清的圆形形状。另外，在使对焦镜头23a和变焦镜头23b为矩形的 情况下，例如图9B所示，微透镜ML内的4个角的各1个像素以外的像 素的像素数据为有效。在该情况下，路径扫描部57也可以利用图9B所 示的路径PATH11 14进行扫描。
路径扫描部57例如以图8所示的应编码的图像数据TE内的处理块 数据PRBK为单位，对该处理块数据PRBK内的像素数据L (u， v， s， t)进行上述的扫描处理，生成字串数据WORD。另外，处理块数据PRBK 是处理单位块的一例。并且，微透镜块MLB是二维块数据的一例。
这里，在处理块数据PRBK内包含8X8合计64个微透镜块MLB 的像素数据L(u， v， s， t)。因此，路径扫描部57针对处理块数据PRBK 生成320 (=5X8X8)字的字串数据WORD。如图10所示，路径扫描部57例如通过Z形扫描，将针对处理块数 据PRBK内的8X8合计64个的各个微透镜块MLB所生成的字 WORDl 5按顺序排列，生成字串数据WORD。
LZW处理部59对从路径扫描部57所输入的字串数据WORD实施 LZW压缩处理，生成LZW压縮代码LZ。另外，LZW处理部59还可以 进行LZW以外的字典库的通用编码(LZ编码)。另外，LZW压縮代码 LZ是第2图像信息的一例，全光编码部55的编码处理是第2编码处理 的一例。
头部附加部61生成由JPEG编码部53所生成的JPEG哈夫曼代码JF 和由LZW处理部59所生成的LZW压縮代码LZ的头部数据HEADER。 在头部数据HEADER内写入指向LZW压縮代码的指针、缩略图像数据、 文件尺寸、图像尺寸、摄影日期时间、其他的标签信息。处理部32将头 部附加部61所生成的头部数据HEADER、指向LZW压缩代码LZ的指 针LZP、 JPEG缩略数据THM、以及JPEG哈夫曼代码JF以图11所示的 数据结构的文件形式写入到内都存储器35或可拆装存储器39内。
头部解释部63对从工作存储器31所读出的JPEG哈夫曼代码JF和 LZW压縮代码LZ的头部数据HEADER进行解释。头部解释部63读出 指向LZW压縮代码LZ的指针LZP，并从由该指针LZP表示的内部存储 器35或可拆装存储器39内的地址读出LZW压縮代码LZ。之后，头部 解释部63把所读出的LZW压縮代码LZ输出到全光解码部67。并且， 头部解释部63从内部存储器35或可拆装存储器39中读出与LZW压縮 代码LZ对应的JPEG哈夫曼代码JF。之后，头部解释部63把所读出的 JPEG哈夫曼代码JF输出到JPEG解码部65。
JPEG解码部65对从头部解释部63所输出的JPEG哈夫曼代码JF 进行JPEG解码，生成JPEG解码图像数据。JPEG解码图像数据由像素 数据L (u0， v0， s, t)构成。JPEG解码部65的解码处理对应于上述的 JPEG编码部53的编码处理。即，JPEG解码部65对JPEG哈夫曼代码 JF依次实施哈夫曼解码处理、逆量子化和逆DCT处理。全光解码部67 根据JPEG解码图像数据对LZW压缩代码LZ进行解码，生成像素数据L (u0， v0， s， t)以外的像素数据L (u， v， s， t)。全光解码部67的解 码处理例如对应于上述的全光编码部55的编码处理。 以下，说明图5所示的再现图像生成部68。
再现图像生成部68根据由全光解码部67所解码并存储在工作存储 器31等内的像素数据L (u， v， s， t)，生成与所指定的对焦值对应的图 像(再现图像)数据。再现图像生成部68生成的图像数据的对焦值例如 是根据图1B所示的对焦值向前按钮820或对焦值向后按钮821的操作信 号来决定的。并且，在再现图像显示于显示部43上的期间，如果按下图 1B所示的十字操作部830的确定按钮831，而且操作了上箭头按钮832、 下箭头按钮833、右箭头按钮834以及左箭头按钮835，则再现图像生成 部68生成与该操作对应的描绘角度的再现图像数据。后面详细说明再现 图像生成部68的处理。
以下，说明数字照相机l的动作例。 [图像数据记录处理]
图12是用于说明对与摄像部27的成像结果对应的图像数据进行编 码并将其写入到工作存储器31内的动作的流禾呈图。
以下，说明图12所示的各步骤。另外，以下所示的处理中的一部分 的执行顺序是任意的。并且，还可以并行执行一部分处理。
步骤S21:
当接通了操作部22的释放开关6时，摄像部27利用各像素接收来 自被摄体的光，对各像素所接收的光进行光电转换，生成与通过光电转 换而产生的电荷对应的模拟RAW图像信号。
步骤S22:
处理部32取得在生成步骤S21的RAW图像信号时在光学系统23 中使用的镜头参数和对焦值f。另外，对焦值f与图26B中的被摄体距离 21E为一对一的对应。因此，还可以替代对焦值f，而计算与对焦值f对 应的被摄体距离的值来取得。以下，这样计算出的被摄体距离也用f表示。 并且，在单焦点照相机的情况下，不需要取得对焦值f。不过，为了再现 处理，也可以取得照相机固有的过焦距的值f作为对焦值。步骤S23:AFE 29对从摄像部27所输入的模拟图像信号实施规定的模拟前端 处理，将对处理后的图像信号进行A/D转换而得到的数字RAW图像数 据写入到工作存储器31内。像素数据生成部50从工作存储器31中读出 RAW图像数据，进行去马赛克(de-mosaic)处理、失调校正处理、插值 处理等，生成像素数据L (u， v， s， t)。之后，像素数据生成部50按照 每1帧把由像素数据L (u， v， s， t)构成的应编码的图像数据TE写入 到工作存储器31内。步骤S24:处理部32从工作存储器31中读出应编码的图像数据TE来进行编 码，生成JPEG哈夫曼代码JF和LZW压縮代码LZ。然后，处理部32 将这两个代码与在步骤S22中取得的镜头参数和对焦值f 一起写入到工 作存储器31内。这里，在图5所示的间隔提取处理部51、 JPEG编码部 53、全光编码部55和头部附加部61中进行编码处理等。关于步骤S24 的处理，将在后面使用图13进行详细说明。步骤S25:头部解释部63从工作存储器31中读出JPEG哈夫曼代码JF，并对 头部数据HEADER进行解释，在JPEG解码部65中进行解码。由此，生 成像素数据L (u0， v0， s， 0。然后，处理部32根据经解码的像素数据 L (u0， v0， s， t)，生成縮略图像数据和记录浏览(rec-view)显示用图 像数据。之后，将通过对縮略图像数据进行JPEG编码而得到的縮略图像 数据和记录浏览显示用图像数据写入到工作存储器31内。縮略图像数据 例如是用于在从用户接收到索引显示指示的情况下使显示部43显示由多 个縮略图像构成的索引图像的图像数据。记录浏览显示用图像数据是图 像确认用的图像数据。是用于使被摄体摄影后的确认用的图像在显示部 43上显示一定时间的图像数据。这里，处理部32例如在接收到縮略显示 指示的情况下，生成缩略图像数据并将其写入到视频存储器41内。由此 将縮略图像显示在显示部43上。步骤S26:处理部32从工作存储器31中读出写入在工作存储器31内的JPEG 哈夫曼代码JTF、 LZW压缩代码LZ和JPEG縮略图像数据，将它们写入 到内部存储器35或者可拆装存储器39内。 [编码处理(图12的步骤S24)]
图13是用于详细说明图12的步骤S24的编码处理的流程图。也可 以并行执行本实施方式中的图13所示的步骤S35 S37的处理(JPEG编 码处理)和步骤S38、 S39的处理(LZW编码处理)。
步骤S31:
用于确定在JPEG哈夫曼代码JF的生成中使用的像素PIC (iiO， v0) 的信息被输入到处理部32。用于确定像素PIC (u0， v0)的信息例如被 预先存储在规定的存储器内。在本实施方式中，设u0^v0-4。其原因是 认为微透镜块ML的中央部的像素具有最有效的信息。
步骤S32:
处理部32把初始值"0"代入变量PBC。这里，变量PBC表示的值 是用于确定进行编码的图8所示的处理块数据PRBK的值。 步骤S33:
处理部32使对变量PBC设定的值加"1 "。 步骤S34:
处理部32从工作存储器31中读出与变量PBC表示的值对应的编码 对象的处理块数据PRBK内的像素数据L (u， v， s， t)。 步骤S35:
间隔提取处理部51根据在步骤S31所输入的信息，提取出在步骤 S34所读出的处理块数据PRBK内的像素数据L (u， v， s， t)中的像素 数据L (uO， v0， s， t)，生成图像数据TE2。然后，JPEG编码部53对 图像数据TE2实施DCT转换处理，生成DCT转换系数K (i， j)。
步骤S36:
JPEG编码部53对在步骤S35所生成的DCT转换系数K (i， j)进 行量子化。
步骤S37:JPEG编码部53对在步骤S36进行了量子化的DCT转换系数从低频 分量(直流)向高频分量呈Z状进行扫描。然后，JPEG编码部53对扫 描后的DCT转换系数实施哈夫曼代码等的熵编码，生成JPEG哈夫曼代 码JF1。步骤S38:如图9A所示，全光编码部55的路径扫描部57针对编码对象的处理 块数据PRBK内的像素数据L (u， v， s， t)，以各微透镜块MLB内的像 素PIC (u0， v0)为基点，沿着路径PATH1、 PATH2、 PATH3、 PATH4、 PATH5这5个路径扫描像素PIC (u0， v0)以外的像素PIC (u， v)的像 素数据L (u， v， s， t)。如上所述，路径扫描部57针对路径上的像素数 据L (u， v， s， t)，生成与其前1个像素数据L (u， v， s， t)的差分数 据D (u， v， s， t)。然后，路径扫描部57生成由差分数据D (u， v， s， t)构成的字。并且，如图10所示，路径扫描部57例如将针对处理块数 据PRBK内的8 X 8合计64个的各个微透镜块MLB生成的字WORD1 5通过Z形扫描按顺序排列，生成字串数据WORD。步骤S39:LZW处理部59对从路径扫描部57所输入的字串数据WORD实施 LZW压縮处理，生成LZW压缩代码LZ1。 步骤S40:头部附加部61生成由JPEG编码部53所生成的JPEG哈夫曼代码JF1 和由LZW处理部59所生成的LZW压縮代码LZ1的头部数据HEADER, 并将它们对应起来写入到工作存储器31内。.步骤S41:处理部32判断是否针对应编码的图像数据TE内的所有处理块数据 PRBK完成了处理，在判断为完成时，结束步骤S24的处理。另一方面， 当处理部32判断为针对应编码的图像数据TE内的所有处理块数据 PRBK的处理未完成时，回到步骤S33。这样，把针对每个处理块数据PRBK而生成的JPEG哈夫曼代码JF (JF1， JF2，)和LZW压缩代码LZ (LZ1， LZ2,…)分别写入到图11所示的数据结构的JPEG哈夫曼代码的存储区域和LZW压縮代码的存
储区域内。 [再现处理]
图14和图15是用于说明再现处理的流程图。以下，参照图16、图 17A 图17C说明图14和图15所示的各步骤。 步骤S61:
处理部32例如从内部存储器35或可拆装存储器39中读出縮略图像 数据(JPEG图像数据)。之后，处理部32对所读出的縮略图像数据进行 JPEG解码并写入到视频存储器41内。由此，在显示部43上显示縮略图 像。经JPEG解码的縮略图像数据具有在编码时被间隔提取后的像素数据 L (uO， vO， s， t)作为要素。在索引显示时，在显示部43上显示与所拍 摄的多张图像数据对应的縮略图像。之后，当通过用户进行操作部22的 操作而指定了所显示的多个縮略图像中的一个时，处理部32从内部存储 器35或可拆装存储器39中读出与所指定的縮略图像对应的JPEG哈夫曼 代码JF和LZW压缩代码LZ，并4其写入到工作存储器31内。
步骤S62:
处理部32的JPEG解码部65从工作存储器31中读出与在步骤S61 中指定的縮略图像对应的JPEG哈夫曼代码JF。然后，JPEG解码部65 对所读出的JPEG哈夫曼代码JF进行JPEG解码，生成JPEG解码图像数 据。JPEG解码图像数据以像素数据L (uO， vO， s， t)为要素。之后， 处理部32把JPEG解码图像数据写入到工作存储器31内。
步骤S63:
处理部32读出在步骤S62写入到工作存储器31内的JPEG解码图 像数据并将其写入到视频存储器41内。由此，在显示部43上显示以像 素数据L (uO， vO， s， t)为要素的JPEG解码图像。
步骤S64:
全光解码部67根据在步骤S62所生成的JPEG解码图像数据和与在 步骤S61中所指定的縮略图像对应的LZW压縮代码LZ，生成与所指定 的縮略图像对应的图像的像素数据L (uO， vO， s， t)以外的像素数据L(u， v， s， t)。之后，全光解码部将所生成的像素数据L (u， v， s， t) 写入到工作存储器31内。步骤S65:头部解释部63从头部数据HEADER中读出与JPEG哈夫曼代码JF 对应的对焦值f。 步骤S66:再现图像生成部68把在步骤S65所读出的对焦值f代入变量F。并 且，再现图像生成部68把0代入表示从对焦值f起的级数的变量N。 步骤S67:再现图像生成部68把"f/10"代入表示相邻的对焦值间的级宽度的Step。步骤S68:再现图像生成部68把在步骤S67所求出的Step代入F (N) =f+N XStep,求出与N对应的对焦值F。 步骤S69:再现图像生成部68检查在工作存储器31内是否存储有与N对应的 对焦值F (N)的图像数据IM (N)。只要在该检查结果是未存储有图像 数据IM (N)的情况下，再现图像生成部68根据在步骤S63中解码的像 素数据L (u0， v0， s， t)和在步骤S64中解码的像素数据L (u0， v0， s， t)以外的像素数据L (u， v， s， t)，生成图像数据IM (N)(帧数据)。 之后，再现图像生成部68把图像数据IM (N)写入到工作存储器31内。 该图像数据IM (N)的生成例如根据"Light Field Photography with a Hand-held Plenoptic Camera", RenNgetal， Stanford TechReport, 2005禾口 "Fourier Slice Photography", Ren Ng， Stanford University, 2005中公开 的方法来进行。即，根据Fourier Slicing方式和积分方式等来进行。积分 方式是执行适合于获得使微透镜块MLB内的有效像素数据与期望的对 焦值对应的图像的积分运算，并以"Light Field Photography with a Hand-held Plenoptic Camera", RenNgetal, Stanford TechReport, 2005中 的公式(1) (6)、以及"Fourier Slice Photography", RenNg， StanfordUniversity, 2005中的公式(1) (3)为基础。傅立叶切片(Fourier Slicing)
方式是在傅立叶空间上短时间内有效地执行这种积分运算处理的方法，
使用四维傅立叶空间。
无论哪种运算方式，在用于获得图像数据IM (N)的这些运算中， 与JPEG的解码处理等相比，都需要高的运算能力和更多的运算时间。另 外，N例如是整数，随着N减小而成为近距离侧的对焦。也可以规定成， 随着N减小而成为远距离侧的对焦。
步骤S70:
如图17A所示，再现图像生成部68把图像数据IM (N)写入到视 频存储器41内。由此，与对焦值F (N)对应的图像(再现图像)显示 在显示部43上。在初始阶段中，如上所述，以像素数据(u0， v0， s， t) 为要素的JPEG解码图像已显示在显示部43上。该图像是与F (0)的对 焦值对应的图像。然而，对各个微透镜块MLB的(u0， v0)以外的像素 数据进行了间隔提取。因此，成为实质上利用暗的光学系统所拍摄的图 像。因此，在对暗的场景等进行了摄影的情况下，重叠有噪音。在步骤 S70中，该图像被与F (0)的对焦值对应的图像IM (0)置换。由于该 图像IM (0)对各个微透镜块MLB的所有有效像素数据进行积分，因而 成为更鲜明的噪音少的图像。
这里，如在步骤S69的说明中已描述的那样，由于该积分运算所需 要的时间长，因而在步骤S63中，将与(u0， v0)对应的图像迅速显示 给用户。这样，在对光线信息进行解码、并生成期望的对焦值或者描绘 角度的图像而进行显示的动作中，首先仅生成并显示与(u0， v0)对应 的JPEG解码图像数据，从而可迅速显示与用户指定的縮略图像对应的图 像。由此，不会让用户着急。
步骤S71:
再现图像生成部68在未生成与和N相邻的(N±l)所对应的对焦 值F (N±l) =f+ (N±l) XStep对应的图像数据IM (N+1)、 IM (N 一l)的情况下，生成这些图像数据并将其写入到工作存储器31内。该 图像数据的生成例如根据上述的傅立叶切片方式和积分方式等来进行。步骤S72:在存在与不和N相邻的对焦值对应的图像数据的情况下，再现图像 生成部68将与这些对焦值对应的图像数据从工作存储器31中删除。 步骤S73:再现图像生成部68通过用户进行的图1B所示的对焦值向前按钮 820和对焦值向后按钮821的操作，判定是否指定了新的对焦值(是否有 对焦值的变更)。然后，在有新的对焦值的指定的情况下，再现图像生成 部68进行步骤S74的处理。另一方面，在没有对焦值的变更的情况下， 再现图像生成部68进行步骤S75的处理。步骤S74:再现图像生成部68设定与在步骤S73所指定的级对应的新的N，并 回到步骤S68。即，当按下了图1B所示的对焦值向前按钮820 —次时， N (计数)增加一个，当按下了对焦值向后按钮821—次时，N (计数) 减小一个。由此更新对焦值F (N)。这里，与新指定的对焦值对应的图 像数据被预先存储在工作存储器31内。因此，从进行指定到在显示部43 上显示与新的对焦值对应的图像的时间短。因此，本照相机的响应性优 良。例如，如图17B所示，在读出并显示了图像数据IM (N+l)的情 况下，再现图像生成部68根据像素数据L (u， v， s， t)生成与对焦值F (N+2)对应的图像数据IM (N+2)，并将其写入到工作存储器31内。 此时，与对焦值F (N—l)对应的图像数据IM (N—l)通过改写等而被 删除。并且，如图17C所示，在读出并显示了图像数据IM (N+2)的情 况下，根据像素数据L (u， v， s， t)生成与对焦值F (N+3)对应的图 像数据IM(N+3)，并将其写入到工作存储器31内。此时，与对焦值F (N)对应的图像数据IM (N)通过改写等而被删除。并且，在用户通过早按下对焦值向前按钮820和对焦值向后按钮821等而进行了大幅变更对焦值的指示的情况下，当前的变量N变更为跳过 多个级的值。在这种状况下从步骤S74进到步骤S68的情况下，工作存 储器31内不存在图像数据。在该情况下，新生成图像数据。步骤S75:
处理部32判定是否按下了取消按钮841。在用户按下了取消按钮841 的情况下，中止图像的再现。另一方面，在未按下取消按钮841的情况 下，处理部32进行步骤S76的处理。
步骤S76:
处理部32判定是否按下了图像保存按钮840。在用户未按下图像保 存按钮840的情况下，进行歩骤S73的处理。另一方面，在按下了图像 保存按钮840的情况下，处理部32进行步骤S77的处理。
步骤S77:
处理部32在对工作存储器31的图像数据IM (N)实施JPEG编码 处理的同时，把对焦值F (N)、初始对焦值f以及描绘角度等写入到头部 数据内。之后，处理部32把JPEG编码数据保存在内置存储器35或者可 拆装存储器39内。
这样，在本实施方式中的再现处理中，在用户确认了根据光线信息 所生成的与期望的对焦值f对应的图像之后，可保存该图像。因此，用户 在摄影时不用在意焦点，能可靠地获得对焦于期望的被摄体部分上的图 像。
图18是用于说明数字照相机1的再现时的对焦和变焦调整处理的流 程图。
步骤S111:
再现图像生成部68判断是否按下了图1B所示的对焦值向前按钮 820。当判断为已按下时，再现图像生成部68进行步骤S112的处理。另 一方面，当判断为未按下时，再现图像生成部68进行步骤S113的处理。
步骤S112:
再现图像生成部68根据存储在工作存储器31内的像素数据L (u， v， s， t)，生成提高了对焦值的(所指定的对焦值的)新的图像(再现图 像)数据，并将所生成的新的图像数据写入到视频存储器41内。在与所 指定的对焦值对应的图像数据已存储在工作存储器31等内的情况下，再页现图像生成部68也可以读出该图像数据并将其写入到视频存储器41内， 生成与和所指定的对焦值相邻的对焦值对应的未生成的图像数据。这在 以下说明的步骤S114、 S116、 S118中也是一样。 步骤S113:再现图像生成部68判断是否按下了对焦值向后按钮821。当判断为 已按下时，再现图像生成部68进行步骤S114的处理。另一方面，当判 断为未按下时，再现图像生成部68进行步骤S115的处理。步骤S114:再现图像生成部68根据存储在工作存储器31内的像素数据L (u， v， s， t)，生成降低了对焦值的新的图像数据，并将该图像数据写入到视 频存储器41内。步骤S115:再现图像生成部68判断是否按下了镜头推近按钮810。当判断为按 下了镜头推近按钮810时，再现图像生成部68进行步骤S116的处理。 当判断为未按下镜头推近按钮810时，再现图像生成部68进行步骤S117 的处理。步骤S116:再现图像生成部68生成对再现中的图像进行了镜头推近的新的图 像的图像数据，并将其写入到视频存储器41内。由此，如图19所示， 在显示于显示部43上的整体图像602内的一部分区域内显示镜头推近图 像600。步骤S117:再现图像生成部68判断是否按下了镜头拉远按钮811。当判断为按 下了镜头拉远按钮811时，再现图像生成部68进行步骤S118的处理。 当判断为未按下镜头拉远按钮811时，再现图像生成部68进行步骤Slll 的处理。步骤S118:再现图像生成部68生成对再现中的图像进行了镜头拉远的新的图 像的图像数据，并将其写入到视频存储器41内。之后，处理回到步骤S111。如图20所示，可根据由全光相机所拍摄的图像信息，生成从右左上 下的各个描绘角度观察对象物610所看到的图像。即，如在"LightFidd Photography with a Hand-held Plenoptic Camera"等中记载的那样，在微透 镜阵列25下，通过了子孔径(sub-aperture)的所有光线被对焦到对应的 像素。然后，通过选择各微透镜阵列25下的像素，可根据光线信息生成 不同视差的子孔径图像。[与十字操作部830对应的处理]图21是用于说明操作了图IB所示的十字操作部380的情况下的处 理的流程图。步骤S121:再现图像生成部68判断是否按下了十字操作部830的确定按钮831。 当判断为按下了确定按钮831时，再现图像生成部68进行步骤S122(描绘角度变更模式)的处理。当判断为未按下确定按钮时，再现图像生成 部68进行步骤S124的处理。 步骤S122:再现图像生成部68判断是否按下了上箭头按钮832、下箭头按钮 833、右箭头按钮834以及左箭头按钮835中的任一个。当判断为按下了 其中任一个箭头按钮时，再现图像生成部68进行歩骤S123的处理。当 判断为未按下其中任一个按钮时，再现图像生成部68进行步骤S121的 处理。步骤S123:再现图像生成部68生成使显示在显示部43上的再现图像的描绘角 度成为由所按下的上箭头按钮832、下箭头按钮833、右箭头按钮834以 及左箭头按钮S35所指定的角度方向后的新的图像数据，将其写入到视 频存储器41内并显示在显示部43上。步骤S124:再现图像生成部68判断是否按下了上箭头按钮832、下箭头按钮 833、右箭头按钮834以及左箭头按钮835中的任一个。当判断为按下了 其中任一个箭头按钮时，再现图像生成部68进行步骤S125 (变焦窗移动模式)的处理。当判断为未按下其中任一个按钮时，进行步骤S121的处理。步骤S125:再现图像生成部68使显示在显示部43上的再现图像内的变焦窗朝 与所按下的上箭头按钮832、下箭头按钮833、右箭头按钮834以及左箭 头按钮835对应的方向移动。如以上说明那样，在数字照相机l中，如图14等所示，将与所指定 的对焦值相邻的对焦值所对应的再现图像在实际指定相邻的对焦值之前 预先生成并存储在工作存储器31内。因此，在之后指定了相邻的对焦值 的情况下，可在短时间内将与相邻的对焦值对应的再现图像显示在显示 部43上。由此，可使在指定对焦值来再现图像时的响应性良好。并且，在数字照相机l中，如图1B所示，由用户操作对焦值向前按 钮820和对焦值向后按钮821，从而可离散地变更显示在显示部43上的 再现图像的对焦值。由此，用户可通过简单操作观察与被离散地规定的 多个对焦值中的任意对焦值对应的再现图像。即，只要进行一次摄像， 就能在再现时通过简单的操作显示对位于近前侧或深处侧的任意的被摄 体进行了对焦的多种再现图像。并且，在数字照相机1中，可根据是否是按下了确定按钮831的状 态而对十字操作部830选择2种输入模式。由此，可使用少的操作单元 实现显示在显示部43上的再现图像的描绘角度的调整操作和变焦窗的二 维移动操作。并且，在数字照相机1中，如使用图8和图13等所说明的那样，以 处理块数据PRBK为单位对包含四维光线信息的应编码的图像数据TE 进行编码。因此，可减轻伴随图5所示的处理部32的编码处理的负荷， 可使用较低处理能力的芯片，并还能减小工作存储器31所要求的存储容 量°并且，在数字照相机l中，如使用图13等所说明的那样，对于微透 镜块MLB内的像素数据L (u0， v0， s， t)，与相同处理块数据PRBK内 的其他像素数据L (u0， v0， s， t) 一体地进行JPEG编码。并且，对于微透镜块MLB内的像素数据L (u0， v0， s， t)以外的像素数据L (u， v， s， t)，也与相同处理块数据PRBK内的其他微透镜块MLB内的像素 数据L (u0， v0， s， t)以外的像素数据L (u， v， s， t)—体地进行LZW 编码。此时，并行执行JPEG处理中的8X8的块处理和处理块PRBK的 LZW压縮处理。因此，根据数字照相机l，与如以往那样以所有像素数 据为对象进行空间编码的情况相比，可减少编码处理量。因此，容易在 便携型全光相机中采用。而且，在各个处理块PRBK中，通过并行执行 JPEG处理中的8X8的块处理和处理块PRBK的LZW压縮处理，提高了 编码处理的速度。并且，在数字照相机l中，由于像素数据L (u0， v0， s， t)以外的像素数据L (u， v， s， t)在微透镜块MLB内被进行LZW 编码(可逆编码)，因而信息量不会丢失，能进行维持高画质的光线信息 的编码。也就是说，由于光线传播方向的信息被可逆地编码，因而对各 种焦点进行重新对焦时所需要的信息没有丢失地被记录。因此，重新对 焦后的图像极为清晰。因此，根据数字照相机l，与如以往那样以所有像 素数据为对象进行空间编码的情况相比，可减少编码处理量。因此，容 易在便携型全光相机中采用。并且，在数字照相机l中，由于像素数据L (u0， v0， s， t)以外的 像素数据L (u， v， s， t)在微透镜块MLB内被进行LZW编码(可逆编 码)，因而信息量不会丢失，能进行维持高画质的光线信息的编码。<第2实施方式〉本实施方式的数字照相机的光学系统223与上述的第1实施方式的 光学系统23不同。以下，说明光学系统223。图22是用于说明本实施方式的数字照相机的光学系统223的图。光 学系统223由对焦镜头223a和变焦镜头223b构成。该光学系统223对 来自被摄体的光进行聚光等并使其朝微透镜阵列25射出。对焦镜头223a 的垂直于光轴的面采用矩形形状。对焦镜头223a将来自被摄体的各点的 光投射到微透镜阵列25上的一个会聚点上。例如在摄影模式中，当按下 了镜头推近按钮810时，变焦镜头223b朝镜头推近方向移动，当按下了 镜头拉远按钮811时，变焦镜头223b朝镜头拉远方向移动。这里，变焦镜头223b的垂直于光轴的面的二维形状例如如图22所 示采用矩形。在本实施方式中，构成微透镜阵列25的各个微透镜的垂直于光轴的 面的二维形状与对焦镜头223a和变焦镜头223b —样是矩形。摄像部27如在第1实施方式中所说明的那样，构成为把多个像素配 置成矩阵状。在本实施方式中，由于对焦镜头223a、变焦镜头223b以及各个微透 镜251采用相同形状即矩形，因而与各个微透镜251对应的微透镜块271 内的大致所有像素都可接收光线。图24示出本实施方式的这种微透镜块 271的状况。如图24所示，本实施方式中的微透镜块271由8X8像素构 成。在该微透镜块中，周边的28像素是无效的，即不接收光的像素。另 一方面，6X6=36个像素可接收光，即是有效的。与此相对，在图23中，示出光学系统不是矩形而是圆形的情况下的 受光状况。如图23所示，微透镜块271的有效像素数减至24个。艮卩， 周边的许多像素为无效。有效像素的区域是大致圆形，是圆形的光学系 统的像。这里，当为了增大有效像素的区域而使光学系统与微透镜阵列 25或摄像元件27的位置沿光轴错开时，对该光学系统进行了成像的圆形 的像超出到相邻的微透镜块的区域。同样，微透镜块271的周边像素接 收与微透镜251相邻的微透镜的光，从而不能获得有用的信息。从该说明中可以看出，为了使微透镜块内的有效像素数最大，必须 使在微透镜块上成像的光学系统的垂直于光轴的面是与微透镜块相同的 形状。S卩，光学系统的形状(严格地说，对焦镜头223a的形状)与各个 微透镜271的形状必须相同。在本实施方式中，是通过使包含对焦镜头 223a和变焦镜头223b的光学系统的垂直于光轴的面的二维形状和微透镜 的形状为矩形来实现该条件的。当满足了这种条件时，微透镜块内的有效像素数增加，因而提高了 受光灵敏度。并且，由于微透镜块内的像素与描绘角度对应，因而更多 的周边像素变为有效而使描绘角度放大，即可进一步立体地识别被摄体。而且，由于光线信息L (u， v， s， t)的数据量增加，因而即使在在何的重新对焦处理(积分，傅立叶切片)中，也能提高生成图像的清晰 度。本实施方式中的全光相机可取得这种显著效果。这里，在上述的实施方式中，例示出把本发明应用于数字照相机1 的情况，然而还可以把本发明应用于不具有摄像功能的解码装置和显示 装置。并且，在上述的实施方式中，如使用图14等所说明的那样，例示出 生成与和显示中的图像的对焦值相邻的对焦值对应的图像数据的情况， 然而也可以预先生成并存储与不相邻的对焦值对应的图像数据。并且，在上述的实施方式中，例示出从工作存储器31中删除与不和 显示中的图像的对焦值相邻的对焦值对应的图像数据的情况，然而也可 以从工作存储器31中删除与相邻位置是离开2个以上的位置的对焦值对 应的图像数据。本实施方式所示的构成微透镜块MLB的像素数、以及构成处理块数 据PRBK的微透镜块MLB的数量是一例，它们的数量是任意的。并且，在上述的实施方式中，例示出使对焦镜头23a、 223a移动而 能调整对焦的照相机，然而本发明的电子照相机例如还可以是单焦点照 相机。并且，在上述的实施方式中，例示出将来自被摄体的光线通过微透 镜阵列25成像在摄像部27的像素上的情况，然而只要是以包含光线信 息的方式使光入射到像素上的情况，就不作特别限定。例如，还可以用 反射器反射来自被摄体的光线，而成像在摄像部27的像素上。并且，在上述的实施方式中，例示出使用通过DSP等实现的处理部 32来对光线信息进行编码和解码的情况，然而，例如还可以用微处理器 执行程序来实现这些功能。在该情况下，该程序是记载了各图所示的各 步骤的程序。并且，在上述的第2实施方式中，例示出使对焦镜头223a、变焦镜 头223b、各个微透镜以及像素的受光面的形状为矩形的情况，然而该矩 形是例示，只要它们的形状相同，就不作特别限定。上述的实施方式基于对焦值f，然而如上所述，还可以不基于对焦值f，而是基于与该值对应的被摄体距离21E作为参数g。在该情况下，g 的单位用米(m)给出，可以设定为例如图14中的级宽度Step=g/10， 然而可以设定Step二l，即二lm，按每l米来进行对焦。这样，通过将被摄体距离用于再现处理，用户可从照相机获得在前 方几米对焦的信息，能享受更畅快的重新对焦的再现。本领域技术人员能很容易想到其他的优点和变形。因此，本发明在 其广义范围内不限于这里所示出和所说明的具体细节和代表性实施方 式。因此，可以在不脱离所附权利要求及其等同权利要求所定义的一般 发明概念的宗旨或范围的情况下进行各种变形。
权利要求
1.一种解码方法，该解码方法对经编码的光线信息进行解码，该光线信息包含来自被摄体的光线入射到规定面上时在该面上的位置信息以及该光线入射到上述面上的角度信息，该解码方法具有以下步骤对在被摄体摄影时所获得且与上述被摄体相关联的经编码的第1图像信息和与上述第1图像信息不同种类的经编码的第2图像信息进行解码，并根据经解码的第1图像信息和第2图像信息生成上述光线信息；根据上述所生成的光线信息，生成与被摄体摄影时的第1对焦值对应的图像信息并将其存储在存储介质内；显示基于与上述第1对焦值对应的图像信息的图像；以及根据上述所生成的上述光线信息，生成与不同于上述第1对焦值的第2对焦值对应的图像信息并将其存储在上述存储介质内，其中，生成并存储与上述第2对焦值对应的图像信息的步骤与上述显示的步骤并行执行或者先于上述显示的步骤执行。
2. 根据权利要求1所述的解码方法，上述解码方法还具有以下步骤 根据用户指示，显示基于与上述第2对焦值对应的图像信息的图像;以及与显示基于与上述第2对焦值对应的图像信息的图像的步骤并行， 根据上述光线信息，生成与不同于上述第1对焦值和第2对焦值的第3 对焦值对应的图像信息并将其存储在上述存储介质内，其中，根据用户指示重复执行显示基于与上述第2对焦值对应的图 像信息的图像的步骤以及生成并存储与上述第3对焦值对应的图像信息 的步骤。
3. 根据权利要求1所述的解码方法，上述第1对焦值和上述第2对 焦值分别是预先离散地规定的多个对焦值中的一个。
4. 根据权利要求1所述的解码方法，上述第2对焦值是相对于上述 第1对焦值与近距离侧或远距离侧相邻的对焦值。
5. 根据权利要求3所述的解码方法，上述第2对焦值是相对于上述第1对焦值与近距离侧或远距离侧相邻的对焦值。
6. 根据权利要求1所述的解码方法，该解码方法还具有以下步骤 根据用户指示进行任意的对焦值的指定作为上述第2对焦值。
7. 根据权利要求3所述的解码方法，该解码方法还具有以下步骤 根据用户指示进行任意的对焦值的指定作为上述第2对焦值。
8. 根据权利要求2所述的解码方法，该解码方法还具有以下步骤 删除存储在上述存储介质内的上述图像信息中的与如下的对焦值对应的 图像信息该对焦值不和与作为生成上述显示中的图像的基础的图像信 息对应的对焦值相邻。
9. 根据权利要求6所述的解码方法，该解码方法还具有以下步骤 删除存储在上述存储介质内的上述图像信息中的与如下的对焦值对应的 图像信息该对焦值不和与作为生成上述显示中的图像的基础的图像信 息对应的对焦值相邻。
10. 根据权利要求7所述的解码方法，该解码方法还具有以下步骤删除存储在上述存储介质内的上述图像信息中的与如下的对焦值对应的 图像信息该对焦值不和与作为生成上述显示中的图像的基础的图像信 息对应的对焦值相邻。
11. 根据权利要求1所述的解码方法，该解码方法还具有以下步骤 根据用户指示，从对应于上述各对焦值而生成的图像信息中选择图像信 息，对所选择的图像信息实施基于空间频率转换的编码处理并记录在上 述存储介质内。
12. 根据权利要求8所述的解码方法，该解码方法还具有以下步骤: 根据用户指示，从对应于上述各对焦值而生成的图像信息中选择图像信 息，对所选择的图像信息实施基于空间频率转换的编码处理并记录在上 述存储介质内。
13. 根据权利要求9所述的解码方法，该解码方法还具有以下步骤: 根据用户指示，从对应于上述各对焦值而生成的图像信息中选择图像信 息，对所选择的图像信息实施基于空间频率转换的编码处理并记录在上 述存储介质内。
14. 根据权利要求IO所述的解码方法，该解码方法还具有以下步骤: 根据用户指示，从对应于上述各对焦值而生成的图像信息中选择图像信 息，对所选择的图像信息实施基于空间频率转换的编码处理并记录在上 述存储介质内。
15. 根据权利要求1所述的解码方法，在生成上述光线信息时，根 据上述经解码的第1图像信息来解码上述第2图像信息。
16. 根据权利要求1所述的解码方法，在生成上述光线信息时，上 述经编码的第1图像信息被实施与空间频率转换对应的解码处理，上述 经编码的第2图像信息被实施与LZ编码对应的解码处理。
17. 根据权利要求1所述的解码方法，该解码方法还具有以下步骤 在生成上述光线信息之前，对在被摄体摄影时得到的且与上述被摄体相 关联的经编码的縮略图像进行解码并显示，其中，通过在上述所显示的縮略图像中进行指示选择，来执行生成 上述光线信息的步骤。
18. —种解码装置，该解码装置对经编码的光线信息进行解码，该 光线信息包含来自被摄体的光线入射到规定面上时在该面上的位置信息 以及该光线入射到上述面上的角度信息，该解码装置具有-解码部，其对在被摄体摄影时获得的且与上述被摄体相关联的经编 码的第1图像信息和与上述第1图像信息不同种类的经编码的第2图像 信息进行解码，生成上述光线信息；第1图像生成部，其根据上述所生成的光线信息，生成与被摄体摄 影时的第1对焦值对应的图像信息并将其存储在存储介质内；显示部，其显示与由上述第1图像生成部所生成的上述图像信息对 应的图像；以及第2图像生成部，其根据由上述解码部所生成的上述光线信息，生 成与不同于上述第1对焦值的第2对焦值对应的图像信息并将其存储在 上述存储介质内。 '''
19. 一种电子照相机，该电子照相机具有 对焦镜头；微透镜阵列，其由配置在上述对焦镜头的焦点位置上的多个微透镜构成；摄像元件，其由二维配置的多个像素构成，上述多个像素将依次通 过上述对焦镜头和上述多个微透镜各方而形成的被摄体像转换成电信 号；以及编码部，其对与上述多个像素的受光结果对应的光线信息进行编码， 其中，上述对焦镜头的与光轴垂直的面的二维形状和构成上述微透 镜阵列的各微透镜的二维形状大致相同。
20. 根据权利要求19所述的电子照相机，上述光线信息包含通过上 述对焦镜头和上述微透镜阵列入射到上述多个像素上的来自被摄体的光 线入射到上述微透镜阵列的面上时在该面上的位置信息以及该光线入射 到上述面上的角度信息；上述编码部将上述光线信息分割成多个处理单位块，并针对上述每 个处理单位块执行第1编码处理和第2编码处理，上述第1编码处理对 上述多个处理单位块的各方实施压縮编码，生成构成上述第1图像信息 的第1块单位信息，上述第2编码处理对上述多个处理单位块的各方实 施压縮编码，取得构成与上述第1图像信息不同种类的第2图像信息的 第2块单位信息。
21. —种解码方法，该解码方法对与经编码的光线信息对应的图像 数据进行解码，该光线信息包含来自被摄体的光线入射到规定面上时在 该面上的位置信息以及该光线入射到上述面上的角度信息，该解码方法 具有以下步骤对在被摄体摄影时得到的构成上述经编码的光线信息的第1图像信 息进行解码，生成与构成上述图像数据的多个二维块数据分别对应的第1 像素数据；针对上述多个二维块数据各方，根据该二维块数据的上述第1像素 数据，对构成上述经编码的光线信息的第2图像信息进行解码，生成第2 像素数据；根据上述第1像素数据和上述第2像素数据，生成与被摄体摄影时的第1对焦值对应的图像数据并将其存储在存储介质内；显示与上述第l对焦值对应的图像数据；以及 根据上述第1像素数据和上述第2像素数据，生成与不同于上述第 1对焦值的第2对焦值对应的图像数据并将其存储在存储介质内。
全文摘要
本发明提供解码方法、解码装置以及电子照相机。在对经编码的光线信息进行解码的解码方法中，对在被摄体摄影时得到的与上述被摄体相关联的经编码的第1图像信息和与上述第1图像信息不同种类的经编码的第2图像信息进行解码(S62，S64)。根据该经解码的第1图像信息和第2图像信息生成光线信息。根据该所生成的光线信息，生成与被摄体摄影时的第1对焦值对应的图像信息并将其存储在存储介质内。之后，显示基于与第1对焦值对应的图像信息的图像(S63)。根据该所生成的上述光线信息，生成与不同于第1对焦值的第2对焦值对应的图像信息并将其存储在存储介质内。与上述显示并行或者先于上述显示来生成与第2对焦值对应的图像信息。
文档编号G06T17/00GK101241235SQ20081000869
公开日2008年8月13日 申请日期2008年2月5日 优先权日2007年2月9日
发明者坂田诚一郎, 堀江健一 申请人:奥林巴斯映像株式会社