图像编辑装置以及图像编辑方法

图像编辑装置以及图像编辑方法
【专利摘要】本发明提供图像编辑装置以及图像编辑方法，能够在组合照片中，实现高画质且看起来自然的替换。当对根据组合照片的组合位置将多个图像与背景图像合成而生成的组合照片进行编辑时，在记录了背景部分图像的情况下，消去背景部分图像（S301，S303），选择包含组合照片的组合位置的多个块作为背景部分图像并进行切出（S305），将由图像压缩部压缩后的图像和选择的背景部分图像记录为1个图像文件（S137）。
【专利说明】图像编辑装置以及图像编辑方法
【技术领域】
[0001]本发明涉及对由多个照片构成的组合照片等图像进行编辑的图像编辑装置以及图像编辑方法。
【背景技术】
[0002]以往，已知有能够通过简单的操作得到从图像中去除了任意对象后的图像的图像编辑装置(例如，日本公开专利平09-212626号公报)。此外，还已知有使第1和第2边界线间的浓度与第1边界线和第2边界线之间的距离相关而变化从而生成第3图像的技术(例如，日本公开专利平09-198494号公报)。此外，还已知有能够防止在进行置换或不进行置换的边界附近的部分发生颜色不连续的情况而成为不自然的图像的图像处理装置(例如，日本公开专利平10-051654号公报)。

【发明内容】

[0003]发明要解决的问题
[0004]JPEG压缩和MPEG压缩例如将图像分割为8X8像素那样的小块，并以各个块进行压缩。当将压缩率设为较大时，一般而言，各块的高频成分逐渐降低，块内成为平均的颜色。因此，在背景图像上重叠其他图像的图像等中，如果进行高倍压缩，则边界部分的背景与合成图像的颜色被平均化，合成图像的边界附近的颜色对边界的外侧产生影响，看起来彼此渗透。
[0005]在对组合多张图像而构成的组合照片图像进行编辑的情况下，当进行将多个图像内的1张图像与其他1张图像置换的编辑时，如上所述，有时会在置换的图像与背景图像在边界区域发生颜色渗透的情况下被合成。因此，组合照片的画质降低，成为不自然的组合照片。
[0006]本发明就是鉴于这样的情况而完成的，其目的在于提供一种图像编辑装置和图像编辑方法，能够在组合照片中，实现高画质且看起来自然的替换。
[0007]用于解决问题的手段
[0008]本发明的图像编辑装置，其对在预先准备的背景图像上组合多张图像而构成的组合照片图像进行编辑，该图像编辑装置具有:组合照片处理部，其根据组合照片的组合位置将多个图像与上述背景图像合成，生成组合照片；图像压缩部，其以预定像素数的块数对上述组合照片进行分割，对图像进行不可逆压缩；背景部分图像选择部，其以上述块对上述背景图像进行分割，将至少包含上述组合位置的多个上述块选择为背景部分图像；以及记录部，其将由上述图像压缩部压缩后的图像和由上述背景部分图像选择部选择的背景部分图像作为1个图像文件进行记录。
[0009]本发明的图像编辑方法，对在预先准备的背景图像上组合多张图像而构成的组合照片图像进行编辑，该图像编辑方法具有以下步骤:根据组合照片的组合位置将多个图像与上述背景图像合成，生成组合照片；以预定像素数的块数对上述组合照片进行分割，进行图像压缩；以上述块对上述背景图像进行分割，将至少包含上述组合位置的多个上述块选择为背景部分图像；将压缩后的上述图像和选择的上述背景部分图像作为1个图像文件进行记录。
[0010]发明的效果
[0011]根据本发明能够提供一种图像编辑装置以及图像编辑方法，能够在组合照片中，实现高画质且看起来自然的替换。
【专利附图】

【附图说明】
[0012]图1是示出本发明一个实施方式的相机的主要电气结构的框图。
[0013]图2是示出本发明一个实施方式的相机中图像编辑的一例的图，是示出通过触摸实时取景来进行图像编辑的情形的图。
[0014]图3是示出本发明一个实施方式的相机中图像编辑的一例的图，是示出通过触摸实时取景来进行图像编辑的情形的图。
[0015]图4是示出本发明一个实施方式的相机中图像编辑的一例的图，是示出确定编辑帧的情形的图。
[0016]图5是示出本发明一个实施方式的相机中画面分割的例子的图。
[0017]图6是示出本发明一个实施方式的相机的主要动作的流程图。
[0018]图7是示出本发明一个实施方式的相机的主要动作的流程图。
[0019]图8是示出本发明一个实施方式的相机的图像处理的动作的流程图。
[0020]图9是示出本发明一个实施方式的相机的基本图像处理的动作的流程图。
[0021]图10是示出本发明一个实施方式的相机的特殊图像处理的动作的流程图。
[0022]图11是示出本发明一个实施方式的相机的组合照片生成的动作的流程图。
[0023]图12A?图12C是示出本发明一个实施方式的相机中图像解析的变更例的图。
[0024]图13是示出本发明一个实施方式的相机的静态图像记录的动作的流程图。
[0025]图14是示出本发明一个实施方式的相机的组合照片操作的动作的流程图。
[0026]图15是示出本发明一个实施方式的相机的组合照片操作的动作的流程图。
[0027]图16A?图16C是示出本发明一个实施方式的相机中组合照片操作存储器的结构的图。
[0028]图17是示出本发明一个实施方式的相机的再现/编辑的动作的流程图。
[0029]图18是示出本发明一个实施方式的相机的组合照片编辑的动作的流程图。
[0030]图19是示出本发明一个实施方式的相机的组合照片生成记录的动作的流程图。
[0031]图20是示出本发明一个实施方式的相机的组合照片生成的动作的流程图。
[0032]图21是示出本发明一个实施方式的相机的边界背景图像切出的动作的流程图。
[0033]图22A?图22D是说明在本发明一个实施方式的相机中背景局部消去的方法的图。
[0034]图23A?图23E是说明在本发明一个实施方式的相机中背景消去区域的变更的图。
[0035]图24A、图24B是示出本发明一个实施方式的相机中的文件结构的图。
[0036]图25A?图2?是说明在本发明一个实施方式的相机中，背景局部消去的变形例的图。
[0037]图26A?图26D是说明在本发明一个实施方式的相机中，涉及图像倾斜区域的情况下的处理的图。
【具体实施方式】
[0038]下面按照附图使用应用本发明的相机来说明优选实施方式。本发明的一个优选实施方式的相机是数字相机，其具有摄像部，通过该摄像部将被摄体像转换为图像数据，根据该转换后的图像数据，在配置于主体背面的显示部中对被摄体像进行实时取景显示。摄影者观察实时取景显示，从而确定构图和快门时机。当进行了释放操作时，将图像数据记录于记录介质中。当选择了再现模式时，能够在显示部中再现显示被记录于记录介质中的图像数据。
[0039]此外，本实施方式的相机作为对在预先准备的背景图像上组合多张图像而构成的组合照片图像进行编辑的图像编辑装置发挥作用。即，显示部能够将画面分割为多个部分，再现显示由多个图像构成的组合照片。能够将该组合照片内的一部分照片置换为实时取景图像或在记录介质中所记录的摄影完毕的图像。该情况下，在一旦利用背景图像在背景图像与合成图像(置换图像)的边界部分的附近进行涂布后，生成替换后的图像。此时，在与图像压缩时的块的边界一致的位置并且以与块一致的尺寸，使用与组合照片相同的压缩方法和压缩率对背景图像进行压缩，并与组合照片一起记录。
[0040]图1是不出本发明一个实施方式的相机的主要电气结构的框图。该相机由相机主体100和可在该相机主体100上拆装的更换式镜头200构成。另外，在本实施方式中，将摄影镜头设为更换式镜头，但不限于此，当然也可以是在相机主体上固定摄影镜头的类型的数字相机。
[0041]更换式镜头200由摄影镜头201、光圈203、驱动器205、微型计算机207、闪存209构成，在与后述的相机主体100之间具有接口(以下称为I/F) 300。
[0042]摄影镜头201由用于形成被摄体像的多个光学透镜构成，是单焦点镜头或变焦镜头。在该摄影镜头201的光轴的后方配置有光圈203，光圈203的开口直径可变，用以限制通过了摄影镜头201的被摄体光束的光量。此外，摄影镜头201可凭借驱动器205在光轴方向上移动，根据来自微型计算机207的控制信号，对摄影镜头201的焦点位置进行控制，在是变焦镜头的情况下，还对焦距进行控制。此外，驱动器205还进行光圈203的开口直径的控制。
[0043]与驱动器205连接的微型计算机207与I/F300和闪存209连接。微型计算机207按照在闪存209中存储的程序工作，与后述的相机主体100内的微型计算机121进行通信，根据来自微型计算机121的控制信号进行更换式镜头200的控制。
[0044]闪存209除了所述程序之外，还存储有更换镜头200的光学特性和调整值等各种信息。I/F300是用于进行更换式镜头200内的微型计算机207与相机主体100内的微型计算机121相互之间的通信的接口。
[0045]在相机主体100内部，在摄影镜头201的光轴上配置有机械快门101。该机械快门101控制被摄体光束的通过时间，采用公知的焦平面快门等。在该机械快门101的后方，在通过摄影镜头201形成被摄体像的位置处配置有摄像元件103。[0046]在摄像元件103中，构成各像素的光电二极管二维地配置成矩阵状，各光电二极管产生与受光量相应的光电转换电流，通过与各光电二极管连接的电容器蓄积该光电转换电流的电荷。在各像素的前表面配置有拜耳排列的RGB滤色器。另外，摄像元件103不限于拜耳排列，例如可以是Foveon (注册商标)那样的层叠形式。
[0047]摄像元件103与模拟处理部105连接，该模拟处理部105对从摄像元件103读取的光电转换信号(模拟图像信号)降低复位噪声后进行波形整形，进而进行增益提升以成为适当亮度。
[0048]模拟处理部105与A/D转换部107连接，该A/D转换部107对模拟图像信号进行模拟-数字转换，将数字图像信号(以下称之为图像数据)输出到总线110。另外，在本说明书中，将在图像处理部109进行图像处理之前的原始的图像数据称作RAW数据。
[0049]总线110是用于将在相机主体100内部读取或生成的各种数据转发到相机主体100内部的转发路径。总线110除了与所述A/D转换部107连接之外，还连接着图像处理部109、AE (Auto Exposure:自动曝光)处理部 111、AF (Auto Focus:自动对焦)处理部 113、图像压缩解压缩部115、通信部117、微型计算机121、SDRAM(Synchronous DRAM:同步DRAM)127、存储器接口(以下称为存储器I/F) 129和显示驱动器133。
[0050]图像处理部109具有进行基本的图像处理的基本图像处理部109a、在设定了艺术滤镜的情况下用于实施特殊效果的特殊图像处理部10%、用于进行组合多个照片构成1张图像的组合照片的编辑处理的组合照片处理部109C、以及对图像进行解析的被摄体检测部109d。
[0051]基本图像处理部109a对RAW数据实施光学黑(0B)减法处理、白平衡(WB)校正、拜耳数据情况下进行的同时化处理、色彩再现处理、伽马校正处理、色彩矩阵运算、降噪(NR)处理、边缘强化处理等。在仅为1张摄影、且未设定艺术滤镜的情况下，仅凭该基本图像处理部109a的处理即可完成图像处理。
[0052]另外，特殊图像处理部10%根据所设定的特殊效果(艺术滤镜)，对由基本图像处理部处理后的图像实施降低周边亮度的针孔效果、使图像模糊并与原图像合成的柔焦处理、与噪声图像合成的噪声效果、在亮点描绘十字图案的十字滤镜效果、使得周边部模糊的微缩效果等各种特殊效果。
[0053]组合照片处理部109c组合多个图像而生成1张图像(组合照片)。在图像组合时，从闪存125读入模板(参照后述图5)，使用基本图像处理部109a内的伽马校正进行亮度变更，以使得图像亮度相同。此外，为了统一整体的白平衡(WB)，使用基本图像处理部109a内的色彩再现处理来变更WB。此外，在合成后使用特殊图像处理部10%来应用针孔效果等特殊效果，进行组合图像或置换图像的修正等。
[0054]组合照片处理部109c作为根据组合照片的组合位置将多个图像与背景图像合成而生成组合照片的组合照片处理部发挥作用。此外，作为将记录在图像文件中的背景部分图像合成到由图像解压缩部(由图像压缩解压缩部115承担)解压缩后的图像的背景部分合成部而发挥作用，对由背景部分合成部合成的图像合成置换图像。
[0055]被摄体检测部109d利用模式匹配等来解析图像，检测人脸或宠物等被摄体。在能够检测到被摄体的情况下，取得图像内被摄体的种类、大小、位置、可靠性等信息。
[0056]AE处理部111根据经由总线110输入的图像数据测定被摄体亮度，并经由总线110将该被摄体亮度信息输出给微型计算机121。为进行被摄体亮度的测定也可以设定专用的测光传感器，但在本实施方式中，根据图像数据计算被摄体亮度。
[0057]AF处理部113从图像数据中提取出高频成分的信号，通过累计处理取得对焦评价值，并经由总线110输出给微型计算机121。在本实施方式中，通过所谓的对比度法进行摄影镜头201的对焦。在本实施方式中以基于对比度法的AF控制为例进行了说明，但也可以在光路上设置相位差传感器，或者在摄像元件上设置相位差传感器，通过基于相位差AF的AF控制进行对焦。
[0058]图像压缩解压缩部115在将图像数据记录到记录介质131时，将从SDRAM127读出的图像数据在静态图像的情况下按照JPEG方式等对其进行压缩，在动态图像的情况下按照MPEG等各种压缩方式对其进行压缩。微型计算机121对JPEG图像数据或MPEG图像数据附加构成JPEG文件、MPO (Multi Picture Object，多图像对象)文件或MPEG文件所需的文件头，生成JPEG文件、ΜΡ0文件、MPEG文件，将该生成的文件通过存储器I/F129记录于记录介质131中。
[0059]图像压缩解压缩部115作为以预定像素数的块数对组合照片进行分割并进行图像压缩的图像压缩部发挥作用。此外，图像压缩解压缩部115作为对记录在图像文件中的被图像压缩后的图像进行解压缩的图像解压缩部发挥作用。另外，在本实施方式中，对由组合照片的图像(主图像)和构成组合照片的各个图像(副图像)构成的图像文件进行记录。后面在图24A中说明该文件结构。
[0060]此外，图像压缩解压缩部115还进行用于图像再现显示的JPEG图像数据和MPEG图像数据的解压缩。在进行解压缩时，读出在记录介质131中记录的文件，在图像压缩解压缩部115中实施解压缩处理，然后将解压缩后的图像数据暂时存储于SDRAM127中。另外，在本实施方式中，作为图像压缩方式，采用的是JPEG压缩方式和MPEG压缩方式，然而压缩方式不限于此，也可以采用TIFF、Η.264等其他压缩方式。
[0061]通信部117利用基于USB、LAN等的有线通信、无线通信等与外部进行通信。通过通信部117更新或追加在闪存125内存储的用于组合照片的分割的模板。
[0062]微型计算机121实现作为该相机主体的控制部的功能，总括地控制相机的各种动作时序。微型计算机作为背景部分图像选择部发挥作用，该背景部分图像选择部利用块对背景图像进行分割，并选择至少包含组合照片的组合位置的多个块作为背景部分图像。在后面使用图20的S305和图21来说明该背景部分的选择。此外，背景部分图像选择部根据背景图像与多个图像的边界部的亮度成分的差，变更被选择为上述背景部分图像的上述块数(关于该变更，参照图21的S313、S315以及图23A?23E)。微型计算机121除了与所述I/F300连接以外，还连接着操作部123和闪存125。
[0063]操作部123包括电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮、十字键、0K按钮、删除按钮、放大按钮等各种输入按钮和各种输入键等操作部件，操作部123检测这些操作部件的操作状态，将检测结果输出给微型计算机121。微型计算机121根据来自操作部123的操作部件的检测结果，执行与用户的操作对应的各种动作时序。电源按钮是用于指示该数字相机的电源的接通/断开的操作部件。按下电源按钮时，该数字相机的电源接通，再次按下电源按钮时，该数字相机的电源断开。
[0064]释放按钮由通过半按下而打开的第一释放开关和从半按下状态进一步按下而成为全按下时打开的第二释放开关构成。微型计算机121在第一释放开关打开时，执行AF动作和AF动作等摄影准备动作时序。此外，在第二释放开关打开时，执行控制机械快门101等，从摄像元件103等取得基于被摄体图像的图像数据，将该图像数据记录于记录介质131的一系列摄影动作时序，来进行摄影。
[0065]动态图像按钮是用于指示动态图像摄影的开始和结束的操作按钮，最初对动态图像按钮进行操作时开始动态图像摄影，再次进行操作则结束动态图像摄影。再现按钮是用于设定和解除再现模式的操作按钮，当设定了再现模式时，从记录介质131读出摄影图像的图像数据，并在显示面板135中再现显示摄影图像。删除按钮例如是用于在一览显示再现图像时或显示组合照片时等，指定图像并进行删除的操作按钮。放大按钮是用于在再现显示时放大显示图像的操作按钮。
[0066]菜单按钮是用于在显示面板135中显示菜单画面的操作按钮。在菜单画面上能够进行各种相机设定。作为相机设定，例如有通常摄影模式和组合照片等摄影模式的设定、自然、鲜艳、平淡、肖像、艺术滤镜等完成效果的设定。作为艺术滤镜，具有波普艺术效果、玩具相机效果、梦幻对焦效果、黑白效果、透视画效果、水晶效果等。此外，在菜单画面上还能够进行组合照片的样式、组合照片的置换图像的选择、组合照片编辑时是否记录编辑前的图像等各种设定。另外，在组合照片的情况下，根据样式和组合图像选择状况来变更实时取景(LV)的显示(参照图7的S47)。
[0067]此外，操作部123中设有触摸输入部123a。显示面板135可进行触摸操作，触摸输入部123a检测用户触摸的位置等，输出给微型计算机121。
[0068]闪存125存储有用于执行微型计算机121的各种动作时序的程序。微型计算机121根据该程序进行相机整体的控制。
[0069]SDRAM127是用于暂时存储图像数据等的可进行电改写的易失性存储器。该SDRAM127暂时存储从A/D转换部107输出的图像数据以及在图像处理部109和图像压缩解压缩部115等中进行了处理的图像数据。
[0070]存储器I/F129与记录介质131连接，进行将图像数据和在图像数据中附加的文件头等数据写入记录介质131以及从记录介质131读取这些数据的控制。记录介质131例如是可在相机主体100上自由拆装的存储卡等记录介质，但不限于此，也可以是内置于相机主体100内的硬盘等。上述的SDARAM127或者记录介质131作为记录部发挥作用，该记录部将由图像压缩部压缩过的图像和由背景部分图像选择部(由微型计算机121承担(参照图20的S30和图21))选择的背景部分图像作为1个图像文件进行记录。
[0071]显示驱动器133与显示面板135连接，根据从SDRAM127和记录介质131中读出并由图像压缩解压缩部115解压缩后的图像数据，在显示面板135上显示图像。显示面板135配置于相机主体100的背面等，进行图像显示。图像显示包括在刚结束摄影后短时间显示所记录的图像数据的记录浏览显示、在记录介质131中记录的静态图像和动态图像的图像文件的再现显示以及实时取景显示等动态图像显示。另外，作为显示部可采用液晶显示面板(IXD)、有机EL等各种显示面板。
[0072]下面使用图2至图5说明本实施方式的相机的组合照片的编辑动作。图2示出选择了组合照片模式，并将显示面板135的画面分割为4部分的情况下的实时取景显示。另夕卜，分割画面内的斜线(人物肘部附近的二重线、腿部后方的二重线)表示被摄体正在运动。此外，图2的左侧表示被摄体的情形，右侧表示显示面板135的显示状态。
[0073]首先，在图2中，如135a所示，在分割为4部分的画面内的左上画面进行实时取景显示。用户在希望作为组合照片的图像而取入的情况下，若触摸了显示面板135的左上部，则如135b所示，确定摄影，在下一画面(右上画面)进行实时取景显示。接着，135c是确定了右上画面的摄影的情形，135d表示确定了左下画面的摄影的情形。当确定了右下画面的摄影时(参照135e)，摄影结束，能够取得组合照片。
[0074]在图2所示例子中，通过触摸显示面板135来确定摄影，按照左上一右上一左下一右下的顺序进行了实时取景显示。但也可以不按照该顺序进行实时取景显示。例如也可以如图3所示，在左上画面进行实时取景显示时(参照图3的135f)，若触摸了未进行实时取景显示的左下画面，则在该画面进行实时取景显示(参照图3的135g)。另外，后面会使用图14的步骤S161、S163说明该摄影帧的具体变更操作。
[0075]此外也可以是，在图2中，虽然在实时取景显示中触摸了显示面板135时确定了摄影，但也可以当在所确定的画面中再次进行了触摸时，返回实时取景画面。在图3所示的显示面板135h中，在3个画面(左上、右上、左下画面)示出了确定了摄影的情形，但是，若触摸该确定了摄影的左下画面，则显示面板135j的左下画面成为实时取景显示画面。
[0076]此外，在本实施方式中，即使在确定了所有的摄影，完成了组合照片之后，也能将其中一部分图像置换为其他图像。例如在图4中，示出在确定了 4张图像的情况下，用户为了使用其他图像置换右下画面的图像而进行指定的情形。在本实施方式中，通过进行触摸，而显示该图像的外框，表示是替换对象图像。
[0077]在图2至图4所示的组合照片的例子中，分割为左上、右上、左下、右下4个部分，但画面的分割不限于此。例如图5所示，也可以分割为各种形状。该分割的形状(模板、样式)可预先存储于闪存125中，能够根据用户的喜好进行设定。
[0078]下面使用图6和图7所示的流程图，说明本实施方式的相机的主要处理。另外，图6?图11、图13?图15、图17?图21所示的流程图是由微型计算机121依照在闪存125中存储的程序控制各部分来执行的。
[0079]在对操作部123内的电源按钮进行操作使电源接通后，图6所示的主流程开始动作。开始动作后，首先执行初始化(S1)。作为初始化，进行机械性初始化以及各种标记等的初始化等电气初始化。作为各种标记之一，将表示是否处于动态图像记录之中的记录中标记重置为关闭(参照步骤S13、S15)。
[0080]进行了初始化后，接下来判定是否按下了再现按钮(S3)。在此，检测操作部123内再现按钮的操作状态并进行判定。该判定结果为按下了再现按钮的情况下，执行再现/编辑(S5)。在此，从记录介质131中读出图像数据，在IXD135中显示静态图像和动态图像的一览。用户通过对十字键进行操作，从一览中选择图像，通过0K键确定图像。此外，在该步骤中，还进行组合照片的编辑。后面使用图17说明该再现/编辑的详细动作。
[0081]在执行了步骤S5的再现/编辑后，或者步骤S3的判定结果为未按下再现按钮的情况下，判定是否进行相机设定(S7)。在操作了操作部123内的菜单按钮时，在菜单画面中进行相机设定。因此，在该步骤中根据是否进行了该相机设定来进行判定。
[0082]在步骤S7的判定结果为相机设定的情况下，进行相机设定(S9)。如上所述，能够在菜单画面中进行各种相机设定。如上所述，作为相机设定例如有通常摄影模式和组合照片等摄影模式的设定、自然、鲜艳、平淡、肖像、艺术滤镜等完成效果的设定。作为艺术滤镜，有波普艺术效果、玩具相机效果、梦幻对焦效果、黑白效果、透视画效果、水晶效果等。此外，还能够进行组合照片的样式、组合照片的置换图像的选择、在组合照片编辑时是否记录编辑前的图像、选择用于将已记录的图像嵌入到组合照片的预定帧中的图像等各种设定。
[0083]在步骤S9中进行了相机设定后，或者步骤S7的判定结果为并非相机设定的情况下，接下来进行是否按下了动态图像按钮的判定(S11)。在此，微型计算机121从操作部123输入动态图像按钮的操作状态并进行判定。
[0084]在步骤S11的判定结果为按下了动态图像按钮的情况下，判定记录中标记(S13)。在动态图像摄影中，记录中标记被设定为打开(1 )，在未拍摄动态图像的情况下被重置为关闭(0)。在该步骤中，将标记反转，即在设定了打开(1)的情况下，使其反转为关闭(0)，在设定了关闭(0)的情况下，使其反转为打开(1)。
[0085]在步骤S13中进行了记录中标记的反转后，接下来判定是否为动态图像记录中(S15)。在此，根据在步骤S13中被反转的记录中标记是被设定为打开还是被设定为关闭来进行判定。
[0086]在步骤S15的判定结果为动态图像记录中的情况下，生成动态图像文件(S19)。在后述的步骤S61中进行动态图像的记录，但在该步骤中，生成动态图像记录用的动态图像文件，进行准备以能够记录动态图像的图像数据。
[0087]另一方面，在判定结果为并非动态图像记录中的情况下，关闭动态图像文件(S17)。由于对动态图像按钮进行操作而结束了动态图像摄影，因而在该步骤中关闭动态图像文件。在关闭动态图像文件时，在动态图像文件的文件头记录帧数等，从而将动态图像文件设为能够再现的状态，结束文件写入。
[0088]在步骤S17中关闭了动态图像文件后，或者在步骤S19中生成了动态图像文件后，或者步骤S11的判定结果为未按下动态图像按钮的情况下，接下来判定是否在组合照片模式下对操作部进行了操作(S21)。如上所述，在步骤S9的相机设定中，能够进行组合照片模式的设定。在该步骤中，判定是否在设定了该组合照片模式的状态下操作了操作部123的操作部。
[0089]在步骤S21的判定结果为在组合照片模式下对操作部进行了操作的情况下，执行组合照片操作(S23)。在该组合照片操作中，在进行了用于进行组合照片的编辑的各种操作例如摄影帧变更、取消操作、恢复操作、暂时保存操作、暂时保存读入操作等操作时，执行该组合照片操作。后面使用图14和图15说明该组合照片操作的详细动作。
[0090]在步骤S23中执行了再现/编辑后，或者步骤S21的判定结果为未在组合照片模式下对操作部进行操作的情况下，判定是否半按下了释放按钮，换言之判定第一释放开关是否从关闭变为了打开(S31)。该判定是通过由操作部123检测与释放按钮联动的第一释放开关的状态，并根据该检测结果来进行的。在检测的结果为第一释放开关从关闭转变到打开的情况下判定结果为“是”，另一方面，在维持打开状态或关闭状态的情况下，判定结果为“否”。
[0091]在步骤S31的判定结果为释放按钮被半按下，从关闭转变为第一释放的情况下，执行AE、AF动作(S33)。在此，AE处理部111根据由摄像元件103取得的图像数据检测被摄体亮度，根据该被摄体亮度，计算成为适当曝光的快门速度、光圈值等。[0092]此外，在步骤S33中进行AF动作。在此，驱动器205通过更换式镜头200内的微型计算机207使摄影镜头201的焦点位置移动，以使得由AF处理部113取得的对焦评价值成为峰值。因此，在未进行动态图像摄影的情况下，若半按下了释放按钮，则在该时刻进行摄影镜头201的对焦。此后进入步骤S35。
[0093]在步骤S31的判定结果为释放按钮未从关闭转变为第一释放的情况下，接下来判定是否释放按钮被全按下而使第二释放开关打开(S37)。在该步骤中，通过操作部123检测与释放按钮联动的第二释放开关的状态，根据该检测结果进行判定。
[0094]在步骤S37的判定结果为全按下了释放按钮而使第二释放开关打开的情况下，进行基于机械快门101的静态图像摄影(S39)。在此，以在步骤S33中运算得到的光圈值来控制光圈203，并以运算得到的快门速度来控制机械快门101的快门速度。然后，在经过了与快门速度相应的曝光时间后，从摄像元件103读出图像信号，将由模拟处理部105和A/D转换部107进行了处理后的RAW数据输出到总线110。
[0095]在进行了基于机械快门101的摄影后，接下来进行图像处理(S41)。在此，读出通过基于机械快门101的摄影而由摄像元件103取得的RAW数据，通过图像处理部109进行图像处理。后面使用图8说明该图像处理的详细动作。
[0096]进行了图像处理后，接下来进行静态图像记录(S43)。在此，将实施了图像处理后的静态图像的图像数据记录于记录介质131。另外，在以组合照片进行了摄影的情况下，当希望取消(删除)组合照片内的一部分图像时，能够通过取消操作进行删除。后面使用图13说明该静态图像记录的详细动作。
[0097]进行了静态图像记录后，接下来进行是否为组合照片模式的判定(S45)。如上所述，组合照片模式是在菜单画面等中设定的，在该步骤中判定是否设定了该组合照片模式。
[0098]在步骤S45的判定结果为设定了组合照片模式的情况下，进行实时取景(LV)显示的变更(S47)。在设定了组合照片模式的情况下，根据样式(模板、参照图5)和图像的张数，变更实时取景显示。在始终对所有帧进行实时取景显示的情况下，在摄影图像以外的部分进行实时取景显示。此外，在逐帧地进行实时取景显示的情况下(参照图2的显示方式)，摄影后向下一帧(例如在图2的显示面板135a?135e中，按照左上一右上一左下一右下的顺序)切换实时取景显示。无论何种情况下，所拍摄的帧都显示摄影图像。此外，也可以使用0SD (屏幕直接显示)，以能够知道是摄影完毕的图像还是实时取景图像的方式进行显示，还可以是以能够知道摄影顺序的方式显示摄影完毕的图像。此后进入步骤S35。
[0099]在步骤S37的判定结果为并非第二释放操作的情况下，即第二释放开关并非打开的情况下，接着进行AE (S51)。从所述步骤S31经过S37的情况是未对释放按钮进行任何操作的情况，该情况下在后述的步骤S57中进行实时取景显示。在步骤S51中，进行用于进行实时取景显示的曝光控制。即，计算出为了以适当曝光进行实时取景显示的摄像元件103的电子快门的快门速度和ISO灵敏度。
[0100]在进行了 AE后，接下来进行基于电子快门的摄影(S53 )。在此，使用摄像元件103的电子快门取得图像数据。接着对所取得的图像数据进行图像处理(S55)。此处的图像处理用于实时取景显示，并且在设定了特殊效果的情况下，还进行与所设定的特殊效果对应的图像处理。后面使用图8说明该图像处理的详细动作。
[0101]进行了图像处理后，在显示面板135中进行实时取景显示(S57)。由于在步骤S53中取得了图像数据，并且在步骤S55中进行了图像处理，因而在该步骤中进行实时取景显示的更新。摄影者能够通过观察该实时取景显示，来确定构图和快门释放时机。
[0102]在步骤S57中进行了实时取景显示后，进行是否为动态图像记录中的判定(S59)。在此，判定记录中标记是否打开。在该判定的结果为动态图像记录中的情况下，进行动态图像记录(S61)。在此，对从摄像元件103读出的摄像数据进行图像处理，使其成为动态图像用的图像数据，并记录于动态图像文件中。然后进入步骤S35。
[0103]在步骤S35中，进行是否为电源断开的判定。在该步骤中，判定是否再次按下了操作部123的电源按钮。在该判定结果为并非电源断开的情况下，返回步骤S3。另一方面，在判定结果为电源断开的情况下，进行主流程的结束动作，然后结束主流程。
[0104]这样，在本发明一个实施方式的主流程中，在设定了组合照片模式的情况下，能够进行再现/编辑(S23)，并且在进行了释放按钮的全按下(第二释放操作)时进行摄影，并且进行实时取景显示的变更。
[0105]接着，使用图8所示的流程图说明步骤S41、S55的图像处理。进入图像处理的流程后，首先进行基本图像处理(S71)。在此，基本图像处理部109a对从摄像元件103读出并通过A/D转换部107进行了 A/D转换的图像数据实施光学黑(0B)减法、白平衡(WB)校正、同时化处理、色彩再现处理、亮度变更处理、边缘强化处理、降噪(NR)处理等。后面使用图9说明该基本图像处理的详细动作。
[0106]进行了基本图像处理后，接下来判定是否设定了艺术滤镜(S73 )。由于在所述相机设定(S9)中设定艺术滤镜，因此判定在该步骤中是否设定了艺术滤镜。
[0107]在步骤S73的判定结果为设定了艺术滤镜的情况下，进行特殊图像处理(S75)。在此，根据所设定的艺术滤镜的种类实施特殊图像处理。后面使用图10说明该特殊图像处理的详细动作。
[0108]在进行了特殊图像处理后或者步骤S73的判定结果为未设定艺术滤镜的情况下，接下来进行是否为组合照片的判定(S77)。在该判定的结果为设定了组合照片模式的情况下，进行组合照片生成(S79)。在该组合照片生成中，进行图像缩放和旋转等预处理，并进行颜色变更和亮度变更，然后根据样式(模板)进行图像的合成，生成组合照片。后面使用图11说明该组合照片生成的详细动作。
[0109]在进行了组合照片生成后或者步骤S77的判定结果为未设定组合照片模式的情况下，返回原流程。
[0110]这样，在本实施方式的图像处理中，进行基本图像处理，并根据需要进行特殊图像处理，然后在设定了组合照片模式的情况下，进行组合照片生成。
[0111]接着，使用图9所示的流程图说明步骤S71(图8)的基本图像处理的详细动作。进入基本图像处理的流程后，首先进行光学黑(0B)运算(S81)。在该步骤中，通过基本图像处理部109a内的0B运算部，从构成图像数据的各像素的像素值分别减去由摄像元件103的暗电流等导致的光学黑体值。
[0112]进行了 0B运算后，接下来进行白平衡(WB)校正(S83)。在该步骤中，根据预先设定的白平衡模式，通过基本图像处理部109a内的WB校正部对图像数据进行WB校正。具体而言，从相机主体的闪存125中读出与用户设定的白平衡模式相应的R增益和B增益，对拜耳排列的图像数据乘以该值由此进行校正。或者在自动白平衡的情况下，根据RAW数据等计算出R增益和B增益，使用这些值进行校正。
[0113]通过基本图像处理部109a内的同时化处理部将进行了校正的图像数据转换为各像素由RGB数据构成的数据。具体而言，通过插补由周边求出该像素中不存在的数据，并转换为RGB数据。但是，例如在RAW数据已经是与RGB数据相同的形式(由Foveon传感器得到的RAW数据等)的情况下，无需进行同时化处理。
[0114]在进行了同时化处理后，接下来进行色彩再现处理(S87 )。在该步骤中，通过基本图像处理部109a内的色彩再现处理部进行对图像数据乘以与所设定的白平衡模式相应的色彩矩阵系数的线性转换，校正图像数据的颜色。色彩矩阵系数存储于闪存125中，因此需读出来使用。
[0115]在进行了颜色再现处理后，接下来进行亮度变更处理(S89 )。在该步骤中，通过基本图像处理部109a内的伽马处理部读出在闪存125中存储的伽马表，对图像数据进行伽马校正处理。即，利用RGB进行伽马转换，颜色转换为YCbCr后，使用Y进一步进行伽马转换。
[0116]在进行了伽马转换后，接下来进行边缘强化(S91)。在该步骤中，由基本图像处理部109a内的边缘强调处理部通过带通滤波器对进行了伽马转换的图像数据提取边缘成分，根据边缘强化度乘以系数并与图像数据相加，由此对图像数据的边缘进行强化。
[0117]然后进行NR (噪声去除)(S93)。在该步骤中，对图像进行频率分解，根据频率进行降低噪声的处理。进行了降噪处理后返回原流程。
[0118]接着，使用图10所示的流程图说明步骤S75 (图8)的特殊图像处理的详细动作。
[0119]进入特殊图像处理的流程后，首先判定是否设定了玩具相机效果作为艺术滤镜模式(S101)。在该判定结果为设定了玩具相机效果的情况下，附加阴影效果(S103)。在此，特殊图像处理部10%根据与中心的距离生成使得亮度逐渐降低的增益图(增益值在1以下)，对每个像素乘以与像素相应的增益，由此对图像周边赋予阴影效果。
[0120]在进行了阴影附加后或者步骤S101的判定结果并非玩具相机效果的情况下，接下来判定是否设定了梦幻对焦作为艺术滤镜模式(S105)。在该判定结果为设定了梦幻对焦的情况下，进行柔焦处理(S107)。在此，特殊图像处理部10%使原图像模糊，按照预定比例(例如模糊的图像:模糊前的图像=2:3的比例)将该模糊的图像与模糊前的图像合成。
[0121]在进行了柔焦处理后或者步骤S105的判定结果并非梦幻对焦的情况下，接下来判定是否设定了黑白效果作为艺术滤镜模式(S109)。该判定结果为设定了黑白效果的情况下，进行噪声重叠处理(S111)。在此，特殊图像处理部109b对图像数据实施噪声附加处理。噪声附加处理是将预先生成的噪声图形图像与被摄体图像相加的处理。可以根据随机数等生成噪声图形图像。
[0122]在进行了噪声重叠处理后或者步骤S109的判定结果并非黑白效果的情况下，接下来判定是否设定了透视画效果作为艺术滤镜模式(S113)。在该判定结果为设定了透视画效果的情况下，进行模糊处理(S115)。在此，特殊图像处理部109b进行以原图像的AF目标为中心，按照上下或左右或距离逐渐模糊的处理。
[0123]在进行了模糊处理后或者步骤S113的判定结果并非透视画效果的情况下，接下来判定是否设定了水晶效果作为艺术滤镜模式(S117)。在该判定结果为设定了水晶效果的情况下，进行十字滤光处理(S119)。在此，特殊图像处理部109b从图像中检测亮点，以该亮点为中心描绘具备呈十字状或多根放射状的形状演绎光耀的效果的十字图形。[0124]在进行了十字滤光处理后或者步骤S117的判定结果为未设定水晶效果的情况下，结束特殊图像处理的流程，返回原流程。
[0125]接着，使用图11所示的流程图说明步骤S79 (图8)的组合照片生成的详细动作。如上所述，在图8所示的图像处理的流程中，首先进行基本图像处理，接着进行特殊图像处理，然后进行该组合照片生成。在该组合照片生成中，将图像合成到图5所示的样式(模板)中。进行该合成时，大体上若存在未在步骤S121?S127中实施过预处理的帧，则实施预处理。实施了预处理后，进行颜色变更和亮度变更等，执行在样式中嵌入图像的图像处理，然后进行图像记录。
[0126]进入组合照片生成的流程后，首先进行是否存在未执行预处理的帧的判定(S121)。在此，判定对于要合成的全部帧的图像是否已完成在步骤S128以后的处理中不需要每次执行的缩放/旋转/裁剪、图像解析等预处理。
[0127]当步骤S121的判定结果为存在未实施预处理的帧时，接下来进行缩放/旋转/裁剪(S123)。此时，为了嵌入到图5所示的样式中，组合照片处理部109c配合帧来进行图像缩放、旋转和裁剪等处理。
[0128]在进行了缩放后，接下来进行图像解析(S125)。对进行合成的原图像(置换图像)进行解析，取得图像特征(例如亮度分布和颜色分布等)。可以使用完成了基本图像处理等图像处理的图像进行解析，此外，也可以解析作为其原始数据的RAW数据。
[0129]在进行了图像解析后，接下来进行帧图像存储(S127)。在此，将进行了步骤S123、S125的预处理的图像存储于SDRAM127中。图16A示出了 SDRAM127的显示/记录用组合图像存储区域，区域R1是与组合到组合照片中的帧数量相当的区域，区域R2是与组合到组合照片中的帧数量相当的退避区域。在该步骤S127中，将进行了预处理的图像的图像数据和图像解析结果存储于帧图像区域R1内的对应的区域(帧图像区域1?帧图像区域η中的某个)。
[0130]在进行了帧图像的存储后，或者步骤S121中的判定结果为不存在未实施预处理的帧的情况下，接下来进行颜色变更(S129)。在此，组合照片处理部109c校正CbCr，使得进行合成的图像成为大致相同的颜色。此时，使用各帧图像区域的数据进行处理，但并不变更SDRAM127的帧图像区域R1内的数据。这是为了以后以ΜΡ0形式保存数据。
[0131]作为颜色变更的校正方法，例如使图像的CbCR偏移，使得进行合成的所有图像的颜色分布(在CbCr平面的分布)的峰值成为各峰值的平均值。使用图12B、12C说明该校正方法。图12B的曲线图(b-Ι)表示图像1和图像2的色差(Cb)，图12C的曲线图(c-Ι)表示色差(Cr)。若分别针对图像1、2使色差偏移以使得颜色分布的峰值成为平均值(参照图12B的曲线图(b-2)、图12C的曲线图(c-2))，则两个图像的色差变得大致相同(参照图12B的曲线图(b-3)和图12C的曲线图(c-3))。
[0132]在步骤S129中进行了颜色变更后，接下来进行亮度变更(S131)。在此，组合照片处理部109c进行校正以使得进行合成的图像的亮度变得相同。作为校正方法，例如进行校正以使得各图像的平均值与进行合成的所有图像的亮度分布的平均值大致一致。此时，若通过亮度伽马(仅亮度成分的伽马)进行转换，则在大幅变更了亮度的情况下，颜色看起来会不自然。因此，例如也可以进行RGB转换，在RGB颜色空间进行伽马校正。
[0133]使用图12A说明亮度变更的例子。图12A的曲线图(a_l)表示图像1和图像2的亮度。在RGB颜色空间对二者进行表转换(参照曲线图(a-2))。根据曲线图(a-1)可知，图像2整体上低亮度成分较多，因此通过表转换提升低亮度侧的亮度。转换后如曲线图(a-3)所示，图像1和图像2成为大致同样的亮度分布。
[0134]在步骤S131中进行了亮度变更后，接下来进行合成(S133)。在此，组合照片处理部109c将背景图像上的各图像合成。即，将图像嵌入合成到图5所示的样式的各位置，从而生成组合照片。
[0135]在进行了合成后，接下来附加特殊效果(S135)。在此，对合成后的图像附加阴影或模糊等特殊效果。另外，在图8的步骤S75中对各图像附加特殊效果，而在该步骤中，附加对于合成图像的特殊效果。
[0136]在附加了特殊效果后，接下来进行图像存储(S137)。在此，将合成结果存储于显示/记录用组合图像记录区域。进行了图像存储后返回原流程。
[0137]这样，在组合照片生成的流程中，在未实施预处理的情况下，实施缩放等处理和图像解析(S123、S125)，将该预处理后的图像数据存储于SDRAM127的帧图像区域R1中(S127)，对预处理完毕的图像进行颜色变更和亮度变更(S129、S131)，然后，合成组合照片图像(S133)，进行图像记录(S137)。由于将进行了预处理并在进行颜色变更和亮度变更之前的图像数据存储于帧图像区域R1中，因而在生成了组合照片之后，能够在与置换图像替换时读出预处理时的图像数据，能够进行适当的颜色变更和亮度变更。
[0138]此外，在组合照片生成的流程中，进行画质调整以使得组合照片的各图像的画质一致(参照S128)。因此组合照片的各图像的画质一致，感觉自然。另外，在图11所示的组合照片生成中，仅是基本的流程，未实施组合照片的编辑时的背景图像的颜色渗透对策。后面使用图20来说明防止了背景图像的颜色渗透的组合照片生成的流程。
[0139]接着，使用图13所示的流程图说明步骤S43 (图7)的静态图像记录的详细动作。该静态图像记录是在基于所述机械快门101的摄影(S39)、图像处理(S43)之后接着执行的，进行用于将进行了图像处理的图像数据记录于记录介质131中的处理。
[0140]当进入了静态图像记录的流程后，首先进行是否为组合照片模式的判定(S141)。在该判定结果为并非组合照片模式的情况下，是通常模式，进行记录浏览显示(S157)。在此，在预定时间的期间在显示面板135中暂时地显示记录在记录介质131中的图像。由此用户能够确认摄影图像。
[0141]当进行了记录浏览显示后，接下来进行静态图像记录(S159)。在组合照片以外，对进行了图像处理的图像进行JPEG压缩并记录于记录介质131中。但是不限于此，也可以通过非压缩形式(例如TIFF等)进行记录，还可以采取其他压缩形式。此外，也可以记录RAW图像。
[0142]在步骤S141的判定结果为是组合照片模式的情况下，判定是否进行摄影图像记录(S143)。在组合照片模式中，将各图像嵌入到图5所示的样式中，但也可以是，即使在设定了组合照片模式的情况下，也记录不嵌入到样式中的图像。在该步骤中，在图6的步骤S9的相机设定中，判定用户是否将是否记录组合照片的各帧的设定设为了打开。
[0143]在步骤S143的判定结果为摄影图像记录的情况下，进行静态图像记录(S145)。在此，与步骤S159同样地，不作为组合照片而作为单独的摄影图像进行摄影，通过JPEG等进行压缩等并记录于记录介质131中。[0144]在步骤S145进行了静态图像记录后或者步骤S143的判定结果为并非摄影图像记录的情况下，接下来进行组合是否完成的判定(S147)。在此，判定是否拍摄了满足预先设定的样式的数量的图像并进行了合成。例如在使用图2、图3说明的组合照片中，判定是否拍摄了 4张照片并进行了合成。此外，例如在合成4张图像的情况下，拍摄了两张图像并从记录图像中选择了两张图像的情况也判定为组合完成。
[0145]在步骤S147的判定结果为组合完成的情况下，进行记录浏览显示(S149)。在此，组合照片的所有图像都已齐全，因而在显示面板135上对该组合照片进行记录浏览显示。另外，在记录浏览显示中，也可以是与后述的再现流程同样地，能够进行放大显示。
[0146]在进行了记录浏览显示后，接下来判定是否进行了取消操作(S151)。用户观察记录浏览显示时，有时希望删除一部分照片并进行替换。因此，在本实施方式中，进行记录浏览显示，在预定时间(例如3秒)内进行了取消操作的情况下，能够取消所指定的帧，进行重新摄影。另外，作为取消操作，既可以通过触摸面板来指定，也可以通过删除按钮进行取消。
[0147]在步骤S151的判定结果为进行了取消操作的情况下，进行组合照片操作(S155)。在组合照片操作的子程序中，执行取消操作(参照后述的图14的S165?S173)。
[0148]另一方面，在步骤S151的判定结果为未进行取消操作的情况下，进行组合照片记录(S153)。在此，将完成的组合照片的合成图像数据记录于记录介质131中。
[0149]在步骤S153中进行了组合照片记录后、或者在步骤S155中进行了组合照片操作后、或者步骤S147的判定结果为未完成组合、或者在步骤S159中进行了静态图像记录后，返回原流程。
[0150]这样，在静态图像记录流程中，在凑齐由样式确定的图像张数之前不进行组合照片的记录(S147—否)，在凑齐张数后进行组合照片的记录(S153)。此外，在组合照片完成后，通过进行取消操作(S151)，也能够进行组合照片中的指定的图像的删除。
[0151]接着，使用图14和图15所示的流程图说明步骤S23 (图6)和步骤S155 (图13)的组合照片操作的详细动作。如上所述，该组合照片操作是在进行了用于进行组合照片的编辑的各种操作时执行的。
[0152]在进入组合照片操作后，首先进行是否进行了摄影帧变更操作的判定(S161)，在该判定的结果为进行了摄影帧变更操作的情况下，进行摄影帧的变更(S163)。如图3的显示面板135f、135g中所说明的那样，对于将摄影图像嵌入到组合照片的样式中的哪个框中，能够适当进行变更。在通过十字键和0K按钮的操作或者触摸面板操作等进行了变更要摄影的帧的操作时，变更要摄影的帧。此时，为了知道对哪个帧进行摄影，可以在帧上显示框，或者显示图标，或者将摄影帧以外的帧显示得较暗，或者降低摄影帧以外的帧的彩度。在触摸了实时取景显示中的帧的情况下，执行释放操作(第一释放和第二释放或仅第一释放)。在利用多个帧进行实时取景显示的情况下，使用释放按钮选择要摄影的帧。
[0153]在步骤S163中进行了摄影帧的变更后或者步骤S161的判定结果为不存在摄影帧的变更操作的情况下，接下来判定是否进行了取消操作(S165)。如在静态图像记录的流程中说明的那样，对于完成的组合照片，有时希望删除一部分图像来置换图像。因此，在本实施方式中，在通过十字键选择了所拍摄的帧并按下删除按钮时或者在通过触摸面板将所拍摄的帧拖曳至垃圾箱图标时等，取消所拍摄的帧。在该步骤S165中，判定是否进行了这些操作。[0154]在步骤S165的判定结果为进行了取消操作的情况下，接下来判定触摸操作中帧尺寸是否较小(S167)。判定在通过触摸操作进行了取消操作的情况下，要取消的帧的尺寸(纵横尺寸或面积)是否较小(例如面积在1平方厘米以下)。因为若帧尺寸较小则属于误操作。
[0155]在步骤S167的判定结果为触摸操作中帧尺寸大于预定值的情况下，接下来使图像退避(S169)，进行实时取景显示的变更(S171)。有时在通过取消操作删除了图像的情况下，还希望将其恢复。因此，为了能够实现恢复(即取消操作的取消)，将进行了删除指定的摄影图像(组合照片的帧的图像)暂时退避到存储器内的其他区域，将该帧视作未摄影状态，变更实时取景显示。后面使用图16B、图16C说明该图像退避。
[0156]在进行了实时取景显示后，进行组合照片生成(S173)。已使用图11说明了该组合照片生成的子程序。由于通过取消操作指定的图像已被删除，因此在该步骤中使用剩余图像重新生成组合照片。
[0157]在步骤S173中进行了组合照片生成后、或者步骤S167的判定结果为触摸操作中帧尺寸较小时、或者步骤S165的判定结果为未进行取消操作的情况下，接下来进行是否进行恢复操作的判定(S175)。在通过十字键选择了希望恢复的帧并操作删除按钮，或者通过触摸操作进行了将垃圾箱图标拖曳至希望恢复的帧的操作等时，通过操作部123或触摸面板123a的操作进行恢复操作。
[0158]步骤S175的判定结果为进行了恢复操作的情况下，接下来恢复图像(S177)，进行实时取景显示的变更(S179)。此时，将被退避的图像恢复到原来的位置，视作对该帧进行了摄影，变更实时取景显示。
[0159]在进行了实时取景显示的变更后，进行组合照片生成(S181)。已使用图11说明了该组合照片生成的子程序。由于通过恢复操作指定的图像已被恢复，因此在该步骤中包括所恢复的图像在内重新生成组合照片。
[0160]在步骤S181中进行了组合照片生成后或者步骤S175的判定结果为未进行恢复操作的情况下，接下来进行是否进行暂时保存操作的判定(图15的S183)。在短时间的期间内进行多次摄影并进行组合照片的生成的情况下，能够连续地进行摄影。但是在使用早晨、中午、夜间等隔着时间间隔拍摄的图像生成组合照片的情况下，若能暂时保存制作过程中的图像则较为方便。因此在本实施方式中，能够实现构成组合照片的图像的暂时保存。作为恢复操作，是通过菜单画面或触摸面板操作等，通过暂时保存菜单的选择操作和图标的选择操作等进行的。
[0161]在步骤S183的判定结果为进行了暂时保存操作的情况下，进行组合数据的记录(S185)。此时，将当前的组合照片的状态、即通过哪个样式拍摄了哪个照片等记录于闪存125或记录介质131中。作为记录的组合数据，至少具有样式(与模板有关的信息)、摄影得到的照片数据、照片数据和模板上的关联信息。
[0162]在进行了组合数据的记录后，接下来进行组合照片的重置(S187)。在记录后，重置所拍摄的组合照片的信息，设为与第1张摄影同样的状态、即将实时取景显示和SDRAM127
重置等的状态。
[0163]在步骤S187中进行了组合照片的重置后或者步骤S183的判定结果为未进行暂时保存操作的情况下，接下来判定是否进行了暂时保存读入操作(S189)。该操作是在步骤S183、S185中暂时保存了组合照片的组合数据的情况下，进行该暂时保存的组合数据的读出。作为操作，例如通过菜单画面或触摸面板等进行暂时保存读入菜单或图标的选择操作。
[0164]在步骤S189的判定结果为进行了暂时保存读入操作的情况下，接下来进行是否为摄影过程中的判定(S191)。存在正在对组合照片进行摄影的过程中进行暂时保存读入操作的情况。这种情况下，由于必须暂时中断当前进行的组合照片摄影，因而在步骤S191?S195中进行应对。在该步骤中，判定是否为组合照片摄影模式且对模板拍摄了 1张以上。
[0165]在步骤S191的判定结果为是组合照片摄影中的情况下，接下来确认是否进行暂时保存(S193)。这种情况下，在显示面板135中显示是否暂时保存摄影过程中的当前状态的确认画面并询问用户。在该判定结果为进行暂时保存的情况下，进行组合数据的记录(S195)。在此，为了暂时保存当前状态，记录与步骤S185同样的组合数据。
[0166]在步骤S195中进行了组合数据记录后、或者步骤S193的判定结果为不进行暂时保存时、或者步骤S191的判定结果为并非摄影过程中的情况下，接下来读入组合数据(S197)，进行实时取景显示(S199)，进行组合照片生成(S201)。在此，读出在步骤S185中暂时保存的组合数据，与步骤S171和S179同样地进行实时取景显示的变更，与步骤S173和S181同样地进行组合照片的生成。
[0167]在步骤S201中进行了组合照片的生成后或者步骤S189的判定结果为未进行暂时保存读入操作的情况下，结束组合照片操作的动作，返回原流程。
[0168]这样，在组合照片操作的流程中，能够在样式的帧中变更要进行摄影的帧(S163)，还能够删除并恢复帧(S169、S177)。并且，在组合照片摄影中也能够暂时保存数据，还能够读出该暂时保存的数据，继续组合照片摄影。
[0169]接下来使用图16B说明在组合照片操作的流程中说明的图像退避(S169)和图像恢复(S177)。
[0170]图16B示出SDRAM127的显示/记录用组合图像存储区域。图16B的左侧栏示出在由4张构成的组合照片内拍摄了 3张图像的状态。即，在帧图像区域R1内记录有帧图像1?帧图像3的数据。
[0171]在图16B中拍摄了 3张图像的状态下，若对图像2进行了取消操作(图14的S165为“是”)，则帧图像区域R1的帧图像2的数据被复制为退避图像区域R2的帧图像2，删除帧图像区域R1的帧图像2的位置的数据(参照图16B中央处的栏)。
[0172]接着，当对帧图像2进行了恢复操作时(图14的S175为“是”)，退避图像区域R2的帧图像2的数据被复制到帧图像区域R1的帧图像2的位置处。然后，删除退避图像区域R2的帧图像2的位置的数据(参照图16B右侧的栏)。
[0173]这样，在本实施方式中设置有预先记录帧图像的数据的帧图像区域R1和用于退避数据的退避图像区域R2。而且，在进行了取消操作后，在退避图像区域R2中进行存储，在进行了恢复操作后，复制到帧图像区域R1中。因此能够简单地恢复曾被消除的图像。
[0174]另外，在本实施方式中，在取消操作和恢复操作时会复制数据。但是不限于此，也可以通过指针进行管理。图16C示出通过指针进行管理的例子。
[0175]在图16C所示的例子中，在SDRAM127的显示/记录用组合图像记录区域中设置有存储参照指针的参照指针区域R3和帧图像区域R1。首先，在对4张图像中的3张进行了摄影的时刻，在参照指针区域R3中，作为有效图像记录有与帧图像1?帧图像3对应的地址(参照图16C左侧的栏)。
[0176]在对帧图像2进行了取消操作后，虽然在帧图像区域R1中仍然记录着帧图像2，但是从参照指针区域R3中删除帧图像2的地址(参照图16C中央的栏)。
[0177]接着，在对帧图像2进行了恢复操作后，在帧图像区域R1中仍然记录着帧图像2，此外在参照指针区域R3中恢复了帧图像2的地址(参照图16C右侧的栏)。
[0178]接下来，使用图17所示的流程图说明步骤S5 (图6)的再现/编辑的详细动作。如上所述，该再现/编辑是在从记录介质131中读出摄影完毕的图像数据并进行再现时执行的。
[0179]在进入再现/编辑流程后，首先进行一览显示(S211)，进行图像选择(S213)。在此，对在记录介质131中所记录的图像文件的缩略图进行一览显示。用户从一览显示中选择图像。
[0180]在进行了图像选择后，接下来进行所选择的图像是否为动态图像的判定(S215)。由于作为图像记录有静态图像和动态图像，因而根据图像形式进行判定。
[0181]在步骤S215的判定结果为所选择的图像是动态图像的情况下，读入帧数(S217)。在动态图像文件中记录有帧数，因此读入该信息。接着将计数器i初始化为1 (S219)。该计数器i对帧数进行计数。
[0182]接下来对第i帧进行再现/显示(S221)，对计数器i加1 (S223)，判定计数器i是否小于帧数(S225)。在此，从第1帧起依次读出动态图像的图像数据，并显示于显示面板135中。进行动态图像的再现，直到计数器i达到在步骤S217中读出的帧数为止。此后进入步骤S227。
[0183]步骤S215的判定结果为在步骤S213中选择的图像为静态图像的情况下，读入图像(S229)并显示(S231)。在此，读出在记录介质131中记录的静态图像的图像数据，进行解压缩处理，并显示于显示面板135中。
[0184]在进行了显示后，接下来判定是否进行了放大操作(S233)，在该判定结果为进行了放大操作的情况下进行放大显示(S235)。在静态图像显示过程中，例如通过操作放大按钮等来进行放大显示。此时，在组合照片的情况下，放大显示各帧或放大显示特定的1个帧。
[0185]在步骤S235中进行了放大显示后或者步骤S233的判定结果为未进行放大操作的情况下，接下来判定是否处于放大中且进行了显示位置变更操作(S237)，在该判定结果为进行了变更操作的情况下，进行放大位置变更(S239)。在处于放大显示中且进行了显示位置的变更操作、例如十字键操作的情况下，变更在图像中进行放大显示的部分。在组合照片的情况下，限制为仅能够在放大中的帧内变更显示位置。在不存在限制的情况下，设为与通常图像相同的显示。
[0186]在步骤S239中进行了放大位置变更后或者步骤S237的判定结果为放大中且未进行显示位置变更操作的情况下，接下来判定是否为组合照片且进行了显示帧变更操作(S241)，在进行了变更操作的情况下，进行显示帧的变更(S243)。在是组合照片的情况下，若为放大显示中且存在显示帧变更操作、例如功能按钮(Fn按钮)操作等，则切换进行放大显示的帧。此时，预先存储在各帧的放大位置，在指示了再次显示当前所显示的帧的情况下，放大显示相同的位置。[0187]在步骤S243中进行了显示帧变更后或者步骤S241的判定结果为是组合照片且不存在显示帧变更操作的情况下，接下来进行是否为组合照片且进行了编辑操作的判定(S245)，在该判定的结果为进行了编辑操作的情况下，进行组合照片编辑(S247)。在是组合照片的情况下，通过从菜单画面选择组合照片编辑，或者通过触摸操作选择编辑图标等，能够编辑当前正在再现的组合照片中的帧。后面使用图18说明该组合照片编辑的详细动作。
[0188]在步骤S247进行了组合照片编辑后或者步骤S245的判定结果为是组合照片且未进行过编辑操作的情况下，接下来判定是否显示结束(S249)。当操作了显示结束按钮时或对显示结束图标等进行了触摸操作时，结束显示。在该步骤S249的判定结果并未显示结束的情况下，返回步骤S233，继续进行显示。另一方面，结果为显示结束的情况下，进入步骤S227。
[0189]在步骤S249的判定结果为显示结束时、或者步骤S225中的判定结果为动态图像的计数器i超过了帧数的情况下，接下来判定是否结束再现(S227)。若再次操作了再现按钮，则结束再现。在该步骤的判定结果并未再现结束的情况下，返回步骤S211，继续再现模式。另一方面，在判定结果为再现结束的情况下，结束该再现/编辑的流程，返回原流程。
[0190]这样，在再现/编辑流程中，执行动态图像的再现、静态图像的放大显示、组合照片的编辑操作等。另外，在本实施方式中，仅进行了组合照片的编辑，但也可以除此之外还对动态图像进行编辑。
[0191]接下来，使用图18所示的流程图说明步骤S247 (图17)的组合照片编辑的详细动作。如上所述，在从记录介质131中读出完成的组合照片图像的数据，利用其他记录图像或新拍摄取得的图像来置换组合照片中的图像时，执行该组合照片编辑。
[0192]在进入了组合照片编辑的流程后，首先进行组合图像的读入(S251)。读入组合图像，将主图像和副图像存储于SDRAM127的各存储区域。在此，主图像为所合成的组合照片的图像数据，副图像为进行了预处理(参照图11的S123、S125)的图像数据。副图像以对应于各巾贞的方式存储于图16A?图16C所不的巾贞图像区域。
[0193]在进行了组合图像的读入后，接着进行编辑帧的指定(S253)。在此，用户指定用其他图像置换构成组合照片的多个帧内的哪一个帧。
[0194]在进行了编辑帧的指定后，接下来判定是否与记录图像进行置换(S255)。如上所述，在进行编辑时，能够选择记录完毕的图像或新摄影的图像。在选择记录完毕的图像的情况下，显示记录完毕的图像的一览表，并从中进行选择。另一方面，在新摄影的情况下，转移到摄影待机状态，通过执行摄影时的实时取景显示和摄影动作时序来取得。通过菜单画面或图标显示，选择与记录图像进行置换还是与摄影图像进行置换。
[0195]在步骤S255中的判定结果为与记录图像进行置换的情况下，接下来进行一览显示(S257)，进行图像选择(S259)。在此，与步骤S211、S213 (图17)同样地，对在记录介质131中记录的图像文件的缩略图进行一览显示。用户操作十字键和0K按钮等从一览显示中选择进行置换的图像。
[0196]在进行了图像选择后，接下来进行图像读入(S261)。在此，从记录介质131中读出在步骤S259中所选择的图像数据。
[0197]在步骤S255中的判定结果为进行置换的图像并非记录图像的情况下、即进行置换的图像为新摄影的图像时，接下来判定是否释放操作从关闭变为第一释放(S273)。在此，判定是否半按下了释放按钮。通过释放按钮的半按下，转移到摄影准备状态。在步骤S273的判定结果为释放操作从关闭转变为第一释放的情况下，接着进行AE/AF(S275)。在此，与步骤S33 (图7)同样地，执行AE动作和AF动作。在进行了 AE/AF后返回步骤S273。
[0198]在步骤S273中的判定结果为释放操作并未从关闭转变为第一释放的情况下，接下来判定释放操作是否为第二释放(S277)。在此，判定是否全按下了释放按钮。在该判定结果为释放操作并非第二释放的情况下进行AE (S281)，进行基于电子快门的摄影(S283)，进行图像处理(S285)，进行实时取景显示(S287)。该步骤S281?S287的动作与所述图7的步骤S51?S57相同，因而省略详细说明。在进行了实时取景显示后，返回步骤S273。
[0199]在步骤S277中的判定结果为是第二释放操作的情况下，接下来进行基于机械快门101的摄影(S279)。即，用户观察实时取景显示，进行释放按钮的全按下，从而能够取得与组合照片的帧进行置换的图像。在基于机械快门101的摄影中结束了曝光后，取得RAW数据。
[0200]在步骤S261中读出图像数据后或者步骤S279中基于机械快门101的摄影结束后，接下来判定图像数据的形式是否为RAW数据(S263)。在步骤S279中取得的图像数据为RAW数据，而从记录介质131中读出的图像数据包含RAW和JPEG等各种形式。在是RAW数据的情况下，在步骤S265?S269中进行基本图像处理和特殊图像处理。在是JPEG数据的情况下，由于已进行了图像处理，因而跳过这些处理。
[0201]在步骤S263的判定结果为是RAW数据的情况下，接下来进行基本图像处理(S263)。该基本图像处理为图9所示的流程，因此省略详细说明。在进行了基本图像处理后，判定是否设定了艺术滤镜(S267)，该判定结果为设定了艺术滤镜的情况下，进行特殊图像处理(S269)。该特殊图像处理为图10所示的流程，因此省略详细说明。
[0202]在步骤S269中进行了特殊图像处理后、或者步骤S263的判定结果为并非RAW数据、或者步骤S267的判定结果为未设定艺术滤镜的情况下，接下来进行组合照片生成记录(S271)。在步骤S261中读入指定为置换图像的记录图像的图像数据，或在步骤S279中取得了作为置换图像而新摄影得到的摄影图像的图像数据，因而在该步骤中，将组合照片的1个帧的图像置换为置换图像而生成组合照片。使用图19说明该组合照片生成记录的详细动作。
[0203]这样，在组合照片编辑的流程中，从记录图像中选择组合照片中进行置换的图像(S257?S261)，或者通过重新摄影来取得图像(S279)。然后使用组合照片和置换图像，重新生成组合照片(S271)。
[0204]下面使用图19所示的流程图说明步骤S271的组合照片生成记录的详细动作。进入了该组合照片生成记录的流程后，首先进行组合照片生成(S291)。在此，执行在图11说明的流程。即，对构成组合照片的各帧进行了预处理后，通过进行颜色变更和亮度变更等来调整各帧，使得没有不协调感。此外，进行画质调整，使得因压缩率差异等导致的画质差异不显著。进行了各帧的颜色、亮度、画质的调整后，进行合成以生成组合照片。
[0205]在进行了组合照片生成后，接下来进行静态图像记录(S293)。此时，将在步骤S291中生成的组合照片的数据记录于记录介质131中。
[0206]接着，使用图20来说明在使用图11说明的组合照片生成中，防止了背景图像的颜色渗透的流程。在图20所示的组合照片生成的流程图中，步骤S123?S131和S133?S137与图11所示的流程图相同，不同之处在于追加了步骤S301?S305。因此，以该步骤S301?S305为中心进行说明。
[0207]在步骤S129中进行颜色变更，在步骤S131中进行亮度变更。在此，如上所述，在存在置换图像的情况下，对置换图像进行校正，以使其颜色、亮度与构成组合照片的其他的图像相同。在进行了亮度变更后，接着判定在进行编辑的组合照片的ΜΡ0文件中是否记录了背景局部图像(S301)。背景局部图像是指构成组合照片的图像以外的图像，例如，在用置换图像对构成组合照片的多个图像中的1个图像进行替换时，在后述的S305中，生成背景边界图像(参照图22B)，该背景边界图像是背景局部图像。
[0208]在步骤S301的判定结果为记录了背景局部图像的情况下，接下来进行背景局部消去(S303)。在此，作为对图像进行替换的帧，包含帧与背景的边界部分，用原来的背景图像对图像压缩时的块尺寸的倍数的区域进行涂布。
[0209]在步骤S303中进行背景局部消去，或者步骤S301的判定结果为未记录背景局部图像的情况下，接着，进行边界背景图像切出(S305)。在此，在进行将置换图像嵌入到组合照片的帧中的图像编辑时，进行边界背景图像的切出，并对切出的图像进行压缩，以避免颜色渗透产生不好的影响。后面使用图21来说明该边界背景图像的切出的详细动作。
[0210]在步骤S305中进行了边界背景图像切出后，进行图像合成(S133)。在步骤S301?S305中，切出组合照片的帧的边界区域，并进行了图像压缩。使用该被切出的边界背景图像、置换图像、该置换图像以外的构成组合照片的图像，进行组合照片的图像合成。在进行了图像合成后，如上所述，附加特殊效果(S135)，进行图像记录(S137)，结束该组合照片生成的流程，返回原流程。
[0211]接着，使用图21来说明步骤S305的边界背景图像切出的动作。在进入边界背景图像切出的流程后，首先，计算边界亮度差/色差(S311)。求出作为合成对象的组合照片的框的边界的背景与图像的平均亮度差和色差(色差成分的差)。例如，当假定在图22D中将左上的图像P21置换为置换图像的情况时，求出该置换图像的平均亮度与图像P21的周围的背景之间的平均亮度差，同样地，求出置换图像与周围的背景之间的平均色差的差。
[0212]在计算出边界売度差/色差后，接着判定差是否为阈值以上(S313)。在此，判定在步骤S311中计算出的差的值是否为预先决定的预定值以上。例如，当亮度差为16 (8位数据的情况下)以上或者色差的差为8 (8位数据的情况下)以上时，判定为“是”。如果在亮度差或者色差为预定值以上的情况下，将构成组合照片的图像与背景图像重叠并进行图像压缩，则在构成组合照片的图像的周围容易发生颜色渗透。因此，在步骤S315以后进行处理，以使该颜色渗透的影响变小。
[0213]在步骤S313中的判定结果为差为阈值以上的情况下，接着计算宽度(S315)。在此，根据在步骤S311中计算出的差的值来计算块的宽度(参照图22A、图23A?23E)。在本实施方式中，宽度根据亮度差和色差的差而发生变化，但也可以是，始终将压缩时的块尺寸(例如，8X8像素)设为宽度。
[0214]在计算出宽度后，接着进行切出(S317)。在此，以在步骤S315中计算出的宽度来切出包含置换图像与背景之间的合成边界的带状的背景图像(参照图22的(b))。在切出图像后，接着，通过与记录编辑后的组合照片时的图像压缩相同的方式和压缩率，对该切出的图像进行图像压缩(S319)。通过该处理，背景成为与其他的部分相同的画质。在图像压缩后，或者在步骤S313中的判定结果为差不为阈值以上的情况下，返回原流程，在步骤S133中进行合成(参照图22C)。如上所述，切出的图像也可以不进行图像压缩而是采用非压缩或可逆压缩。此外，也可以是与压缩组合照片时的JPEG不同的压缩形式。但是，优选以与对切出的图像进行编辑后的组合照片相同的压缩形式并且相同的压缩参数(量化表等决定画质的参数)进行压缩。通过进行与编辑后的组合照片相同的压缩，能够使编辑后的组合照片的画质与切出的图像的画质相同，因此具有如下效果:消除了再次进行编辑时切出的图像与上述编辑后的组合照片之间的画质差，能够得到更自然的印象的再编辑结果。
[0215]接着，使用图22A?22D，来说明通过置换图像P22对构成组合照片的多个图像中的1个图像P21进行替换时的编辑步骤。图22D表示编辑前的组合照片，通过置换图像P22(参照图22C)对图像P21进行替换。
[0216]图22A?22C是包含位于组合照片的左上的被置换图像P21和背景图像在内的区域Q1的放大图。此外，图22B表示第1个编辑步骤，图22C表示第2个编辑步骤。图22D表示要进行编辑的组合照片。在本实施方式中，以由8X8像素构成的块为单位进行图像压缩，由通过虚线描绘的矩形表示该块。在图22A中，被置换图像P21位于线L2a、L2b的内侧。图22D所示的要进行编辑的组合照片由于高倍压缩而使得画质劣化，边界附近模糊。由于该部分(由线Lla、Lib构成的矩形和由线L3a、L3b构成的矩形之间的带状的边界附近)模糊，因此仅该部分具有图案。换言之，具有高度或宽度为包含边界的压缩块的高度或者宽度的图案。
[0217]因此，在本实施方式中，如图22B所示，将边界附近的部分(由线Lla、Llb构成的矩形与由线L3a、L3b构成的矩形之间的带状的边界附近)分为两个区域A1、A2，分别利用背景图像(参照图24A的F2)的图案来覆盖边界部分。背景图像的图案表示将图像以外的背景的图像存储在与图像不同的区域中的(图24的F2中所存储的)背景图像数据。
[0218]在用图案覆盖了边界附近后，接下来如图22C所示，对置换图像P22进行合成。即，在编辑前的被置换图像P21的位置(由线L2a、L2b构成的框内)合成置换图像P22。
[0219]在组合照片的情况下，在构成该组合照片的多个图像的周围，在图像压缩时发生颜色渗透。关于该颜色渗透，在构成组合照片的图像的平均颜色是蓝色时，颜色渗透为蓝色，在图像的平均颜色为红色时，颜色渗透为红色。在生成组合照片并进行了图像压缩后，在图像的背景中形成该颜色渗透。在组合照片生成后，进行替换构成组合照片的多个图像中的1个图像的编辑作业时，残留有在之前图像时形成的颜色渗透，因而导致编辑作业后的组合照片的色调不自然。
[0220]在本实施方式中，为了减轻该不良情况，在进行替换组合照片的一部分的图像的作业时，在一旦用预定的图案覆盖图像的边界之后，用置换图像进行替换。因此，不会发生编辑作业后的组合照片的色调不自然的情况。
[0221]接着，使用图23对进行切出的宽度及其位置进行说明。图23A与图22A同样地示出了 JPEG解压缩时的颜色渗透。在JPEG解压缩，有时应用降低块噪声的滤波处理等，因此有时画质劣化的区域(图22A的A1、A2的区域)变大且变淡。
[0222]在边界部分中，背景与图像的亮度差(色差)较大的情况下，以压缩时的块尺寸为单位扩大背景的范围。在图23A的情况下，是宽度W1，在图23B的情况下，亮度差(色差)变大，因此扩大为宽度W2(相当于两个块的宽度)。此外，在图23C的情况下，亮度差(色差)进一步变大，因此扩大为宽度W3 (相当于3个块的宽度)。
[0223]图23D是示出亮度差与背景尺寸之间的关系的一例的曲线图，纵轴是保持的背景的宽度或者高度，横轴是边界平均亮度差。在该例中，1个块是8X8像素，根据亮度差每次以1个块的尺寸进行扩大。此外，图23E是示出色差的差与背景尺寸的一例的曲线图，纵轴是保持的背景的宽度或者高度，横轴是边界平均色差的差。在该例中，1个块也是8X8像素，根据色差的差每次以1个块的尺寸进行扩大。一般而言，色差更容易产生不协调感，因此当色差的差较大时，与亮度差的情况相比，将宽度设为更大。
[0224]接着，使用图24A?24B来说明本实施方式中的文件结构(ΜΡ0形式的文件结构)。图24A中示出文件结构。该文件被记录在SDRAM127或者记录介质131中。
[0225]在区域F1中记录有主图像文件头。该主图像文件头中记录有:表示副图像所记录的地址的副图像偏移、组合位置与副图像之间的对应关系、组合照片的样式的信息。在区域F2中记录背景图像数据、背景图像的尺寸、背景图像位置信息等背景图像的数据。
[0226]此外，在区域F3中记录有主图像数据。组合照片P1是主图像。此外，在区域F4、F6、F8、F10中记录有副图像1、2、3、4的文件头，在区域F5、F7、F9、F11中记录有副图像1、
2、3、4的数据。在副图像的文件头中记录有步骤S125 (图11)中的解析结果和摄影信息。
[0227]区域F3中所记录的主图像数据是组合照片P1的图像数据，此外，区域F5、F7、F9、F11中所记录的副图像数据是构成组合照片P1的副图像Pll、P12、P13、P14的图像数据。这样，在记录部(SDRAM127，记录介质131)中将副图像和组合位置、解析结果等数据记录为1个图像文件。此外，在图像文件的区域F2中记录有最低限度的背景图像和与背景图像对应的坐标。
[0228]接着，使用图25Α?2?来说明背景局部消去的变形例。在图22Α?22D所示的一个实施方式中的背景局部消去中，首先，如图22Β所示，使用具有的图案对构成组合照片的图像与背景图像的边界部分进行覆盖，在该处理结束后，接下来，如图22C所示，合成了置换图像。但是，不限于此，如图25Β所示，先合成置换图像Ρ22。可以在该合成后，如图25C所示，用具有的图案覆盖边界的区域Α1、Α2部分。
[0229]接着，使用图26Α?26D来说明构成组合照片的图像被倾斜地配置的情况。在此，图26Β示出第1个编辑步骤，图26C示出第2个编辑步骤。图2?示出要进行编辑的组合照片。在上述的例中，构成组合照片的图像被配置成相对于压缩用的块水平垂直，没有倾斜地配置。但是，根据组合照片的样式，如图26D所示，存在图像被倾斜地配置的情况。
[0230]根据构成组合照片的图像与背景的图像的亮度差和色差的差，切出的背景图像(背景部分图像)的区域变大。在图26Β所示的例中，由于亮度差和色差的差较大，因此发生颜色渗透的块对相邻的块产生影响，因而需要扩大1个块的尺寸来切出要切出的图像，从而实施颜色渗透处理。与图26Α所示的情况相比，被切出的背景部分变大(图中，点密度最低的区域)。
[0231]此外，切出的背景部分(背景部分图像)在图26Α、26Β中是以块为单位进行选择的。但是，不限于此，例如，也可以如图26C所示，选择为包含边界部的细长的矩形区域(图中，点密度最低的区域)。
[0232]如以上说明的那样，本发明一个实施方式的图像编辑装置根据组合照片的组合位置，将多个图像与背景图像进行合成，生成组合照片(参照图20的S133)，选择至少包含组合照片的组合位置的多个块作为背景部分图像(图20的S305)，将由图像压缩部(图像压缩解压缩部115)压缩后的图像与选择的背景部分图像记录为1个图像文件(图20的S137，图24)。因此，即使将构成组合照片的图像的一部分替换为置换图像，也能够编辑高画质且看起来自然的组合照片。
[0233]另外，在本发明的一个实施方式中，说明了将本发明用于相机的例子，但不限于此，还可以将本发明应用于用于使用摄影完毕的图像来生成组合照片的图像编辑装置、个人计算机等不具备摄影功能的图像编辑装置。
[0234]此外，在本发明的一个实施方式中使用相机作为用于摄影的设备进行了说明，但作为相机既可以是数字单反相机也可以是紧凑型相机，还可以是摄像机、摄影机等动态图像用相机，进而还可以是在移动电话、智能手机或便携信息终端(PDA Personal DigitalAssist，个人数字助理)、游戏设备等中内置的相机。无论何种情况，只要是用于能够拍摄组合照片的摄影的设备，就能应用本发明。
[0235]此外，关于权利要求书、说明书以及附图中的动作流程，为了方便起见使用“首先”、“接下来”等表现顺序的词语进行了说明，然而在没有特别说明的情况下，并不表示必须按照该顺序进行实施。
[0236]本发明不仅限于上述实施方式，能够在实施阶段中不脱离其主旨的范围内对构成要素进行变形并使其具体实现。此外，通过上述实施方式中公开的多个构成要素的适当组合，能够形成各种发明。例如可以删除实施方式所示的所有构成要素中的几个构成要素。进而，还可以适当组合不同实施方式中的构成要素。
【权利要求】
1.一种图像编辑装置，其对在预先准备的背景图像上组合多张图像而构成的组合照片图像进行编辑，该图像编辑装置具有:组合照片处理部，其根据组合照片的组合位置将多个图像与上述背景图像合成，生成组合照片；图像压缩部，其以预定像素数的块数对上述组合照片进行分割，对图像进行不可逆压缩；背景部分图像选择部，其以上述块对上述背景图像进行分割，将至少包含上述组合位置的多个上述块选择为背景部分图像；以及记录部，其将由上述图像压缩部压缩后的图像和由上述背景部分图像选择部选择的背景部分图像作为1个图像文件进行记录。
2.根据权利要求1所述的图像编辑装置，其中，该图像编辑装置具有:图像解压缩部，其对记录在上述图像文件中的进行了图像压缩的上述图像进行解压缩；以及背景部分合成部，其将记录在上述图像文件中的上述背景部分图像与由上述图像解压缩部解压缩后的图像合成，上述组合照片处理部将置换图像与由上述背景部分合成部所合成的图像进行合成。
3.根据权利要求1所述的图像编辑装置，其中，上述背景部分图像选择部根据上述背景图像与上述多个图像的边界部的亮度成分的差，变更选择为上述背景部分图像的上述块数。
4.根据权利要求1所述的图像编辑装置，其中，上述背景部分图像选择部根据上述背景图像与上述多个图像的边界部的色差成分的差，变更选择为上述背景部分图像的上述块数。
5.根据权利要求1所述的图像编辑装置，其中，上述图像压缩部以与上述组合照片相同的压缩方法对上述背景部分图像进行压缩。
6.一种图像编辑方法，对在预先准备的背景图像上组合多张图像而构成的组合照片图像进行编辑，该图像编辑方法具有以下步骤:根据组合照片的组合位置将多个图像与上述背景图像合成，生成组合照片；以预定像素数的块数对上述组合照片进行分割，进行图像压缩；以上述块对上述背景图像进行分割，将至少包含上述组合位置的多个上述块选择为背景部分图像；将压缩后的上述图像和选择的上述背景部分图像作为1个图像文件进行记录。
【文档编号】G06T11/00GK103679769SQ201310447041
【公开日】2014年3月26日 申请日期:2013年9月25日 优先权日:2012年9月26日
【发明者】市川学 申请人:奥林巴斯映像株式会社