图像处理装置以及图像处理方法
图像处理装置以及图像处理方法
【专利摘要】本发明提供图像处理装置以及图像处理方法。提供生成在整体上有统一感的组合图像的图像数据的技术。照相机是对多个图像进行布局来生成组合图像的图像数据的图像处理装置。照相机的组合图像处理部（109c）具有：特征量计算部（151），其根据构成组合图像的图像来计算表示图像的特征的特征量；图像校正部（154），其对计算出特征量的图像进行校正以使由特征量计算部（151）计算出的特征量接近目标特征量；以及组合图像生成部（155），其对包含由图像校正部（154）进行了校正的图像在内的多个图像的图像数据进行合成来生成组合图像的图像数据。
【专利说明】图像处理装置以及图像处理方法
【技术领域】
[0001]本发明涉及对通过多次摄影取得的多个图像进行布局，从而生成作为一张图像的组合图像的图像数据的图像处理装置以及图像处理方法。
【背景技术】
[0002]在数字照相机和数字摄像机等摄影装置中，将所取得的图像存储或记录为数字数据，因此能够容易地对所取得的图像进行加工。
[0003]灵活运用这种特征的摄影装置的用途之一有组合图像。组合图像是指对通过多次摄影所取得的多个图像进行布局后的合成图像。
[0004]取得组合图像的摄影装置例如在专利文献I和专利文献2中进行了公开。
[0005]在专利文献I中，公开了连续拍摄多个图像，并且对该多个图像进行一览显示的数字照相机。在专利文献2中公开了如下的摄像装置:在针对同一被摄体以每次拍摄多张的方式拍摄的多个不同被摄体的图像中，将按照每个被摄体逐张地选择的最佳图像进行合成并记录。
[0006]【专利文献I】日本特开2007-053616号公报
[0007]【专利文献2】日本特许第4529561号公报
[0008]组合图像通过对在不同的场面下以不同的视点取得的多个帧图像进行合成，能够表现立体感、时间的经过、被摄体的运动等，因此也作为摄影者的感情表现的手段受到期待。
[0009]另一方面，构成组合图像的多个图像(之后记作帧图像。)是分别在不同的条件下取得的独立图像，这些图像之间通`常没有统一感。因此，仅通过对这些图像进行合成，生成的组合图像成为在整体上给观察者带来杂乱的印象的图像。当摄影装置仅生成在整体上带来杂乱的印象的组合图像时，难以用这样的组合图像将摄影者的感情适当地传达给观察者。
【发明内容】
[0010]依据以上的实际情况，本发明的目的在于提供生成在整体上有统一感的组合图像的图像数据的技术。
[0011]本申请的第I方式提供一种图像处理装置，其对多个图像进行布局来生成组合图像的图像数据，该图像处理装置具有:特征量计算部，其根据构成所述组合图像的图像来计算表示所述图像的特征的特征量；图像校正部，其对计算出所述特征量的图像进行校正以使由所述特征量计算部计算出的特征量接近目标特征量；以及组合图像生成部，其对包含由所述图像校正部进行了校正的图像在内的所述多个图像的图像数据进行合成来生成所述组合图像的图像数据。
[0012]本身本申请的第2方式提供一种图像处理装置，其在第I方式所述的图像处理装置中，所述图像处理装置还具有目标特征量计算部，该目标特征量计算部根据由所述特征量计算部计算出的特征量来计算所述目标特征量。
[0013]本申请的第3方式提供一种图像处理装置，其在第I方式所述的图像处理装置中，所述图像处理装置还具有参数计算部，该参数计算部根据由所述特征量计算部计算出的特征量和所述目标特征量来计算校正参数，所述图像校正部利用由所述参数计算部计算出的校正参数，对计算出所述特征量的图像进行校正。
[0014]本申请的第4方式提供一种图像处理装置，其在第I方式所述的图像处理装置中，所述特征量包含构成所述组合图像的图像的亮度分布、色差信号分布、颜色饱和度分布或者色调分布中的至少一方。
[0015]本申请的第5方式提供一种图像处理装置，其在第I方式所述的图像处理装置中，所述图像处理装置还具有特殊效果附加部，该特殊效果附加部进行对由所述组合图像生成部生成的组合图像的图像数据附加特殊效果的处理。
[0016]本申请的第6方式提供一种图像处理装置，其在第I?第5方式中的任意一个方式所述的图像处理装置中，所述图像处理装置还具有摄像部，该摄像部拍摄被摄体来取得摄影图像，构成所述组合图像的所述多个图像中的至少一个是由所述摄像部取得的摄影图像。
[0017]本申请的第7方式提供一种图像处理装置，其在第6方式所述的图像处理装置中，所述图像处理装置还具有对所述组合图像进行显示的显示部。
[0018]本申请的第8方式提供一种图像处理装置，其在第7方式所述的图像处理装置中，所述显示部对由所述摄像部反复取得的摄影图像进行实时取景显示。
[0019]本申请的第9方式提供一种图像处理装置，其在第6方式所述的图像处理装置中，所述图像处理装置还具有记录图像的记录部，所述记录部将由所述摄像部反复取得的摄影图像作为动态图像进行记录。
[0020]本申请的第10方式提供一种图像处理装置的图像处理方法，对多个图像进行布局来生成组合图像的图像数据，该图像处理方法包含:特征量计算步骤，根据构成所述组合图像的图像来计算表示图像的特征的特征量；图像校正步骤，对计算出所述特征量的图像进行校正以使通过所述特征量计算步骤计算出的特征量接近目标特征量；以及组合图像生成步骤，对包含通过所述图像校正步骤进行了校正的图像在内的所述多个图像的图像数据进行合成来生成所述组合图像的图像数据。
[0021]根据本发明，能够提供生成在整体上有统一感的组合图像的图像数据的技术。
【专利附图】
【附图说明】
[0022]图1是示出本发明的实施例1的照相机的主要电气系统的整体结构的框图。
[0023]图2A是示出本发明的实施例1的照相机的处理整体的流程图。
[0024]图2B是示出本发明的实施例1的照相机的处理整体的流程图，是图2A的后续。
[0025]图3是示出本发明的实施例1的照相机的图像处理的流程图。
[0026]图4是示出本发明的实施例1的照相机的基本图像处理的流程图。
[0027]图5A是示出本发明的实施例1的照相机的特殊图像处理的流程图。
[0028]图5B是示出本发明的实施例1的照相机的特殊图像处理的流程图，是图5A的后续。[0029]图6是示出本发明的实施例1的照相机的组合图像生成处理的流程图。
[0030]图7是示出本发明的实施例1的照相机的静态图像记录处理的流程图。
[0031]图8A是示出本发明的实施例1的照相机的组合图像操作处理的流程图。
[0032]图SB是示出本发明的实施例1的照相机的组合图像操作处理的流程图，是图8A的后续。
[0033]图9是用于说明本发明的实施例1的照相机的摄影操作的图。
[0034]图10是示出在图4所示的基本图像处理中使用的伽马转换表的一例的图。
[0035]图11是本发明的实施例1的照相机的组合图像处理部的功能框图。
[0036]图12是用于说明在图6所示的组合图像生成处理中进行的与亮度相关的图像校正的图。
[0037]图13是用于说明在图6所示的组合图像生成处理中进行的与色差(Cb)相关的图像校正的图。
[0038]图14是用于说明在图6所示的组合图像生成处理中进行的与色差(Cr)相关的图像校正的图。
[0039]图15是用于说明在图6所示的组合图像生成处理中进行的与颜色饱和度相关的图像校正的图。
[0040]图16是用于说明在图6所示的组合图像生成处理中进行的与色调相关的图像校正的图。
[0041]图17是用于说明在图6所示的组合图像生成处理中使用的校正参数的计算方法的一例的图。
[0042]图18是用于说明在图6所示的组合图像生成处理中使用的校正参数的计算方法的其他一例的图。
[0043]图19是用于说明在图6所示的组合图像生成处理中使用的校正参数的计算方法的其他又一例的图。
[0044]图20是用于说明在图6所示的组合图像生成处理中使用的校正参数的计算方法的其他又一例的图。
[0045]图21是用于说明在图6所示的组合图像生成处理中使用的校正参数的计算方法的其他又一例的图。
[0046]图22是用于说明在图6所示的组合图像生成处理中使用的校正参数的计算方法的其他又一例的图。
[0047]图23是用于说明本发明的实施例1的照相机的SDRAM的显示/记录用组合图像存储区域的结构的图。
[0048]图24是用于说明本发明的实施例1的照相机的利用删除操作的帧图像数据的后撤保存和利用复原操作的帧图像数据的复原的图。
[0049]图25是用于说明本发明的实施例1的照相机的利用删除操作的帧图像数据的后撤保存和利用复原操作的帧图像数据的复原的另一图。
[0050]图26是示出本发明的实施例2的照相机的组合图像生成处理的流程图。
[0051]图27是示出本发明的实施例3的照相机的组合图像生成处理的流程图。
[0052]图28A是示出本发明的实施例3的照相机中的为了生成组合图像数据而进行的各种处理的数据的输入输出的图。
[0053]图28B是示出本发明的实施例3的照相机中的为了生成组合图像数据而进行的各种处理的数据的输入输出的图，是图28A的后续。
[0054]图28C是示出本发明的实施例3的照相机中的为了生成组合图像数据而进行的各种处理的数据的输入输出的图，是图28B的后续。
[0055]图29是示出本发明的实施例4的照相机的图像处理的流程图。
[0056]图30是本发明的实施例4的照相机的基本图像处理部的功能框图。
[0057]图31是本发明的实施例4的照相机的组合图像处理部的功能框图。
[0058]标号说明
[0059]1:照相机；100:照相机主体；101:机械快门；103:摄像元件；105:模拟处理部；107:A/D转换部；109:图像处理部；109a:基本图像处理部；109b:特殊图像处理部；109c:组合图像处理部；109d:被摄体检测部；110:系统总线；111:AE处理部；113:AF处理部；117:图像压缩解压缩部；119:通信部；121、207:微型计算机；123:操作部；124:触摸输入部;125、209:闪存；127 =SDRAM ； 129:存储器I/F ；131:记录介质；133:显示驱动器；135:显示面板；151、161:特征 量计算部；152、162:目标特征量计算部；153、163:参数计算部；154、164:图像校正部；155、165:组合图像生成部；156、166:特殊效果附加部；200:更换式镜头；201:摄影镜头；203:光圈；205:驱动器；300:1/F。
【具体实施方式】
[0060]以下，参照【专利附图】
【附图说明】本发明的各实施例。另外，在本说明书中，只要没有特别写明，图像可以指静态图像(即相片)和动态图像中的任意一个。实时取景图像与根据释放操作等来自照相机的用户的明确摄影指示而取得的图像不同，是利用照相机的实时取景功能随时取得的图像。
[0061]【实施例1】
[0062]图1是示出本实施例的照相机的主要电气系统的整体结构的框图。
[0063]图1例示的照相机I是将所取得的图像存储或记录为数字数据的摄影装置。照相机I的用户能够一边观察在作为显示部的显示面板135上所显示的实时取景图像，一边通过使用了操作部123的释放操作来指示图像的取得。另外，照相机I除了取得静态图像(即相片)和动态图像的功能以外，还具有取得对多个静态图像或动态图像进行布局后的组图像的功能。因此，照相机I是利用多个图像的图像数据生成组合图像的图像数据的图像处理装置。
[0064]首先，参照图1说明照相机I的结构。照相机I具有照相机主体100、和可在照相机主体100上拆装的包含摄影镜头201的更换式镜头200。另外，在本实施例中，例示了可更换摄影镜头的照相机的结构，但摄影镜头也可以被固定于照相机主体上。
[0065]更换式镜头200具有摄影镜头201、光圈203、驱动器205、微型计算机207和闪存209。此外，照相机主体100与更换式镜头200经由接口(以后记作I/F) 300连接。
[0066]摄影镜头201由用于形成被摄体像的单个或多个光学透镜构成，是单焦点透镜或变焦透镜。在摄影镜头201的光轴的后方配置有光圈203。光圈203的开口直径是可变的，对通过摄影镜头201的被摄体光束的光量进行限制。此外，摄影镜头201能够通过驱动器205在光轴方向上移动。根据来自微型计算机207的控制信号，控制摄影镜头201的焦点位置，在摄影镜头201是变焦镜头的情况下，还控制摄影镜头201的焦距。此外，驱动器205还进行光圈203的开口直径控制。
[0067]与驱动器205连接的微型计算机207与I/F300以及闪存209连接。微型计算机207依照闪存209中所存储的程序进行动作。依照程序进行动作的微型计算机207与后述的照相机主体100内的微型计算机121进行通信，根据来自微型计算机121的控制信号进行更换式镜头200的控制。
[0068]在闪存209中，除了上述程序以外，还存储有更换式镜头200的光学特性和调整值等各种信息。I/F300是用于进行更换式镜头200内的微型计算机207与照相机主体100内的微型计算机121相互之间的通信的接口。
[0069]在照相机主体100内，且在摄影镜头201的光轴上，配置有机械快门101。机械快门101通过截断被摄体光束来控制被摄体光束对后述的摄像兀件103的照射时间，例如可采用公知的焦面快门等。在该机械快门101的后方、通过摄影镜头201形成被摄体像的位置上，配置有摄像元件103。
[0070]在摄像元件103中，将构成各像素的光电二极管二维地配置成矩阵状。各光电二极管产生与受光量对应的光电转换电流，该光电转换电流通过与各光电二极管连接的电容器蓄积电荷。在各像素的前面，配置有拜尔排列的RGB滤色器。另外，摄像元件103的结构不限于包含呈拜尔排列地排列的RGB滤色器的结构，例如可以是在FOVEON (FoveonIncorporated的注册商标)那样的元件的厚度方向上排列多个传感器的结构。
[0071]摄像元件103与模拟处理部105连接。模拟处理部105针对从摄像元件103读出的光电转换信号(以后记作模拟图像信号)，在降低了重置噪声等之后进行波形整形，然后进行增益放大，以达到适当的亮度。模拟处理部105与A/D转换部107连接。A/D转换部107对模拟图像信号进行模拟-数字转换，并将所得到的数字图像信号(以后记作图像数据)输出到总线110并存储到SDRAM127。S卩，在照相机I中，摄像元件103、模拟处理部105和A/D转换部107整体作为拍摄被摄体而取得其图像的摄像部发挥功能。另外，在本说明书中，将在图像处理部109中进行图像处理前的原来的图像数据记作RAW图像数据。
[0072]摄像元件103内置有电子快门，在如动态图像摄像时或实时取景摄像时那样反复进行摄像时，在将机械快门101保持为打开的状态下在摄像元件3中使用内置的电子快门功能进行摄像。
[0073]总线110是用于将在照相机主体100内部读出或生产的各种数据传送到照相机主体100的内部的传送路径。在总线110上，除了上述A/D转换部107以外，还连接有图像处理部109、AE (Auto Exposure:自动曝光)处理部111、AF (Auto Focus:自动对焦)处理部113、图像压缩解压缩部117、通信部119、微型计算机121、SDRAM (Synchronous DRAM:同步动态随机存取存储器)127、存储器接口(以后称作存储器I/F) 129和显示驱动器133。
[0074]图像处理部109具有:进彳丁基本的图像处理的基本图像处理部109a、在设定了应用艺术滤镜等特殊效果的模式的情况下用于施加特殊效果的特殊图像处理部10%、生成组合图像的图像数据的组合图像处理部109c、通过模式匹配处理等对图像数据进行分析来检查被摄体的被摄体检测部109d。图像处理部109读出临时存储在SDRAM127中的图像数据，并对该图像数据实施图像处理。[0075]基本图像处理部109a对RAW图像数据进行光学黑(OB)减法运算处理、白平衡(WB)校正、在拜尔数据(Bayer Data)的情况下进行的同时化处理、颜色再现处理、亮度变更处理、边缘强调处理和噪声减少(NR)处理等。
[0076]特殊图像处理部109b对在基本图像处理部109a中处理后的图像数据，根据所设定的特殊效果(艺术滤镜)等，进行赋予各种视觉上的特殊效果的特殊图像处理。例如，在设定了玩具模式摄影(Pin Hole)的情况下，进行附加阴影的处理。此外，在设定了神奇对焦(Soft Focus)、粗粒黑白(Grainy Film)、透视画(Diorama)、水晶(Star Light)、白边缘(White Edge)、局部着色(Partial Color)的情况下,分别进行软对焦处理(Soft FocusEffect)、噪声重叠处理、晕映处理、十字滤光镜处理(Star Light Effect)、使周边部变白的处理、将预定色域以外设为无彩色的处理。
[0077]组合图像处理部109c对多个图像数据进行合成，生成将与多个图像数据对应的多个图像布局成预定的配置的图像即组合图像的图像数据。被合成的多个图像数据至少是在基本图像处理部109a中处理后的图像数据，在设定了特殊效果的情况下，对由基本图像处理部109a和特殊图像处理部109b处理后的图像数据进行合成。
[0078]此外，组合图像处理部109c在执行对图像数据进行合成的处理前，对这些图像(即，构成组合图像的帧图像)进行校正。具体而言，根据帧图像计算表示该图像的特征的特征量，校正该图像使得计算出的特征量接近目标(以后记作目标特征量。)。利用该校正，使各个帧图像的特征量接近目标特征量，由此帧图像之间的特征量之差相比校正前变小，结果能够得到在整体上有统一感的组合图像。
[0079]另外，在组合图像处理部109c中，不一定需要校正所有帧图像。只要校正两张以上的帧图像，则与校正前相比就能够改善作为整体的统一感。此外，认为图像尺寸小的帧图像与尺寸大的帧图像相比对整体上的统一感产生的影响小。因此，可以仅对图像尺寸大的帧图像进行校正，或者优先对图像尺寸大的帧图像进行校正。此外，例如，只要是将特定的帧图像的特征量设定为目标特征量的情况，则即使在仅校正了一张其他帧图像的情况下，也有可能改善作为整体的统一感。因此，在组合图像处理部109c中，只要至少校正一张帧图像即可，更优选校正两张以上的帧图像。
[0080]此外，组合图像处理部109c对所生成的组合图像的图像数据进行附加特殊效果的处理。能够通过对组合图像整体附加特殊效果，进一步改善作为组合图像整体的统一感。
[0081]被摄体检测部109d通过使用了模式匹配技术等的图像分析，进行检测预定的被摄体、例如人的面部和宠物等动物的处理。并且，还可以进行计算检测出的被摄体的种类、大小、位置等的处理。这些检测结果例如可被用于摄影模式的切换、自动对焦、将被摄体像拍摄成一定大小的自动变焦等。
[0082]AE处理部111根据经由总线110输入的图像数据测量被摄体亮度，并经由总线110将所测量的被摄体亮度信息输出到微型计算机121。另外，此处，采用了由AE处理部111根据图像数据计算被摄体亮度的结构，但照相机I可以通过设置专用的测光传感器以测量被摄体亮度来实现相同的功能。
[0083]AF处理部113从图像数据中提取高频成分信号，通过累计处理取得对焦评价值。AF处理部113经由总线110将所取得的对焦评价值输出到微型计算机121。S卩，照相机I通过所谓的对比度法进行摄影镜头201的对焦。[0084]图像压缩解压缩部117在将图像数据记录到与存储器I/F129连接的记录介质131时，针对从SDRAM127读出的图像数据，在静态图像的情况下依照JPEG等压缩方式进行压缩，并且在动态图像的情况下依照MPEG等压缩方式进行压缩。
[0085]微型计算机121对JPEG图像数据和MPEG图像数据附加构成JPEG文件、MPO文件和MPEG文件所需的头部来生成JPEG文件、MPO文件和MPEG文件。微型计算机121经由存储器I/F129将所生成的文件记录到记录介质131。
[0086]此外，图像压缩解压缩部117还进行JPEG图像数据和MPEG图像数据的解压缩以用于图像再现显示。在解压缩时，读出记录在记录介质131中的文件，并在图像压缩解压缩部117中实施了解压缩处理后，将解压缩后的图像数据临时存储到SDRAM127中。另外，在本实施例中，作为图像压缩方式，示出了采用JPEG压缩方式或MPEG压缩方式的例子，但是压缩方式不限于此，也可以是TIFF、H.264等其他压缩方式。
[0087]通信部119与外部设备进行通信，以更新和追加存储在后述的闪存125内的模板。通信部119可以通过有线LAN或无线LAN与外部设备连接，除此以外，也可以通过USB电缆等与外部设备连接。
[0088]微型计算机121发挥作为照相机I整体的控制部的功能，综合控制照相机的各种动作序列。在微型计算机121上，除了上述I/F300以外，还连接有操作部123和闪存125。
[0089]操作部123包含电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮、十字按钮、确定按钮、模式拨盘等各种输入按钮和各种输入键等操作部件，检测这些操作部件的操作状态，将检测结果输出到微型计算机121。微型计算机121根据来自操作部123的操作部件的检测结果，执行与用户操作对应的各种动作序列。即，在照相机I中，操作部123作为受理来自用户的各种指示(例如摄影指示、删除指示、复原指示、再现指示等)的受理部发挥功能。
[0090]电源按钮是用于指示照相机I的电源接通/断开的操作部件。当按下电源按钮时，照相机I的电源接通，当再次按下电源按钮时，照相机I的电源断开。
[0091]释放按钮由通过半按下而接通的第I释放开关、和在从半按下起进一步按下而变为全按下时接通的第2释放开关构成。微型计算机121在第I释放开关接通时，执行AE动作或AF动作等摄影准备动作序列。此外，在第2释放开关接通时，控制机械快门101等，从摄像元件103等取得基于被摄体图像的图像数据，执行将该图像数据记录到记录介质131中的一系列摄影序列来进行摄影。
[0092]再现按钮是用于设定和解除再现模式的操作按钮，当设定了再现模式时，从记录介质131读出所拍摄的图像的图像数据，并在显示面板135上对图像进行再现显示。
[0093]菜单按钮是用于使显示面板135显示菜单画面的操作按钮。能够在菜单画面上进行各种照相机设定。作为照相机设定，存在特殊效果(艺术滤镜)的设定。作为特殊效果，能够设定神奇对焦、流行艺术、玩具摄影、粗粒黑白、透视画等各种特殊效果。此外，还能够在菜单画面上进行组合图像的设定。
[0094]模式拨盘是用于选择摄影模式的操作拨盘。在照相机I中，通过由对模式拨盘进行操作，在进行通常摄影的通常模式与进行组合图像的摄影的组合图像模式之间切换摄影模式。另外，此处，在对各模式进行具体说明时，通常模式是在摄影前在显示面板135整体上显示实时取景图像、在摄影后在显示面板135整体上显示所拍摄的图像的模式，是通过I次摄影生成一张图像数据的模式。另一方面，组合图像模式是如下模式:在摄影前，在显示面板135上所定义的、用于显示图像的多个区域(以后记作显示区域。)的一个区域中显示实时取景图像，在摄影后在显示实时取景图像的显示区域中显示所拍摄的图像，并且在其他区域中显示实时取景图像。在组合图像模式中，通过I次摄影生成构成组合图像的一张帧图像的图像数据，因此通常进行多次摄影，以得到一张组合图像。
[0095]操作部123还具有触摸输入部124。触摸输入部124例如是重叠配置于显示面板135上的触摸面板传感器。触摸输入部124检测用户对显示面板135的触摸操作，并将检测结果输出到微型计算机121。微型计算机121根据来自操作部123的触摸输入部124的检测结果，执行与用户操作对应的各种动作序列。
[0096]另外，操作部123可以在显示面板135上配备上述各种按钮。即，替代在照相机I的表面物理地设置按钮，可以在显示面板135上显示按钮并由触摸输入部124检测对于显示在显示面板135上的按钮的操作。另外，可以替代在显示面板135上显示释放按钮，而使显示面板135作为释放按钮发挥功能。该情况下，可以将触摸显示面板135时或者触摸显示面板135中的显示实时取景图像的显示区域时视作半按下释放按钮的状态、将持续触摸预定时间(例如I秒)以上时视作全按下释放按钮的状态，也可以将进行了触摸时视作半按下释放按钮的状态和全按下释放按钮的状态。
[0097]闪存125存储有用于执行微型计算机121的各种动作序列的程序。微型计算机121根据在闪存125中所存储的程序进行照相机整体的控制。此外，闪存125存储有颜色矩阵系数、与白平衡模式对应的R增益和B增益、伽马转换表、曝光条件确定转换表等各种调整值。此外，闪存125中还可以存储有后述的校正目标。并且，闪存125将组合图像的样式、即与怎样布局构成组合图像的帧图像相关的信息等存储为模板。
[0098]SDRAM127是图像数据等的临时存储用的可电改写的易失性存储器。该SDRAMl27对从A/D转换部107输出的图像数据、以及在图像处理部109和图像压缩解压缩部117等中进行了处理的图像数据进行临时存储。
[0099]存储器I/F129与记录介质131连接。存储器I/F129进行对记录介质131写入和读出图像数据和附加在图像数据上的头部等数据的控制。记录介质131是例如在照相机主体100上拆装自如的存储卡等记录介质，但是不限于此，也可以是内置在照相机主体100中的非易失性存储器或硬盘等。
[0100]显示驱动器133与显示面板135连接。显示驱动器133根据从SDRAM127或记录介质131读出、并通过图像压缩解压缩部117进行解压缩后的图像数据，使图像显示在显示面板135上。显示面板135例如是设置于照相机主体100的背面的液晶显示器(IXD)，进行图像显示。作为图像显示，包含在摄影之后立即短时间显示所记录的图像数据的记录浏览显示、记录在记录介质131中的静态图像或动态图像的图像文件的再现显示以及实时取景显示等的动态图像显示。另外，显示面板135除了 IXD以外，可以是有机EL等，还可以采用其他的显示面板。
[0101]此外，在摄影模式为组合图像模式的情况下定义的多个显示区域的布局根据组合图像的样式来划定。
[0102]接着，参照图2A至图8，对在如上那样构成的照相机I中进行的处理进行说明。另夕卜，通过由微型计算机121执行闪存125所存储的程序来进行图2A至图8的流程图所示的照相机的处理。首先，对图2A和图2B所示的照相机的处理整体流程进行说明。
[0103]对操作部123内的电源按钮进行操作而使照相机I的电源接通，并开始图2A和图2B所示的照相机I的处理时，微型计算机121对照相机I进行初始化(步骤SI)。此处，进行机械方式的初始化和各种标志等的初始化等的电气方式的初始化。作为初始化对象的标志，例如有表示是否处于记录动态图像过程中的记录中标志等，通过初始化将记录中标志设定为关闭。
[0104]在初始化完成后，微型计算机121接着判定是否按下了再现按钮(步骤S3)。此处，检测操作部123内的再现按钮的操作状态进行判定。此外，在显示面板135上显示有再现按钮的情况下，检测来自触摸输入部124的信号来进行判定。在按下了再现按钮时，微型计算机121将动作模式设定为再现模式，执行再现处理，对记录介质131所记录的图像数据进行再现并显示在显示面板135上(步骤S4)。当再现处理完成时，再次执行步骤S3的处理。
[0105]在步骤S3中判定为没有按下再现按钮时，微型计算机121判定是否按下了菜单按钮、即是否变为了显示菜单画面并进行照相机设定的状态(步骤S5)。此处，检测操作部123内的菜单按钮的操作状态进行判定。在显示面板135上显示有菜单按钮的情况下，检测来自触摸输入部124的信号来进行判定。
[0106]在按下了菜单按钮时，微型计算机121检测对于操作部123的进一步的操作，并依照检测结果变更照相机设定(步骤S7)。当照相机设定处理完成时，再次执行步骤S3的处理。
[0107]另外，作为照相机设定，例如存在摄影模式设定、记录模式设定、图像的完成效果设定、组合图像的样式设定、选择预先取得的要组入到组合图像中的图像的设定、是否记录帧图像的设定等。摄影模式有通常的摄影模式和组合图像模式。此外，在记录模式中，作为静态图像记录模式，有JPEG记录、JPEG + RAff记录、RAff记录等，作为动态图像记录模式，有Motion — JPEG、H.264等。并且，在图像的完成效果设定中，除了有设为看起来自然的图像(Natural)、设为鲜艳的图像(Vivid)、设为平和的图像(Flat)之外，还有艺术滤镜等特殊效果的设定。
[0108]在步骤S5中判定为没有按下菜单按钮时，微型计算机121判定是否按下了动态图像按钮(步骤S9)。此处，检测操作部123内的动态图像按钮的操作状态进行判定。在显示面板135上显示有动态图像按钮的情况下，检测来自触摸输入部124的信号来进行判定。
[0109]在判定为没有按下动态图像按钮时，微型计算机121执行步骤S19的处理。另一方面，在按下动态图像按钮时，微型计算机121使记录中标志反转(步骤Sll)。S卩，如果记录中标志为关闭则变更为打开、如果为打开则变更为关闭。并且，微型计算机121根据反转后的记录中标志的状态判定是否处于图像记录中(步骤S13)。
[0110]在判定为记录中标志打开时，微型计算机121判断为指示了动态图像记录的开始，而生成动态图像文件(步骤S15)，做好用于记录图像数据的准备。这种处理例如在电源接通后首次按下动态图像按钮时等进行。另外，在动态图像文件生成后，执行步骤S19的处理。
[0111]在步骤S13中判定为记录中标志关闭时，微型计算机121判断为指示了动态图像记录的结束，并关闭动态图像文件(步骤S17)。即，在进行在动态图像文件的头部记录帧数的处理等而将动态图像文件设为可再现的状态后，结束写入处理。另外，在向动态图像文件的写入结束后，执行步骤S19的处理。
[0112]在步骤S19中，微型计算机121判定摄影模式是否为组合图像模式、且是否对操作部123进行了预定的组合图像操作。此处，检测在SDRAM127中所存储的摄影模式的设定和操作部123的操作状态来进行判定。
[0113]在判定为是组合图像模式且进行了预定的操作时，微型计算机121执行组合图像操作处理(步骤S600)。当组合图像操作处理完成时，执行步骤S21的处理。另外，之后将参照图8A和图SB具体叙述组合图像操作处理的详细情况。
[0114]在步骤S19中判定为摄影模式不是组合图像模式、或者判定为没有对操作部123进行预定的组合图像操作时，微型计算机121判定是否半按下了释放按钮(步骤S21)。此处，检测与释放按钮联动的第I释放开关从断开到接通的转变来进行判定。在显示面板135上显示有释放按钮的情况或显示面板135作为释放按钮发挥功能的情况下，检测表示触摸了显示释放按钮的区域或显示实时取景图像的显示区域的信号来进行判定。
[0115]在半按下释放按钮时，微型计算机121执行AE/AF动作(S23)。此处，如下进行AE动作:AE处理部111根据由摄像元件103取得的图像数据检测被摄体亮度，并根据该被摄体亮度，计算成为适当曝光的快门速度、光圈值等。此外，如下进行AF动作:驱动器205经由更换式镜头200内的微型计算机207使摄影镜头201的焦点位置移动，以使得通过AF处理部113取得的对焦评价值变为峰值。另外，在根据来自触摸输入部124的信号进行AF动作的情况下，使摄影镜头201移动以便对焦到显示在触摸位置的被摄体。在AE/AF动作后，执行步骤S25的处理。
[0116]AF动作除了上述的所谓对比度AF以外，还可以使用利用了专用传感器的相位差AF等各种AF方式。
[0117]在步骤S21中判定为没有半按下释放按钮时，微型计算机121判定是否全按下了释放按钮(步骤S27)。此处，检测第2释放开关从断开到接通的转变来进行判定。可以通过检测并判定第2释放开关为断开的状态来进行连拍摄影。此外，在显示面板135上显示有释放按钮的情况或显示面板135作为释放按钮发挥功能的情况下，通过检测表示触摸了显示有释放按钮的区域或显示有实时取景图像的显示区域的信号来进行判定。
[0118]在全按下释放按钮时，微型计算机121进行利用机械快门的静态图像摄影(S29)。此处，用在步骤S23中计算出的光圈值来控制光圈203，并且用计算出的快门速度来控制机械快门101的快门速度。并且，当经过了与快门速度对应的曝光时间时，从摄像元件103读出图像信号，并经由总线110将通过模拟处理部105和A/D转换部107处理后的RAW图像数据临时存储到SDRAM127。
[0119]之后，微型计算机121读出临时存储在SDRAM127中的RAW图像数据，使图像处理部109执行图像处理(步骤SlOOa)，并执行将处理后的图像数据等记录到记录介质131的静态图像记录处理(步骤S500)。另外，之后将分别参照图3至图6、图7具体叙述图像处理和静态图像记录处理的详细情况。
[0120]当静态图像记录处理完成时，微型计算机121判定摄影模式是否为组合图像模式(步骤S31)。此处，根据在SDRAM127中所存储的摄影模式的设定进行判定。
[0121]在摄影模式不是组合图像模式的情况下、即是通常的摄影模式的情况下，微型计算机121执行步骤S25的处理。另一方面，在摄影模式是组合图像模式的情况下，微型计算机121变更实时取景显示(步骤S33)。另外，在照相机I中，在摄影模式是组合图像模式的情况下，显示面板135具有多个显示区域，通过后述的步骤S39中的处理，在其中的一个显示区域中显示实时取景图像。在步骤S33的实时取景显示的变更处理中，在微型计算机121的控制下，由显示驱动器133对显示面板135进行控制，以变更显示实时取景图像的显示区域。更具体而言，将在显示有实时取景图像的显示区域中所显示的图像变更为在步骤S29中拍摄并在步骤SlOOa中进行了图像处理后的图像。并且，切换应显示实时取景图像的显示区域，使实时取景图像显示在其他显示区域中。即，在照相机I中，微型计算机121和显示驱动器133作为控制显示面板135的显示控制部发挥功能。在实时取景显示处理后，微型计算机121执行步骤S25的处理。
[0122]在步骤S27中判定为没有全按下释放按钮时，微型计算机121为了动态图像或实时取景图像而执行AE动作(步骤S35)。AE动作如下进行:AE处理部111计算用于以适当曝光进行实时取景显示的摄像元件103的电子快门的快门速度和ISO感光度。在AE动作后，微型计算机121进行利用电子快门的摄影(步骤S37)。此处，使用电子快门从摄像元件103读出图像信号，并经由总线110将通过模拟处理部105和A/D转换部107处理后的RAW图像数据临时存储到SDRAM127。
[0123]之后，微型计算机121读出临时存储在SDRAM127中的RAW图像数据，使图像处理部109执行与利用机械快门的摄影时相同的图像处理(步骤SlOOb)。并且，在微型计算机121的控制下，由显示驱动器133对显示面板135进行控制，以将显示实时取景图像的显示区域的图像变更为在步骤S37中取得并在步骤SlOOb中进行了图像处理后的图像数据来更新实时取景图像(步骤S39)。
[0124]在更新了实时取景图像后，微型计算机121判定是否处于动态图像记录中(步骤S41)。此处，根据在SDRAMl27中所存储的记录中标志的状态进行判定。
[0125]在记录中标志关闭的情况下，微型计算机121执行步骤S25的处理。另一方面，在记录中标志打开的情况下，微型计算机121判断为处于动态图像记录中并进行动态图像记录(步骤S43)。即，将在步骤S39中更新后的实时取景图像的图像数据记录为在步骤S15中生成的动态图像文件的帧图像。然后，执行步骤S25的处理。
[0126]在步骤S25中，微型计算机121判定电源是否断开。在电源接通的情况下，执行步骤S3的处理。在断开的情况下，微型计算机121在执行必要的结束处理后，结束照相机I的处理。
[0127]根据如上述那样动作的照相机1，在例如以组合图像模式拍摄随着时间的经过而移动的被摄体的情况下，如图9所示，仅通过触摸显示有实时取景图像的显示区域，就能够容易地取得构成组合图像的帧图像，并将在所触摸的显示区域中显示的图像从实时取景图像变更为所取得的帧图像。即，触摸实时取景图像的操作相当于摄影指示。并且，自动切换显示实时取景图像的区域，在未显示帧图像(包含预先取得的要组入到组合图像中的图像)的其他显示区域中显示实时取景图像，因此即使在被摄体移动的情况下也不会错过快门时机，能够迅速取得下一个帧图像。此外，仅在显示面板135中定义的多个显示区域中的I个显示区域中显示实时取景图像，因此能够向用户提供容易集中精力于拍摄的环境。
[0128]接着，参照图3至图6，对在图2B所示的利用机械快门的摄影后或利用电子快门的摄影后进行的图像处理进一步详细进行说明。另外，在利用机械快门的摄影后进行的图像处理的对象是在利用机械快门的摄影中取得的RAW图像数据，在利用电子快门的摄影后进行的图像处理的对象是在利用电子快门的摄影中取得的RAW图像数据。
[0129]如图3所示，图像处理主要由通过基本图像处理部109a进行的基本图像处理、通过特殊图像处理部109b进行的特殊图像处理以及通过组合图像处理部109c进行的组合图像生成处理构成。
[0130]当微型计算机121读出临时存储在SDRAM127中的RAW图像数据，并向图像处理部109指示图像处理时，首先对基本图像处理部109a读出的RAW图像数据执行基本图像处理(步骤 S200)。
[0131]如图4所示，基本图像处理部109a执行的基本图像处理由7个图像处理步骤构成。最先进行光学黑(OB)减法运算(步骤S201)。在该步骤中，基本图像处理部109a内的OB运算部分别从构成图像数据的各像素的像素值中，减去由于摄像元件103的暗电流等而产生的光学黑值。
[0132]在OB减法运算后，进行白平衡(WB)校正(步骤S203)。在该步骤中，基本图像处理部109a内的WB校正部根据所设定的白平衡模式，对图像数据进行WB校正。具体而言，通过从照相机主体的闪存125读出与用户设定的白平衡模式对应的R增益和B增益，并对图像数据乘以该值，来进行校正。或者在自动白平衡的情况下，根据RAW图像数据计算R增益和B增益，使用这些增益进行校正。
[0133]接着，进行同时化处理(步骤S205)。在该步骤中，基本图像处理部109a内的同时化处理部针对进行了白平衡校正的图像数据，将各像素的数据(拜尔数据，Bayer Data)转换为RGB数据。具体而言，从周边通过插值求出该像素中没有的数据，并转换为RGB数据。另外，该步骤在使用了 FOVEON (Foveon Incorporated的注册商标)形式的摄像元件作为摄像元件103的情况等、在RAW图像数据中每I像素具有多个数据的情况下被省略。
[0134]在同时化处理后，进行颜色再现处理(步骤S207)。在该步骤中，基本图像处理部109a内的颜色再现处理部进行对图像数据乘以与设定的白平衡模式对应的颜色矩阵系数的线性转换来校正图像数据的颜色。另外，颜色矩阵系数被存储在闪存125中，因此读出并使用。
[0135]在颜色再现处理后，进行亮度变更处理(步骤S209 )。在该步骤中，基本图像处理部109a内的亮度变更处理部对图像数据(RGB数据)进行伽马校正处理。并且，从RGB数据颜色转换为YCbCr数据，对转换后的图像数据的Y数据进行伽马校正。另外，在伽马校正中，读出并使用在闪存125中所存储的伽马转换表。
[0136]图10是例示在步骤S209的亮度变更处理中使用的伽马转换表的图。在图10中，例示了在对RGB数据的伽马校正处理中使用的单一的转换表R、以及在对YCbCr数据中的Y数据的伽马校正处理中根据艺术滤镜的设定而使用的多个不同的转换表(转换表Y1、Y2、Y3)。此处，转换表Yl是在设定了神奇对焦的情况下使用的转换表。转换表Y2是在设定了流行艺术或玩具模式摄影的情况下使用的转换表。转换表Y3是在这些以外的设定的情况下使用的转换表。另外，对RGB数据的伽马校正处理也与对Y数据的伽马校正处理同样，可按照每个艺术滤镜的设定使用不同的转换表。
[0137]在亮度变更处理后，进行边缘强调(步骤S211)。在该步骤中，基本图像处理部109a内的边缘强调处理部通过带通滤波器对图像数据提取边缘成分，根据边缘强调度乘以系数并与图像数据相加，由此强调图像数据的边缘。
[0138]最后，基本图像处理部109a进行NR (噪声去除)(步骤S213)。在该步骤中，基本图像处理部109a内的NR部通过对图像进行频率分解，并根据频率进行核化处理来进行减少噪声的处理。
[0139]在以上的基本图像处理完成时，在设定了特殊效果(艺术滤镜)的情况下，特殊图像处理部109b对通过基本图像处理部109a进行处理后的图像数据执行特殊图像处理(图3的步骤S101、步骤S300)。
[0140]如图5A和图5B所示，特殊图像处理部109b执行的特殊图像处理以根据特殊效果的设定进行的7个图像处理步骤为中心而构成。具体而言，依次判定是否设定了玩具模式摄影、神奇对焦、粗粒黑白、透视画、水晶、白边缘、局部着色作为特殊效果(艺术滤镜)(步骤S303、步骤S307、步骤S311、步骤S315、步骤S319、步骤S323、步骤S327)。
[0141]在设定了玩具模式摄影的情况下，对图像数据进行阴影附加处理(步骤S305)。在该步骤中，特殊图像处理部109b生成根据距中心的距离亮度逐渐降低的增益映射图(增益值为I以下)，并依照该增益映射图对图像数据乘以与各像素对应的增益，由此对周边附加阴影。
[0142]在设定了神奇对焦的情况下，对图像数据进行软对焦处理(步骤S309)。在该步骤中，特殊图像处理部10%生成对图像整体实施了晕映处理的图像数据，并以预定的比例(例如3:2等)将晕映前的图像的图像数据和晕映处理后的图像的图像数据合成。
[0143]在设定了粗粒黑白的情况下，对图像数据进行噪声重叠处理(步骤S313)。在该步骤中，特殊图像处理部10%将预先生成的噪声图案与图像数据相加。另外，噪声图案可以根据随机数等生成。
[0144]在设定了透视画的情况下，对图像数据进行晕映处理(步骤S317)。该步骤中，特殊图像处理部109b以AF的目标为中心，根据距离对图像的周边(例如上下或左右、或者其两方)逐渐晕映。
[0145]在设定了水晶(crystal)的情况下，对图像数据进行十字滤光镜处理(步骤S321)。在该步骤中，特殊图像处理部10%检测图像中的亮点，并以该亮点为中心描绘十字图案的方式对图像数据进行加工。
[0146]在设定了白边缘的情况下，对图像数据进行使其周边部变白的处理(步骤S325)。在该步骤中，预先设计使白色的比例根据距图像中心的距离逐渐变大的特性，特殊图像处理部109依照该特性对图像的各像素数据进行加工。
[0147]在设定了局部着色的情况下，进行将预定色域以外设为无彩色的处理(步骤S329)。在该步骤中，特殊图像处理部109将预先设定的预定颜色以外的像素数据转换为无彩色的像素数据。
[0148]在以上的特殊图像处理完成时，组合图像处理部109c判定摄影模式是否为组合图像模式(图3的步骤S103)。在摄影模式不是组合图像模式的情况下，结束图像处理。
[0149]在摄影模式是组合图像模式的情况下，组合图像处理部109c使用在显示面板135的多个显示区域中所显示的多个图像的图像数据，执行组合图像生成处理(图3的步骤S400)。
[0150]如图6所示，组合图像处理部109c执行的组合图像生成处理由6个图像处理步骤构成，在各个步骤中进行的处理利用图11所示的组合图像处理部109c的各种功能来执行。
[0151]最先，对进行了基本图像处理(和特殊图像处理)的各个帧图像进行图像分析(步骤S403)。在该步骤中，图11所示的特征量计算部151对各个帧图像进行分析，计算表示各图像的特征的特征量。作为特征量，例如可列举帧图像的亮度分布、色差信号分布、色调分布或颜色饱和度分布等，优选包含这些特征量中的至少一个。
[0152]在图像分析后，对多个帧图像生成单一的校正目标(步骤S405)。在该步骤中，图11所示的目标特征量计算部152根据由特征量计算部计算出的特征量来计算作为校正目标的目标特征量。目标特征量例如是多个帧图像的特征量的平均、最先分析的帧图像的特征量、最后分析的帧图像的特征量、以及除此以外的对各个帧图像的特征量进行加权而计算出的特征量等。即，可以根据多个图像数据的特征量来计算，也可以根据单一图像数据的特征量来计算。此外，目标特征量不一定需要与由特征量计算部151计算出的特征量同样地被计算为分布，还可以将预定值计算为目标特征量。例如，如果特征量为色差信号分布，则目标特征量也可以是色差信号分布的峰值所示的色差、色差信号分布的中心所示的色差
坐寸o
[0153]之后，按照每个帧图像计算用于校正帧图像数据的校正参数(步骤S407)。在该步骤中，图11所示的参数计算部153根据由特征量计算部151计算出的特征量和由目标特征量计算部152计算出的目标特征量，按照每个帧图像计算使得校正后的帧图像的特征量接近目标特征量的校正参数。
[0154]在计算出校正参数后，进行校正各个帧图像的图像校正处理以使得由特征量计算部151计算出的特征量接近目标特征量(步骤S409)。在该步骤中，图11所示的图像校正部154利用由参数计算部153按照每个帧图像计算出的校正参数来校正各个帧图像。由此，校正后的帧图像的特征量接近目标特征量，从而帧图像间的特征量之差变小。
[0155]在图像校正结束后，将构成组合图像的多个帧图像合成到背景图像上(步骤S411)。在该步骤中，图11所示的组合图像生成部155以使由图像校正部154校正后的帧图像按照组合图像的样式来进行布局的方式，对构成组合图像的多个帧图像的图像数据进行合成来生成组合图像的图像数据。
[0156]最后对组合图像附加特殊效果(步骤S413)。在该步骤中，图11所示的特殊效果附加部156进行对由组合图像生成部155生成的组合图像的图像数据附加阴影或晕映等特殊效果的处理。另外，该特殊效果不取决于照相机设定中的完成效果的设定，例如可以根据组合图像的样式等来赋予。当以上的处理结束时，结束图6的组合图像生成处理，从而图3的图像处理结束。
[0157]以下，关于对上述帧图像的校正处理，参照图12至图14，以组合图像由两张帧图像构成、且根据该两张帧图像进行校正的情况为例具体进行说明。
[0158]图12中示出了使两张帧图像的亮度分布接近的校正例。在该例中，首先如图12的Ca)所示，特征量计算部151将两张帧图像(第I图像和第2图像)的RGB数据进行颜色转换为YCbCr数据，并计算亮度分布(作为亮度直方图的分布B1、B2)作为各个图像的特征量。并且，目标特征量计算部152根据分布BI和分布B2计算应设为目标的亮度分布作为校正目标T。接着，如图12的(b)所示，参数计算部153根据分布BI和校正目标T计算RGB颜色空间中的转换表Cl，作为用于将具有分布BI的第I图像校正为具有接近校正目标T的分布的图像的校正参数。同样，根据分布B2和校正目标T计算RGB颜色空间中的转换表C2，作为用于将具有分布B2的第2图像校正为具有接近校正目标T的分布的图像的校正参数。最后，图像校正部154使用转换表C1、C2校正第I图像、第2图像，得到具有图12的(c)所示的接近校正目标T的亮度分布(作为亮度直方图的分布Al、A2)的校正后的第I图像、第2图像。
[0159]图13中示出了使两张帧图像的Cb成分的色差信号分布接近的校正例。在该例中，首先如图13的(a)所示，特征量计算部151将两张帧图像(第I图像和第2图像)的RGB数据进行颜色转换为YCbCr数据，并计算Cb成分的色差信号分布(作为色差信号直方图的分布B1、B2)作为各个图像的特征量。并且，目标特征量计算部152根据分布BI和分布B2计算以应设为目标的色差信号分布为代表的色差的等级(例如分布的峰值示出的等级或分布的中心示出的等级等)作为校正目标T。接着，如图13的(b)所示，参数计算部153根据分布BI和校正目标T计算色差信号分布的偏移值，作为用于对具有分布BI的第I图像进行校正以使代表分布的等级成为接近校正目标T的值的校正参数。同样，根据分布B2和校正目标T计算色差信号分布的偏移值，作为用于对具有分布B2的第2图像进行校正以使代表分布的等级成为接近校正目标T的值的校正参数。最后，图像校正部154使用各个偏移值来校正第I图像、第2图像，得到图13的(c)所示的代表分布的等级具有接近校正目标T的色差信号分布(作为色差信号直方图的分布Al、A2)的校正后的第I图像、第2图像。在校正后的分布的一部分高于等级的最大值或低于最小值的情况下，例如将该部分修剪为最大值、或最小值即可。另外，关于色差信号分布，也可以与图12所示的亮度分布的校正同样，通过表转换使分布接近。
[0160]图14中示出了使两张帧图像的Cr成分的色差信号分布接近的校正例。另外，详细情况与图13所示的使两张帧图像的色差Cb接近的校正相同，因此省略说明。
[0161]能够通过进行图12至图14所示的校正，使两张帧图像的亮度和色差接近，因此能够改善对它们进行布局后的组合图像的统一感。另外，组合图像处理部109c不一定需要进行图12至图14所示的所有校正，通过进行任意一个校正也能够改善组合图像的统一感。图15和图16是关于组合图像由两张帧图像构成、且根据该两张帧图像进行校正的情况的另一具体例。
[0162]图15中示出了使两张帧图像的颜色饱和度分布接近的校正例。在该例中，首先如图15 (a)所示，特征量计算部151将两张帧图像(第I图像和第2图像)的RGB数据进行颜色转换为HSV数据，并计算颜色饱和度分布(作为颜色饱和度直方图的分布B1、B2)作为各个图像的特征量。并且，目标特征量计算部152根据分布BI和分布B2计算应设为目标的颜色饱和度分布作为校正目标T。接着，如图15的(b)所示，参数计算部153根据分布BI和校正目标T计算表示相对于各颜色饱和度的增益的转换表Cl，作为用于将具有分布BI的第I图像校正为具有接近校正目标T的分布的图像的校正参数。同样，根据分布B2和校正目标T计算表示相对于各颜色饱和度的增益的转换表C2，作为用于将具有分布B2的第2图像校正为具有接近校正目标T的分布的图像的校正参数。最后，图像校正部154使用表Cl、C2校正第I图像、第2图像，得到具有图15的(c)所示的接近校正目标T的颜色饱和度分布(作为颜色饱和度直方图的分布Al、A2)的校正后的第I图像、第2图像。
[0163]图16中示出了使两张帧图像的色调分布接近的校正例。在该例中，首先如图16的(a)所示，特征量计算部151将两张帧图像(第I图像和第2图像)的RGB数据进行颜色转换为HSV数据，并计算色调分布(作为色调直方图的分布B1、B2)作为各个图像的特征量。并且，目标特征量计算部152根据分布BI和分布B2计算代表应设为目标的色调分布的色调的角度作为校正目标T。接着，如图16的(b)所示，参数计算部153根据分布BI和校正目标T计算色调分布的偏移值(色调旋转量)，作为用于校正具有分布BI的第I图像以使代表分布的角度成为接近校正目标T的值的校正参数。同样，根据分布B2和校正目标T计算色调分布的偏移值(色调旋转量)，作为用于校正具有分布B2的第2图像以使代表分布的角度成为接近校正目标T的值的校正参数。最后，图像校正部154使用各个偏移值来校正第I图像、第2图像，得到具有图16的(c)所示的接近校正目标T的色调分布(作为色调直方图的分布Al、A2)的校正后的第I图像、第2图像。另外，通过校正使角度高于360度的部分朝0度侧移动、使角度低于0度的朝360度侧移动。该点与色差的情况不同。
[0164]能够通过进行图15和图16所示的校正,使两张帧图像的颜色饱和度和色调接近，因此能够改善对两张帧图像进行布局而得到的组合图像的统一感。另外，组合图像处理部109c不一定需要进行图15和图16所示的校正两方，通过进行任意一方的校正也能够改善组合图像的统一感。
[0165]此外，在图15和图16中，示出了在HSV空间中校正颜色饱和度和色调的例子，但也可以简单地将CbCr平面中的相对于Cb轴的正侧(比无彩色的情况下的Cb值大的一侧)的轴的角度视作色调、与无彩色的距离视作颜色饱和度，因此也可以在YCbCr颜色空间中进行颜色饱和度和色调的校正。CbCr平面中的Cb轴、Cr轴是一般性的(在ITU — R BT601标准中被普遍公知)，因此不进行图示。
[0166]接着，参照图17至图22对上述校正处理中的校正参数的计算方法进行具体说明。另外，校正参数的计算方法不限于图17至图22中例示的方法，能够利用任意的方法进行计
笪
o
[0167]图17的(a)和图17的(b)中示出了以下例子:计算校正参数，作为对校正前的亮度分布B进行校正的参数，以使得校正后的亮度分布A与作为应设为目标的分布的校正目标T之差在分布的几点(例如低、中、高的3个等级)处于预定范围内。
[0168]图18的(a)和图18的(b)中示出了以下例子:计算校正参数，作为对校正前的亮度分布B进行校正的参数，以使得校正后的亮度分布A与作为应设为目标的分布的校正目标T在分布的一部分Pl处一致。
[0169]图19的(a)和图19的(b)中示出了以下例子:计算校正参数，作为对校正前的亮度分布B进行校正的参数，以使得校正后的亮度分布A的峰值(最大度数)及其等级与作为应设为目标的分布的校正目标T的峰值(最大度数)及其等级一致。
[0170]图20的(a)和图20的(b)中示出了以下例子:计算校正参数，作为对校正前的亮度分布B进行校正的参数，以使得校正后的亮度分布A的峰值(最大度数)与应设为目标的亮度的最大度数即校正目标T 一致。
`[0171]图21的(a)和图21的(b)中示出了以下例子:计算校正参数，作为对校正前的色差信号分布B进行校正的参数，以使得校正后的色差信号分布A的峰值(最大度数)所示出的等级与作为应设为目标的等级的校正目标T 一致。
[0172]图22的(a)和图22的(b)中示出了以下例子:计算校正参数，作为对校正前的色差信号分布B进行校正的参数，以使得校正后的色差信号分布A的中心所示出的等级与作为应设为目标的等级的校正目标T一致。该情况下，也可以考虑噪声来决定分布的中心。
[0173]根据如上述那样动作的照相机1，构成组合图像的多个帧图像分别被朝向相同的校正目标进行校正。因此，构成组合图像的多个帧图像的特征量相互接近且相似，从而帧图像间的特征量之差变小。其结果，能够生成各个帧图像给观察者带来的印象相似、在整体上有统一感的组合图像的图像数据。此外，在照相机I中，在对多个帧图像的图像数据进行合成后，对组合图像整体附加特殊效果。由此，能够生成进一步改善了统一感的组合图像的图像数据。
[0174]另外，如上所述，帧图像的校正不一定需要针对构成组合图像的所有帧图像进行。也不一定需要根据所有的帧图像来计算特征量和校正参数，只要至少根据作为校正对象的帧图像进行计算即可。另一方面，目标特征量不是按照每个帧图像计算出I个而是按照每个组合图像计算出I个，针对构成组合图像的所有帧图像使用相同的目标特征量。另外，目标特征量优选根据帧图像的特征量来进行计算，但也可以使用预先记录在闪存125中的目标特征量。
[0175]接着，参照图7，对静态图像记录进一步详细进行说明，所述静态图像记录在针对利用图2B所示的机械快门摄影取得的图像数据的图像处理后进行。
[0176]如图7所示，在开始静态图像记录处理后，首先微型计算机121判定摄影模式是否为组合图像模式(步骤S501)。在该步骤中，根据在SDRAM127中所存储的摄影模式的设定进行判定。
[0177]在摄影模式不是组合图像模式的情况下，微型计算机121控制显示驱动器133，在显示面板135上对利用机械快门拍摄并由图像处理部109进行图像处理后的图像数据的一张图像进行记录浏览显示(步骤S515)。之后，控制存储器I/F129，使记录介质131记录所显示的图像的图像数据(步骤S517)，并结束静态图像记录处理。另外，图像数据可以在由图像压缩解压缩部117压缩为JPEG形式后被记录，也可以非压缩地记录。并且，还可以记录在图像处理部109中进行图像处理前的RAW图像数据。
[0178]另一方面，在摄影模式是组合图像模式的情况下，微型计算机121判定是否设定成记录为了构成组合图像而拍摄的图像即帧图像(也记作摄影图像)的图像数据(步骤S503)。在设定成进行记录的情况下，微型计算机121控制存储器I/F129，使记录介质131记录在图像处理部109中进行处理后的帧图像的图像数据(步骤S504)。此时，除了图像处理后的帧图像的图像数据以外，还可以记录RAW图像数据或通过图6的步骤S403的图像分析得到的特征量。
[0179]之后，微型计算机121判定组合是否完成、即是否已拍摄了构成组合图像的所有帧图像(步骤S505)。另外，在设定了预先取得的要组入到组合图像中的图像的情况下，判定是否已拍摄了除预先取得的图像以外的所有帧图像。该步骤根据在SDRAM127的帧图像区域中是否存储有与根据所设定的组合图像的样式所确定的张数的帧图像来进行判断。在没有拍摄所有帧图像的情况下，结束静态图像记录处理。
[0180]在已拍摄所有帧图像的情况下，微型计算机121控制显示驱动器133，使显示面板135对在图像处理部109中得到的组合图像进行记录浏览显示(步骤S507)。
[0181]之后，微型计算机121在一定期间(例如3秒等)内监视删除操作(步骤S509)。这是为了向用户提供用于判断在记录浏览中显示的组合图像是否为所期望的图像的时间。
[0182]在该一定期间中检测到删除操作的情况下，执行组合图像操作处理以删除所指定的图像(步骤S600a)，并结束静态图像记录处理。在没有检测到删除操作的情况下，控制存储器I/F129，使记录介质131记录在图像处理部109中生成的组合图像的图像数据(步骤S511)，并结束静态图像记录处理。
[0183]另外，也可以不在一定期间内监视删除操作，而显示询问是否进行记录(是否进行删除)的画面，并根据用户的输入进行删除或记录。
[0184]接着，参照图8A和图SB对组合图像操作处理进一步详细进行说明。
[0185]如图8A和图8B所示，在开始组合图像操作处理后，确定成为开始组合图像操作处理的原因的操作。具体而言，微型计算机121依次判定是否进行了摄影帧变更操作、删除操作、复原操作、临时保存操作、临时保存读入操作(步骤S601、步骤S605、步骤S613、步骤S619、步骤 S625)。
[0186]步骤S601的是否进行了摄影帧变更操作的判定例如根据触摸输入部124是否检测到对于未显示图像的显示区域的触摸操作来进行。微型计算机121在检测到对于未显示图像的显示区域的触摸操作时，进行摄影帧变更处理，即切换应显示实时取景图像的显示区域并在所触摸的显示区域中显示实时取景图像的处理(步骤S603)。
[0187]步骤S605的是否进行了删除操作的判定例如根据触摸输入部124是否检测到对于显示有基于RAW图像数据的图像(帧图像)的显示区域的触摸操作来进行，所述RAW图像数据是通过机械快门的静态图像摄影而得到的。而且，在检测到对于显示有帧图像的显示区域的触摸操作时，微型计算机121判定所触摸的帧图像(显示区域)的尺寸是否较小(步骤S607)。
[0188]在判定为帧图像的尺寸较小时，执行步骤S613的处理，而不进行后述的删除处理(步骤S609、步骤S611 )。在帧图像的尺寸较小的情况下，例如为了进行摄影指示而想触摸实时取景图像却错误地触摸了帧图像等，容易触摸到与想触摸的显示区域不同的显示区域。因此，为了防止意料之外的删除处理的产生，设置这种判定处理。
[0189]另外，帧图像的尺寸是否较小可以根据显示区域的数量或组合图像的样式进行判定。即，例如可以预先进行设定，使得在设定了与分割数(显示区域的数量)较多的布局对应的样式的情况下，判定为帧图像的尺寸较小，在设定了与除此以外的布局对应的样式的情况下，判定为帧图像的尺寸较大。
[0190]此外，帧图像的尺寸是否较小可以根据所触摸的显示区域的面积是否小于预定面积来进行判定。该情况下，与根据显示区域的数量或组合图像的样式进行判定的情况不同，考虑显示面板135的尺寸。因此，比较合适的是仅在帧图像的尺寸是可能会发生意料之外的删除处理的尺寸的情况下能够避免删除处理。
[0191]在判定为帧图像的尺寸较大时，微型计算机121进行后撤保存在所触摸的显示区域中所显示的帧图像的图像数据的后撤保存处理(步骤S609)。具体而言，如图23所示，在SDRAM127中确保了由帧图像区域和帧图像后撤保存区域构成的显示/存储用组合图像存储区域的情况下，如图24的(a)和图24的(b)所示，例如进行将显示在所触摸的显示区域中的帧图像的图像数据从SDRAM127的帧图像区域复制到帧图像后撤保存区域，并删除存储在帧图像区域中的复制源的图像数据的处理。或者，如图25的(a)和图25的(b)所示，如果是使用参考指针来管理帧图像的图像数据的情况，则可以替代删除图像数据自身而删除基于指向图像数据的地址的参考指针的参考。
[0192]之后，进行实时取景显示变更处理，即切换应显示实时取景图像的显示区域并将在所触摸的显示区域中所显示的图像变更为实时取景图像的处理(步骤S611)。
[0193]步骤S613的是否进行了复原操作的判定根据操作部123是否检测到预定的操作(例如，对于显示有实时取景图像的显示区域的双击操作或选择显示有实时取景图像的显示区域而进行的删除按钮的按下操作等)来进行。在检测到复原操作时，微型计算机121进行使利用删除操作(步骤S609、步骤S611)删除的帧图像的图像数据复原的图像复原处理(步骤S615)。具体而言，如图24的(b)和图24的(c)所示，例如进行将在SDRAMl27的后撤保存区域中所保存的帧图像的图像数据复制到原来的帧图像区域，并删除帧图像后撤保存区域的图像数据的处理。或者，如图25的(b)和图25的(c)所示，如果是使用参考指针来管理帧图像的图像数据的情况，则可以复原基于指向图像数据的地址的参考指针的参考。
[0194]之后，进行实时取景显示变更处理，即在显示实时取景图像的显示区域中显示复原后的帧图像并在未显示帧图像的区域中显示实时取景图像的处理(步骤S617)。
[0195]步骤S619的是否进行了临时保存操作的判定根据操作部123是否检测到预定的操作(例如临时保存按钮的按下操作等)来进行。在检测到临时保存操作时，微型计算机121控制存储器I/F129，将存储在SDRAM127的组合图像存储区域中的帧图像的图像数据和用于生成组合图像的图像数据的其他数据(例如，与所设定的组合图像的样式相关的数据、以及表示帧图像的图像数据与显示区域之间的关系的数据等)记录到记录介质131 (步骤S621)。另外，可以替代记录介质131而记录到闪存125。之后，进行删除存储在SDRAM127的组合图像存储区域中的图像数据并对显示面板135的显示状态进行更新的组合图像重置处理(步骤S623)。
[0196]步骤S625的是否进行了临时保存读入操作的判定根据操作部123是否检测到预定的操作(例如临时保存读入按钮的按下等)来进行。在检测到临时保存读入操作时，微型计算机121判定是否处于摄影中途(步骤S627)。该判定例如根据在SDRAM127的组合图像存储区域中是否存储有帧图像的图像数据来进行判定。
[0197]在判定为处于摄影中途时，微型计算机121控制显示驱动器133，使显示面板135显示用于选择是否临时保存在组合图像存储区域中所存储的帧图像的图像数据等的显示(步骤S629)。在用户选择了临时保存的情况下，控制存储器I/F129，将在组合图像存储区域中所存储的帧图像的图像数据等记录到记录介质131 (步骤S631)。另外，也可以替代记录介质131而记录到闪存125。
[0198]之后，微型计算机121从记录介质131读入在步骤S621中记录的帧图像的图像数据等，并解压缩到SDRAM127的组合图像存储区域中(步骤S633)。在显示面板135的显示区域中显示在SDRAM127的组合图像存储区域中所存储的帧图像的图像数据，并且在未显示帧图像的显示区域中显示实时取景图像(步骤S635)。通过以上步骤，结束图8A和图SB的组合图像操作处理。
[0199]根据如上述那样动作的照相机1，能够通过触摸操作容易地变更显示实时取景图像的显示区域，因此能够使多个显示区域各自以任意的顺序显示所拍摄的帧图像。因此，与相对于摄影的顺序来确定显示区域的以往照相机不同，能够生成在用户期望的区域中以期望的顺序显示所拍摄的帧图像的组合图像。因此，能够容易地生成期望的组合图像的图像数据。此外，照相机I仅通过触摸显示帧图像的显示区域，就删除该帧图像并变更为实时取景图像。因此，能够通过简单的操作容易地重新拍摄不满意的帧图像，因此能够容易地生成期望的组合图像的图像数据。
[0200]如以上所说明那样，在本实施例的照相机I中，在通过触摸显示有实时取景图像的显示区域等而使操作部123受理了摄影指示时，取得帧图像，自动切换显示实时取景图像的显示区域。此外，在通过触摸显示有帧图像的显示区域等而使操作部123受理了删除指示时，删除帧图像，显示实时取景图像以重新进行摄影。此外，在本实施例的照相机I中，通过在合成前朝向相同的校正目标来校正帧图像，生成各个帧图像给观察者带来的印象相似的在整体上有统一感的组合图像的图像数据。因此，根据本实施例的照相机1，能够以简单的操作容易地生成期望的组合图像的图像数据。
[0201]因此，能够使用户维持在持续摄影的同时生成组合图像的较强动机。
[0202]【实施例2】
[0203]图26是示出本实施例的照相机的组合图像生成处理的流程图。本实施例的照相机构成为具有与图1例示的实施例1的照相机I相同的物理结构，除了组合图像生成处理以外，执行与照相机I相同的处理。以下，参照图26，关于在本实施例的照相机中进行的组合图像生成处理，以与在实施例1的照相机I中进行的组合图像生成处理的不同点为中心进行说明。[0204]图26所示的组合图像生成处理在以下方面与图6所示的实施例1的照相机I的组合图像生成处理不同:图像分析的对象是进行基本图像处理前的帧图像的图像数据(RAW图像数据)。即，本实施例的照相机根据帧图像的RAW图像数据来计算特征量(步骤S703)，由根据RAW图像数据计算出的特征量计算目标特征量(步骤S705)，并根据帧图像的RAW图像数据和目标特征量计算校正参数(步骤S707)。因此，优选预先设定为在图7的静态图像记录处理(步骤S504)中，与图像处理后的图像数据一起记录RAW图像数据。另外，在静态图像记录处理中记录通过图像分析得到的帧图像的特征量的情况下，在步骤S703中可以取得所记录的帧图像的特征量。之后的处理与照相机I的情况相同。用在步骤S707中得到的校正参数来校正进行了基本图像处理(以及特殊图像处理)后的帧图像(步骤S409)，然后对包含校正后的帧图像在内的多个帧图像的图像数据进行合成来得到组合图像(步骤S411)。进而最后对组合图像整体附加特殊效果(步骤S413)。
[0205]利用本实施例的照相机也能够得到与实施例1的照相机相同的效果，能够生成各个帧图像给观察者带来的印象相似的在整体上有统一感的组合图像的图像数据。
[0206]另外，本实施例的照相机在将以不同的特殊效果进行了图像处理后的图像组入到组合图像的情况下特别有效。在这种情况下，假定有如下的要求:作为组合图像整体想得到有统一感的图像，但还想维持附加给图像的特殊效果的差异。例如，在将以能够得到整体上明亮的图像那样的特殊效果(例如神奇对焦)进行了图像处理后的图像、和以能够得到强调了对比度的图像那样的特殊效果(例如流行艺术、玩具模式摄影)进行了图像处理后的图像组入到组合图像的情况下，在实施例1的照相机I中，根据应用了特殊效果的图像数据计算特征量，并计算与该特征量对应的校正参数，因此特殊效果的特征可能会被抵消。但是，在本实施例的照相机中，根据RAW图像数据计算特征量，并计算与该特征量对应的校正参数，因此能够得到在一定程度上维持了所附加的特殊效果的差异的同时、改善了作为整体的统一感的组合图像。
[0207]【实施例3】
[0208]图27是示出本实施例的照相机的组合图像生成处理的流程图。图28A至图28C是示出为了生成组合图像数据而进行的各种处理中的数据的输入输出的图。本实施例的照相机构成为具有与图1例示的实施例1的照相机I相同的物理结构，除了组合图像生成处理以外，执行与照相机I相同的处理。以下，参照图27至图28C，关于在本实施例的照相机中进行的组合图像生成处理，以与在实施例1的照相机I中进行的组合图像生成处理的不同点为中心进行说明。
[0209]图27所示的组合图像生成处理在以下方面与图6所示的实施例1的照相机I的组合图像生成处理不同:在图像分析前，对帧图像的RAW图像数据进行基本图像处理，将进行了该基本图像处理后的图像数据作为图像分析的对象。另外，在图像分析前进行的基本图像处理与图3所示的基本图像处理不同，是不论作为照相机的设定之一的图像的完成效果的设定如何，都以预先决定的预定设定(例如在该实施例中是“自然”设定)来进行动作的基本图像处理。即，本实施例的照相机用“自然”设定对帧图像的RAW图像数据进行基本图像处理(步骤S200a)，根据作为其输出的图像数据(以后记作“自然”图像数据。)计算特征量(步骤S803 )，根据由“自然”图像数据计算出的特征量来计算目标特征量(步骤S805 )，并根据帧图像的“自然”图像数据和目标特征量来计算校正参数(步骤S807)。因此，优选预先设定为在图7的静态图像记录处理(步骤S504)中，与图像处理后的图像数据一起记录RAW图像数据。之后的处理与照相机I的情况相同。利用在步骤S807中得到的校正参数来校正进行了依据图3所示的照相机的完成效果设定的基本图像处理(以及特殊图像处理)后的帧图像(步骤S409)，然后对包含校正后的帧图像在内的多个帧图像的图像数据进行合成来得到组合图像(步骤S411)。进而最后对组合图像整体附加特殊效果(步骤S413)。因此，如图28A至图28C所示，在本实施例的照相机中，帧图像的RAW图像数据不仅被用作用于生成校正对象的帧图像的图像数据的一系列处理(步骤S200、S300)的输入，还被用作用于计算校正参数的一系列处理(步骤S200a、S803、S805、S807)的输入。
[0210]利用本实施例的照相机也能够得到与实施例1的照相机相同的效果，能够生成各个帧图像给观察者带来的印象相似的在整体上有统一感的组合图像的图像数据。此外，本实施例的照相机与实施例2的照相机同样根据特殊图像处理前的图像数据来计算校正参数，因此即使在将预先取得的且已经附加了与照相机的设定不同的特殊效果的图像组入到组合图像的情况下，也能够得到在一定程度上维持所附加的特殊效果的差异的同时、改善了作为整体的统一感的组合图像。
[0211]另外，本实施例的照相机与实施例`2的照相机相比，能够生成更有统一感的组合图像。其理由是因为，通过基于在基本图像处理中进行的伽马校正的亮度变更处理，有时RAW图像数据与基本图像处理后的图像数据的亮度差异会变得较大，在基于在亮度差异较大的状态下得到的校正参数的校正中，有时不能充分改善帧图像间的统一感。此外，是因为关于颜色外观，在基本图像处理中进行的白平衡的校正处理对统一感带来的影响比较大。
[0212]【实施例4】
[0213]图29是示出本实施例的照相机的图像处理的流程图。图30是本实施例的照相机的基本图像处理部的功能框图。图31是本实施例的照相机的组合图像处理部的功能框图。本实施例的照相机构成为具有与图1例示的实施例1的照相机I相同的物理结构，除了图像处理以外，执行与照相机I相同的处理。其中，如图30和图31所示，基本图像处理部109a和组合图像处理部109c具有的功能与实施例1的照相机I不同。以下，参照图29至图31，关于在本实施例的照相机中进行的图像处理，以与在实施例1的照相机I中进行的图像处理的不同点为中心进行说明。
[0214]实施例1的照相机I在基本图像处理和特殊图像处理后进行的组合图像处理中计算校正参数来校正帧图像，与此相对，如图29所示，本实施例的照相机在相当于以往的基本图像处理的处理(步骤S200c)之前计算校正参数，并通过将该校正参数用作基本图像处理的参数来校正帧图像，在这方面与实施例1的照相机I差异较大。
[0215]而不是组合图像模式时的图像处理与实施例1的照相机I实质相同。
[0216]对是组合图像模式时的图像处理进行具体说明。首先，当确认是组合图像模式时(步骤S901)，基本图像处理部109a的图像校正部164不论照相机的设定(图像的完成效果设定)如何都以预先决定的预定设定(例如在该实施例中是“自然”设定)对RAW图像数据进行基本图像处理(步骤S200b)。然后，特征量计算部161对该输出数据进行分析来计算特征量(步骤S903)，并根据目标特征量计算部162计算出的特征量来计算作为校正目标的目标特征量(步骤S905)。然后，参数计算部163根据在步骤S903中计算出的特征量和在步骤S905中计算出的目标特征量计算用于进行校正以使帧图像的特征量变得相互相似的校正参数(步骤S907)。具体而言，例如特征量和目标特征量是亮度分布，校正参数是伽马转换表。此外，可以计算WB增益(R增益、B增益)作为校正参数。之后，图像校正部164根据照相机设定和在步骤S907中得到的校正参数对帧图像的RAW图像数据进行基本图像处理(步骤S200c)。在设定了艺术滤镜的情况下，特殊图像处理部109b进行特殊图像处理(步骤S911、S300a)。在这些图像处理结束后，组合图像处理部109c的组合图像生成部165将作为其输出的多个帧图像合成到背景图像上(步骤S913)，最后特殊效果附加部166对组合图像附加特殊效果(步骤S915)，并结束图像处理。
[0217]在本实施例的照相机中，由于将校正参数用作基本图像处理的参数，因此基本图像处理部109a负责实施例1的照相机I的组合图像处理部109c负责的几个功能(特征量计算部161、目标特征量计算部162、参数计算部163、图像校正部164)。另外，能够将校正参数用作基本图像处理的参数即可，因此用于得到校正参数的图像分析的对象可以是RAW图像数据，在该情况下能够省略步骤S200b。
[0218]利用本实施例的照相机也能够得到与实施例1的照相机相同的效果，能够生成各个帧图像给观察者带来的印象相似的在整体上有统一感的组合图像的图像数据。此外，本实施例的照相机与实施例2、3的照相机同样根据特殊图像处理前的图像数据计算校正参数，因此即使在将预先取得的且已经附加了与照相机的设定不同的特殊效果的图像组入到组合图像的情况下，也能够得到在一定程度上维持所附加的特殊效果的差异的同时、改善了作为整体的统一感的组合图像。
[0219]另外，在本实施例的照相机中，将校正参数用作处理RAW图像数据的基本图像处理的参数。即，在本实施例的照相机中，校正的对象是RAW图像数据，这点与其他实施例的照相机差异较大。[0220]一般而言，在图像处理中，为了计算时间的缩短和电路规模的抑制，在处理的中途进行减少灰度数来对图像进行尺寸调整的处理。例如，如果是本实施例的照相机的情况，为了减小仅在组合图像模式下使用的组合图像处理的电路规模，假定了在特殊图像处理后对图像进行尺寸调整的结构。在对尺寸调整前的图像数据进行校正的情况、和对尺寸调整后的图像数据进行校正的情况下，校正精度产生差异，因此组合图像的统一感可能会产生不同。因此，为了得到更良好的统一感，期望将图像尺寸较大的RAW图像数据作为校正对象。另外，根据本实施例的照相机，与对特殊图像处理后的图像进行校正的其他实施例的照相机相比，能够生成更有统一感的组合图像。相反，在相比图像的统一感更重视处理时间的缩短的情况下，更期望是其他实施例的照相机。
[0221]以上，作为图像处理装置例示了数字照相机来进行了说明，但上述技术不限于照相机专用设备，还可以适用于带照相机的移动电话(智能手机)、平板型设备以及其他便携式设备。此外，也可以应用于不具有摄影功能的图像处理装置、例如个人计算机等。上述实施例为了容易理解发明而示出了本发明的具体例子，但本发明不限于这些实施例。本发明的摄像装置能够在不脱离权利要求所规定的本发明的思想范围内进行各种变形、变更。此夕卜，只要能够得到相同的效果，则不限于上述处理顺序，当然可以替换流程图的处理步骤。以用YCbCr的轴进行转换的例子进行了说明，但其他颜色空间也成立。例如，在本实施例中，是HSV或YCbCr的颜色空间，但还有其他的YPbPr颜色空间(标准化为ITU — R BI709)、或均匀颜色空间(L * a * b *)等。此外，即使是相同的颜色空间也可以定义任意的坐标轴并在该轴上进行应用。
【权利要求】
1.一种图像处理装置，其对多个图像进行布局来生成组合图像的图像数据，该图像处理装置的特征在于，具有: 特征量计算部，其根据构成所述组合图像的图像来计算表示所述图像的特征的特征量; 图像校正部，其对计算出所述特征量的图像进行校正以使由所述特征量计算部计算出的特征量接近目标特征量；以及 组合图像生成部，其对包含由所述图像校正部进行了校正的图像在内的所述多个图像的图像数据进行合成来生成所述组合图像的图像数据。
2.根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置还具有目标特征量计算部，该目标特征量计算部根据由所述特征量计算部计算出的特征量来计算所述目标特征量。
3.根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置还具有参数计算部，该参数计算部根据由所述特征量计算部计算出的特征量和所述目标特征量来计算校正参数， 所述图像校正部利用由所述参数计算部计算出的校正参数，对计算出所述特征量的图像进行校正。
4.根据权利要求1所述的图像处理装置，其特征在于， 所述特征量包含构成所述组合图像的图像的亮度分布、色差信号分布、颜色饱和度分布或者色调分布中的至少一方。
5.根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置还具有特殊效果附加部，该特殊效果附加部进行对由所述组合图像生成部生成的组合图像的图像数据附加特殊效果的处理。
6.根据权利要求1?5中的任意一项所述的图像处理装置，其特征在于， 所述图像处理装置还具有摄像部，该摄像部拍摄被摄体来取得摄影图像， 构成所述组合图像的所述多个图像中的至少一个是由所述摄像部取得的摄影图像。
7.根据权利要求6所述的图像处理装置，其特征在于， 所述图像处理装置还具有对所述组合图像进行显示的显示部。
8.根据权利要求7所述的图像处理装置，其特征在于， 所述显示部对由所述摄像部反复取得的摄影图像进行实时取景显示。
9.根据权利要求6所述的图像处理装置，其特征在于， 所述图像处理装置还具有记录图像的记录部， 所述记录部将由所述摄像部反复取得的摄影图像作为动态图像进行记录。
10.一种图像处理装置的图像处理方法，对多个图像进行布局来生成组合图像的图像数据，该图像处理方法的特征在于，包含: 特征量计算步骤，根据构成所述组合图像的图像来计算表示图像的特征的特征量；图像校正步骤，对计算出所述特征量的图像进行校正以使通过所述特征量计算步骤计算出的特征量接近目标特征量；以及 组合图像生成步骤，对包含通过所述图像校正步骤进行了校正的图像在内的所述多个图像的图像数据进行合成来生成所述组合图像的图像数据。
【文档编号】H04N5/232GK103685928SQ201310421465
【公开日】2014年3月26日 申请日期:2013年9月16日 优先权日:2012年9月26日
【发明者】户井田真希, 市川学 申请人:奥林巴斯映像株式会社
【专利摘要】本发明提供图像处理装置以及图像处理方法。提供生成在整体上有统一感的组合图像的图像数据的技术。照相机是对多个图像进行布局来生成组合图像的图像数据的图像处理装置。照相机的组合图像处理部（109c）具有：特征量计算部（151），其根据构成组合图像的图像来计算表示图像的特征的特征量；图像校正部（154），其对计算出特征量的图像进行校正以使由特征量计算部（151）计算出的特征量接近目标特征量；以及组合图像生成部（155），其对包含由图像校正部（154）进行了校正的图像在内的多个图像的图像数据进行合成来生成组合图像的图像数据。
【专利说明】图像处理装置以及图像处理方法
【技术领域】
[0001]本发明涉及对通过多次摄影取得的多个图像进行布局，从而生成作为一张图像的组合图像的图像数据的图像处理装置以及图像处理方法。
【背景技术】
[0002]在数字照相机和数字摄像机等摄影装置中，将所取得的图像存储或记录为数字数据，因此能够容易地对所取得的图像进行加工。
[0003]灵活运用这种特征的摄影装置的用途之一有组合图像。组合图像是指对通过多次摄影所取得的多个图像进行布局后的合成图像。
[0004]取得组合图像的摄影装置例如在专利文献I和专利文献2中进行了公开。
[0005]在专利文献I中，公开了连续拍摄多个图像，并且对该多个图像进行一览显示的数字照相机。在专利文献2中公开了如下的摄像装置:在针对同一被摄体以每次拍摄多张的方式拍摄的多个不同被摄体的图像中，将按照每个被摄体逐张地选择的最佳图像进行合成并记录。
[0006]【专利文献I】日本特开2007-053616号公报
[0007]【专利文献2】日本特许第4529561号公报
[0008]组合图像通过对在不同的场面下以不同的视点取得的多个帧图像进行合成，能够表现立体感、时间的经过、被摄体的运动等，因此也作为摄影者的感情表现的手段受到期待。
[0009]另一方面，构成组合图像的多个图像(之后记作帧图像。)是分别在不同的条件下取得的独立图像，这些图像之间通`常没有统一感。因此，仅通过对这些图像进行合成，生成的组合图像成为在整体上给观察者带来杂乱的印象的图像。当摄影装置仅生成在整体上带来杂乱的印象的组合图像时，难以用这样的组合图像将摄影者的感情适当地传达给观察者。
【发明内容】
[0010]依据以上的实际情况，本发明的目的在于提供生成在整体上有统一感的组合图像的图像数据的技术。
[0011]本申请的第I方式提供一种图像处理装置，其对多个图像进行布局来生成组合图像的图像数据，该图像处理装置具有:特征量计算部，其根据构成所述组合图像的图像来计算表示所述图像的特征的特征量；图像校正部，其对计算出所述特征量的图像进行校正以使由所述特征量计算部计算出的特征量接近目标特征量；以及组合图像生成部，其对包含由所述图像校正部进行了校正的图像在内的所述多个图像的图像数据进行合成来生成所述组合图像的图像数据。
[0012]本身本申请的第2方式提供一种图像处理装置，其在第I方式所述的图像处理装置中，所述图像处理装置还具有目标特征量计算部，该目标特征量计算部根据由所述特征量计算部计算出的特征量来计算所述目标特征量。
[0013]本申请的第3方式提供一种图像处理装置，其在第I方式所述的图像处理装置中，所述图像处理装置还具有参数计算部，该参数计算部根据由所述特征量计算部计算出的特征量和所述目标特征量来计算校正参数，所述图像校正部利用由所述参数计算部计算出的校正参数，对计算出所述特征量的图像进行校正。
[0014]本申请的第4方式提供一种图像处理装置，其在第I方式所述的图像处理装置中，所述特征量包含构成所述组合图像的图像的亮度分布、色差信号分布、颜色饱和度分布或者色调分布中的至少一方。
[0015]本申请的第5方式提供一种图像处理装置，其在第I方式所述的图像处理装置中，所述图像处理装置还具有特殊效果附加部，该特殊效果附加部进行对由所述组合图像生成部生成的组合图像的图像数据附加特殊效果的处理。
[0016]本申请的第6方式提供一种图像处理装置，其在第I?第5方式中的任意一个方式所述的图像处理装置中，所述图像处理装置还具有摄像部，该摄像部拍摄被摄体来取得摄影图像，构成所述组合图像的所述多个图像中的至少一个是由所述摄像部取得的摄影图像。
[0017]本申请的第7方式提供一种图像处理装置，其在第6方式所述的图像处理装置中，所述图像处理装置还具有对所述组合图像进行显示的显示部。
[0018]本申请的第8方式提供一种图像处理装置，其在第7方式所述的图像处理装置中，所述显示部对由所述摄像部反复取得的摄影图像进行实时取景显示。
[0019]本申请的第9方式提供一种图像处理装置，其在第6方式所述的图像处理装置中，所述图像处理装置还具有记录图像的记录部，所述记录部将由所述摄像部反复取得的摄影图像作为动态图像进行记录。
[0020]本申请的第10方式提供一种图像处理装置的图像处理方法，对多个图像进行布局来生成组合图像的图像数据，该图像处理方法包含:特征量计算步骤，根据构成所述组合图像的图像来计算表示图像的特征的特征量；图像校正步骤，对计算出所述特征量的图像进行校正以使通过所述特征量计算步骤计算出的特征量接近目标特征量；以及组合图像生成步骤，对包含通过所述图像校正步骤进行了校正的图像在内的所述多个图像的图像数据进行合成来生成所述组合图像的图像数据。
[0021]根据本发明，能够提供生成在整体上有统一感的组合图像的图像数据的技术。
【专利附图】
【附图说明】
[0022]图1是示出本发明的实施例1的照相机的主要电气系统的整体结构的框图。
[0023]图2A是示出本发明的实施例1的照相机的处理整体的流程图。
[0024]图2B是示出本发明的实施例1的照相机的处理整体的流程图，是图2A的后续。
[0025]图3是示出本发明的实施例1的照相机的图像处理的流程图。
[0026]图4是示出本发明的实施例1的照相机的基本图像处理的流程图。
[0027]图5A是示出本发明的实施例1的照相机的特殊图像处理的流程图。
[0028]图5B是示出本发明的实施例1的照相机的特殊图像处理的流程图，是图5A的后续。[0029]图6是示出本发明的实施例1的照相机的组合图像生成处理的流程图。
[0030]图7是示出本发明的实施例1的照相机的静态图像记录处理的流程图。
[0031]图8A是示出本发明的实施例1的照相机的组合图像操作处理的流程图。
[0032]图SB是示出本发明的实施例1的照相机的组合图像操作处理的流程图，是图8A的后续。
[0033]图9是用于说明本发明的实施例1的照相机的摄影操作的图。
[0034]图10是示出在图4所示的基本图像处理中使用的伽马转换表的一例的图。
[0035]图11是本发明的实施例1的照相机的组合图像处理部的功能框图。
[0036]图12是用于说明在图6所示的组合图像生成处理中进行的与亮度相关的图像校正的图。
[0037]图13是用于说明在图6所示的组合图像生成处理中进行的与色差(Cb)相关的图像校正的图。
[0038]图14是用于说明在图6所示的组合图像生成处理中进行的与色差(Cr)相关的图像校正的图。
[0039]图15是用于说明在图6所示的组合图像生成处理中进行的与颜色饱和度相关的图像校正的图。
[0040]图16是用于说明在图6所示的组合图像生成处理中进行的与色调相关的图像校正的图。
[0041]图17是用于说明在图6所示的组合图像生成处理中使用的校正参数的计算方法的一例的图。
[0042]图18是用于说明在图6所示的组合图像生成处理中使用的校正参数的计算方法的其他一例的图。
[0043]图19是用于说明在图6所示的组合图像生成处理中使用的校正参数的计算方法的其他又一例的图。
[0044]图20是用于说明在图6所示的组合图像生成处理中使用的校正参数的计算方法的其他又一例的图。
[0045]图21是用于说明在图6所示的组合图像生成处理中使用的校正参数的计算方法的其他又一例的图。
[0046]图22是用于说明在图6所示的组合图像生成处理中使用的校正参数的计算方法的其他又一例的图。
[0047]图23是用于说明本发明的实施例1的照相机的SDRAM的显示/记录用组合图像存储区域的结构的图。
[0048]图24是用于说明本发明的实施例1的照相机的利用删除操作的帧图像数据的后撤保存和利用复原操作的帧图像数据的复原的图。
[0049]图25是用于说明本发明的实施例1的照相机的利用删除操作的帧图像数据的后撤保存和利用复原操作的帧图像数据的复原的另一图。
[0050]图26是示出本发明的实施例2的照相机的组合图像生成处理的流程图。
[0051]图27是示出本发明的实施例3的照相机的组合图像生成处理的流程图。
[0052]图28A是示出本发明的实施例3的照相机中的为了生成组合图像数据而进行的各种处理的数据的输入输出的图。
[0053]图28B是示出本发明的实施例3的照相机中的为了生成组合图像数据而进行的各种处理的数据的输入输出的图，是图28A的后续。
[0054]图28C是示出本发明的实施例3的照相机中的为了生成组合图像数据而进行的各种处理的数据的输入输出的图，是图28B的后续。
[0055]图29是示出本发明的实施例4的照相机的图像处理的流程图。
[0056]图30是本发明的实施例4的照相机的基本图像处理部的功能框图。
[0057]图31是本发明的实施例4的照相机的组合图像处理部的功能框图。
[0058]标号说明
[0059]1:照相机；100:照相机主体；101:机械快门；103:摄像元件；105:模拟处理部；107:A/D转换部；109:图像处理部；109a:基本图像处理部；109b:特殊图像处理部；109c:组合图像处理部；109d:被摄体检测部；110:系统总线；111:AE处理部；113:AF处理部；117:图像压缩解压缩部；119:通信部；121、207:微型计算机；123:操作部；124:触摸输入部;125、209:闪存；127 =SDRAM ； 129:存储器I/F ；131:记录介质；133:显示驱动器；135:显示面板；151、161:特征 量计算部；152、162:目标特征量计算部；153、163:参数计算部；154、164:图像校正部；155、165:组合图像生成部；156、166:特殊效果附加部；200:更换式镜头；201:摄影镜头；203:光圈；205:驱动器；300:1/F。
【具体实施方式】
[0060]以下，参照【专利附图】
【附图说明】本发明的各实施例。另外，在本说明书中，只要没有特别写明，图像可以指静态图像(即相片)和动态图像中的任意一个。实时取景图像与根据释放操作等来自照相机的用户的明确摄影指示而取得的图像不同，是利用照相机的实时取景功能随时取得的图像。
[0061]【实施例1】
[0062]图1是示出本实施例的照相机的主要电气系统的整体结构的框图。
[0063]图1例示的照相机I是将所取得的图像存储或记录为数字数据的摄影装置。照相机I的用户能够一边观察在作为显示部的显示面板135上所显示的实时取景图像，一边通过使用了操作部123的释放操作来指示图像的取得。另外，照相机I除了取得静态图像(即相片)和动态图像的功能以外，还具有取得对多个静态图像或动态图像进行布局后的组图像的功能。因此，照相机I是利用多个图像的图像数据生成组合图像的图像数据的图像处理装置。
[0064]首先，参照图1说明照相机I的结构。照相机I具有照相机主体100、和可在照相机主体100上拆装的包含摄影镜头201的更换式镜头200。另外，在本实施例中，例示了可更换摄影镜头的照相机的结构，但摄影镜头也可以被固定于照相机主体上。
[0065]更换式镜头200具有摄影镜头201、光圈203、驱动器205、微型计算机207和闪存209。此外，照相机主体100与更换式镜头200经由接口(以后记作I/F) 300连接。
[0066]摄影镜头201由用于形成被摄体像的单个或多个光学透镜构成，是单焦点透镜或变焦透镜。在摄影镜头201的光轴的后方配置有光圈203。光圈203的开口直径是可变的，对通过摄影镜头201的被摄体光束的光量进行限制。此外，摄影镜头201能够通过驱动器205在光轴方向上移动。根据来自微型计算机207的控制信号，控制摄影镜头201的焦点位置，在摄影镜头201是变焦镜头的情况下，还控制摄影镜头201的焦距。此外，驱动器205还进行光圈203的开口直径控制。
[0067]与驱动器205连接的微型计算机207与I/F300以及闪存209连接。微型计算机207依照闪存209中所存储的程序进行动作。依照程序进行动作的微型计算机207与后述的照相机主体100内的微型计算机121进行通信，根据来自微型计算机121的控制信号进行更换式镜头200的控制。
[0068]在闪存209中，除了上述程序以外，还存储有更换式镜头200的光学特性和调整值等各种信息。I/F300是用于进行更换式镜头200内的微型计算机207与照相机主体100内的微型计算机121相互之间的通信的接口。
[0069]在照相机主体100内，且在摄影镜头201的光轴上，配置有机械快门101。机械快门101通过截断被摄体光束来控制被摄体光束对后述的摄像兀件103的照射时间，例如可采用公知的焦面快门等。在该机械快门101的后方、通过摄影镜头201形成被摄体像的位置上，配置有摄像元件103。
[0070]在摄像元件103中，将构成各像素的光电二极管二维地配置成矩阵状。各光电二极管产生与受光量对应的光电转换电流，该光电转换电流通过与各光电二极管连接的电容器蓄积电荷。在各像素的前面，配置有拜尔排列的RGB滤色器。另外，摄像元件103的结构不限于包含呈拜尔排列地排列的RGB滤色器的结构，例如可以是在FOVEON (FoveonIncorporated的注册商标)那样的元件的厚度方向上排列多个传感器的结构。
[0071]摄像元件103与模拟处理部105连接。模拟处理部105针对从摄像元件103读出的光电转换信号(以后记作模拟图像信号)，在降低了重置噪声等之后进行波形整形，然后进行增益放大，以达到适当的亮度。模拟处理部105与A/D转换部107连接。A/D转换部107对模拟图像信号进行模拟-数字转换，并将所得到的数字图像信号(以后记作图像数据)输出到总线110并存储到SDRAM127。S卩，在照相机I中，摄像元件103、模拟处理部105和A/D转换部107整体作为拍摄被摄体而取得其图像的摄像部发挥功能。另外，在本说明书中，将在图像处理部109中进行图像处理前的原来的图像数据记作RAW图像数据。
[0072]摄像元件103内置有电子快门，在如动态图像摄像时或实时取景摄像时那样反复进行摄像时，在将机械快门101保持为打开的状态下在摄像元件3中使用内置的电子快门功能进行摄像。
[0073]总线110是用于将在照相机主体100内部读出或生产的各种数据传送到照相机主体100的内部的传送路径。在总线110上，除了上述A/D转换部107以外，还连接有图像处理部109、AE (Auto Exposure:自动曝光)处理部111、AF (Auto Focus:自动对焦)处理部113、图像压缩解压缩部117、通信部119、微型计算机121、SDRAM (Synchronous DRAM:同步动态随机存取存储器)127、存储器接口(以后称作存储器I/F) 129和显示驱动器133。
[0074]图像处理部109具有:进彳丁基本的图像处理的基本图像处理部109a、在设定了应用艺术滤镜等特殊效果的模式的情况下用于施加特殊效果的特殊图像处理部10%、生成组合图像的图像数据的组合图像处理部109c、通过模式匹配处理等对图像数据进行分析来检查被摄体的被摄体检测部109d。图像处理部109读出临时存储在SDRAM127中的图像数据，并对该图像数据实施图像处理。[0075]基本图像处理部109a对RAW图像数据进行光学黑(OB)减法运算处理、白平衡(WB)校正、在拜尔数据(Bayer Data)的情况下进行的同时化处理、颜色再现处理、亮度变更处理、边缘强调处理和噪声减少(NR)处理等。
[0076]特殊图像处理部109b对在基本图像处理部109a中处理后的图像数据，根据所设定的特殊效果(艺术滤镜)等，进行赋予各种视觉上的特殊效果的特殊图像处理。例如，在设定了玩具模式摄影(Pin Hole)的情况下，进行附加阴影的处理。此外，在设定了神奇对焦(Soft Focus)、粗粒黑白(Grainy Film)、透视画(Diorama)、水晶(Star Light)、白边缘(White Edge)、局部着色(Partial Color)的情况下,分别进行软对焦处理(Soft FocusEffect)、噪声重叠处理、晕映处理、十字滤光镜处理(Star Light Effect)、使周边部变白的处理、将预定色域以外设为无彩色的处理。
[0077]组合图像处理部109c对多个图像数据进行合成，生成将与多个图像数据对应的多个图像布局成预定的配置的图像即组合图像的图像数据。被合成的多个图像数据至少是在基本图像处理部109a中处理后的图像数据，在设定了特殊效果的情况下，对由基本图像处理部109a和特殊图像处理部109b处理后的图像数据进行合成。
[0078]此外，组合图像处理部109c在执行对图像数据进行合成的处理前，对这些图像(即，构成组合图像的帧图像)进行校正。具体而言，根据帧图像计算表示该图像的特征的特征量，校正该图像使得计算出的特征量接近目标(以后记作目标特征量。)。利用该校正，使各个帧图像的特征量接近目标特征量，由此帧图像之间的特征量之差相比校正前变小，结果能够得到在整体上有统一感的组合图像。
[0079]另外，在组合图像处理部109c中，不一定需要校正所有帧图像。只要校正两张以上的帧图像，则与校正前相比就能够改善作为整体的统一感。此外，认为图像尺寸小的帧图像与尺寸大的帧图像相比对整体上的统一感产生的影响小。因此，可以仅对图像尺寸大的帧图像进行校正，或者优先对图像尺寸大的帧图像进行校正。此外，例如，只要是将特定的帧图像的特征量设定为目标特征量的情况，则即使在仅校正了一张其他帧图像的情况下，也有可能改善作为整体的统一感。因此，在组合图像处理部109c中，只要至少校正一张帧图像即可，更优选校正两张以上的帧图像。
[0080]此外，组合图像处理部109c对所生成的组合图像的图像数据进行附加特殊效果的处理。能够通过对组合图像整体附加特殊效果，进一步改善作为组合图像整体的统一感。
[0081]被摄体检测部109d通过使用了模式匹配技术等的图像分析，进行检测预定的被摄体、例如人的面部和宠物等动物的处理。并且，还可以进行计算检测出的被摄体的种类、大小、位置等的处理。这些检测结果例如可被用于摄影模式的切换、自动对焦、将被摄体像拍摄成一定大小的自动变焦等。
[0082]AE处理部111根据经由总线110输入的图像数据测量被摄体亮度，并经由总线110将所测量的被摄体亮度信息输出到微型计算机121。另外，此处，采用了由AE处理部111根据图像数据计算被摄体亮度的结构，但照相机I可以通过设置专用的测光传感器以测量被摄体亮度来实现相同的功能。
[0083]AF处理部113从图像数据中提取高频成分信号，通过累计处理取得对焦评价值。AF处理部113经由总线110将所取得的对焦评价值输出到微型计算机121。S卩，照相机I通过所谓的对比度法进行摄影镜头201的对焦。[0084]图像压缩解压缩部117在将图像数据记录到与存储器I/F129连接的记录介质131时，针对从SDRAM127读出的图像数据，在静态图像的情况下依照JPEG等压缩方式进行压缩，并且在动态图像的情况下依照MPEG等压缩方式进行压缩。
[0085]微型计算机121对JPEG图像数据和MPEG图像数据附加构成JPEG文件、MPO文件和MPEG文件所需的头部来生成JPEG文件、MPO文件和MPEG文件。微型计算机121经由存储器I/F129将所生成的文件记录到记录介质131。
[0086]此外，图像压缩解压缩部117还进行JPEG图像数据和MPEG图像数据的解压缩以用于图像再现显示。在解压缩时，读出记录在记录介质131中的文件，并在图像压缩解压缩部117中实施了解压缩处理后，将解压缩后的图像数据临时存储到SDRAM127中。另外，在本实施例中，作为图像压缩方式，示出了采用JPEG压缩方式或MPEG压缩方式的例子，但是压缩方式不限于此，也可以是TIFF、H.264等其他压缩方式。
[0087]通信部119与外部设备进行通信，以更新和追加存储在后述的闪存125内的模板。通信部119可以通过有线LAN或无线LAN与外部设备连接，除此以外，也可以通过USB电缆等与外部设备连接。
[0088]微型计算机121发挥作为照相机I整体的控制部的功能，综合控制照相机的各种动作序列。在微型计算机121上，除了上述I/F300以外，还连接有操作部123和闪存125。
[0089]操作部123包含电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮、十字按钮、确定按钮、模式拨盘等各种输入按钮和各种输入键等操作部件，检测这些操作部件的操作状态，将检测结果输出到微型计算机121。微型计算机121根据来自操作部123的操作部件的检测结果，执行与用户操作对应的各种动作序列。即，在照相机I中，操作部123作为受理来自用户的各种指示(例如摄影指示、删除指示、复原指示、再现指示等)的受理部发挥功能。
[0090]电源按钮是用于指示照相机I的电源接通/断开的操作部件。当按下电源按钮时，照相机I的电源接通，当再次按下电源按钮时，照相机I的电源断开。
[0091]释放按钮由通过半按下而接通的第I释放开关、和在从半按下起进一步按下而变为全按下时接通的第2释放开关构成。微型计算机121在第I释放开关接通时，执行AE动作或AF动作等摄影准备动作序列。此外，在第2释放开关接通时，控制机械快门101等，从摄像元件103等取得基于被摄体图像的图像数据，执行将该图像数据记录到记录介质131中的一系列摄影序列来进行摄影。
[0092]再现按钮是用于设定和解除再现模式的操作按钮，当设定了再现模式时，从记录介质131读出所拍摄的图像的图像数据，并在显示面板135上对图像进行再现显示。
[0093]菜单按钮是用于使显示面板135显示菜单画面的操作按钮。能够在菜单画面上进行各种照相机设定。作为照相机设定，存在特殊效果(艺术滤镜)的设定。作为特殊效果，能够设定神奇对焦、流行艺术、玩具摄影、粗粒黑白、透视画等各种特殊效果。此外，还能够在菜单画面上进行组合图像的设定。
[0094]模式拨盘是用于选择摄影模式的操作拨盘。在照相机I中，通过由对模式拨盘进行操作，在进行通常摄影的通常模式与进行组合图像的摄影的组合图像模式之间切换摄影模式。另外，此处，在对各模式进行具体说明时，通常模式是在摄影前在显示面板135整体上显示实时取景图像、在摄影后在显示面板135整体上显示所拍摄的图像的模式，是通过I次摄影生成一张图像数据的模式。另一方面，组合图像模式是如下模式:在摄影前，在显示面板135上所定义的、用于显示图像的多个区域(以后记作显示区域。)的一个区域中显示实时取景图像，在摄影后在显示实时取景图像的显示区域中显示所拍摄的图像，并且在其他区域中显示实时取景图像。在组合图像模式中，通过I次摄影生成构成组合图像的一张帧图像的图像数据，因此通常进行多次摄影，以得到一张组合图像。
[0095]操作部123还具有触摸输入部124。触摸输入部124例如是重叠配置于显示面板135上的触摸面板传感器。触摸输入部124检测用户对显示面板135的触摸操作，并将检测结果输出到微型计算机121。微型计算机121根据来自操作部123的触摸输入部124的检测结果，执行与用户操作对应的各种动作序列。
[0096]另外，操作部123可以在显示面板135上配备上述各种按钮。即，替代在照相机I的表面物理地设置按钮，可以在显示面板135上显示按钮并由触摸输入部124检测对于显示在显示面板135上的按钮的操作。另外，可以替代在显示面板135上显示释放按钮，而使显示面板135作为释放按钮发挥功能。该情况下，可以将触摸显示面板135时或者触摸显示面板135中的显示实时取景图像的显示区域时视作半按下释放按钮的状态、将持续触摸预定时间(例如I秒)以上时视作全按下释放按钮的状态，也可以将进行了触摸时视作半按下释放按钮的状态和全按下释放按钮的状态。
[0097]闪存125存储有用于执行微型计算机121的各种动作序列的程序。微型计算机121根据在闪存125中所存储的程序进行照相机整体的控制。此外，闪存125存储有颜色矩阵系数、与白平衡模式对应的R增益和B增益、伽马转换表、曝光条件确定转换表等各种调整值。此外，闪存125中还可以存储有后述的校正目标。并且，闪存125将组合图像的样式、即与怎样布局构成组合图像的帧图像相关的信息等存储为模板。
[0098]SDRAM127是图像数据等的临时存储用的可电改写的易失性存储器。该SDRAMl27对从A/D转换部107输出的图像数据、以及在图像处理部109和图像压缩解压缩部117等中进行了处理的图像数据进行临时存储。
[0099]存储器I/F129与记录介质131连接。存储器I/F129进行对记录介质131写入和读出图像数据和附加在图像数据上的头部等数据的控制。记录介质131是例如在照相机主体100上拆装自如的存储卡等记录介质，但是不限于此，也可以是内置在照相机主体100中的非易失性存储器或硬盘等。
[0100]显示驱动器133与显示面板135连接。显示驱动器133根据从SDRAM127或记录介质131读出、并通过图像压缩解压缩部117进行解压缩后的图像数据，使图像显示在显示面板135上。显示面板135例如是设置于照相机主体100的背面的液晶显示器(IXD)，进行图像显示。作为图像显示，包含在摄影之后立即短时间显示所记录的图像数据的记录浏览显示、记录在记录介质131中的静态图像或动态图像的图像文件的再现显示以及实时取景显示等的动态图像显示。另外，显示面板135除了 IXD以外，可以是有机EL等，还可以采用其他的显示面板。
[0101]此外，在摄影模式为组合图像模式的情况下定义的多个显示区域的布局根据组合图像的样式来划定。
[0102]接着，参照图2A至图8，对在如上那样构成的照相机I中进行的处理进行说明。另夕卜，通过由微型计算机121执行闪存125所存储的程序来进行图2A至图8的流程图所示的照相机的处理。首先，对图2A和图2B所示的照相机的处理整体流程进行说明。
[0103]对操作部123内的电源按钮进行操作而使照相机I的电源接通，并开始图2A和图2B所示的照相机I的处理时，微型计算机121对照相机I进行初始化(步骤SI)。此处，进行机械方式的初始化和各种标志等的初始化等的电气方式的初始化。作为初始化对象的标志，例如有表示是否处于记录动态图像过程中的记录中标志等，通过初始化将记录中标志设定为关闭。
[0104]在初始化完成后，微型计算机121接着判定是否按下了再现按钮(步骤S3)。此处，检测操作部123内的再现按钮的操作状态进行判定。此外，在显示面板135上显示有再现按钮的情况下，检测来自触摸输入部124的信号来进行判定。在按下了再现按钮时，微型计算机121将动作模式设定为再现模式，执行再现处理，对记录介质131所记录的图像数据进行再现并显示在显示面板135上(步骤S4)。当再现处理完成时，再次执行步骤S3的处理。
[0105]在步骤S3中判定为没有按下再现按钮时，微型计算机121判定是否按下了菜单按钮、即是否变为了显示菜单画面并进行照相机设定的状态(步骤S5)。此处，检测操作部123内的菜单按钮的操作状态进行判定。在显示面板135上显示有菜单按钮的情况下，检测来自触摸输入部124的信号来进行判定。
[0106]在按下了菜单按钮时，微型计算机121检测对于操作部123的进一步的操作，并依照检测结果变更照相机设定(步骤S7)。当照相机设定处理完成时，再次执行步骤S3的处理。
[0107]另外，作为照相机设定，例如存在摄影模式设定、记录模式设定、图像的完成效果设定、组合图像的样式设定、选择预先取得的要组入到组合图像中的图像的设定、是否记录帧图像的设定等。摄影模式有通常的摄影模式和组合图像模式。此外，在记录模式中，作为静态图像记录模式，有JPEG记录、JPEG + RAff记录、RAff记录等，作为动态图像记录模式，有Motion — JPEG、H.264等。并且，在图像的完成效果设定中，除了有设为看起来自然的图像(Natural)、设为鲜艳的图像(Vivid)、设为平和的图像(Flat)之外，还有艺术滤镜等特殊效果的设定。
[0108]在步骤S5中判定为没有按下菜单按钮时，微型计算机121判定是否按下了动态图像按钮(步骤S9)。此处，检测操作部123内的动态图像按钮的操作状态进行判定。在显示面板135上显示有动态图像按钮的情况下，检测来自触摸输入部124的信号来进行判定。
[0109]在判定为没有按下动态图像按钮时，微型计算机121执行步骤S19的处理。另一方面，在按下动态图像按钮时，微型计算机121使记录中标志反转(步骤Sll)。S卩，如果记录中标志为关闭则变更为打开、如果为打开则变更为关闭。并且，微型计算机121根据反转后的记录中标志的状态判定是否处于图像记录中(步骤S13)。
[0110]在判定为记录中标志打开时，微型计算机121判断为指示了动态图像记录的开始，而生成动态图像文件(步骤S15)，做好用于记录图像数据的准备。这种处理例如在电源接通后首次按下动态图像按钮时等进行。另外，在动态图像文件生成后，执行步骤S19的处理。
[0111]在步骤S13中判定为记录中标志关闭时，微型计算机121判断为指示了动态图像记录的结束，并关闭动态图像文件(步骤S17)。即，在进行在动态图像文件的头部记录帧数的处理等而将动态图像文件设为可再现的状态后，结束写入处理。另外，在向动态图像文件的写入结束后，执行步骤S19的处理。
[0112]在步骤S19中，微型计算机121判定摄影模式是否为组合图像模式、且是否对操作部123进行了预定的组合图像操作。此处，检测在SDRAM127中所存储的摄影模式的设定和操作部123的操作状态来进行判定。
[0113]在判定为是组合图像模式且进行了预定的操作时，微型计算机121执行组合图像操作处理(步骤S600)。当组合图像操作处理完成时，执行步骤S21的处理。另外，之后将参照图8A和图SB具体叙述组合图像操作处理的详细情况。
[0114]在步骤S19中判定为摄影模式不是组合图像模式、或者判定为没有对操作部123进行预定的组合图像操作时，微型计算机121判定是否半按下了释放按钮(步骤S21)。此处，检测与释放按钮联动的第I释放开关从断开到接通的转变来进行判定。在显示面板135上显示有释放按钮的情况或显示面板135作为释放按钮发挥功能的情况下，检测表示触摸了显示释放按钮的区域或显示实时取景图像的显示区域的信号来进行判定。
[0115]在半按下释放按钮时，微型计算机121执行AE/AF动作(S23)。此处，如下进行AE动作:AE处理部111根据由摄像元件103取得的图像数据检测被摄体亮度，并根据该被摄体亮度，计算成为适当曝光的快门速度、光圈值等。此外，如下进行AF动作:驱动器205经由更换式镜头200内的微型计算机207使摄影镜头201的焦点位置移动，以使得通过AF处理部113取得的对焦评价值变为峰值。另外，在根据来自触摸输入部124的信号进行AF动作的情况下，使摄影镜头201移动以便对焦到显示在触摸位置的被摄体。在AE/AF动作后，执行步骤S25的处理。
[0116]AF动作除了上述的所谓对比度AF以外，还可以使用利用了专用传感器的相位差AF等各种AF方式。
[0117]在步骤S21中判定为没有半按下释放按钮时，微型计算机121判定是否全按下了释放按钮(步骤S27)。此处，检测第2释放开关从断开到接通的转变来进行判定。可以通过检测并判定第2释放开关为断开的状态来进行连拍摄影。此外，在显示面板135上显示有释放按钮的情况或显示面板135作为释放按钮发挥功能的情况下，通过检测表示触摸了显示有释放按钮的区域或显示有实时取景图像的显示区域的信号来进行判定。
[0118]在全按下释放按钮时，微型计算机121进行利用机械快门的静态图像摄影(S29)。此处，用在步骤S23中计算出的光圈值来控制光圈203，并且用计算出的快门速度来控制机械快门101的快门速度。并且，当经过了与快门速度对应的曝光时间时，从摄像元件103读出图像信号，并经由总线110将通过模拟处理部105和A/D转换部107处理后的RAW图像数据临时存储到SDRAM127。
[0119]之后，微型计算机121读出临时存储在SDRAM127中的RAW图像数据，使图像处理部109执行图像处理(步骤SlOOa)，并执行将处理后的图像数据等记录到记录介质131的静态图像记录处理(步骤S500)。另外，之后将分别参照图3至图6、图7具体叙述图像处理和静态图像记录处理的详细情况。
[0120]当静态图像记录处理完成时，微型计算机121判定摄影模式是否为组合图像模式(步骤S31)。此处，根据在SDRAM127中所存储的摄影模式的设定进行判定。
[0121]在摄影模式不是组合图像模式的情况下、即是通常的摄影模式的情况下，微型计算机121执行步骤S25的处理。另一方面，在摄影模式是组合图像模式的情况下，微型计算机121变更实时取景显示(步骤S33)。另外，在照相机I中，在摄影模式是组合图像模式的情况下，显示面板135具有多个显示区域，通过后述的步骤S39中的处理，在其中的一个显示区域中显示实时取景图像。在步骤S33的实时取景显示的变更处理中，在微型计算机121的控制下，由显示驱动器133对显示面板135进行控制，以变更显示实时取景图像的显示区域。更具体而言，将在显示有实时取景图像的显示区域中所显示的图像变更为在步骤S29中拍摄并在步骤SlOOa中进行了图像处理后的图像。并且，切换应显示实时取景图像的显示区域，使实时取景图像显示在其他显示区域中。即，在照相机I中，微型计算机121和显示驱动器133作为控制显示面板135的显示控制部发挥功能。在实时取景显示处理后，微型计算机121执行步骤S25的处理。
[0122]在步骤S27中判定为没有全按下释放按钮时，微型计算机121为了动态图像或实时取景图像而执行AE动作(步骤S35)。AE动作如下进行:AE处理部111计算用于以适当曝光进行实时取景显示的摄像元件103的电子快门的快门速度和ISO感光度。在AE动作后，微型计算机121进行利用电子快门的摄影(步骤S37)。此处，使用电子快门从摄像元件103读出图像信号，并经由总线110将通过模拟处理部105和A/D转换部107处理后的RAW图像数据临时存储到SDRAM127。
[0123]之后，微型计算机121读出临时存储在SDRAM127中的RAW图像数据，使图像处理部109执行与利用机械快门的摄影时相同的图像处理(步骤SlOOb)。并且，在微型计算机121的控制下，由显示驱动器133对显示面板135进行控制，以将显示实时取景图像的显示区域的图像变更为在步骤S37中取得并在步骤SlOOb中进行了图像处理后的图像数据来更新实时取景图像(步骤S39)。
[0124]在更新了实时取景图像后，微型计算机121判定是否处于动态图像记录中(步骤S41)。此处，根据在SDRAMl27中所存储的记录中标志的状态进行判定。
[0125]在记录中标志关闭的情况下，微型计算机121执行步骤S25的处理。另一方面，在记录中标志打开的情况下，微型计算机121判断为处于动态图像记录中并进行动态图像记录(步骤S43)。即，将在步骤S39中更新后的实时取景图像的图像数据记录为在步骤S15中生成的动态图像文件的帧图像。然后，执行步骤S25的处理。
[0126]在步骤S25中，微型计算机121判定电源是否断开。在电源接通的情况下，执行步骤S3的处理。在断开的情况下，微型计算机121在执行必要的结束处理后，结束照相机I的处理。
[0127]根据如上述那样动作的照相机1，在例如以组合图像模式拍摄随着时间的经过而移动的被摄体的情况下，如图9所示，仅通过触摸显示有实时取景图像的显示区域，就能够容易地取得构成组合图像的帧图像，并将在所触摸的显示区域中显示的图像从实时取景图像变更为所取得的帧图像。即，触摸实时取景图像的操作相当于摄影指示。并且，自动切换显示实时取景图像的区域，在未显示帧图像(包含预先取得的要组入到组合图像中的图像)的其他显示区域中显示实时取景图像，因此即使在被摄体移动的情况下也不会错过快门时机，能够迅速取得下一个帧图像。此外，仅在显示面板135中定义的多个显示区域中的I个显示区域中显示实时取景图像，因此能够向用户提供容易集中精力于拍摄的环境。
[0128]接着，参照图3至图6，对在图2B所示的利用机械快门的摄影后或利用电子快门的摄影后进行的图像处理进一步详细进行说明。另外，在利用机械快门的摄影后进行的图像处理的对象是在利用机械快门的摄影中取得的RAW图像数据，在利用电子快门的摄影后进行的图像处理的对象是在利用电子快门的摄影中取得的RAW图像数据。
[0129]如图3所示，图像处理主要由通过基本图像处理部109a进行的基本图像处理、通过特殊图像处理部109b进行的特殊图像处理以及通过组合图像处理部109c进行的组合图像生成处理构成。
[0130]当微型计算机121读出临时存储在SDRAM127中的RAW图像数据，并向图像处理部109指示图像处理时，首先对基本图像处理部109a读出的RAW图像数据执行基本图像处理(步骤 S200)。
[0131]如图4所示，基本图像处理部109a执行的基本图像处理由7个图像处理步骤构成。最先进行光学黑(OB)减法运算(步骤S201)。在该步骤中，基本图像处理部109a内的OB运算部分别从构成图像数据的各像素的像素值中，减去由于摄像元件103的暗电流等而产生的光学黑值。
[0132]在OB减法运算后，进行白平衡(WB)校正(步骤S203)。在该步骤中，基本图像处理部109a内的WB校正部根据所设定的白平衡模式，对图像数据进行WB校正。具体而言，通过从照相机主体的闪存125读出与用户设定的白平衡模式对应的R增益和B增益，并对图像数据乘以该值，来进行校正。或者在自动白平衡的情况下，根据RAW图像数据计算R增益和B增益，使用这些增益进行校正。
[0133]接着，进行同时化处理(步骤S205)。在该步骤中，基本图像处理部109a内的同时化处理部针对进行了白平衡校正的图像数据，将各像素的数据(拜尔数据，Bayer Data)转换为RGB数据。具体而言，从周边通过插值求出该像素中没有的数据，并转换为RGB数据。另外，该步骤在使用了 FOVEON (Foveon Incorporated的注册商标)形式的摄像元件作为摄像元件103的情况等、在RAW图像数据中每I像素具有多个数据的情况下被省略。
[0134]在同时化处理后，进行颜色再现处理(步骤S207)。在该步骤中，基本图像处理部109a内的颜色再现处理部进行对图像数据乘以与设定的白平衡模式对应的颜色矩阵系数的线性转换来校正图像数据的颜色。另外，颜色矩阵系数被存储在闪存125中，因此读出并使用。
[0135]在颜色再现处理后，进行亮度变更处理(步骤S209 )。在该步骤中，基本图像处理部109a内的亮度变更处理部对图像数据(RGB数据)进行伽马校正处理。并且，从RGB数据颜色转换为YCbCr数据，对转换后的图像数据的Y数据进行伽马校正。另外，在伽马校正中，读出并使用在闪存125中所存储的伽马转换表。
[0136]图10是例示在步骤S209的亮度变更处理中使用的伽马转换表的图。在图10中，例示了在对RGB数据的伽马校正处理中使用的单一的转换表R、以及在对YCbCr数据中的Y数据的伽马校正处理中根据艺术滤镜的设定而使用的多个不同的转换表(转换表Y1、Y2、Y3)。此处，转换表Yl是在设定了神奇对焦的情况下使用的转换表。转换表Y2是在设定了流行艺术或玩具模式摄影的情况下使用的转换表。转换表Y3是在这些以外的设定的情况下使用的转换表。另外，对RGB数据的伽马校正处理也与对Y数据的伽马校正处理同样，可按照每个艺术滤镜的设定使用不同的转换表。
[0137]在亮度变更处理后，进行边缘强调(步骤S211)。在该步骤中，基本图像处理部109a内的边缘强调处理部通过带通滤波器对图像数据提取边缘成分，根据边缘强调度乘以系数并与图像数据相加，由此强调图像数据的边缘。
[0138]最后，基本图像处理部109a进行NR (噪声去除)(步骤S213)。在该步骤中，基本图像处理部109a内的NR部通过对图像进行频率分解，并根据频率进行核化处理来进行减少噪声的处理。
[0139]在以上的基本图像处理完成时，在设定了特殊效果(艺术滤镜)的情况下，特殊图像处理部109b对通过基本图像处理部109a进行处理后的图像数据执行特殊图像处理(图3的步骤S101、步骤S300)。
[0140]如图5A和图5B所示，特殊图像处理部109b执行的特殊图像处理以根据特殊效果的设定进行的7个图像处理步骤为中心而构成。具体而言，依次判定是否设定了玩具模式摄影、神奇对焦、粗粒黑白、透视画、水晶、白边缘、局部着色作为特殊效果(艺术滤镜)(步骤S303、步骤S307、步骤S311、步骤S315、步骤S319、步骤S323、步骤S327)。
[0141]在设定了玩具模式摄影的情况下，对图像数据进行阴影附加处理(步骤S305)。在该步骤中，特殊图像处理部109b生成根据距中心的距离亮度逐渐降低的增益映射图(增益值为I以下)，并依照该增益映射图对图像数据乘以与各像素对应的增益，由此对周边附加阴影。
[0142]在设定了神奇对焦的情况下，对图像数据进行软对焦处理(步骤S309)。在该步骤中，特殊图像处理部10%生成对图像整体实施了晕映处理的图像数据，并以预定的比例(例如3:2等)将晕映前的图像的图像数据和晕映处理后的图像的图像数据合成。
[0143]在设定了粗粒黑白的情况下，对图像数据进行噪声重叠处理(步骤S313)。在该步骤中，特殊图像处理部10%将预先生成的噪声图案与图像数据相加。另外，噪声图案可以根据随机数等生成。
[0144]在设定了透视画的情况下，对图像数据进行晕映处理(步骤S317)。该步骤中，特殊图像处理部109b以AF的目标为中心，根据距离对图像的周边(例如上下或左右、或者其两方)逐渐晕映。
[0145]在设定了水晶(crystal)的情况下，对图像数据进行十字滤光镜处理(步骤S321)。在该步骤中，特殊图像处理部10%检测图像中的亮点，并以该亮点为中心描绘十字图案的方式对图像数据进行加工。
[0146]在设定了白边缘的情况下，对图像数据进行使其周边部变白的处理(步骤S325)。在该步骤中，预先设计使白色的比例根据距图像中心的距离逐渐变大的特性，特殊图像处理部109依照该特性对图像的各像素数据进行加工。
[0147]在设定了局部着色的情况下，进行将预定色域以外设为无彩色的处理(步骤S329)。在该步骤中，特殊图像处理部109将预先设定的预定颜色以外的像素数据转换为无彩色的像素数据。
[0148]在以上的特殊图像处理完成时，组合图像处理部109c判定摄影模式是否为组合图像模式(图3的步骤S103)。在摄影模式不是组合图像模式的情况下，结束图像处理。
[0149]在摄影模式是组合图像模式的情况下，组合图像处理部109c使用在显示面板135的多个显示区域中所显示的多个图像的图像数据，执行组合图像生成处理(图3的步骤S400)。
[0150]如图6所示，组合图像处理部109c执行的组合图像生成处理由6个图像处理步骤构成，在各个步骤中进行的处理利用图11所示的组合图像处理部109c的各种功能来执行。
[0151]最先，对进行了基本图像处理(和特殊图像处理)的各个帧图像进行图像分析(步骤S403)。在该步骤中，图11所示的特征量计算部151对各个帧图像进行分析，计算表示各图像的特征的特征量。作为特征量，例如可列举帧图像的亮度分布、色差信号分布、色调分布或颜色饱和度分布等，优选包含这些特征量中的至少一个。
[0152]在图像分析后，对多个帧图像生成单一的校正目标(步骤S405)。在该步骤中，图11所示的目标特征量计算部152根据由特征量计算部计算出的特征量来计算作为校正目标的目标特征量。目标特征量例如是多个帧图像的特征量的平均、最先分析的帧图像的特征量、最后分析的帧图像的特征量、以及除此以外的对各个帧图像的特征量进行加权而计算出的特征量等。即，可以根据多个图像数据的特征量来计算，也可以根据单一图像数据的特征量来计算。此外，目标特征量不一定需要与由特征量计算部151计算出的特征量同样地被计算为分布，还可以将预定值计算为目标特征量。例如，如果特征量为色差信号分布，则目标特征量也可以是色差信号分布的峰值所示的色差、色差信号分布的中心所示的色差
坐寸o
[0153]之后，按照每个帧图像计算用于校正帧图像数据的校正参数(步骤S407)。在该步骤中，图11所示的参数计算部153根据由特征量计算部151计算出的特征量和由目标特征量计算部152计算出的目标特征量，按照每个帧图像计算使得校正后的帧图像的特征量接近目标特征量的校正参数。
[0154]在计算出校正参数后，进行校正各个帧图像的图像校正处理以使得由特征量计算部151计算出的特征量接近目标特征量(步骤S409)。在该步骤中，图11所示的图像校正部154利用由参数计算部153按照每个帧图像计算出的校正参数来校正各个帧图像。由此，校正后的帧图像的特征量接近目标特征量，从而帧图像间的特征量之差变小。
[0155]在图像校正结束后，将构成组合图像的多个帧图像合成到背景图像上(步骤S411)。在该步骤中，图11所示的组合图像生成部155以使由图像校正部154校正后的帧图像按照组合图像的样式来进行布局的方式，对构成组合图像的多个帧图像的图像数据进行合成来生成组合图像的图像数据。
[0156]最后对组合图像附加特殊效果(步骤S413)。在该步骤中，图11所示的特殊效果附加部156进行对由组合图像生成部155生成的组合图像的图像数据附加阴影或晕映等特殊效果的处理。另外，该特殊效果不取决于照相机设定中的完成效果的设定，例如可以根据组合图像的样式等来赋予。当以上的处理结束时，结束图6的组合图像生成处理，从而图3的图像处理结束。
[0157]以下，关于对上述帧图像的校正处理，参照图12至图14，以组合图像由两张帧图像构成、且根据该两张帧图像进行校正的情况为例具体进行说明。
[0158]图12中示出了使两张帧图像的亮度分布接近的校正例。在该例中，首先如图12的Ca)所示，特征量计算部151将两张帧图像(第I图像和第2图像)的RGB数据进行颜色转换为YCbCr数据，并计算亮度分布(作为亮度直方图的分布B1、B2)作为各个图像的特征量。并且，目标特征量计算部152根据分布BI和分布B2计算应设为目标的亮度分布作为校正目标T。接着，如图12的(b)所示，参数计算部153根据分布BI和校正目标T计算RGB颜色空间中的转换表Cl，作为用于将具有分布BI的第I图像校正为具有接近校正目标T的分布的图像的校正参数。同样，根据分布B2和校正目标T计算RGB颜色空间中的转换表C2，作为用于将具有分布B2的第2图像校正为具有接近校正目标T的分布的图像的校正参数。最后，图像校正部154使用转换表C1、C2校正第I图像、第2图像，得到具有图12的(c)所示的接近校正目标T的亮度分布(作为亮度直方图的分布Al、A2)的校正后的第I图像、第2图像。
[0159]图13中示出了使两张帧图像的Cb成分的色差信号分布接近的校正例。在该例中，首先如图13的(a)所示，特征量计算部151将两张帧图像(第I图像和第2图像)的RGB数据进行颜色转换为YCbCr数据，并计算Cb成分的色差信号分布(作为色差信号直方图的分布B1、B2)作为各个图像的特征量。并且，目标特征量计算部152根据分布BI和分布B2计算以应设为目标的色差信号分布为代表的色差的等级(例如分布的峰值示出的等级或分布的中心示出的等级等)作为校正目标T。接着，如图13的(b)所示，参数计算部153根据分布BI和校正目标T计算色差信号分布的偏移值，作为用于对具有分布BI的第I图像进行校正以使代表分布的等级成为接近校正目标T的值的校正参数。同样，根据分布B2和校正目标T计算色差信号分布的偏移值，作为用于对具有分布B2的第2图像进行校正以使代表分布的等级成为接近校正目标T的值的校正参数。最后，图像校正部154使用各个偏移值来校正第I图像、第2图像，得到图13的(c)所示的代表分布的等级具有接近校正目标T的色差信号分布(作为色差信号直方图的分布Al、A2)的校正后的第I图像、第2图像。在校正后的分布的一部分高于等级的最大值或低于最小值的情况下，例如将该部分修剪为最大值、或最小值即可。另外，关于色差信号分布，也可以与图12所示的亮度分布的校正同样，通过表转换使分布接近。
[0160]图14中示出了使两张帧图像的Cr成分的色差信号分布接近的校正例。另外，详细情况与图13所示的使两张帧图像的色差Cb接近的校正相同，因此省略说明。
[0161]能够通过进行图12至图14所示的校正，使两张帧图像的亮度和色差接近，因此能够改善对它们进行布局后的组合图像的统一感。另外，组合图像处理部109c不一定需要进行图12至图14所示的所有校正，通过进行任意一个校正也能够改善组合图像的统一感。图15和图16是关于组合图像由两张帧图像构成、且根据该两张帧图像进行校正的情况的另一具体例。
[0162]图15中示出了使两张帧图像的颜色饱和度分布接近的校正例。在该例中，首先如图15 (a)所示，特征量计算部151将两张帧图像(第I图像和第2图像)的RGB数据进行颜色转换为HSV数据，并计算颜色饱和度分布(作为颜色饱和度直方图的分布B1、B2)作为各个图像的特征量。并且，目标特征量计算部152根据分布BI和分布B2计算应设为目标的颜色饱和度分布作为校正目标T。接着，如图15的(b)所示，参数计算部153根据分布BI和校正目标T计算表示相对于各颜色饱和度的增益的转换表Cl，作为用于将具有分布BI的第I图像校正为具有接近校正目标T的分布的图像的校正参数。同样，根据分布B2和校正目标T计算表示相对于各颜色饱和度的增益的转换表C2，作为用于将具有分布B2的第2图像校正为具有接近校正目标T的分布的图像的校正参数。最后，图像校正部154使用表Cl、C2校正第I图像、第2图像，得到具有图15的(c)所示的接近校正目标T的颜色饱和度分布(作为颜色饱和度直方图的分布Al、A2)的校正后的第I图像、第2图像。
[0163]图16中示出了使两张帧图像的色调分布接近的校正例。在该例中，首先如图16的(a)所示，特征量计算部151将两张帧图像(第I图像和第2图像)的RGB数据进行颜色转换为HSV数据，并计算色调分布(作为色调直方图的分布B1、B2)作为各个图像的特征量。并且，目标特征量计算部152根据分布BI和分布B2计算代表应设为目标的色调分布的色调的角度作为校正目标T。接着，如图16的(b)所示，参数计算部153根据分布BI和校正目标T计算色调分布的偏移值(色调旋转量)，作为用于校正具有分布BI的第I图像以使代表分布的角度成为接近校正目标T的值的校正参数。同样，根据分布B2和校正目标T计算色调分布的偏移值(色调旋转量)，作为用于校正具有分布B2的第2图像以使代表分布的角度成为接近校正目标T的值的校正参数。最后，图像校正部154使用各个偏移值来校正第I图像、第2图像，得到具有图16的(c)所示的接近校正目标T的色调分布(作为色调直方图的分布Al、A2)的校正后的第I图像、第2图像。另外，通过校正使角度高于360度的部分朝0度侧移动、使角度低于0度的朝360度侧移动。该点与色差的情况不同。
[0164]能够通过进行图15和图16所示的校正,使两张帧图像的颜色饱和度和色调接近，因此能够改善对两张帧图像进行布局而得到的组合图像的统一感。另外，组合图像处理部109c不一定需要进行图15和图16所示的校正两方，通过进行任意一方的校正也能够改善组合图像的统一感。
[0165]此外，在图15和图16中，示出了在HSV空间中校正颜色饱和度和色调的例子，但也可以简单地将CbCr平面中的相对于Cb轴的正侧(比无彩色的情况下的Cb值大的一侧)的轴的角度视作色调、与无彩色的距离视作颜色饱和度，因此也可以在YCbCr颜色空间中进行颜色饱和度和色调的校正。CbCr平面中的Cb轴、Cr轴是一般性的(在ITU — R BT601标准中被普遍公知)，因此不进行图示。
[0166]接着，参照图17至图22对上述校正处理中的校正参数的计算方法进行具体说明。另外，校正参数的计算方法不限于图17至图22中例示的方法，能够利用任意的方法进行计
笪
o
[0167]图17的(a)和图17的(b)中示出了以下例子:计算校正参数，作为对校正前的亮度分布B进行校正的参数，以使得校正后的亮度分布A与作为应设为目标的分布的校正目标T之差在分布的几点(例如低、中、高的3个等级)处于预定范围内。
[0168]图18的(a)和图18的(b)中示出了以下例子:计算校正参数，作为对校正前的亮度分布B进行校正的参数，以使得校正后的亮度分布A与作为应设为目标的分布的校正目标T在分布的一部分Pl处一致。
[0169]图19的(a)和图19的(b)中示出了以下例子:计算校正参数，作为对校正前的亮度分布B进行校正的参数，以使得校正后的亮度分布A的峰值(最大度数)及其等级与作为应设为目标的分布的校正目标T的峰值(最大度数)及其等级一致。
[0170]图20的(a)和图20的(b)中示出了以下例子:计算校正参数，作为对校正前的亮度分布B进行校正的参数，以使得校正后的亮度分布A的峰值(最大度数)与应设为目标的亮度的最大度数即校正目标T 一致。
`[0171]图21的(a)和图21的(b)中示出了以下例子:计算校正参数，作为对校正前的色差信号分布B进行校正的参数，以使得校正后的色差信号分布A的峰值(最大度数)所示出的等级与作为应设为目标的等级的校正目标T 一致。
[0172]图22的(a)和图22的(b)中示出了以下例子:计算校正参数，作为对校正前的色差信号分布B进行校正的参数，以使得校正后的色差信号分布A的中心所示出的等级与作为应设为目标的等级的校正目标T一致。该情况下，也可以考虑噪声来决定分布的中心。
[0173]根据如上述那样动作的照相机1，构成组合图像的多个帧图像分别被朝向相同的校正目标进行校正。因此，构成组合图像的多个帧图像的特征量相互接近且相似，从而帧图像间的特征量之差变小。其结果，能够生成各个帧图像给观察者带来的印象相似、在整体上有统一感的组合图像的图像数据。此外，在照相机I中，在对多个帧图像的图像数据进行合成后，对组合图像整体附加特殊效果。由此，能够生成进一步改善了统一感的组合图像的图像数据。
[0174]另外，如上所述，帧图像的校正不一定需要针对构成组合图像的所有帧图像进行。也不一定需要根据所有的帧图像来计算特征量和校正参数，只要至少根据作为校正对象的帧图像进行计算即可。另一方面，目标特征量不是按照每个帧图像计算出I个而是按照每个组合图像计算出I个，针对构成组合图像的所有帧图像使用相同的目标特征量。另外，目标特征量优选根据帧图像的特征量来进行计算，但也可以使用预先记录在闪存125中的目标特征量。
[0175]接着，参照图7，对静态图像记录进一步详细进行说明，所述静态图像记录在针对利用图2B所示的机械快门摄影取得的图像数据的图像处理后进行。
[0176]如图7所示，在开始静态图像记录处理后，首先微型计算机121判定摄影模式是否为组合图像模式(步骤S501)。在该步骤中，根据在SDRAM127中所存储的摄影模式的设定进行判定。
[0177]在摄影模式不是组合图像模式的情况下，微型计算机121控制显示驱动器133，在显示面板135上对利用机械快门拍摄并由图像处理部109进行图像处理后的图像数据的一张图像进行记录浏览显示(步骤S515)。之后，控制存储器I/F129，使记录介质131记录所显示的图像的图像数据(步骤S517)，并结束静态图像记录处理。另外，图像数据可以在由图像压缩解压缩部117压缩为JPEG形式后被记录，也可以非压缩地记录。并且，还可以记录在图像处理部109中进行图像处理前的RAW图像数据。
[0178]另一方面，在摄影模式是组合图像模式的情况下，微型计算机121判定是否设定成记录为了构成组合图像而拍摄的图像即帧图像(也记作摄影图像)的图像数据(步骤S503)。在设定成进行记录的情况下，微型计算机121控制存储器I/F129，使记录介质131记录在图像处理部109中进行处理后的帧图像的图像数据(步骤S504)。此时，除了图像处理后的帧图像的图像数据以外，还可以记录RAW图像数据或通过图6的步骤S403的图像分析得到的特征量。
[0179]之后，微型计算机121判定组合是否完成、即是否已拍摄了构成组合图像的所有帧图像(步骤S505)。另外，在设定了预先取得的要组入到组合图像中的图像的情况下，判定是否已拍摄了除预先取得的图像以外的所有帧图像。该步骤根据在SDRAM127的帧图像区域中是否存储有与根据所设定的组合图像的样式所确定的张数的帧图像来进行判断。在没有拍摄所有帧图像的情况下，结束静态图像记录处理。
[0180]在已拍摄所有帧图像的情况下，微型计算机121控制显示驱动器133，使显示面板135对在图像处理部109中得到的组合图像进行记录浏览显示(步骤S507)。
[0181]之后，微型计算机121在一定期间(例如3秒等)内监视删除操作(步骤S509)。这是为了向用户提供用于判断在记录浏览中显示的组合图像是否为所期望的图像的时间。
[0182]在该一定期间中检测到删除操作的情况下，执行组合图像操作处理以删除所指定的图像(步骤S600a)，并结束静态图像记录处理。在没有检测到删除操作的情况下，控制存储器I/F129，使记录介质131记录在图像处理部109中生成的组合图像的图像数据(步骤S511)，并结束静态图像记录处理。
[0183]另外，也可以不在一定期间内监视删除操作，而显示询问是否进行记录(是否进行删除)的画面，并根据用户的输入进行删除或记录。
[0184]接着，参照图8A和图SB对组合图像操作处理进一步详细进行说明。
[0185]如图8A和图8B所示，在开始组合图像操作处理后，确定成为开始组合图像操作处理的原因的操作。具体而言，微型计算机121依次判定是否进行了摄影帧变更操作、删除操作、复原操作、临时保存操作、临时保存读入操作(步骤S601、步骤S605、步骤S613、步骤S619、步骤 S625)。
[0186]步骤S601的是否进行了摄影帧变更操作的判定例如根据触摸输入部124是否检测到对于未显示图像的显示区域的触摸操作来进行。微型计算机121在检测到对于未显示图像的显示区域的触摸操作时，进行摄影帧变更处理，即切换应显示实时取景图像的显示区域并在所触摸的显示区域中显示实时取景图像的处理(步骤S603)。
[0187]步骤S605的是否进行了删除操作的判定例如根据触摸输入部124是否检测到对于显示有基于RAW图像数据的图像(帧图像)的显示区域的触摸操作来进行，所述RAW图像数据是通过机械快门的静态图像摄影而得到的。而且，在检测到对于显示有帧图像的显示区域的触摸操作时，微型计算机121判定所触摸的帧图像(显示区域)的尺寸是否较小(步骤S607)。
[0188]在判定为帧图像的尺寸较小时，执行步骤S613的处理，而不进行后述的删除处理(步骤S609、步骤S611 )。在帧图像的尺寸较小的情况下，例如为了进行摄影指示而想触摸实时取景图像却错误地触摸了帧图像等，容易触摸到与想触摸的显示区域不同的显示区域。因此，为了防止意料之外的删除处理的产生，设置这种判定处理。
[0189]另外，帧图像的尺寸是否较小可以根据显示区域的数量或组合图像的样式进行判定。即，例如可以预先进行设定，使得在设定了与分割数(显示区域的数量)较多的布局对应的样式的情况下，判定为帧图像的尺寸较小，在设定了与除此以外的布局对应的样式的情况下，判定为帧图像的尺寸较大。
[0190]此外，帧图像的尺寸是否较小可以根据所触摸的显示区域的面积是否小于预定面积来进行判定。该情况下，与根据显示区域的数量或组合图像的样式进行判定的情况不同，考虑显示面板135的尺寸。因此，比较合适的是仅在帧图像的尺寸是可能会发生意料之外的删除处理的尺寸的情况下能够避免删除处理。
[0191]在判定为帧图像的尺寸较大时，微型计算机121进行后撤保存在所触摸的显示区域中所显示的帧图像的图像数据的后撤保存处理(步骤S609)。具体而言，如图23所示，在SDRAM127中确保了由帧图像区域和帧图像后撤保存区域构成的显示/存储用组合图像存储区域的情况下，如图24的(a)和图24的(b)所示，例如进行将显示在所触摸的显示区域中的帧图像的图像数据从SDRAM127的帧图像区域复制到帧图像后撤保存区域，并删除存储在帧图像区域中的复制源的图像数据的处理。或者，如图25的(a)和图25的(b)所示，如果是使用参考指针来管理帧图像的图像数据的情况，则可以替代删除图像数据自身而删除基于指向图像数据的地址的参考指针的参考。
[0192]之后，进行实时取景显示变更处理，即切换应显示实时取景图像的显示区域并将在所触摸的显示区域中所显示的图像变更为实时取景图像的处理(步骤S611)。
[0193]步骤S613的是否进行了复原操作的判定根据操作部123是否检测到预定的操作(例如，对于显示有实时取景图像的显示区域的双击操作或选择显示有实时取景图像的显示区域而进行的删除按钮的按下操作等)来进行。在检测到复原操作时，微型计算机121进行使利用删除操作(步骤S609、步骤S611)删除的帧图像的图像数据复原的图像复原处理(步骤S615)。具体而言，如图24的(b)和图24的(c)所示，例如进行将在SDRAMl27的后撤保存区域中所保存的帧图像的图像数据复制到原来的帧图像区域，并删除帧图像后撤保存区域的图像数据的处理。或者，如图25的(b)和图25的(c)所示，如果是使用参考指针来管理帧图像的图像数据的情况，则可以复原基于指向图像数据的地址的参考指针的参考。
[0194]之后，进行实时取景显示变更处理，即在显示实时取景图像的显示区域中显示复原后的帧图像并在未显示帧图像的区域中显示实时取景图像的处理(步骤S617)。
[0195]步骤S619的是否进行了临时保存操作的判定根据操作部123是否检测到预定的操作(例如临时保存按钮的按下操作等)来进行。在检测到临时保存操作时，微型计算机121控制存储器I/F129，将存储在SDRAM127的组合图像存储区域中的帧图像的图像数据和用于生成组合图像的图像数据的其他数据(例如，与所设定的组合图像的样式相关的数据、以及表示帧图像的图像数据与显示区域之间的关系的数据等)记录到记录介质131 (步骤S621)。另外，可以替代记录介质131而记录到闪存125。之后，进行删除存储在SDRAM127的组合图像存储区域中的图像数据并对显示面板135的显示状态进行更新的组合图像重置处理(步骤S623)。
[0196]步骤S625的是否进行了临时保存读入操作的判定根据操作部123是否检测到预定的操作(例如临时保存读入按钮的按下等)来进行。在检测到临时保存读入操作时，微型计算机121判定是否处于摄影中途(步骤S627)。该判定例如根据在SDRAM127的组合图像存储区域中是否存储有帧图像的图像数据来进行判定。
[0197]在判定为处于摄影中途时，微型计算机121控制显示驱动器133，使显示面板135显示用于选择是否临时保存在组合图像存储区域中所存储的帧图像的图像数据等的显示(步骤S629)。在用户选择了临时保存的情况下，控制存储器I/F129，将在组合图像存储区域中所存储的帧图像的图像数据等记录到记录介质131 (步骤S631)。另外，也可以替代记录介质131而记录到闪存125。
[0198]之后，微型计算机121从记录介质131读入在步骤S621中记录的帧图像的图像数据等，并解压缩到SDRAM127的组合图像存储区域中(步骤S633)。在显示面板135的显示区域中显示在SDRAM127的组合图像存储区域中所存储的帧图像的图像数据，并且在未显示帧图像的显示区域中显示实时取景图像(步骤S635)。通过以上步骤，结束图8A和图SB的组合图像操作处理。
[0199]根据如上述那样动作的照相机1，能够通过触摸操作容易地变更显示实时取景图像的显示区域，因此能够使多个显示区域各自以任意的顺序显示所拍摄的帧图像。因此，与相对于摄影的顺序来确定显示区域的以往照相机不同，能够生成在用户期望的区域中以期望的顺序显示所拍摄的帧图像的组合图像。因此，能够容易地生成期望的组合图像的图像数据。此外，照相机I仅通过触摸显示帧图像的显示区域，就删除该帧图像并变更为实时取景图像。因此，能够通过简单的操作容易地重新拍摄不满意的帧图像，因此能够容易地生成期望的组合图像的图像数据。
[0200]如以上所说明那样，在本实施例的照相机I中，在通过触摸显示有实时取景图像的显示区域等而使操作部123受理了摄影指示时，取得帧图像，自动切换显示实时取景图像的显示区域。此外，在通过触摸显示有帧图像的显示区域等而使操作部123受理了删除指示时，删除帧图像，显示实时取景图像以重新进行摄影。此外，在本实施例的照相机I中，通过在合成前朝向相同的校正目标来校正帧图像，生成各个帧图像给观察者带来的印象相似的在整体上有统一感的组合图像的图像数据。因此，根据本实施例的照相机1，能够以简单的操作容易地生成期望的组合图像的图像数据。
[0201]因此，能够使用户维持在持续摄影的同时生成组合图像的较强动机。
[0202]【实施例2】
[0203]图26是示出本实施例的照相机的组合图像生成处理的流程图。本实施例的照相机构成为具有与图1例示的实施例1的照相机I相同的物理结构，除了组合图像生成处理以外，执行与照相机I相同的处理。以下，参照图26，关于在本实施例的照相机中进行的组合图像生成处理，以与在实施例1的照相机I中进行的组合图像生成处理的不同点为中心进行说明。[0204]图26所示的组合图像生成处理在以下方面与图6所示的实施例1的照相机I的组合图像生成处理不同:图像分析的对象是进行基本图像处理前的帧图像的图像数据(RAW图像数据)。即，本实施例的照相机根据帧图像的RAW图像数据来计算特征量(步骤S703)，由根据RAW图像数据计算出的特征量计算目标特征量(步骤S705)，并根据帧图像的RAW图像数据和目标特征量计算校正参数(步骤S707)。因此，优选预先设定为在图7的静态图像记录处理(步骤S504)中，与图像处理后的图像数据一起记录RAW图像数据。另外，在静态图像记录处理中记录通过图像分析得到的帧图像的特征量的情况下，在步骤S703中可以取得所记录的帧图像的特征量。之后的处理与照相机I的情况相同。用在步骤S707中得到的校正参数来校正进行了基本图像处理(以及特殊图像处理)后的帧图像(步骤S409)，然后对包含校正后的帧图像在内的多个帧图像的图像数据进行合成来得到组合图像(步骤S411)。进而最后对组合图像整体附加特殊效果(步骤S413)。
[0205]利用本实施例的照相机也能够得到与实施例1的照相机相同的效果，能够生成各个帧图像给观察者带来的印象相似的在整体上有统一感的组合图像的图像数据。
[0206]另外，本实施例的照相机在将以不同的特殊效果进行了图像处理后的图像组入到组合图像的情况下特别有效。在这种情况下，假定有如下的要求:作为组合图像整体想得到有统一感的图像，但还想维持附加给图像的特殊效果的差异。例如，在将以能够得到整体上明亮的图像那样的特殊效果(例如神奇对焦)进行了图像处理后的图像、和以能够得到强调了对比度的图像那样的特殊效果(例如流行艺术、玩具模式摄影)进行了图像处理后的图像组入到组合图像的情况下，在实施例1的照相机I中，根据应用了特殊效果的图像数据计算特征量，并计算与该特征量对应的校正参数，因此特殊效果的特征可能会被抵消。但是，在本实施例的照相机中，根据RAW图像数据计算特征量，并计算与该特征量对应的校正参数，因此能够得到在一定程度上维持了所附加的特殊效果的差异的同时、改善了作为整体的统一感的组合图像。
[0207]【实施例3】
[0208]图27是示出本实施例的照相机的组合图像生成处理的流程图。图28A至图28C是示出为了生成组合图像数据而进行的各种处理中的数据的输入输出的图。本实施例的照相机构成为具有与图1例示的实施例1的照相机I相同的物理结构，除了组合图像生成处理以外，执行与照相机I相同的处理。以下，参照图27至图28C，关于在本实施例的照相机中进行的组合图像生成处理，以与在实施例1的照相机I中进行的组合图像生成处理的不同点为中心进行说明。
[0209]图27所示的组合图像生成处理在以下方面与图6所示的实施例1的照相机I的组合图像生成处理不同:在图像分析前，对帧图像的RAW图像数据进行基本图像处理，将进行了该基本图像处理后的图像数据作为图像分析的对象。另外，在图像分析前进行的基本图像处理与图3所示的基本图像处理不同，是不论作为照相机的设定之一的图像的完成效果的设定如何，都以预先决定的预定设定(例如在该实施例中是“自然”设定)来进行动作的基本图像处理。即，本实施例的照相机用“自然”设定对帧图像的RAW图像数据进行基本图像处理(步骤S200a)，根据作为其输出的图像数据(以后记作“自然”图像数据。)计算特征量(步骤S803 )，根据由“自然”图像数据计算出的特征量来计算目标特征量(步骤S805 )，并根据帧图像的“自然”图像数据和目标特征量来计算校正参数(步骤S807)。因此，优选预先设定为在图7的静态图像记录处理(步骤S504)中，与图像处理后的图像数据一起记录RAW图像数据。之后的处理与照相机I的情况相同。利用在步骤S807中得到的校正参数来校正进行了依据图3所示的照相机的完成效果设定的基本图像处理(以及特殊图像处理)后的帧图像(步骤S409)，然后对包含校正后的帧图像在内的多个帧图像的图像数据进行合成来得到组合图像(步骤S411)。进而最后对组合图像整体附加特殊效果(步骤S413)。因此，如图28A至图28C所示，在本实施例的照相机中，帧图像的RAW图像数据不仅被用作用于生成校正对象的帧图像的图像数据的一系列处理(步骤S200、S300)的输入，还被用作用于计算校正参数的一系列处理(步骤S200a、S803、S805、S807)的输入。
[0210]利用本实施例的照相机也能够得到与实施例1的照相机相同的效果，能够生成各个帧图像给观察者带来的印象相似的在整体上有统一感的组合图像的图像数据。此外，本实施例的照相机与实施例2的照相机同样根据特殊图像处理前的图像数据来计算校正参数，因此即使在将预先取得的且已经附加了与照相机的设定不同的特殊效果的图像组入到组合图像的情况下，也能够得到在一定程度上维持所附加的特殊效果的差异的同时、改善了作为整体的统一感的组合图像。
[0211]另外，本实施例的照相机与实施例`2的照相机相比，能够生成更有统一感的组合图像。其理由是因为，通过基于在基本图像处理中进行的伽马校正的亮度变更处理，有时RAW图像数据与基本图像处理后的图像数据的亮度差异会变得较大，在基于在亮度差异较大的状态下得到的校正参数的校正中，有时不能充分改善帧图像间的统一感。此外，是因为关于颜色外观，在基本图像处理中进行的白平衡的校正处理对统一感带来的影响比较大。
[0212]【实施例4】
[0213]图29是示出本实施例的照相机的图像处理的流程图。图30是本实施例的照相机的基本图像处理部的功能框图。图31是本实施例的照相机的组合图像处理部的功能框图。本实施例的照相机构成为具有与图1例示的实施例1的照相机I相同的物理结构，除了图像处理以外，执行与照相机I相同的处理。其中，如图30和图31所示，基本图像处理部109a和组合图像处理部109c具有的功能与实施例1的照相机I不同。以下，参照图29至图31，关于在本实施例的照相机中进行的图像处理，以与在实施例1的照相机I中进行的图像处理的不同点为中心进行说明。
[0214]实施例1的照相机I在基本图像处理和特殊图像处理后进行的组合图像处理中计算校正参数来校正帧图像，与此相对，如图29所示，本实施例的照相机在相当于以往的基本图像处理的处理(步骤S200c)之前计算校正参数，并通过将该校正参数用作基本图像处理的参数来校正帧图像，在这方面与实施例1的照相机I差异较大。
[0215]而不是组合图像模式时的图像处理与实施例1的照相机I实质相同。
[0216]对是组合图像模式时的图像处理进行具体说明。首先，当确认是组合图像模式时(步骤S901)，基本图像处理部109a的图像校正部164不论照相机的设定(图像的完成效果设定)如何都以预先决定的预定设定(例如在该实施例中是“自然”设定)对RAW图像数据进行基本图像处理(步骤S200b)。然后，特征量计算部161对该输出数据进行分析来计算特征量(步骤S903)，并根据目标特征量计算部162计算出的特征量来计算作为校正目标的目标特征量(步骤S905)。然后，参数计算部163根据在步骤S903中计算出的特征量和在步骤S905中计算出的目标特征量计算用于进行校正以使帧图像的特征量变得相互相似的校正参数(步骤S907)。具体而言，例如特征量和目标特征量是亮度分布，校正参数是伽马转换表。此外，可以计算WB增益(R增益、B增益)作为校正参数。之后，图像校正部164根据照相机设定和在步骤S907中得到的校正参数对帧图像的RAW图像数据进行基本图像处理(步骤S200c)。在设定了艺术滤镜的情况下，特殊图像处理部109b进行特殊图像处理(步骤S911、S300a)。在这些图像处理结束后，组合图像处理部109c的组合图像生成部165将作为其输出的多个帧图像合成到背景图像上(步骤S913)，最后特殊效果附加部166对组合图像附加特殊效果(步骤S915)，并结束图像处理。
[0217]在本实施例的照相机中，由于将校正参数用作基本图像处理的参数，因此基本图像处理部109a负责实施例1的照相机I的组合图像处理部109c负责的几个功能(特征量计算部161、目标特征量计算部162、参数计算部163、图像校正部164)。另外，能够将校正参数用作基本图像处理的参数即可，因此用于得到校正参数的图像分析的对象可以是RAW图像数据，在该情况下能够省略步骤S200b。
[0218]利用本实施例的照相机也能够得到与实施例1的照相机相同的效果，能够生成各个帧图像给观察者带来的印象相似的在整体上有统一感的组合图像的图像数据。此外，本实施例的照相机与实施例2、3的照相机同样根据特殊图像处理前的图像数据计算校正参数，因此即使在将预先取得的且已经附加了与照相机的设定不同的特殊效果的图像组入到组合图像的情况下，也能够得到在一定程度上维持所附加的特殊效果的差异的同时、改善了作为整体的统一感的组合图像。
[0219]另外，在本实施例的照相机中，将校正参数用作处理RAW图像数据的基本图像处理的参数。即，在本实施例的照相机中，校正的对象是RAW图像数据，这点与其他实施例的照相机差异较大。[0220]一般而言，在图像处理中，为了计算时间的缩短和电路规模的抑制，在处理的中途进行减少灰度数来对图像进行尺寸调整的处理。例如，如果是本实施例的照相机的情况，为了减小仅在组合图像模式下使用的组合图像处理的电路规模，假定了在特殊图像处理后对图像进行尺寸调整的结构。在对尺寸调整前的图像数据进行校正的情况、和对尺寸调整后的图像数据进行校正的情况下，校正精度产生差异，因此组合图像的统一感可能会产生不同。因此，为了得到更良好的统一感，期望将图像尺寸较大的RAW图像数据作为校正对象。另外，根据本实施例的照相机，与对特殊图像处理后的图像进行校正的其他实施例的照相机相比，能够生成更有统一感的组合图像。相反，在相比图像的统一感更重视处理时间的缩短的情况下，更期望是其他实施例的照相机。
[0221]以上，作为图像处理装置例示了数字照相机来进行了说明，但上述技术不限于照相机专用设备，还可以适用于带照相机的移动电话(智能手机)、平板型设备以及其他便携式设备。此外，也可以应用于不具有摄影功能的图像处理装置、例如个人计算机等。上述实施例为了容易理解发明而示出了本发明的具体例子，但本发明不限于这些实施例。本发明的摄像装置能够在不脱离权利要求所规定的本发明的思想范围内进行各种变形、变更。此夕卜，只要能够得到相同的效果，则不限于上述处理顺序，当然可以替换流程图的处理步骤。以用YCbCr的轴进行转换的例子进行了说明，但其他颜色空间也成立。例如，在本实施例中，是HSV或YCbCr的颜色空间，但还有其他的YPbPr颜色空间(标准化为ITU — R BI709)、或均匀颜色空间(L * a * b *)等。此外，即使是相同的颜色空间也可以定义任意的坐标轴并在该轴上进行应用。
【权利要求】
1.一种图像处理装置，其对多个图像进行布局来生成组合图像的图像数据，该图像处理装置的特征在于，具有: 特征量计算部，其根据构成所述组合图像的图像来计算表示所述图像的特征的特征量; 图像校正部，其对计算出所述特征量的图像进行校正以使由所述特征量计算部计算出的特征量接近目标特征量；以及 组合图像生成部，其对包含由所述图像校正部进行了校正的图像在内的所述多个图像的图像数据进行合成来生成所述组合图像的图像数据。
2.根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置还具有目标特征量计算部，该目标特征量计算部根据由所述特征量计算部计算出的特征量来计算所述目标特征量。
3.根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置还具有参数计算部，该参数计算部根据由所述特征量计算部计算出的特征量和所述目标特征量来计算校正参数， 所述图像校正部利用由所述参数计算部计算出的校正参数，对计算出所述特征量的图像进行校正。
4.根据权利要求1所述的图像处理装置，其特征在于， 所述特征量包含构成所述组合图像的图像的亮度分布、色差信号分布、颜色饱和度分布或者色调分布中的至少一方。
5.根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置还具有特殊效果附加部，该特殊效果附加部进行对由所述组合图像生成部生成的组合图像的图像数据附加特殊效果的处理。
6.根据权利要求1?5中的任意一项所述的图像处理装置，其特征在于， 所述图像处理装置还具有摄像部，该摄像部拍摄被摄体来取得摄影图像， 构成所述组合图像的所述多个图像中的至少一个是由所述摄像部取得的摄影图像。
7.根据权利要求6所述的图像处理装置，其特征在于， 所述图像处理装置还具有对所述组合图像进行显示的显示部。
8.根据权利要求7所述的图像处理装置，其特征在于， 所述显示部对由所述摄像部反复取得的摄影图像进行实时取景显示。
9.根据权利要求6所述的图像处理装置，其特征在于， 所述图像处理装置还具有记录图像的记录部， 所述记录部将由所述摄像部反复取得的摄影图像作为动态图像进行记录。
10.一种图像处理装置的图像处理方法，对多个图像进行布局来生成组合图像的图像数据，该图像处理方法的特征在于，包含: 特征量计算步骤，根据构成所述组合图像的图像来计算表示图像的特征的特征量；图像校正步骤，对计算出所述特征量的图像进行校正以使通过所述特征量计算步骤计算出的特征量接近目标特征量；以及 组合图像生成步骤，对包含通过所述图像校正步骤进行了校正的图像在内的所述多个图像的图像数据进行合成来生成所述组合图像的图像数据。
【文档编号】H04N5/232GK103685928SQ201310421465
【公开日】2014年3月26日 申请日期:2013年9月16日 优先权日:2012年9月26日
【发明者】户井田真希, 市川学 申请人:奥林巴斯映像株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1