专利名称：摄像装置及摄像方法
技术领域：
本发明涉及适用于具有场景程序(scene program)功能的数码相机等的摄像装置及摄像方法。
背景技术：
在一般的数码相机中，存在很多如下的机型，即具有预先指定想要拍摄的被摄体的取景、光源环境、摄影模式等并自动进行适合摄影的设定的场景程序功能。利用这种场景程序功能，在所谓的被称为“夜景与人物”模式的设定模式中，将景深设定得较深，以夜景作为背景来进行摄影，在此摄影中将通过辅助光以适当的光量进行照明的人物作为被摄体。在这种“夜景与人物”模式中，考虑如下的多重曝光技术(例如，专利文献JP特开 2010-114566号公报)，即在使用辅助光拍摄近景的被摄体的图像之后，不使用辅助光连续拍摄多张图像，并基于特征点的偏差修正该多张图像来生成合成图像，将该合成图像进一步与上述近景的被摄体的图像进行合成。在上述专利文献所述的技术中，在主要使用辅助光来取得近景的被摄体用的图像之后，在不使用辅助光的情况下连续拍摄多张图像，并基于特征点的偏差修正该多张图像来生成合成图像。其结果，该合成图像成为以长的快门时间进行拍摄的、整体“稍暗”的图像。另一方面，在上述连续拍摄之前取得的图像成为仅使用了辅助光的近景“非常亮”而背景“非常暗”的图像。因此，对于由上述连续拍摄而得到的合成图像和在此之前拍摄到的图像而言，存在的问题在于无论是背景还是近景的人物，为使各自亮度产生较大差异而进行对位是比较困难的。
发明内容
本发明的第1方式提供一种摄像装置，其特征在于，具备摄影单元，其拍摄被摄体的图像从而输出图像信号；闪光灯发光单元，其与上述摄影单元的拍摄同步地向被摄体方向发光；保持单元，其保持上述摄影单元输出的图像信号；第1摄影控制单元，其基于规定的快门速度按照上述闪光灯发光单元不发光的方式使上述摄影单元进行拍摄；第2摄影控制单元，其基于比上述规定的快门速度快的快门速度按照上述闪光灯发光单元不发光的方式使上述摄影单元进行拍摄；第3摄影控制单元，其基于比上述规定的快门速度快的快门速度伴有上述闪光灯发光单元的发光使上述摄影单元进行拍摄；第1对位单元，在通过上述第1摄影控制单元的拍摄使得上述保持单元保持的图像信号和通过上述第2摄影控制单元的拍摄使得上述保持单元保持的图像信号中进行对位，计算第1偏差量；第2对位单元，在通过上述第2摄影控制单元的拍摄使得上述保持单元保持的图像信号和通过上述第 3摄影控制单元的拍摄使得上述保持单元保持的图像信号中进行对位，计算第2偏差量；图像合成单元，使用上述计算出的第1及第2偏差量，在通过上述第1摄影控制单元的拍摄使得上述保持单元保持的图像信号和通过上述第3摄影控制单元的拍摄使得上述保持单元保持的图像信号中进行对位，以取得合成图像的图像信号；和保存单元，使介质中保存由上述图像合成单元得到的图像信号。本发明的第2方式提供一种摄像方法，是具备拍摄被摄体的图像从而输出图像信号的摄影部、与上述摄影部的拍摄同步地向被摄体方向发光的闪光灯发光部、以及保持上述摄影部输出的图像信号的保持部的装置中的摄像方法，其特征在于，该摄像方法包括第 1摄影控制步骤，基于规定的快门速度按照上述闪光灯发光部不发光的方式使上述摄影部进行拍摄；第2摄影控制步骤，基于比上述规定的快门速度快的快门速度按照上述闪光灯发光部不发光的方式使上述摄影部进行拍摄；第3摄影控制步骤，基于比上述规定的快门速度快的快门速度并伴有上述闪光灯发光部的发光使上述摄影部进行拍摄；第1对位步骤，在通过上述第1摄影控制步骤的拍摄使得上述保持部保持的图像信号和通过上述第2 摄影控制步骤的拍摄使得上述保持部保持的图像信号中进行对位，计算第1偏差量；第2对位步骤，在通过上述第2摄影控制步骤的拍摄使得上述保持部保持的图像信号和通过上述第3摄影控制步骤的拍摄使得上述保持部保持的图像信号中进行对位，计算第2偏差量；和图像合成步骤，使用上述计算出的第1及第2偏差量，在通过上述第1摄影控制步骤的拍摄使得上述保持部保持的图像信号和通过上述第3摄影控制步骤的拍摄使得上述保持部保持的图像信号中进行对位，取得合成图像的图像信号。
图1是表示本发明的一实施方式涉及的数码相机的功能电路的示意结构的框图。图2是表示该实施方式涉及的场景程序“夜景与人物”模式设定的处理内容的流程图。图3是表示该实施方式涉及的图2的“夜景与人物”模式子程序的处理内容的流程图。图4是表示该实施方式涉及的图3的闪光图像对位子程序的处理内容的流程图。图5是表示该实施方式涉及的连续拍摄顺序的图。
具体实施例方式下面，参照
将本发明应用于数码相机的情况下的一实施方式。图1是表示本实施方式涉及的数码相机10的电路结构的图。在该图中，经由配设于相机框体前面的光学透镜单元11，将被摄体的光学图像入射到例如CMOS图像传感器12 的摄像面上进行成像。在也被称为取景图像显示或者实时取景图像显示的监视状态下，将通过该CMOS 图像传感器12摄像得到的图像信号传送给AGC ·Α/1)变换部13，执行相关二乘采样、自动增益调整或A/D变换处理来进行数字化。该数字值的图像数据经由系统总线SB被保持在作为缓冲存储器的DRAM14中。图像处理部15对该DRAM14中所保持的图像数据实施适当且必要的图像处理。图像处理部15具备去马赛克部15a、特征量运算部15b、块匹配部15c及图像变形合成相加部15d。另外，图像处理部15连接着SRAM16，该SRAM16主要用于在上述块匹配部15c进行的以块为单位的图像匹配处理中。在图像处理部15中，针对CMOS图像传感器12配备的拜尔(Bayer)排列的滤色器结构所对应的图像数据(以下称为“RAW(原始)数据”)，进行矩阵运算、像素插补处理、伽马修正处理等的去马赛克处理来实施数字显像处理，而变换成亮度色差系(YUV)的图像数据。图像处理部15生成从该图像数据中大幅削减了显示用的像素数及灰度比特后的图像数据，并经由系统总线SB将其送到显示控制器17中。显示控制器17基于送来的图像数据驱动显示部18，来显示取景图像。显示部18例如由附带背光的彩色液晶面板构成。在该显示部18的上部一体式构成使用了透明导电膜的触摸面板19。当在该触摸面板19上用户用手指等对表面进行触摸操作时，触摸面板控制器20计算操作坐标的位置，并经由上述系统总线SB将算出的坐标信号送到后述的CPU24中。另外，在与上述光学透镜单元11相同的照相机框体前面配设麦克风21，用于输入被摄体方向的声音。麦克风21将所输入的声音转换为电信号，并输出到声音处理部22中。声音处理部22在以声音为单体进行录音时、附带声音的静止图像摄影时、以及运动图像摄影时，将从麦克风21输入的声音信号转换成数字数据。进而，声音处理部22 检测数字化后的声音数据的声压级，另一方面，以规定的数据文件格式例如AACOiioving picture experts group-4Advanced Audio Coding)格式将该声音数据进行数据压缩来生成声音数据文件，并送到后述的记录介质中。此外，声音处理部22具备PCM声源等的声源电路，对在声音再现时传送来的声音数据文件进行解压缩来模拟化，并驱动设置于该数码相机10框体背面侧的扬声器23进行
扬声放音。CPU24综合控制以上电路。该CPUM与主存储器25、程序存储器沈直接连接。主存储器25例如由SRAM构成，作为工作存储器发挥功能。程序存储器沈例如由闪存等可电擦写的非易失性存储器构成，固定存储包括后述的场景程序的“夜景与人物”模式下的控制在内的动作程序、数据等。CPUM从程序存储器沈中读出必要的程序或数据等，在主存储器25中适当地暂时性展开存储，同时执行该数码相机10整体的控制动作。此外，上述CPUM对应于从按键操作部27直接输入的各种按键操作信号、以及与从上述触摸面板控制器20输入的由触摸面板19进行的触摸操作相应的坐标信号来执行控制动作。按键操作部27例如具备电源按键、快门按键、变焦放大/缩小按键、摄影模式按键、再现模式按键、菜单按键、光标按键(“丨”、“一”、“丨”、“一”)、设置按键、解除按键、显
示按键等。CPU24经由系统总线SB与上述AGC · A/D变换部13、DRAM14、图像处理部15、显示控制器17、触摸面板控制器20及声音处理部22进行连接之外，还与透镜驱动部28、闪光灯驱动部29、图像传感器(1 驱动部30及存储卡控制器31进行连接。透镜驱动部28接受来自CPU24的控制信号来控制透镜用DC电机(M) 32的转动，使构成上述光学透镜单元11的多个透镜组中的一部分、具体而言是变焦透镜及聚焦透镜的位置分别独立地沿着光轴方向移动。闪光灯驱动部四在静止图像摄影时接受来自CPUM的控制信号，使得由多个白色高亮度LED构成的闪光灯部33与摄影时刻同步地进行点亮驱动。图像传感器驱动部30根据在此时设定的摄影条件等，进行上述CMOS图像传感器 12的扫描驱动。上述图像处理部15在伴有上述按键操作部27的快门按键操作的图像摄影时，对从AGOA/D变换部13传送来并保持在DRAM14中的图像数据进行去马赛克处理，进而如果采用规定的数据文件格式例如JPEG (Joint Photographic Experts Group)，则实施DCT (离散余弦变换)或哈夫曼编码等数据压缩处理，生成将数据量大幅度削减后的图像数据文件。所生成的图像数据文件经由系统总线SB、存储卡控制器31而记录在存储卡34中。另外，图像处理部15将在再现模式时从存储卡34经由存储卡控制器31读出来的图像数据，经由系统总线SB进行读取，并在DRAM14中保持之后，按照与记录时相反的顺序对在该DRAM14中保持的图像数据进行解压缩的扩展处理，得到原始尺寸的图像数据，并经由系统总线SB将该图像数据输出到显示控制器17中，由显示部18进行显示。存储卡控制器31经由卡连接器35与存储卡34进行连接。存储卡34可自由装卸地安装在该数码相机10中，是作为该数码相机10的记录介质的记录图像数据等记录用存储器，其内部设有作为非易失性存储器的闪存及其驱动电路。接下来，对上述实施方式的动作进行说明。其中，在摄影模式下，设定了场景程序之一的“夜景与人物”模式之后，在执行该模式下的摄影时，CPUM读出程序存储器沈中存储的动作程序或数据，并在主存储器25中展开来进行存储，此后执行以下示出的动作。程序存储器沈中存储的动作程序等除了包括该数码相机10在制造工厂出货时在程序存储器沈中存储的程序之外，还包括例如在该数码相机10升级(version up)时通过将数码相机10与个人计算机连接来从外部下载新的动作程序、数据等。图2表示在接通电源之后在摄影模式下从场景程序的多个模式中选择“夜景与人物”模式进行设定时的处理内容。在接通电源之后，CPUM作为初始化，从程序存储器沈中读出在前次电源被切断时所存储的各种设定状态的信息来进行设定(步骤M101)。然后，判断按键操作部27的菜单按键是否被操作(步骤M102)。这里，在判断为未操作菜单按键的情况下，判断菜单项目是否已经被显示(步骤Mill)。这里，在判断为未显示菜单项目的情况下，在执行了其他处理之后(步骤M103)，再次返回到上述步骤M102中。这样，一边执行其他处理，一边等待菜单按键被操作。另外，在按键操作部27的菜单按键被操作的情况下，在上述步骤M102中对其进行判断，接着在显示部18中一览显示各种菜单项目(步骤M104)，然后判断是否从这些菜单项目中选择了场景程序(步骤M105)。这里，在判断为选择了场景程序以外的菜单项目的情况下，执行与该操作相对应的其他处理(步骤M103)。另外，在作为菜单项目而选择了场景程序的情况下，在上述步骤M105中对其进行判断，接着在显示部18中一览显示构成场景程序的多个场景程序模式(步骤M106)，然后判断是否从这些模式中选择了 “夜景与人物”模式(步骤M107)。这里，在选择了“夜景与人物”模式以外的场景程序模式的情况下，进行与该模式相应的处理动作(步骤M109)，在本实施方式中省略了其详细说明。此外，在上述步骤M107中判断为选择了“夜景与人物”模式的情况下，根据该操作进行“夜景与人物”模式下的处理动作(步骤M108)。然后，判断是否解除了场景程序模式 (步骤 Ml 10)。这里，在判断为解除了场景程序模式的情况下，返回到上述步骤M102中。另外，在判断为未解除场景程序模式的情况下，返回到上述步骤M107中。图3是表示上述步骤M108的“夜景与人物”模式处理的更详细内容的子程序。此外，在以下动作中，构成按键操作部27 —部分的快门按键具有2级操作行程 (stroke)，通过相当于整个行程一半左右的第1操作行程即所谓的“半按压”操作锁定此时的AE(自动曝光)值及AF(自动对焦)位置(光学透镜单元11内的聚焦透镜的位置)，进而通过相当于整个行程的第2操作行程即所谓的“全按压”操作执行静止图像的摄影。在该动作最初，CPUM执行AE处理和AF处理以取得适当的曝光值和对焦位置。根据取得的曝光值设定符合规定的取景图像的帧率例如30 “帧/秒”的快门速度和光圈值， 并且控制光学透镜单元11的聚焦透镜位置(步骤S101)。 在该状态下，CPU24利用AGC · A/D变换部13将从CMOS图像传感器12依次得到的图像信号进行数字化，并在保存到DRAM14中之后，通过图像处理部15的去马赛克部15a 实施去马赛克处理，而变换成原色(RGB)系的图像数据。CPU24生成从变换后的图像数据中大幅削减像素数和灰度比特后的图像数据，并经由系统总线SB传送到显示控制器17中，在显示部18中显示取景图像(步骤S102)。在显示该取景图像的状态下，CPUM判断构成按键操作部27 —部分的快门按键是否被半按压操作(步骤S103)。这里，在判断为未半按压操作快门按键的情况下，返回到上述图2的处理中。在选择“夜景与人物”模式的过程中，反复执行上述步骤SlOl S103的处理，一边在显示部18中显示取景图像一边等待快门按键被半按压操作。根据取景图像的显示状态，在快门按键被半按压操作的情况下，在上述步骤S103 中CPU24对其进行判断，当判断为进行了半按压操作的情况下，锁定此时的AE值和AF位置 (步骤 S104)。然后，CPUM基于从CMOS图像传感器12依次得到的图像信号使显示部18显示取景图像(步骤S105)。在显示该取景图像的状态下，CPUM判断构成按键操作部27 —部分的快门按键是否进一步被全按压操作(步骤S106)。这里，在判断为未全按压操作快门按键的情况下，接着判断该快门按键是否依然被半按压操作(步骤S107)。在确认了快门按键一直被半按压操作的情况下，再次返回到上述步骤S105中。这样，通过反复执行步骤S105 S107的处理，能够根据锁定了 AE值和AF位置的状态，一边显示取景图像一边持续进行快门按键的全按压操作的等待和半按压操作的确认。在解除了快门按键的半按压操作的情况下，CPUM在上述步骤S107中对其进行判断，并在解除了此前锁定的AE值和AF位置之后(步骤S108)，返回到上述图2的处理。另外，在上述步骤S106中判断为快门按键被全按压操作的情况下，CPU24基于此时锁定的AE值，设定比非闪光灯摄影下的适当曝光高2级QEV)的快门速度，例如若适当的快门速度为“1/15 ‘秒’ ”，则设定“1/60 ‘秒’ ”，然后连续拍摄多张例如6张静止图像(步骤 S109)。此时拍摄得到的静止图像当然都是距适当曝光值不足“-2EV”曝光的图像，但是通过使快门速度更加高速化来进行对应，而不是使光圈值变化，因此，对于各个静止图像而言摄影过程中难以产生“手抖动”、“像模糊”。另外，根据所谓的被称为“滚动快门”摄影的技术，控制CMOS图像传感器12的垂直传送路径的读出定时，通过在多个位置一部分同时进行连续图像的电荷读出，从而使时间上相邻的连续静止图像的电荷读出的定时一部分重叠，在更短的时间内完成多张图像的连拍摄影。接着，拍摄1张在最终的合成与保存中不使用的、非闪光灯摄影下的虚拟静止图像(步骤S110)。其次，为了拍摄应该在近景中存在的人物，与上述虚拟图像连续地拍摄1 张在使闪光灯部33闪光之后的静止图像(步骤S111)。图5表示上述6张非闪光下的静止图像的摄影和后续的虚拟用的非闪光下的静止图像的摄影、以及使用了闪光的静止图像的摄影的动作时序。在该图中，纵轴为作为摄影元件的CMOS图像传感器12的垂直方向的摄影位置，横轴为时间。如图所示，在6张非闪光下的静止图像的摄影中，如上述那样相对于适当曝光处于“-2EV”的曝光不足的状态，虽然是非闪光，但是无论怎样都为低(长)的快门速度。在其后的虚拟的非闪光下的摄影中，设定与闪光摄影相同的足够快的快门速度tl 例如 “1/125 ‘秒，，，。接着，伴着闪光灯部33的发光以足够快的快门速度tl例如“1/125 ‘秒’”进行摄影。在将以上合计8张的连续静止图像的RAW数据保存到DRAM14中的状态下，通过特征量运算部1 测量整个图像的白平衡(WB)值(步骤S112)。其次，通过去马赛克部1 对DRAM14中保持的全部8张的连续静止图像的RAW数据进行去马赛克处理，而变换成亮度色差系的YUV数据(步骤Sl 13)。接着，为了进行由非闪光摄影得到的6张静止图像之间的对位，块匹配部15c利用 SRAM16执行例如使用了 RANSAC (RANdom SAmple Consensus)的射影变换矩阵的运算(步骤 S114)。这种情况下，将在连续拍摄到的6张静止图像中时间上位于中央的图像、即第3张静止图像和第4张静止图像作为候补，并且选择第4张静止图像作为与之后进行闪光摄影的静止图像在时间上相近的图像。之后，以该第4张静止图像作为基准，在第1、2、3、5、6张各静止图像与作为基准的第4张静止图像之间进行射影变换矩阵运算。通过该射影变换矩阵的运算，算出第1、2、3、5、6张各静止图像与作为基准的第4 张静止图像之间的偏差量、即表示偏差的大小和方向的矩阵，将其作为特征量。根据上述运算结果，通过在第1、2、3、5、6张各静止图像与作为基准的第4张静止图像之间计算出的偏差量大小是否都在预先设定的阈值以下，来判断非闪光图像组的对位是否成功(步骤Sl 15)。这里，在判断出第1、2、3、5、6张各静止图像与作为基准的第4张静止图像之间计算出的偏差量大小都在预先设定的阈值以下，非闪光图像组的对位已成功的情况下，进行上述6张非闪光摄影中的作为基准的第4张静止图像和1张闪光摄影的图像之间的对位 (步骤 Sl 16)。图4是表示上述步骤S116的对位处理的更详细内容的子程序。首先，在上述第8 张拍摄到的使用了闪光灯部33的静止图像和第7张拍摄到的非闪光的静止图像中，通过块匹配部15c的块匹配处理和使用了 RANSAC的射影变换矩阵的运算来进行对位，求出表示两个静止图像的偏差量的射影变换矩阵A (步骤S301)。这里，在上述第8张拍摄到的使用了闪光灯部33的静止图像中，由于快门速度快、 且因为使用了闪光因而在近景中存在的被摄体(人物)应该被明亮地拍摄到，故该静止图像成为图像中的一部分被摄体明亮而背景非常暗的图像。对于一个非闪光下的虚拟图像，因为快门速度快、且没有使用闪光，所以成为近景和背景整个都非常暗的图像。因此，在这2个静止图像中，由于快门速度相同、背景的亮度等大致相等，因而能够较容易且准确地算出射影变换矩阵A。接下来，在第7张拍摄到的非闪光的静止图像和上述6张连续拍摄到的非闪光的静止图像中的作为基准的第4张静止图像中，进行用于配合曝光的增益修正(步骤S302)。这里，上述第7张非闪光下的虚拟图像，因为快门速度快、且没有使用闪光，因而成为近景和背景整个都非常暗的图像。另一方面，上述第4张拍摄到的非闪光的静止图像，因为快门速度慢、且没有使用闪光，因而成为近景和背景整体略暗的图像。在这2个静止图像中，都是非闪光摄影，正因为亮度值因快门速度的不同而不同， 因而亮度变化样式相同，故通过以一方作为基准算出与快门速度的比相应的增益，并将算出的增益与另一方的亮度值相乘，从而在理论上成为同一亮度的静止图像。这样，在一方增益修正过的、第7张拍摄到的非闪光的静止图像和上述6张连续拍摄到的非闪光的静止图像中的作为基准的第4张静止图像中，通过块匹配部15c的块匹配处理和使用了 RANSAC的射影变换矩阵的运算进行对位，求出表示两个静止图像的偏差量的射影变换矩阵B (步骤S303)。然后，判断在上述步骤S301、S303中是否能一起求出射影变换矩阵A、B(步骤 S304)。这里，仅在判断为能一起求出2个射影变换矩阵A、B的情况下，使上述第8张拍摄至_使用了闪光灯部33的静止图像，相对于上述6张连续拍摄到的非闪光的静止图像中的作为基准的第4张静止图像，利用上述射影变换矩阵A、B，基于多个特征的点进行对位(步骤S305)。此外，这里，虽然使闪光摄影的图像变形后进行了对位，但是也可使非闪光的第4 张静止图像变形后进行对位。其中，这种情况下需要修正在上述步骤S114中求出的特征量 (偏差量)。然后，将闪光摄影的静止图像和非闪光摄影的第4张静止图像进行合成(步骤 S306)，以上结束了该图4的子程序，并返回到上述图3的处理中。
这种情况下，基于射影变换矩阵之积“Α女B”，在由图像变换合成相加部15d对一方的静止图像的背景部分进行了坐标变换之后进行对位，从而修正因夹着以非闪光方式拍摄到的虚拟静止图像的前后时间差引起的偏差量，由此能够正确地合成近景的人物和背
旦
ο另外，在上述步骤S304中判断为无法求出2个射影变换矩阵A、B的至少一个的情况下，不进行上述步骤S305的处理而直接进行合成，从而结束该图4的子程序，并返回到上述图3的处理中。在图3中，在上述步骤S116的闪光摄影的图像的对位处理之后，相对于该合成图像，针对在上述6张连续拍摄到的非闪光的静止图像中除去了作为基准的第4张静止图像后的剩余的第1、2、3、5、6张共计5张静止图像，也基于上述步骤S114中计算出的特征量 (偏差量)进行对位，然后合成图像(步骤S117)。这种情况下，关于非闪光的共计5张静止图像的合成，特别利用HDR(High Dynamic Range)合成技术，尤其放大背景部分的动态范围，尤其减少产生了 “黑斑”的部分。然后，在将合成后的静止图像作为最终图像实施符合例如JPEG格式的数据压缩而形成数据文件之后，将得到的图像数据文件保存到本数码相机10的记录介质即存储卡 34中(步骤Sl 18)，至此结束一系列处理，并返回到上述图2的处理中。另外，在上述步骤S115中在非闪光摄影的第1、2、3、5、6张各静止图像与作为基准的第4张静止图像之间算出的偏差量的大小都比预先设定的阈值大，判断为非闪光图像组的对位失败的情况下，在图像的暗部较大且对位困难时、或者若因手抖动或像模糊而进行图像合成但是成为经不起观赏的图像的可能性高时，仅将第8张的使用了闪光灯部33的静止图像的图像数据单独设定为最终图像(步骤S119)。然后，进入到步骤S118，在实施符合例如JPEG格式的数据压缩从而形成数据文件之后，将得到的图像数据文件保存到本数码相机10的记录介质即存储卡34中，至此结束一系列处理，并返回到上述图2的处理中。根据以上详细叙述的本实施方式，在拍摄夜景和近景人物时，在不使用闪光灯部 33的摄影与使用闪光灯部33的摄影之间，插入执行不使用闪光的虚拟摄影，并在用射影变换矩阵求出各图像和位于中间的亲和性强的虚拟图像之间的偏差量之后，基于求出的射影变换矩阵，将未使用闪光灯部33的摄影所得到的背景和使用闪光灯部33的摄影所得到的近景的人物的图像进行合成，由此可高成功率地实现近景部分和背景部分各自的对位。此外，在上述实施方式中，如上述图5所示，说明了连续取得多张例如6张非闪光摄影的图像，但是本发明并不限定于此，也可以进行适当曝光具体而言通过使光圈值开放尽可能使快门速度高速化，通过非闪光的摄影取得1张静止图像，然后转移至至虚拟用的非闪光摄影。这种情况下，由于最少用3次图像摄影就能完成一系列动作，因而能够减少图像处理部15中的运算量，减轻负担，且使含有时间的动作简洁化。与之相反，如本实施方式说明过的那样，在按照比适当曝光快的快门速度分多次连续取得非闪光摄影的图像的情况下，可减少在非闪光摄影时发生手抖动、像模糊的可能性，能提高图像合成的成功率，并且利用HDR合成技术能够提升背景部分的图像的动态范围，。
另外，如上述实施方式所示，在按照比适当曝光快的快门速度分多次连续取得非闪光摄影的图像的情况下，以其中之一的图像作为基准，进行与同样的其他图像之间的对位、以及与虚拟用的非闪光摄影的图像之间的对位，因而能够使处理简单化，从而易于判断可否进行对位。此外，在上述实施方式中，在判断为非闪光摄影的连续多张图像的对位失败的情况下，因为不使用这些被判断为合成失败的一系列非闪光图像，而只保存利用闪光灯部33 拍摄到的图像，所以针对图像的暗部较大且对位困难的情况、或者因为手抖动或像模糊而进行图像合成时成为经不起观赏的图像的可能性高的图像，不进行图像合成，也能可靠地只记录想要利用闪光灯部33在近景中拍到人物的静止图像。另外，在上述实施方式中，在判断为非闪光摄影的连续多张图像的对位成功的情况下，由于通过使用了例如基于RANSAC的射影变换矩阵的对位而得到最终合成图像，因而可进行稳定且高成功率的对位。此外，虽然在上述实施方式中没有示出，但是在要进行合成的多张图像之间没有偏差量、或者即便有但都比规定阈值低的情况下，也可以不进行针对图像的变形而直接合成，从而也能减轻图像处理部15中的负担，简化处理。另外，在上述实施方式中，因为在由非闪光摄影得到的图像与虚拟用的非闪光摄影得到的图像中对其中一个图像实施增益修正而使得亮度值电平一致之后，与另一个图像进行对位，因而提高了对位时的运算精度，能实现更精确的对位。进而，在本实施方式中，在由非闪光摄影得到的图像与由闪光摄影得到的图像中进行对位时，在基于成为多个特征点的点使图像变形之后进行合成。由此，在合成不同的定时所取得的图像时，考虑位置变化等能够合成并取得更准确、自然的图像。此外，在上述实施方式中，说明了在由非闪光摄影取得了 6张图像之后由虚拟用的非闪光摄影取得图像，然后由闪光摄影取得图像的情况，但是也可插入由虚拟用的非闪光摄影取得图像的情况，更换前后图像取得的顺序。然而，在人物摄影时，因为考虑到结束了闪光摄影之后作为被摄体的人物会活动的情况较多，所以认为在闪光摄影前取得对位用的非闪光摄影的图像这样的本实施方式的顺序，可使得对位成功的概率有所提高。这种情况下，也可首先由虚拟用的非闪光摄影取得图像，然后由非闪光摄影取得6张图像。另外，本发明说明了适用于数码相机的情况下的实施方式，但是本发明并不限定于此，只要是具有可进行伴有闪光的摄影的相机功能的电子设备，即便是便携电话终端、携带型个人计算机、电子书终端或PDA (Personal Digital Assistants 个人数字助理)等， 也同样可以实施。除此之外，本发明并不限定于上述实施方式，在实施阶段只要在不脱离本发明宗旨的范围内就可进行各种变形。另外，在上述的实施方式中所执行的功能也可进行适当的组合并实施。在上述的实施方式中含有各种阶段，根据所公开的多个构成要件的适当组合可提取出各种发明。例如，即便从实施方式所示的全部构成要件中删除了几项构成要件，只要是能得到本发明效果的构成，删除了构成要件之后的构成也可提取为本发明。
权利要求
1.一种摄像装置，其特征在于，具备摄影单元，其拍摄被摄体的图像从而输出图像信号； 闪光灯发光单元，其与上述摄影单元的拍摄同步地向被摄体方向发光； 保持单元，其保持上述摄影单元输出的图像信号；第1摄影控制单元，其基于规定的快门速度按照上述闪光灯发光单元不发光的方式使上述摄影单元进行拍摄；第2摄影控制单元，其基于比上述规定的快门速度快的快门速度按照上述闪光灯发光单元不发光的方式使上述摄影单元进行拍摄；第3摄影控制单元，其基于比上述规定的快门速度快的快门速度伴有上述闪光灯发光单元的发光使上述摄影单元进行拍摄；第1对位单元，在通过上述第1摄影控制单元的拍摄使得上述保持单元保持的图像信号和通过上述第2摄影控制单元的拍摄使得上述保持单元保持的图像信号中进行对位，计算第1偏差量；第2对位单元，在通过上述第2摄影控制单元的拍摄使得上述保持单元保持的图像信号和通过上述第3摄影控制单元的拍摄使得上述保持单元保持的图像信号中进行对位，计算第2偏差量；图像合成单元，使用上述计算出的第1及第2偏差量，在通过上述第1摄影控制单元的拍摄使得上述保持单元保持的图像信号和通过上述第3摄影控制单元的拍摄使得上述保持单元保持的图像信号中进行对位，以取得合成图像的图像信号；和保存单元，使介质中保存由上述图像合成单元得到的图像信号。
2.根据权利要求1所述的摄像装置，其特征在于，上述摄像装置还具备自动曝光单元，上述自动曝光单元取得适当的光圈值和快门速度，所述第1摄影控制单元按照上述闪光灯发光单元不发光的方式使上述摄影单元基于由上述自动曝光单元得到的快门速度进行拍摄。
3.根据权利要求1所述的摄像装置，其特征在于，上述摄像装置还具备自动曝光单元，上述自动曝光单元取得适当的光圈值和快门速度，上述第1摄影控制单元按照上述闪光灯发光单元不发光的方式使上述摄影单元基于比由上述自动曝光单元得到的快门速度快的快门速度进行多次拍摄。
4.根据权利要求3所述的摄像装置，其特征在于，上述摄像装置还具备第3对位单元，上述第3对位单元以通过上述第1摄影控制单元的拍摄使得上述保持单元保持的多张图像信号中的一个图像信号作为基准，进行剩余的其他图像信号的对位，所述第1对位单元在上述第3对位单元中作为基准的图像信号和通过上述第2摄影控制单元的拍摄使得上述保持单元保持的图像信号中进行对位。
5.根据权利要求4所述的摄像装置，其特征在于， 上述第3对位单元在对位时计算第3偏差量，还具备判定单元，上述判定单元基于上述第3对位单元计算出的第3偏差量判定上述第1摄影控制单元的拍摄是否合格，上述图像合成单元在上述判定单元的判定结果中判定为上述第1摄影控制单元的拍摄不合格的情况下，停止取得基于对位的合成图像的图像信号，上述保存单元只将通过上述第3摄影控制单元的拍摄使得上述保持单元保持的图像信号保存到介质中。
6.根据权利要求4所述的摄像装置，其特征在于， 上述第3对位单元在对位时计算第3偏差量，还具备判定单元，上述判定单元基于上述第3对位单元计算出的第3偏差量判定上述第1摄影控制单元的拍摄是否合格，上述图像合成单元在上述判定单元的判定结果中判定为上述第1摄影控制单元的拍摄合适的情况下，利用上述计算出的第1及第2偏差量，在通过上述第1摄影控制单元的拍摄使得上述保持单元保持的图像信号和通过上述第3摄影控制单元的拍摄使得上述保持单元保持的图像信号中使用射影变换矩阵进行对位，以取得合成图像的图像信号。
7.根据权利要求1所述的摄像装置，其特征在于，上述图像合成单元在上述计算出的第1及第2偏差量的至少一方在规定的阈值以下的情况下，不对通过上述第1摄影控制单元的拍摄使得上述保持单元保持的图像信号和通过上述第3摄影控制单元的拍摄使得上述保持单元保持的图像信号进行对位而进行合成，以取得图像信号。
8.根据权利要求1所述的摄像装置，其特征在于，上述摄像装置还具备增益修正单元，上述增益修正单元基于通过上述第1摄影控制单元的拍摄使得上述保持单元保持的图像信号，对通过上述第2摄影控制单元的拍摄使得上述保持单元保持的图像信号进行增益修正，上述第1对位单元在上述增益修正后的图像信号和通过上述第1摄影控制单元的拍摄使得上述保持单元保持的图像信号中进行对位，计算第1偏差量。
9.根据权利要求1所述的摄像装置，其特征在于，上述第1及第2对位单元的至少一方分别使用图像中相互分离的多个点来计算偏差量，上述图像合成单元按照在上述多个点的各个点偏差量为零的方式使至少一个图像变形，来取得合成图像的图像信号。
10.一种摄像方法，是具备拍摄被摄体的图像从而输出图像信号的摄影部、与上述摄影部的拍摄同步地向被摄体方向发光的闪光灯发光部、以及保持上述摄影部输出的图像信号的保持部的装置中的摄像方法，其特征在于，该摄像方法包括第1摄影控制步骤，基于规定的快门速度按照上述闪光灯发光部不发光的方式使上述摄影部进行拍摄；第2摄影控制步骤，基于比上述规定的快门速度快的快门速度按照上述闪光灯发光部不发光的方式使上述摄影部进行拍摄；第3摄影控制步骤，基于比上述规定的快门速度快的快门速度并伴有上述闪光灯发光部的发光使上述摄影部进行拍摄；第1对位步骤，在通过上述第1摄影控制步骤的拍摄使得上述保持部保持的图像信号和通过上述第2摄影控制步骤的拍摄使得上述保持部保持的图像信号中进行对位，计算第 1偏差量；第2对位步骤，在通过上述第2摄影控制步骤的拍摄使得上述保持部保持的图像信号和通过上述第3摄影控制步骤的拍摄使得上述保持部保持的图像信号中进行对位，计算第 2偏差量；和图像合成步骤，使用上述计算出的第1及第2偏差量，在通过上述第1摄影控制步骤的拍摄使得上述保持部保持的图像信号和通过上述第3摄影控制步骤的拍摄使得上述保持部保持的图像信号中进行对位，取得合成图像的图像信号。
全文摘要
本发明所提供摄像装置具备摄影系统，拍摄图像；闪光灯部，在摄影时发光；DRAM，保持拍摄得到的图像；CPU，基于规定的快门速度按照闪光灯部不发光的方式使摄影系统拍摄第1图像，基于比规定的快门速度快的快门速度按照闪光灯部不发光的方式使摄影系统拍摄第2图像，基于比规定的快门速度快的快门速度并伴有闪光灯部发光使摄影系统拍摄第3图像；和图像处理部，在DRAM保持的第1及第2图像中进行对位来计算第1偏差量，在DRAM保持的第2及第3图像中进行对位来计算第2偏差量，使用计算出的第1及第2偏差量在DRAM保持的第1及第3图像中进行对位以取得合成图像，从而在拍摄夜景和使用了辅助光的近景人物时在多重曝光后可高成功率地实现近景部分和背景部分各自的对位。
文档编号H04N5/232GK102469265SQ20111036209
公开日2012年5月23日 申请日期2011年11月15日 优先权日2010年11月18日
发明者松永和久 申请人:卡西欧计算机株式会社