图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及一种进行多个所拍摄图像的合成并获取最适当图 像的图像处理技术。
背景技术：
通过数字照相机拍摄时的照相机抖动(手抖动)等有时会引 起图像模糊。为了防止该模糊，最好以快速快门速度拍摄图像。然而，由于最适当的快门速度基于被摄体的亮度、光圈值(stop value)和图像捕获装置的感光度(sensitivity)之间的关系来确 定，因而例如在被摄体具有低亮度的情况下，存在为了确保必要 的曝光，除最大光圏值以外还必须设置慢速快门速度的情况。在 这种情况下，存在以下防止模糊的措施提高图像捕获装置的感 光度、通过三脚架固定照相机、以及利用闪光灯进行拍摄等。然而，当以提高了的图像捕获装置的感光度拍摄图像时，所 拍摄的图像会包含显著的噪声。而且，利用三脚架的拍摄会限制 拍摄地点。此外，利用闪光灯进行拍摄不适用于闪光灯不能到达 的远距离被摄体。考虑到这些问题，提出了通过在短的拍摄间隔以快速快门速 度拍摄多个图像并进行多个所拍摄图像的合成从而基本上确保必 要曝光量的方法(日本特开平9-261526号公报)。然而，在用于通过传统的多个图像合成获取适当曝光图像的 方法中，当在"慢同步(slow-synchro)"拍摄中进行图像合成时 发生问题。"慢同步"拍摄例如用于在夜景中拍摄人的情况。作为对于闪 光灯到达人但是不能到达背景，因而不能捕获想要的拍摄图像的
情况的对策而设计"慢同步，，拍摄。"慢同步"拍摄能够根据背景的明亮度(lightness)减慢快门速度，并且与闪光灯同步地捕获人和 背景。图17A- 17E是用于解释在慢同步拍摄中合成多个图像的图。 图17A 17D示出在慢同步拍摄模式下获得的多个图像的例子。图 17A示出利用闪光灯所获得的图像，在该图像中，由于曝光不足， 因而人的颜色和明亮度适当，而背景较暗。图17B 17D中的图像 是在不使用闪光灯的情况下利用短的曝光时间所拍摄的。由于曝 光时间短，因而所有图像全部较暗。合成这四个图像产生图17E 中的图像。通过叠加这四个图像，背景区域可以获得适当明亮度。 然而，对于人区域，尽管仅在图17A中获得了适当明亮度，但由于 叠加了图17B ~ 17D中的图像数据，因而失去了适当的颜色和明亮 度。如在该例子中一样，当画面包括适当曝光不同的混合区域时， 需要对各区域进行不同处理。发明内容考虑以上问题提出了本发明，并且本发明的目的是提供一种 图像处理设备和图像处理方法，当采用用于进行多个图像的合成并获取具有适当曝光的图像的方法时，该设备和方法可以以区域 为单位合成最适当的图像。为了解决上述问题，本发明提供一种图像处理设备(或图像 处理方法)，其通过使用由图像捕获部件获取的多个图像来校正图 像模糊，其特征在于包括模糊检测部件(步骤)，用于检测多个 图像之间的模糊量(blur amount);图像合成部件(步骤)，用于 使用所检测到的模糊量进行多个图像的合成；获取部件(步骤)， 用于基于多个图像之间的差值和其阔值，获取用于通过改变阈值 将该图像分成区域的区域数据；以及显示部件(步骤)，用于可选择地显示各阈值的区域数据。而且，本发明提供一种图像处理设备(或图像处理方法)，其 通过使用由图像捕获部件获取的多个图像来校正图像模糊，其特征在于包括模糊检测部件(步骤)，用于检测多个图像之间的模 糊量；图像合成部件(步骤)，用于使用所检测到的模糊量进行多 个图像的合成；获取部件(步骤)，用于基于多个图像之间的差值 和其阈值，获取用于通过改变阈值将该图像分成区域的区域数据； 以及校正部件(步骤)，用于校正为各阈值获取的区域数据。注意，本发明还可用于以下情况使用上述图像处理方法作 为使计算机执行该图像处理方法的程序、或作为存储该程序的计 算机可读的存储介质。如上所述，由于本发明能以区域为单位从多个图像中获取区 域数据并选择合成图像，因而本发明可以获取完全适当的合成图 像。而且，通过从多个图像中获得区域数据并进行校正，可以获 得准确的区域数据，并且可以获取完全适当的合成图像。通过随后对本发明优选实施例的说明，对于本领域的技术人 员来说，除以上所讨论之外的其它目的和优势将显而易见。在本 说明书中，参照构成本说明书 一部分并示出本发明的例子的附图。 然而，这些例子并未穷尽本发明的各种实施例，因此，参照本说 明书所附的权利要求书来确定本发明的范围。


包括在说明书中并构成说明书的一部分的附图，示出了本发 明的实施例，并与说明书一起用来解释本发明的原理。图l是示出根据本发明第 一 实施例的数字照相机的结构的例 子的框图2是示出由根据本发明第 一 实施例的数字照相机所执行的 处理的流程图；图3是示出根据本发明第 一 实施例的全画面合成图像的生成 处理的流程图；图4是示出根据本发明第 一 实施例的模糊校正处理的流程图； 图5是示出根据本发明第 一 实施例的被摄体提取的二值化处 理的流程图；图6是示出根据本发明第 一 实施例的二值化图像校正处理的 流程图；图7A ~ 7F是根据本发明第 一 实施例利用AF数据的二值化图 像校正处理的说明图；图8是示出根据本发明第 一 实施例利用AF数据的二值化图像 校正处理的流程图；图9是根据本发明第四实施例的照相机与个人计算机连接的 系统的说明图；图IO是示出根据本发明第 一 实施例的区域合成图像生成处理 的流程图；图ll是示出根据本发明第 一 实施例的区域合成图像显示和记 录处理的流程图；图12是示出根据本发明第二实施例的区域合成图像生成、显 示和记录处理的流程图；图13是示出根据本发明第三实施例的区域合成图像生成、显 示和记录处理的流程图；图14A 14F是示出根据本发明第一实施例用于确定阈值的 用户界面的例子的图；图15是示出根据本发明第四实施例的图像数据文件格式的例 子的图16A 16F是示出根据本发明第四实施例用于确定阈值的 用户界面的例子的图；以及图17A- 17E是慢同步拍摄的说明图。
具体实施方式
以下，将根据附图详细说明本发明的优选实施例。 第一实施例图1是示出作为根据本发明第 一 实施例的图像处理设备的例 子的数字照相机的结构的框图。注意，根据第一实施例的图像处 理设备不局限于数字照相机，而可以通过数字摄傳_机、带照相机 的移动电话、以及带照相机的计算机等图像捕获设备来实现。来自拍摄镜头ll的入射光束(拍摄光)经过光圈13a的光量限 制，通过快门12a,并在图像捕获单元19中形成图像。图像捕获单元19使用CMOS图像传感器或CCD图像传感器等 图像捕获单元将所接收到的光转换成图像信号。拍摄镜头ll还通过多个光学透镜构成。这些透镜中的部分或 全部透镜响应于AF驱动电动机14a的驱动力沿光轴10移动，并停 止在预定对焦位置处，从而调节焦点。当AF驱动电动机14a从焦点驱动单元14b接收驱动信号时，驱 动AF驱动电动才几14a。当拍摄镜头11的部分光学透镜从变焦驱动电动机15a接收驱 动力时该部分光学透镜沿光轴10移动，停止在预定变焦位置处， 从而改变拍摄视场角(angle of field )。通过从变焦驱动单元15b 接收驱动信号来驱动变焦驱动电动机15a。光圈13a具有多个光圏叶片。通过从光圏驱动单元13b接收驱 动力来操作这些光圈叶片，以改变用作光通孔(light passage hole )的光圈区域(光圏直径)。
快门12a具有多个快门叶片。这些快门叶片通过从快门驱动单 元12b接收驱动力，打开或关闭用作光通孔的开口部分。通过该操 作，控制在图像捕获单元19上入射的光束。根据拍摄时的条件(被摄体亮度等)，通过从闪光灯驱动单元 16b接收驱动信号驱动闪光灯16a (发光)。此外，通过从扬声器驱动单元17b接收驱动信号，驱动用于通 知拍摄者拍摄操作的扬声器17a (发声)。通过拍摄控制单元18控制驱动焦点驱动单元14 b 、变焦驱动单 元15b、光圈驱动单元13b、快门驱动单元12b、闪光灯驱动单元 16b、以及扬声器驱动单元17b。将来自快门按钮12c、光圈操作单元13c、变焦操作单元15c、 以及闪光灯操作单元16 c的操作信号输入到拍摄控制单元18 。根据 数字照相机的拍摄状态，将这些操作信号分别提供给快门驱动单 元12b、光圈驱动单元13b、焦点驱动单元14b、变焦驱动单元15b、 以及闪光灯驱动单元16b以设置拍摄条件，并进行拍摄。注意，快 门按钮12c包括通过半按下快门按钮打开的第一释放开关(SW1 ) 和通过全按下快门按钮打开的第二释放开关(SW2)。注意，由于在拍摄时通常由数字照相机自动设置光圏13a的光 圈直径和闪光灯16 a的发光，因而光圏作单元13 c和闪光灯驱动 单元16b不是必需的。然而，设置光圏操作单元13c和闪光灯驱动 单元16 b用于拍摄者任意设置拍摄条件的情况。拍摄控制单元18基于输入给将在后面说明的图像处理单元 lll的图像信号，测量被摄体亮度(测光)，并且基于测光结果， 确定光圈13a的光圈直径和快门12a的关闭定时(曝光时间)。此外，拍摄控制单元18在驱动焦点驱动单元14b的同时，基于 来自图像处理单元lll的输出，获得拍摄镜头ll的对焦位置。通过A/D转换器110将从图像捕获单元19输出的图像信号转
换成数字图像信号，并将该图像信号输入给图像处理单元lll。图像处理单元111基于从A/D转换器110所发送的数字图像信 号，生成与所拍摄图像相对应的图像数据。将由图像处理单元lll生成的图像数据临时存储在存储器113 中。图像计算单元150读取存储在存储器113中的图像数据，进行 处理，并将图像数据再次写入该存储器中。根据输出图像选择单 元141的操作，在显示单元118上查看该图像的同时确定将最终记 录的图像。通过记录单元119将所选择的图像记录在存储卡等记录 介质中。图2是用于概述拍摄操作的流程图。当打开数字照相机的电源 时，开始该流程。此处详细说明慢同步拍摄时的操作。在步骤S201,拍摄者进行快门按钮12c的半按下。控制通过 循环该步骤而待机，直到拍摄者进行拍摄准备操作为止。当打开 第一释放开关(SW1)时，控制进入步骤S202。在步骤S202，通过图像捕获单元19捕获被摄体。在图像处理 单元lll检测到图像的对比度时，拍摄控制单元18通过驱动AF电 动机14a伸长镜头11,并在具有最高对比度的位置处停止镜头11 的伸长。同时，图像处理单元lll基于来自图像捕获单元19的输出， 获得被摄体的明亮度。在步骤S203,基于在步骤S202中所获得的被摄体的明亮度等 拍摄条件，计算待拍摄的张数和各自的曝光时间。这里，拍摄条件包括以下四点-被摄体的明亮度；-拍摄光学系统的焦距；-拍摄光学系统的明亮度(光圏值)；以及-图像捕获装置的感光度。假定将图像捕获装置的感光度设置在ISO速度200。
基于所测量的被摄体明亮度，假定该计算求出需要将光圈13a 设置成最大光圈(例如，f2.8)且快门12a需要曝光时间1/8 (秒)， 以给予被摄体适当曝光。在这种情况下，如果在35毫米胶巻中焦距为30毫米，则具有 曝光时间1 / 8的拍摄更有可能引起照相机抖动模糊。考虑到这一 点，设置引起照相机抖动模糊的可能性较小的曝光时间1/32，并 且设置四次拍摄。同样地，如果焦距为300毫米，则设置引起照相机抖动模糊的 可能性较小的曝光时间1/320，并且设置四十次拍摄。以上述方式，根据拍摄条件确定拍摄多张的情况下的曝光时 间。此外，还根据拍摄条件设置待拍摄的张数。在完成以上计算后，在数字照相机取景器或液晶显示器上显 示所计算的拍摄张数，以通知拍摄者。而且，在慢同步拍摄的情况下，在步骤S204判断出需要闪光 灯发光。在步骤S205,进行闪光灯发光的准备。在步骤S206，判断是否全按下了快门按钮12c。如果全按下 了快门按钮12c,则打开第二释放开关(SW2)。当打开第二释放开关(SW2)时，开始第一张的拍摄。在步骤S207，判断是否已进行了闪光灯发光的准备。当进行 慢同步拍摄时，在步骤S205已准备了闪光灯发光。因此，在步骤 S208进行闪光灯发光。在步骤S209，使图像捕获单元19的电荷复 位，并开始再充电。然后，设备待机在步骤S203中计算出的曝光时间，关闭快门， 并传输电荷。同时，通过扬声器驱动单元17b由扬声器17a产生表 示开始拍摄的声音。例如，该声音可以是哔哔声、胶巻照相机的快门打开声音或 反射镜上升(mirror-up)的声音。
在步骤S210，控制通过循环步骤S207 S209而待机，直到 完成所有拍摄为止。在慢同步拍摄中，由于在第二次之后不进行 步骤S207中的闪光灯发光准备，因而在没有闪光灯发光的情况下 进行拍摄。当完成拍摄时，控制进入步骤S211。在步骤S211,通过扬声器驱动单元17b由扬声器17a产生表示 拍摄完成的声音。例如，该声音可以是哔哔声、胶巻照相机的快门关闭声音、 反射镜下降(mirror—down)的声音或倒巻的声音。如上所述，即使在拍摄多张的情况下，表示操作的声音也仅 有一组(从开始最初拍摄的曝光起到完成最后拍摄的曝光为止仅 一次)。因此，所述声音不会由于多张拍摄而打扰拍摄者。步骤S212和随后步骤是用于基于多张所拍摄图像生成合成图 像的图像处理。在步骤S212，将多张所拍摄图像的位置对齐，并 且生成一张合成图像。在步骤S213，基于在步骤S212中所生成的 合成图像和利用闪光灯发光所拍摄的那张图像，生成用于区域分 离的二值图像。在步骤S214,使用二值图像以区域为单位生成合 成图像，并且完成一张最适当的图像。图3是详细示出图2中的步骤S212所述的全画面合成图像生 成的流程图。这里，假定待叠加的图像数量为4来进行说明。在步 骤S301,从存储器中读取第一张图像。接着在步骤S302,进行模 糊校正。在使用第一张图像作为参考的情况下，不需要校正处理。 在步骤S303，叠加校正后的图像。照原样临时存储第一张图像。 重复步骤S301 ~ S304的处理，直到叠加了所有校正后的图像为 止。在步骤S301中读取第二张图像之后，在步骤S302检测与第一 张图像相比位置偏移了多少。然后，对检测到的偏移量进行校正。 在步骤S303,叠加第一张图像和校正后的第二张图像。对于第三 和第四张图像进行类似处理。当叠加了第四张图像时，控制从步
骤S304进入步骤S305,然后将该图像写入存储器中。参照图4中的流程图进一步详细说明图3中的步骤S302所述 的模糊校正处理。这里说明的是通过以块为单位的匹配处理估计 整体运动以校正模糊的方法。在步骤S401,将画面分割成约16像 素xl6像素的小块。尽管块的大小是任意的，但是如果块太小，则 难以进行校正匹配，如果块太大，则处理负荷增大。在步骤S402, 以分割后的块为单位检测运动向量(motion vector )。运动向量是 匹配图像之间的水平和垂直偏移量。在步骤S403,进行运动向量 的检验。这是用于检验计算出的运动向量正确与否的概率的处理。 在感兴趣的块与参考图像之间所进行的正常匹配中，在逐像素改 变目标位置时获得差的平方和或差的绝对值的和，并且获得具有 最小计算值的位置作为匹配位置。因此，即使未找到匹配，也获 得搜索区域中的其中 一 个位置作为计算结果。错误获得的该运动 向量的特征在于例如在搜索区域中具有最大值。利用该特征，排除错误的运动向量。在步骤S404,为后面的处理临时存储所获得 的运动向量。对一个画面的全部块重复步骤S402 ~ S404中的处 理。在步骤S405中对整个画面完成该处理后，在步骤S406中4企测 模式向量。这是为了获得临时存储的运动向量中具有最高发生频 率的运动向量，并且假定该向量的运动量是该画面的移位模糊。 在步骤S407，将模式向量值作为移位模糊量进行校正。以上述方 式进行移位模糊的校正。接着说明旋转模糊的校正。在步骤S408, 通过从之前获得的向量值中减去该移位模糊量，获得新的向量值。 如果照相机抖动模糊仅由移位模糊组成，则在理论上校正后的向 量值应该为(0， 0)。然而，如果照相机抖动模糊包括旋转模糊， 则常常检测到(0, 0)附近即(0, 1)或(-1, 0)等的向量值。 在步骤S409，检测这些向量值。在步骤S410，与上述步骤S403 一样，检验这些向量值的可靠性。在步骤S411,基于可靠向量计
算旋转角度。由于可以将计算出的旋转角度假定为该画面的旋转模糊，因而在步骤S412,对旋转角度进行旋转模糊校正。通过这 种方式，校正了移位模糊和旋转模糊，并且完成了位置对齐。这 里，尽管在移位模糊校正后进行旋转模糊校正，但也可以首先获 得移位量和旋转角度，并可同时进行校正。可选地，可以首先进 行移位模糊校正，然后可以再次获得运动向量以计算旋转模糊。
接着，将参照图5和6中的流程图详细说明图2的步骤S213中 的二值图像生成。二值图像是对接收到闪光的区域和未接收到闪 光的区域进行分离处理所需的区域分离数据。通常，只要存在利 用闪光灯发光所拍摄的图像和不利用闪光灯发光所拍摄的图像， 就可以获得区域数据。然而，为了提高分离精度，使用所有所拍 摄的图像来生成二值图像。首先，使用图6中的流程图说明用于生 成多个二值图像的方法，然后使用图6中的流程图说明用于从多个 二值图像生成一个二值图像的方法。
在图5的步骤S501中，从存储器中读取利用闪光灯发光所拍 摄的图像。接着前面的例子，第一张所拍摄的图像对应于该图像。 在步骤S502，读取不利用闪光灯发光所拍摄的图像，即已校正的 第二张图像。由于在第一张图像和校正后的第二张图像中位置匹 配，因而，如果计算像素之差的绝对值，则在接收闪光的肖像区 域中得到大的差，而在不接收闪光的背景区域中得到小的差。通 过利用该差，可以将肖像区域从背景区域分离出来。这里，由于 不能唯一确定差的绝对值的阈值，因而在步骤S503,将阈值设置 成0作为初始设置。在步骤S504,计算差的绝对值。在步骤S505, 进行二值化处理，更具体地，如果差的绝对值小于所设置的阈值， 则设置0;如果差的绝对值大于该阈值，则设置l。以像素为单位 进行该处理。当对一个画面的像素完成该处理时，在步骤S506将 二值图像写入存储器中。在步骤S508，将阈值加l,并且再次重复
步骤S504 S506中的处理。当利用最大阈值完成处理时，控制在 步骤S507退出该循环，结束对校正后的第二张图像的处理。接着， 控制返回到步骤S 5 0 2,并且从存储器中读取校正后的第三张图像。 与以上类似，为各阈值生成第一张图像和校正后的第三张图像的 二值图像。当完成对第 一 张图像和校正后的第四张图像的处理时， 控制在步骤S509退出该循环，结束阈值水平数量x (所拍摄的张数 -1 )次的二值图像生成。
以上说明中所获得的二值图像通常包括对背景区域和肖像区 域的错误判断。这是因为位置对齐中的微小偏移会导致大的差值。 该偏移分别发生在第一与第二张图像、第一与第三张图像、第一 与第四张图像的不同的位置处。因此，在多个二值图像之间，仅 将已被共同判断为肖像区域的部分确定为真正的肖像区域。通过 这种方式，可以获得较高精度的区域数据。
使用图6中的流程图来说明用于从多个二值图像生成一个二 值图像的方法。在步骤S601,初始化阈值。也就是说，与图5中的 说明类似地将阈值设置成O。在步骤S602,从存储器中读取二值图 像。这里，首先读取的是基于第一张图像与校正后的第二张图像 之间的差而生成的二值图像。步骤S603是二值图像间的逻辑积 (AND)的处理。然而，由于到此为止仅读取了 一个二值图像， 因而，在经过步骤S604中的判断处理之后，控制返回步骤S602。 作为第二个二值图像，从存储器中读取基于第一张图像与校正后 的第三张图像之间的差而生成的图像。在步骤S603,进行这两个 图像之间的逻辑积(AND)。更具体地，仅将在这两个图像中均判 断为肖像区域的区域确定为新的肖像区域(1 ),并且将其它区域 确定为背景区域(O)。在接着的循环处理中，从存储器中读取基 于第一张图像与校正后的第四张图像之间的差而生成的图像(步 骤S602 )。在接着的步骤S603，在读取的图像与通过前面的AND
处理所获得的图像之间进行AND处理。在步骤S604,当完成对所 有二值图像的处理时，控制进入步骤S605。这里所生成的二值图 像是三个二值图像的AND处理后的图像。在步骤S605, AND处理 后的二值图像进一 步经过校正处理。后面将详细说明该校正处理。 在校正处理后，在步骤S606，将该阈值的二值图像写入存储器中。 在经过步骤S607后，在步骤S608将阔值加1，并且从步骤S602开 始重复该处理。当将所有阈值的二值图像都写入存储器中时，控 制退出步骤S607，结束二值图像生成的所有处理。对于用于进一步提高区域数据的精度的方法，说明二值图像 校正处理。以上说明确保提高处理图像叠加中的偏移的精度。更 直接地，测量照相机与被摄体之间的距离，并且根据被摄体是否 在闪光可达到的距离内进行二值化。可以使用能够基于像素精度 测量距离的传感器，但是在数字照相机中包括该传感器会出现尺 寸和成本方面的问题。这里，it明利用自动调焦(autofocus, AF) 的传感器数据的方法。该方法基于在慢同步拍摄中，通过自动调 焦对焦的区域与接收闪光的区域相一致的思想。参照图7 A ~ 7 F说明二值图像校正处理。现假定拍摄图7 A中所 示的构图的情况。如果如图7B中所示配置数字照相机的AF传感 器，则当半按下释放按钮时，肖像区域被对焦。在取景器中，如 图7C所示可以在传感器的中心附近的五个区域处确认对焦状态。 假定所生成的二值图像是图7D,如果将该二值图像叠加在图7C中 所示的结果上，则获得图7E。通过除去不包括这五个对焦区域的 背景区域，可以获得图7 F中所示的高精度校正后的图像。使用图8中的流程图来说明该处理的流程。在步骤S801，检 测被摄体区域候选。将在前面的处理中被判断为肖像区域的区域 检测为该区域候选。换句话说，在画面中顺序检测具有二值图像 值1的区域。在步骤S802,判断所检测到的区域候选是否包括AF
传感器区域。如果该候选不包括AF传感器区域，则不能使用该数 据。由于该区域通常是非常小的区域或画面的端部，因而在步骤 S805从被摄体区域候选中删除该数据。如果该候选包括AF传感器 区域，则在步骤S803中使用该数据。换句话说，如果该候选包括 传感器的对焦区域，则在步骤S804将该候选确定为被摄体区域。 如果该候选不包括传感器的对焦区域，则在步骤S805从被摄体区 域候选中删除该数据。对于画面的各区域候选进行以上处理。当 在步骤S806完成对所有区域候选的判断时，结束这一系列的4交正 操作。接着，参照图10和11的流程图以及图14A~ 14F来详细说明图 2的步骤S214中所说明的以区域为单位的合成图像生成。在步骤 S1101,从存储器中读取利用闪光灯发光所拍摄的图像，即前面的 例子中的第一张图像。在步骤S1102,读取图3中所述的全画面合 成图像。在步骤S1103，初始化阚值。与图6中的说明类似，将阈 值设置成O。在步骤S1104,从存储器中读取二值图像。该二值图 像是图5~ 8中所述的校正后的AND图像。之后，以像素为单位进 行处理。在步骤S1105,判断二值图像的第一像素值是否为O。如 果该像素值为O,那么该像素为背景区域。因而，在步骤S1106选 择全画面合成图像的像素。如果像素值为l,那么该像素为被摄体 区域。因而，在步骤S1107选择利用闪光灯发光所拍摄的图像的像 素。对于各像素重复这些步骤。当完成对一个画面的所有像素的 处理时，控制在步骤S1108退出该循环。这里所获得的图像是阈值 0的合成图像。接着，在步骤Sllll，将阈值的设置加l,并且从步 骤S1104开始重复处理。当逐一增加阈值，并将所有阈值的区域合 成图像都写入存储器中时，控制在步骤slllO退出该循环。通过上 述处理，生成各阈值的区域合成图像。接着说明用于通过数字照相机操作从各阈值的区域合成图像
中选择最适当阈值的区域合成图像的处理。如在本发明的背景技 术中所述，由于不能唯一设置最适当的阈值，因而优选在观看区域合成的结果图像的同时选择最终记录的图像。图14A- 14F图解 示出数字照相机的背面，包括例如液晶显示屏、电子拨盘、以及 选择按钮。通过转动电子拨盘，改变阈值，并且在液晶显示屏上 显示与该阈值相对应的区域合成图像。例如，如果向右转动电子 拨盘，则阈值增大。如果向左转动电子拨盘，则阈值减小。该操 作不局限于电子拨盘，而可以通过按钮操作或触摸板上的滑动操 作来实现。而且，按钮操作可以在二值图像与区域合成图像之间 切换。当在观看显示在液晶显示屏上的图像时发现最适当的阈值 时，按下OK按钮以将区域合成图像记录在记录介质中。图14A示出在从256个阈值水平中选择值9时的区域合成图 像。图14B示出该设置中的二值图像。当阈值小时，被判断为被摄 体的区域变大；因而为比实际的人宽的区域选择闪光灯发光的图 像。因此，在图14A中所示的阴影区域中，显示暗于适当曝光的图 像。图14C示出阈值水平为适当值74时的区域合成图像。图14D 示出该设置中的二值图像，示出被摄体区域和背景图像被适当分 离。图14E示出阈值水平为大值201时的区域合成图像。图14F示 出该设置中的二值图像，示出被摄体区域被背景区域侵占。由于 为图14E中的阴影区域选择全画面合成图像，因而不能显示具有适 当曝光的图像。参照图11中的流程图来说明图14A- 14F中的操作流程。在步 骤S1201,将阈值初始化成适当值。然后，在步骤S1202显示该阈 值的区域合成图像。步骤S1203是图14A~ 14F中所述的电子拨盘 操作。根据拨盘转动，在步骤S1204设置新的阈值。当不进行拨盘 操作时，控制进入步骤S1205。通过进行按下开关等显示模式改变 操作，画面可以在区域合成图像与二值图像之间切换。如果当前 所显示的图像是区域合成图像("是，，)，则在步骤S1207将画面切 换到二值图像显示。如果当前所显示的图像是二值图像("否")， 则在步骤S12 0 8将画面切换到区域合成图像显示。如果没有进行改 变显示模式的操作，则控制进入下一步骤。步骤S1209中的确定操 作是用以确定通过按下开关等操作将要记录的图像。如果未进行 确定操作，则控制返回到步骤S1203,并等待阈值改变操作、显示 模式改变操作、或确定操作中的一个操作。当在步骤S1209确定了 待记录的区域图像且控制退出处理时，在步骤S1210记录所确定的图像。然后，所有处理结束。 第二实施例以下说明本发明的第二实施例。首先，说明第一与第二实施 例之间的不同。在第一实施例中，为各阈值生成二值图像(图5中 所述)、校正后的二值图像(图6中所述)、以及区域合成图像(图 IO中所述)，并将它们写入存储器中。第二实施例被设计成通过不将各阈值的区域合成图像写入存 储器来节省存储器资源。这可以通过以图12代替第一实施例中所 述的图10和11来实现。注意，省略对第一与第二实施例之间的相 同部分的说明。参照图12中的流程图来说明该处理的流程。在步骤S13 01和 S1302，从存储器中读取利用闪光灯发光所拍摄的图像和全画面合 成图像。在步骤S1303，初始化阈值。该值可以是任意的。在步骤 S1304,从存储器中读取所设置的阈值的二值图像。该二值图像是 在进行图5、 6和8中所述的AND处理和校正处理后所获得的图像。 在步骤S1305，基于利用闪光灯发光所拍摄的图像、全画面合成图 像和所设置阔值的二值图像，生成区域合成图像。该区域合成图 像生成方法与图IO中的步骤S1105 ~ S1108类似。在步骤S1306， 判断是否进行了阈值改变操作。通过图ll中所述的拨盘操作等进
行该操作。当进行了改变操作时，在步骤S1307设置新的阈值。然 后，重复进行与该新的阈值相对应的二值图像的读取(步骤S13 0 4 ) 和区域合成图像的生成(步骤S1305 )。当未进行阈值改变操作时， 控制进入步骤S1308,然后判断是否设置了显示模式。如果未设置 显示模式，则在步骤S1312显示区域合成图像。这是显示模式的初 始设置。之后，选择二值图像显示或合成图像显示模式中的一种。 如果已设置了显示模式，则在步骤S1309判断是否进行了显示模式 改变操作。当进行了显示模式改变操作时，在步骤S1310确认当前 模式。如果显示模式是合成图像显示模式，则在步骤S1311反映该 改变操作，并将画面切换成二值图像显示。如果显示模式是二值 图像显示模式，则在步骤S1312将画面切换成合成图像显示。步骤 S1313中的确定操作用以通过按下开关等操作确定将要记录的图 像。如果未进行确定操作，则控制返回到步骤S1306,并等待阈值 改变操作、显示模式改变操作、或确定操作中的一个操作。当在 步骤S1313确定了待记录的区域合成图像且控制退出处理时，在步 骤S1314记录所确定的图像。然后，所有处理结束。
第三实施例
以下说明本发明的第三实施例。首先，说明第一与第三实施 例之间的不同。在第一实施例中，为各阈值生成二值图像(图5中 所述)、校正后的二值图像(图6中所述)、以及区域合成图像(图 IO中所述)，并将它们写入存储器中。
第三实施例被设计成通过不将各阈值的二值图像、校正后的 二值图像、以及区域合成图像写入存储器中而节省存储器资源。 这可以通过用图13代替第一实施例中所述的图6、 10和11来实现。 注意，省略了对第 一 与第三实施例之间的相同部分的说明。
参照图13中的流程图来说明该处理的流程。在步骤S1401和 S1402，从存储器中读取利用闪光灯发光所拍摄的图像和全画面合成图像。在步骤S1403,初始化阈值。该值可以是任意值。在步骤 S1404,生成所设置阈值的二值图像。通过从图5的流程图中省略 步骤S503、 S507和S508的处理，来实现阈值的二值图像生成方法。 在步骤S1405，校正所设置阈值的二值图像。通过从图6的流程图 中省略步骤S601、 S607和S608的处理，来实现该阈值的二值图像 校正方法。在步骤S1406,基于利用闪光灯发光所拍摄的图像、全 画面合成图像、以及所设置阈值的二值图像，生成区域合成图像。 区域合成图像生成方法与图10中的步骤S1105 S1108类似。在步 骤S1407,判断是否进行了阈值改变操作。通过图ll中所述的拨 盘操作等进行该操作。当进行了该改变操作时，在步骤S1408设置 新的阈值。然后，重复进行与该新的阈值相对应的二值图像的生 成(步骤S1404)、 二值图像的校正(步骤S1405)、以及区域合成 图像的生成(步骤S1406)。当未进行阈值改变操作时，控制进入 步骤S1409,然后判断是否设置了显示模式。如果未设置显示模式， 则在步骤S1413显示区域合成图像。这是显示模式的初始设置。之 后，选择二值图像显示或合成图像显示模式中的一种。如果已设 置了显示模式，则在步骤S1410判断是否进行了显示模式改变操 作。当进行了显示模式改变操作时，在步骤S1411确认当前模式。 如果显示模式是合成图像显示模式，则在步骤S1412反映该改变操 作并将画面切换成二值图像显示。如果显示模式是二值图像显示 模式，则在步骤S1413将画面切换成合成图像显示。步骤S1414 中的确定操作用以通过按下开关等操作确定将要记录的图像。如 果未进行该确定操作，则控制返回到步骤S1407,并等待阈值改变 操作、显示模式改变操作、或确定操作中的一个操作。当在步骤 S1414确定了待记录的区域合成图像且控制退出处理时，在步骤 S1415记录所确定的图像。然后，所有处理结束。 第四实施例 以下说明本发明的第四实施例。在第一到第三实施例中，在 数字照相机内部进行从多个图像拍摄到区域合成图像生成的所有 处理。第四实施例示出软件实现从多个图像拍摄到区域合成图像生成的处理的例子。这对应于图2的流程图中的步骤S212之后的处理。图9是示出个人计算机(PC)与数字照相机之间的配合的图。 该图示出利用U S B线缆3 2等线缆将数字照相机31连接到P C 33。 这使数字照相机31能够与PC 33交换图像数据。注意，代替使用 USB的线缆连接，可以从数字照相机31移除包括在数字照相机31 中的记录单元119,并将其插到PC 33的插槽34以传输数据。在PC 33中，安装了根据本发明实施例的软件。为了通过软件进行图像合成，需要闪光灯发光或不发光、以 及AF传感器的对焦区域等信息。当记录所拍摄的图像时，将这些 信息记录为附加数据。图15是简要示出文件格式的图。在图像数 据本身之后记录该附加数据。标题数据包括数据大小、以及附加 数据的记录位置等信息。图16A 16F是用于通过PC操作从各阈值的区域合成图像中 选择具有最适当阈值的区域合成图像的处理的说明图。这对应于 参照图14A~ 14F所述的操作。设置用于改变阈值的滚动条或按 钮、用于示出所设置的阈值的指示器、以及模式选择按钮等用户 界面。图16A示出当从256个阈值水平中选择值9时的区域合成图 像。图16B示出该设置中的二值图像。当阈值小时，被判断为被摄 体的区域变大；因而为比实际的人宽的区域选择闪光灯发光的图 像。因此，在图16A中所示的阴影区域中，显示暗于适当曝光的图 像。图16C示出当阈值水平为适当值74时的区域合成图像。图16D 示出该设置中的二值图像，示出被摄体区域和背景图像被适当分
离。图16E示出当阈值水平为大值201时的区域合成图像。图16F 示出该设置中的二值图像，示出被摄体区域被背景区域侵占。由 于为图16E中的阴影区域选择了全画面合成图像，因而不能显示具 有适当曝光的图像。尽管本实施例假定由应用程序侧进行从多个图像拍摄到区域 合成图像生成的处理，但是可以由数字照相机侧进行模糊校正后 直到位置对齐的处理、或者直到生成全画面合成图像的处理。而 且，可以由数字照相机侧进行直到二值图像合成的处理、或者直 到二值图傳j交正的处理。而且，可以由数字照相^L侧进行直到各 阈值的区域合成图像生成的处理，并且可以由PC侧进行从区域合 成图像中选择最适当的图像的处理。换句话说，只要可以将处理 所需的信息传送给P C,就可以在数字照相机侧和P C侧之间任意分 担处理。可以通过向计算机系统或设备提供记录有实现上述实施例功 能的软件的程序代码的计算机可读的记录介质(或存储介质)，该 系统或设备的计算机(CPU或MPU)读取存储在该记录介质中的 程序代码，然后执行该程序来实现本实施例。在这种情况下，从 该记录介质读取的程序代码实现根据上述实施例的功能，并且记 录该程序代码的记录介质构成本发明。而且，除通过执行由计算 机读取的程序代码来实现根据以上实施例的上述功能外，本发明 包括运行在该计算机上的OS (操作系统)等根据程序代码的指示 进行部分或全部处理并实现根据以上实施例的功能的情况。而且，本发明还包括以下情况在将从记录介质读取的程序 代码写入插入计算机中的功能扩展卡、或写入与计算机连接的功能扩展单元中所配置的存储器中之后，包含在该功能扩展卡或单 元中的CPU等根据程序代码的指示进行部分或全部处理，并实现 上述实施例的功能。
在将本实施例应用于上述记录介质的情况下，该记录介质存 储与上述流程图相对应的程序代码。本实施例可应用于由多个装置(例如主机、接口、读取器、 打印机)构成的系统、或包括单个装置(例如复印机、传真机) 的设备。本发明不局限于上述实施例，并且可以在本发明的精神和范 围内进行各种改变和修改。因此，为了公布本发明的范围，做出 以下权利要求。优先权主张本申请主张通过引用包括在此的2004年9月15日提交的曰本 专利申i奮2004—268708号的^尤先斗又。
权利要求
1. 一种通过使用由图像捕获部件获取的多个图像来校正图像模糊的图像处理设备，其特征在于，包括模糊检测部件，用于检测所述多个图像之间的模糊量； 图像合成部件，用于使用所检测到的模糊量进行所述多个图像的合成；获取部件，用于基于所述多个图像之间的差值和其阈值，获 取区域数据，该区域数据用于通过改变所述阈值将该图像分成区 域；以及显示部件，用于可选择地显示各阈值的所述区域数据。
2. 根据权利要求l所述的图像处理设备，其特征在于，所述 获取部件获取各阈值的二值化图像，所述二值化图像是通过对利 用闪光灯发光所拍摄的图像与不利用闪光灯发光所拍摄的图像之 间的差值进行二值化而获得的。
3. 根据权利要求2所述的图像处理设备，其特征在于，还包 括设置部件，该设置部件用于设置以区域为单位对所述二值化图 像进行合成的图像数量，其中，所述显示部件可选择地显示通过为各阈值进行所述合 成而生成的二值化图像。
4. 根据权利要求2或3所述的图像处理设备，其特征在于，所储在存储器中，并根据所述阈值的改变从所述存储器中读取所述 二值化图像且显示该图像。
5. 根据权利要求2或3所述的图像处理设备，其特征在于，所 述显示部件将各阈值的二值化图像存储在存储器中，并根据所述 阈值的改变生成且显示二值化图像。
6. 根据权利要求2或3所述的图像处理设备，其特征在于，所 述显示部件根据所述阈值的改变生成二值化图像，通过以区域为单位进行所生成的二值化图像的合成来生成合成图像，并显示所 述合成图像。
7. 根据权利要求2或3所述的图像处理设备，其特征在于，所 述显示部件将各阈值的二值化图像存储在存储器中，并根据所述 阈值的改变从所述存储器中读取二值化图像且显示该图像。
8. 根据权利要求3所述的图像处理设备，其特征在于，所述 显示部件根据所述阈值的改变生成并显示二值化图像。
9. 一种通过使用由图像捕获部件获取的多个图像来校正图 像模糊的图像处理设备，其特征在于，包括模糊检测部件，用于检测所述多个图像之间的模糊量； 图像合成部件，用于使用所检测到的模糊量进行所述多个图 像的合成；获取部件，用于基于所述多个图像之间的差值和其阈值，获 取区域数据，该区域数据用于通过改变所述阈值将该图像分成区 域；以及校正部件，用于校正为各阈值获取的所述区域数据。
10. 根据权利要求9所述的图像处理设备，其特征在于，所述 获取部件获取各阈值的二值化图像，所述二值化图像是通过对利 用闪光灯发光所拍摄的图像与不利用闪光灯发光所拍摄的图像之 间的差值进行二值化而获得的。
11. 根据权利要求10所述的图像处理设备，其特征在于，还 包括设置部件，该设置部件用于设置以区域为单位对所述二值化 图像进行合成的图像数量。
12. 根据权利要求10所述的图像处理设备，其特征在于，所 述校正部件对各阈值的二值化图像进行校正。
13. 根据权利要求10或11所述的图像处理设备，其特征在于， 所述校正部件基于利用闪光灯发光所拍摄的图像和不利用闪光灯 发光所拍摄的多个图像，生成多个二值化图像，并获取通过所述 多个二值化图像之间的逻辑积所校正的二值图像。
14. 根据权利要求10所述的图像处理设备，其特征在于，所 述校正部件使用预定的附加数据对各阈值的二值化图像进行校 正。
15. 根据权利要求14所述的图像处理设备，其特征在于，所 述附加数据是AF传感器的对焦数据。
16. 根据权利要求15所述的图像处理设备，其特征在于，所 述校正部件将所述二值化图像区域中的包括对焦区域的区域判断 为正确区i或。
17. 根据权利要求14所述的图像处理设备，其特征在于，所 述附加数据是通过红外线传感器获得的位置数据。
18. 根据权利要求17所述的图像处理设备，其特征在于，所 述校正部件将所述二值化图像区域中的比预定位置近的区域判断 为正确区i或。
19. 一种通过使用由图像捕获部件获取的多个图像来校正图 像模糊的图像处理方法，其特征在于，包括模糊检测步骤，用于检测所述多个图像之间的模糊量； 图像合成步骤，用于使用所检测到的模糊量进行所述多个图 像的合成；获取步骤，用于基于所述多个图像之间的差值和其阈值，获 取区域数据，该区域数据用于通过改变所述阈值将该图像分成区 域；以及显示步骤，用于可选择地显示各阈值的所述区域数据。
20. 根据权利要求19所述的图像处理方法，其特征在于，在 所述获取步骤中，获取各阈值的二值化图像，所述二值化图像是 通过对利用闪光灯发光所拍摄的图像与不利用闪光灯发光所拍摄 的图像之间的差值进行二值化而获得的。
21. 根据权利要求20所述的图像处理方法，其特征在于，还 包括设置步骤，该设置步骤用于设置以区域为单位对所述二值化 图像进行合成的图像数量，其中，在所述显示步骤中，可选择地显示通过为各阈值进行 所述合成而生成的二值化图像。
22. 根据权利要求20或21所述的图像处理方法，其特征在于， 在所述显示步骤中，将通过为各阈值进行所述合成而生成的二值 化图像存储在存储器中，并根据所述阈值的改变从所述存储器中 读取所述二值化图像且显示该图像。
23. 根据权利要求20或21所述的图像处理方法，其特征在于， 在所述显示步骤中，将各阈值的二值化图像存储在存储器中，并 根据所述阈值的改变生成且显示二值化图像。
24. 根据权利要求20或21所述的图像处理方法，其特征在于， 在所述显示步骤中，根据所述阈值的改变生成二值化图像，通过 以区域为单位进行所生成的二值化图像的合成来生成合成图像， 并显示所述合成图像。
25. 根据权利要求20或21所述的图像处理方法，其特征在于， 在所述显示步骤中，将各阈值的二值化图像存储在存储器中，并 根据所述阈值的改变从所述存储器中读取二值化图像且显示该图 像。
26. 根据权利要求21所述的图像处理方法，其特征在于，在 所述显示步骤中，根据所述阔值的改变生成且显示二值化图像。
27. —种通过使用由图像捕获部件获取的多个图像来校正图 像模糊的图像处理方法，其特征在于，包括模糊检测步骤，用于检测所述多个图像之间的模糊量； 图像合成步骤，用于使用所检测到的模糊量进行所述多个图 像的合成；获取步骤，用于基于所述多个图像之间的差值和其阈值，获 取区域数据，该区域数据用于通过改变所述阈值将该图像分成区 域；以及校正步骤，用于校正为各阈值获取的所述区域数据。
28. 根据权利要求27所述的图像处理方法，其特征在于，在 所述获取步骤中，获取各阈值的二值化图像，所述二值化图像是 通过对利用闪光灯发光所拍摄的图像与不利用闪光灯发光所拍摄 的图像之间的差值进行二值化而获得的。
29. 根据权利要求28所述的图像处理方法，其特征在于，还 包括设置步骤，该设置步骤用于设置以区域为单位对所述二值化 图像进行合成的图像数量。
30. 根据权利要求28所述的图像处理方法，其特征在于，在 所述校正步骤中，校正各阈值的二值化图像。
31. 根据权利要求28或29所述的图像处理方法，其特征在于， 在所述校正步骤中，基于利用闪光灯发光所拍摄的图像和不利用 闪光灯发光所拍摄的多个图像，生成多个二值化图像，并获取通 过所述多个二值化图像之间的逻辑积所校正的二值图像。
32. 根据权利要求28所述的图像处理方法，其特征在于，在 所述校正步骤中，使用预定的附加数据校正各阈值的二值化图像。
33. 根据权利要求32所述的图像处理方法，其特征在于，所 述附加数据是AF传感器的对焦数据。
34. 根据权利要求33所述的图像处理方法，其特征在于，在 所述校正步骤中，将所述二值化图像区域中的包括对焦区域的区 域判断为正确区i或。
35. 根据权利要求32所述的图像处理方法，其特征在于，所 述附加数据是通过红外线传感器获得的位置数据。
36. 根据权利要求35所述的图像处理方法，其特征在于，在 所述校正步骤中，将所述二值化图像区域中的比预定位置近的区 域判断为正确区i或。
37. —种使计算机执行在权利要求19或27中所定义的图像处 理方法的程序。
38. —种计算机可读的存储介质，其特征在于，该存储介质 存储在权利要求37中所定义的程序。
全文摘要
本发明提供一种通过使用由图像捕获部件获取的多个图像来校正图像模糊的图像处理设备。该设备包括模糊检测部件，其检测多个图像之间的模糊量；图像合成部件，其使用所检测到的模糊量进行多个图像的合成；获取部件，其基于多个图像之间的差值和其阈值，获取用于通过改变阈值将该图像分成区域的区域数据；以及显示部件，其可选择地显示各阈值的区域数据。
文档编号H04N5/238GK101124816SQ200580031078
公开日2008年2月13日 申请日期2005年9月9日 优先权日2004年9月15日
发明者糸川修 申请人:佳能株式会社