专利名称：图像拾取设备、图像拾取方法及其程序的制作方法
技术领域：
本发明涉及诸如凄t码相才几的图傳4合取设备。更具体地，本发明 涉及图像拾取设备、图像拾取方法及其程序，其具体4企测对象的笑 脸并适当地执行自动聚焦(AF)、自动曝光(AE)、自动白平衡(AWB)等。
背景技术：
诸如数码相机和数码摄像机的图像拾取设备具有AF功能。这 种AF功能用于对对象的自动聚焦。通常，诸如电荷耦合器件(CCD ) 或互补金属氧化物半导体(CMOS )的图像拾取元件用于拾取对象 图像，并且常常基于所拾取图像的对比度来自动确定聚焦位置。目 前，可执行点AF ( point AF )。点AF使AF点被适当地设置在AF 可检测框中，使得用户期望的位置聚焦在将被拾取的图像上。如果 将图像拾取模式设置为点AF,则在AF可检测框中选择用户期望的 AF点以及通过操作输入在屏幕上设置AF点之后，用户执行通常的 图像拾取操作。此夕卜，目前可以检测对象的面部是否位于设置在AF可才企测框 中的AF点。即，可以执^f亍所谓的面部才企测。对于这种技术，例如，日本未审查专利申请7>开第2007-104235 号公开了一种图像拾取设备，其通过执行图像拾取控制(使其适合 特定的图像拾取对象)来实现高质量的图像拾取。利用这种技术， 例如，在执行图像拾取控制(其适合诸如人物面部的特定图像拾取 对象)的图像拾取设备中，在诸如墙的屏蔽物体使图像拾取对象从 将被拾取的图像中暂时消失的情况下，继续执行适合诸如人物面部 的特定图像拾取对象的图像控制。此夕卜，正在进行关于不仅检测对象的面部而且检测其笑脸的图 像拾取设备的技术研究。在这种情况下，例如，基于对象的主要部 分是否满足预定条件来执行笑脸检测。对于具有笑脸检测的图像拾取，为了不错过拾取瞬间产生的笑 脸，每当检测到笑脸时就需要立刻执行图像的拾取。然而，尚未具 体提出用于适当控制图像拾取的开始/结束定时的方案。发明内容对于具有对象的笑脸检测的图像拾取，期望通过适当地控制对 象的笑脸检测的开始/结束定时来获得高质量的图像。根据本发明的一个实施例，图像拾取设备包括图像拾取装置， 用于拾取对象图像；以及控制装置，用于在设置了预定模式的情况 下，以以下方式执行控制当执行操作输入时开始对象的笑脸检测， 如果检测到笑脸，则拾取对象图像，并且重复执行笑脸检测和图像 拾取直到满足完成条件。在图像拾取设备中，完成条件可以是操作输入。在图像拾取设备中，完成条件可以是达到可拍摄的最大照片数。在图像拾取设备中，完成条件可以是从执行操作输入起经过预 定的时间革殳。在图像拾取设备中，控制装置可以在笑脸才企测和图像拾取之间 执行图像拾取控制。才艮据本发明的另一个实施例，图4象冲合取方法包4舌以下步骤在 设置了预定模式的情况下，当执行操作输入时检测对象的笑脸；以 及如果检测到笑脸，则拾取对象图像。在图像拾取方法中，重复检 测步骤和拾取步骤直到满足完成条件。图像拾取方法可以进一 步包括在检测步骤和拾取步骤之间执 行图像拾取控制的步骤。才艮据本发明的另一个实施例，由计算才几执4亍一种程序，该程序 使计算机执行图像拾取方法，该图像拾取方法包括以下步骤在设 置了预定模式的情况下，当执行操作输入时检测对象的笑脸；以及 如果检测到笑脸，则拾取对象图像。在图像拾取方法中，重复检测 步骤和4合取步骤直到满足完成条件。在该程序中，图像拾取方法可以进一步包括在检测步骤和拾取 步骤之间执行图像拾取控制的步骤。根据本发明的另一个实施例，图像拾取设备包括图像拾取单 元，被配置为拾取对象图像；以及控制单元，被配置为在设置预定 模式的情况下，以以下方式执行控制当执行操作输入时开始对象的笑脸检测，如果检测到笑脸，则拾取对象图像，并且重复执行笑 脸检测和图像拾取直到满足完成条件。
图1是根据本发明第一实施例的图像拾取设备的示意图；图2是用于更具体地描述根据本发明第一实施例的图像拾取设 备的特征性的处理的序列图；图3是根据本发明第二实施例的图像拾取设备的结构的框图； 图4A是根据本发明第二实施例的图像拾取设备的前侧透视图；图4B是根据本发明第二实施例的图像拾取设备的背侧透视图；图5是根据本发明第二实施例的图像拾取设备的特征性的处理 的济u禾呈图；以及图6是根据本发明第二实施例的图像拾取设备的特征性的处理 的示意图(包括屏幕转换)。
具体实施方式
以下将参照附图描述根据本发明的优选实施例(下文中简称为 "实施例")。在具有笑脸检测的图像拾取中，根据本发明第一实施 例的图像拾取设备适当地控制图像拾取的开始/结束的定时。例如， 基于最大照片数限制、快门按钮操作以及时间限制来控制图像拾取 的结束定时。图1是示出根据本发明第 一实施例的图像拾取设备的结构的示 意图。如图l所示，根据第一实施例的图像拾取设备包括控制整个图像才合耳又i殳备的控制单元1、 4喿作输入单元3、存^f诸单元4、显示单元 5以及图像拾取单元6。控制单元1通过读取存储在存储单元4中的控制程序2并执行 该控制程序2来提供笑脸检测功能2a、 3A控制功能2b以及主控制 功能2c。以下将参照图2所示的序列图描述每个部件的^喿作。首先，通过主控制功能2c，控制单元1在显示单元5上显示通 过透镜的图像，使用户执行情景选择，并接受笑脸模式选择。这里，"笑脸模式"是执行具有对象的笑脸检测(下文中简称 为"笑脸检测")的图像拾取的模式。以这种方式，在步骤S1中，当用户选择图像拾取情景和笑脸 模式时，控制单元1根据这些选择通过主控制功能2c来执行设置。在步骤S2中，当用户完全按下4喿作输入单元3中包括的快门 按钮时，控制单元l检测通过快门按钮释放的信号，并通过笑脸检 测功能2a开始笑脸模式下的图像拾取(处理)。在步骤S2之后， 通过在步骤S3和S4中的3A控制功能2b，重复执行作为图像拾取 1至图像拾取n的每一个的处理的笑脸检测处理、图像拾取控制处 理、图像拾取处理以及图像存储处理，直到满足以下所述的完成条 件。这里，基于主要部分是否满足预定条件来执行关于将被拾取的 图像的主要对象的主要部分的"笑脸检测"。更具体地，对于对象， 基于例如眼睛白色的尺寸(面积)或口中白色部分的尺寸(面积) 来#1行这种笑脸4企测。然而，这种笑脸4全测并不限于这些方法。以这种方式，如果满足下述的完成条件之一，则在步骤S5中 完成笑脸模式下的图像拾取(处理)。即，在根据第一实施例的图像拾取设备中，如果满足以下条件 中的任意一个最大照片数限制(例如，重复执行步骤S3和S4直 到照片数达到预定数量，然后完成拾取(处理))；完全按下快门按 钮(在完全按下快门按钮的时刻完成拾取(处理))；时间限制(如 果通过定时器测量的时间超过预定的时间段，则完成拾取(处理))， 则将控制单元1设计为通过主控制功能2c完成笑脸模式下的图像 才合耳又(处理)。自然，可以优先考虑这些条件或者可以添加其他完 成条件。这里，为了执行"笑脸模式"，需要首先执行对象的"面部检 测"。作为其方法，可以利用现有方法，i^如预先准备平均面部图 像的模板并执行输入图像和模板图像之间的匹配的方法。因此，省 略这种面部检测的具体描述。以这种方式，在具有对象的笑脸检测的图像拾取中，由于控制 单元1通过主控制功能2c适当地控制图像拾取的开始/结束的定时， 所以根据本发明第 一 实施例的图像拾取设备可用于获取高质量图 像。接下来，将描述本发明的第二实施例。图3是示出了根据本发明第二实施例的图像拾取设备的结构的 框图。该图更加详细地示出才艮据上述第 一实施例的图傳^合取i殳备。如图3所示，在根据第二实施例的图像拾取设备中设置包括拍 摄透4竟、光圏、聚焦透4竟等作为其部件的透镜单元11。将诸如CCD 的图像拾取装置12设置在经由透镜单元11进入的对象图像光的光 路中。串联连接图像拾取装置12、模拟信号处理单元13、模/数(A/D ) 转换单元14以及凄t字信号处理单元15。凄t字信号处理单元15的输 出电连才妾至液晶面4反17的输入和记录装置19的车ir入。调节光圏的大小或移动聚焦透镜的致动器20机械连接至透镜 单元11，在透镜单元11中包括光圏和聚焦透镜。致动器20连接至 寺丸4亍致动器20的驱动控制的电才几驱动器21。此外，在其中设置控制整个图傳4合取设备的中央处理单元 (CPU) 23。 CPU23连接至电机驱动器21、定时发生器(TG)22、 操作单元24、电可擦除可编程只读存储器(EEPROM) 25、程序 ROM 26、随机存取存储器(RAM) 27以及触4莫面板16。 CPU 23 通过读出并拍^f亍存々者在程序ROM 26中的控制程序来执4亍例如控制 功能，具体为笑脸检测功能、图像拾取功能以及主控制功能。触才莫面才反16和液晶面才反17构成触4莫屏18。例如，记录装置19可以是i者如凄t字通用盘(DVD)的光盘、 诸如存储卡的半导体存储器或者除上述记录装置之外的可移动记 录介质。记录装置19可以从图像拾取设备的主体中移除。EEPROM 25存储例如关于设置的各种数据以及在关闭电源的同时需要存储 的其他数据。程序ROM 26存储将被CPU 23执行的程序以及在执行程序时所需的特定数据。当CPU 23执行各种处理时，用作工作 区的RAM 27临时存储所需的程序或数据。利用这种结构，CPU 23通过执行存储在程序ROM 26中的程 序来控制构成图像拾取设备的单元，并响应于从触摸面板16输入 的信号或者从操作单元24输入的信号执行预定处理。操作单元24 被用户操作，并响应于用户的操作向CPU 23提供信号。如果在任意位置例如由手指按压触摸面板16 (即，如果用户执 行操作输入)，则触摸面板16检测所按压位置的坐标，并向CPU23 发送关于该坐标的信号。CPU 23获得关于坐标的特定信号，并基 于所获得的信息执行特定处理。当对象图像光经由透镜单元11进入图像拾取装置12时，图像 拾取装置12拾取对象图像光，将对象图像光转变成模拟图像信号， 并输出模拟图像信号。这里，电机驱动器21基于被CPU 23执行的 控制来驱动致动器20。该驱动4吏透4竟单元11暴露在外部或者存》文 在图像才合取"i殳备的外壳中。这种驱动还使透4竟单元11的光圈^皮调 节或者包4舌在透4竟单元11中的聚焦透镇j皮移动。此外，TG 22基于由CPU 23执行的控制向图像拾取装置12提 供定时信号。例如，该定时信号用于控制图像拾取装置12的曝光 时间。基于由TG22提供的定时信号来操作图像拾取装置12。这使 图像拾取装置12将经由透镜单元11进入的所接收的对象图像光转 变成模拟图像信号(其是振幅响应于所接收的光量而变化的电信 号)，并向模拟信号处理单元13提供模拟图像信号。模拟信号处理 单元13基于由CPU 23执行的控制来对由图像拾取装置12提供的 模拟图像信号执行模拟信号处理(例如，放大)，并向A/D转换单 元14提供所得到的图 <象信号。A/D转换单元14基于由CPU 23执行的控制将由模拟信号处理 单元13提供的模拟图像信号转换成数字图像数据，并向数字信号 处理单元15 ^是供数字图傳_数据。数字信号处理单元15对由A/D转 换单元14提供的数字图像数据执行诸如降噪处理的数字信号处理， 向液晶面板17提供所得到的数字图像数据，并基于由CPU23执行 的控制使所得到的数字图像数据表示的图像显示在液晶面板17上。数字信号处理单元15例如根据联合图像专家组(JPEG)方案 对由A/D转换单元14提供的数字图像数据扭Z亍压缩处理，向记录 装置19提供所得到的压缩数字图像数据，并使所得到的压缩数字 图像数据记录在记录装置19中。此外，数字信号处理单元15对记录在记录装置19中的压缩图 <象#1据执4亍解压缩处理，向液晶面板17提供所得到的图像lt据， 并使由所得到的图像数据表示的图像显示在液晶面板17上。即， 数字信号处理单元15向液晶面板17提供由A/D转换单元14提供 的图像数据，并且在液晶面板17上显示由图像数据表示的图像作 为所谓的通过透4竟的图^f象。此外，^t字信号处理单元15基于由CPU 23执行的控制生成用于控制聚焦的聚焦框(自动聚焦(AF)框)，向 液晶面板17提供聚焦框，并使聚焦框显示在液晶面板17上。然后，如果用户按下操作单元24中包括的快门按钮，则操作 单元24向CPU 23提供释放信号。如果以这种方式向CPU 23提供 这种释放信号，则CPU23控制^t字信号处理单元15，〗吏得压缩从 A/D转换单元14向数字信号处理单元15提供的图像数据，并将压 缩的图像数据记录在记录装置19中。图像拾取设备具有AF功能。在本发明的该实施例中，在通过 图像拾取装置12拾取的图像上设置AF框，并基于AF框内的图像 来控制透镜单元11的聚焦。该AF功能使得AF框被设置在液晶面板17上显示的图像上的任意位置处。此外，例如，可以通过^又操 作与液晶面板17 —体化设置的触摸面板16来控制AF框的位置和 尺寸。如果CPU 23读取并执行存储在程序ROM 26中的程序，则 实现AF处理。此外，该图像拾取设备还具有AE功能和AWB功能。 如果CPU 23读取并执行存储在程序ROM 26中的程序，也可以实 现这些功能。这里，以下将描述特性点。即，CPU 23控制笑脸模式下的图 亏象拾取的开始和结束的定时。在该实例中，当完全按下操作单元24 中包括的快门按钮24时，开始笑脸模式下的图像拾取。当满足例 如最大照片凄t限制、完全按下快门按4丑以及时间限制的任意一个条 件时，结束笑脸模式下的图像拾取(处理)。自然，可以优先考虑 这些条件中的每一个或者可以进一步添加其4也完成条4牛。因此，在 具有对象的笑脸检测的图像拾取中，由于CPU 23适当地控制图像 拾取的开始/结束的定时，所以该图像拾取设备可用于获取高质量的 图像。图4A和图4B示出了根据本发明第二实施例的图像拾取设备 的外部示图。图4A示出了图像拾取设备的前侧透视图，图4B示出了图像 拾取i殳备的背侧透—见图。在图像拾取设备的前侧设置透镜盖57。当透镜盖57向下滑时， 透镜单元11中包括的拍才聂透4竟55和AF照明器56 ^皮配置为暴露在 外。AF照明器56还起到自动拍照灯的功能。在图像拾取设备的顶 部表面设置了变焦杆(TELE/WIDE) 51、快门按钮52、再生按钮 53以及电源按4丑54。在图像拾取设备的背侧i殳置触4莫屏18。变焦 杆51、快门按钮52、再生按钮53以及电源按钮54包括在操作单 元24中。以下将参照图5所示的流程图更详细地描述通过才艮据本发明第 二实施例的图像拾取设备所执行的特征性的处理。需要对图6进行 参考。下述一 系列处理操作也对应于根据第二实施例的图像拾取设 备。在步骤S11中，当设置笑脸模式并开始处理时，首先，使用液 晶面板17执行静止图像稳定状态显示。这被示为图6中的屏幕100。 在屏幕100上显示AF框100a。接着，在步骤S12中，CPU 23 ^r测才喿作单元24中包括的快门 按钮52是否被半按压。如果快门按钮52没有被半按压，则继续执 行静止图像稳定状态显示。如果半按压快门按钮52(步骤S12中为 "是")，则在步骤S13中，执行扫描AF、执行AF锁定、并在液晶 面板17上显示该状态。这^皮示为图6中的屏幕101和102。即，在 AF扫描期间，如屏幕101所示显示AF冲匡101a和101b。当结束 AF扫描并将状态切换到AF锁定状态时，指定纟皮锁定的AF框102a 并显示在屏幕102上。在步骤S14中，CPU23确定是否快门按钮52被完全按下。如 果确定没有完全4姿下快门按4丑52 (步骤S14中为"否")，则流程返 回到步骤S12,并重复上述处理。如果确定快门按4丑52净皮完全4要下， 则在步骤S15中执行笑脸检测。这里，如图6中的屏幕103所示， AF框103a围绕作为笑脸检测对象的面部。例如，当先前执行AF 锁定时，确定作为该笑脸4企测对象的面部。这里，作为CPU 23读取存储在程序ROM 26中的程序的结果， 执行笑脸检测。例如，关于其上已设置AF框的对象的面部，即， ^皮AF锁定的面部，指定值得注意的部分。确定值得注意的部分是 否满足预定条件。如果值得注意的部分满足预定条件，则确定对象 的面部上呈现笑脸。这种值得注意的部分包括例如对象的眼睛或嘴巴，更具体地为眼睛白色的尺寸(面积)和/或嘴巴的4黄向长度和白 色部分的尺寸(面积)。然而，值得注意的部分并不限于此。以这种方式，在步骤S16中，每当检测到笑脸时，就执行图像 拾取控制。这里，图像拾取控制是包括AF、 AE和AWB的3A控 制。此后，通过图像拾取装置12拾取对象图像，并通过模拟信号 处理单元13和A/D转换单元14将其转换为数字图像数据。在步骤 S17中，数字信号处理单元15对数字图傳4t据才丸4亍上述处理并将所 处理的数字图像数据记录在记录装置19中。尽管在流禾呈图中没有示出，^f旦这里可以执4亍自动回看(auto review )。在这种情况下，如果将自动回看i殳置为"ON",则如图6 中的屏幕104所示，使用液晶面板17执行自动回看显示。接着，在步骤S18中，CPU23确定是否快门按钮52被完全按 下。如果快门按钮52被完全按下(步骤S18中为"是")，则完成 处理。如果确定没有完全按下快门按钮52 (步骤S18中为"否，，)， 则在步骤S19中CPU 23确定是否已经达到可拍摄的最大照片数。 如果CPU 23确定已经达到可拍才聂的最大照片凄t (步骤S19中为 "是")，则完成处理。如果确定还没有达到可拍摄的最大照片数(步骤S19中为 "否")，则在步骤S20中CPU 23确定是否已经过去预定的时间段 (超时)。如果确定已经过去了预定的时间段(步骤S20中为"是")， 则完成处理。如果CPU 23确定还没有过去预定的时间,殳(步骤S20 中为"否，，)，则流程返回到步骤S15并重复上述处理。即，如果没 有满足这些完成条件中的任意一个，则重复笑脸检测、3A控制以 及图傳_拾取和记录的处理。这里，以快门按钮52是否被完全按下、是否已经达到可拍摄顺序并不限于此，而是可以根据任意指定的优先级来确定完成条 件。而且，可以添加其他完成条件。如果在多个面部上检测到笑脸，则对通过触摸面板16执行的 用户操作所选择的对象面部指定最高优先级。对于其他面部，对所 选面部附近的面部或者位于与所选面部同样的对象距离处的面部 指定高优先级。自然，才艮据优先级，可以对预定数量的面部i殳置 AF才医。此外，如果用户没有具体选择对象的面部，则可以通过对 屏幕中心附近的面部或者其尺寸4交大的面部指定高优先级来确定 优先级。自然，才艮据优先级，可以对预定凄t量的面部i殳置AF框。如上所述，根据第一和第二实施例，如果设置了笑脸模式并执 行具有笑脸检测的图像拾取，则与例如完全按下快门按钮同时地执 行笑脸检测、3A控制以及图像拾取和记录的处理，直到满足完成 条件。当满足诸如完全按下快门按钮、达到可拍摄的最大照片数或 过去预定的时间#殳的完成条件时，适当地控制图傳j合耳又的开始/结束 的定时以完成一系列处理操作。结果，可以获得高质量的图像。已经描述了本发明的实施例，然而，本发明不限于此。本领域 的才支术人员应该理解，才艮据设计要求和其他因素，可以有多种》务改、 组合、再组合和改进，均应包含在本发明的权利要求或等同物的范 围之内。例如，在对多个对象面部i殳置了 AF^I的情况下，如果在笑脸 模式下拾取多个图像，则通过在具有AF框的一个面部上检测到笑 脸的时刻连续拾取图像，可以获得各个对象都在笑的图像。这里， 可以优先考虑AF冲匡并可以才艮据优先级冲合取图^f象。因此， 一旦开始 笑脸模式下的图像拾取，就可获得一个屏幕上对象在笑的图像。
权利要求
1.一种图像拾取设备，包括图像拾取装置，用于拾取对象图像；以及控制装置，用于在设置了预定模式的情况下，以以下方式执行控制当执行操作输入时开始对象的笑脸检测，如果检测到笑脸，则拾取所述对象图像，并且重复执行笑脸检测和图像拾取直到满足完成条件。
2. 根据权利要求1所述的图像拾取设备，其中，所述完成条fh^所述操作输入。
3. 根据权利要求1所述的图像拾取设备，其中，所述完成条件是达到可拍摄的最大照片数。
4. 根据权利要求1所述的图像拾取设备，其中，所述完成条件是从执行所述操作输入起经过预定 的时间l殳。
5. 根据权利要求1所述的图像拾取设备，其中，所述控制装置在所述笑脸检测和所述图像拾取之 间执行图像拾取控制。
6. —种图傳4合取方法，包4舌以下步骤检测步骤，在设置了预定模式的情况下，当执行操作输 入时^r测》t象的笑脸；以及拾取步骤，如果检测到笑脸，则拾取对象图像，其中，重复所述4全测步骤和所述拾取步骤直到满足完成 条件。
7. 根据权利要求6所述的图像拾取方法，进一步包括在所述检测 步骤和所述拾取步骤之间执行图像拾取控制的步骤。
8. —种由计算机执行的程序，所述程序使所述计算机执行图像拾 取方法，所述4合取方法包4舌以下步骤检测步骤，在设置了预定模式的情况下，当执行操作输 入时检测对象的笑脸；以及拾取步骤，如果检测到笑脸，则拾取对象图像，其中，重复所述检测步骤和所述拾取步骤直到满足完成 条件。
9. 才艮据权利要求8所述的程序，其中，所述图像拾取方法进一步包括在所述检测步骤和 所述拾取步骤之间执行图像拾取控制的步骤。
10. —种图像拾取设备，包括图像拾取单元，被配置为拾取对象图像；以及控制单元，；故配置为在i殳置予贞定才莫式的情况下，以以下 方式执行控制当执行操作输入时开始对象的笑脸检测，如果 检测到笑脸，则拾取所述对象图像，并且重复执行笑脸检测和 图像拾取直到满足完成条件。
全文摘要
本发明公开了图像拾取设备、图像拾取方法及其程序，其中，该图像拾取设备包括图像拾取单元，被配置为拾取对象图像；以及控制单元，被配置为在设置了预定模式的情况下，以以下方式执行控制当执行操作输入时开始对象的笑脸检测，如果检测到笑脸，则拾取对象的图像，并且重复执行笑脸检测和图像拾取直到满足完成条件。本发明适当地控制对象的笑脸检测的开始/结束定时来获得高质量的图像。
文档编号H04N5/232GK101335838SQ200810127818
公开日2008年12月31日 申请日期2008年6月25日 优先权日2007年6月28日
发明者铃木康史, 阿部弘 申请人:索尼株式会社