图像抓取装置、图像抓取方法和图像抓取程序的制作方法

专利名称：图像抓取装置、图像抓取方法和图像抓取程序的制作方法
技术领域：
本发明涉及图像抓取装置、图像抓取方法和图像抓取程序。更具体地说，本发明涉
及图像抓取装置，如相机和摄像机。
背景技术：
—般来说，在使用图像抓取装置(如相机或摄像机)的摄影中，当出现其操作者想 要拍摄照片的情形时，他或她按下在操作部件中提供的操作按钮等，以便向相机或摄像机 给出记录开始指令。 例如，当操作者想要使用相机来拍摄孩子的笑时，操作者必须在持有相机的同时 注意孩子以便他或她面向相机，并且必须等孩子笑，以按下拍摄按钮。结果，操作者经常由 于晚操作而导致错过拍摄。 当操作者想要使用摄像机来拍摄孩子的笑时，如在相机的情况下那样，存在太晚 以不能执行操作的可能性。即使当操作者在合适的定时进行操作时，通常可能不能拍摄孩 子笑的起因和面部表情改变的状态。 因此，操作者可以较早地按下拍摄按钮以便防止晚操作，因此浪费了电源、记录介 质的资源等。为了解决上述问题，已经构思了一些方法。 例如，日本待审查专利申请公开No. 2008-42319公开了这样的相机和摄像机其 基于被摄体的面部信息来计算指示面部表情的程度的评估值，并且当评估值超过预定阈值 时自动地开始记录。 例如，日本待审查专利申请公开No. 2006-166184公开了这样的摄像机其可以在 执行拍摄开始操作之前几秒开始记录，以便防止由于晚的拍摄开始操作而导致错过拍摄。

发明内容
当将日本待审查专利申请公开No. 2008-42319中公开的图像抓取装置应用于摄 像机时，可能在出现特定情形之后记录被摄体的视频。然而，存在的问题在于，通常可能不 能记录引起所述情形发生的事件和所述情形中改变的过程。 关于日本待审查专利申请公开No. 2006-166184中公开的摄像机，当拍摄者在合 适的定时执行拍摄开始操作时，可以拍摄特定情形中的被摄体和所述情形中改变的过程。
然而，存在的问题在于，当拍摄者的拍摄开始操作太晚或拍摄者未能执行操作时 通常可能不能记录期望的场景。另外，拍摄者注意拍摄开始操作和被摄体两者也是晚操作 和未能执行操作的一个原因。 因此，期望提供新颖的且改进的图像抓取装置，其可以自动地记录特定情形中的 被摄体的图像以及所述情形中改变的起因和过程。 根据本发明的实施例，提供了图像抓取装置。所述图像抓取装置包括图像抓取部 件，其抓取被摄体的图像；检测器，其从由所述图像抓取部件抓取的图像中检测所述被摄体 的一部分，所述部分具有特定特征；评估器，其确定由所述检测器检测到的部分的特定特征的数字表示的评估值；缓冲器部件，其临时地存储与预定时间量对应的延迟图像；以及记 录操作控制器，其在确定所述评估值满足预定条件时，控制所述图像抓取装置以记录包括 所述缓冲器部件中的预定延迟图像的图像数据。 通过该布置，图像抓取装置在缓冲器部件中保存通过图像抓取而获得的图像，同 时不变地重写与预定时间量对应的图像。因此，当开始拍摄时可以记录先前图像。
基于评估值检测期望的场景，并且自动地执行记录开始操作。该布置可以防止错 过拍摄。 记录操作控制器可以基于缓冲器部件中存储的评估值来确定缓冲器部件中图像 的记录开始点。 通过该布置，在缓冲器部件中的延迟图像中，基于评估值可以选择想要记录的部 分。该布置使得可以更高效地仅记录期望场景的图像。 可以与评估值相关联地任意设置开始记录的预定条件。例如，可以将预定条件设 置为评估值改变到大于或等于第一阈值的条件。 也可以将开始记录的预定条件设置为评估值的增大速率改变到大于或等于预定 阈值的条件。 可以与缓冲器部件中记录的评估值相关联地以各种方式设置缓冲器部件中图像 的记录开始时间。例如，可以将缓冲器部件中的图像的记录开始点设置为当评估值大于或 等于第二阈值时的时间点。 可以任意地设置要由图像抓取装置拍摄的被摄体以及被摄体的属性的数字表示 的评估值。例如，当将被摄体被设置为人时，评估值可以是通过评估面部表情而获得的值。
要评估的面部表情可以是笑、生气的脸或哭泣的脸。通过该布置，可以检测并记录 被摄体的面部表情(如，笑、生气的脸或哭泣的脸)。 记录操作控制器可以设置用于停止记录的条件。可以基于评估值的增大或减小速
率来设置条件，或者可以基于时间来设置。也可以组合地使用所述条件。 例如，用于停止记录的条件可以是在开始记录之后，在评估值落在第一阈值以下
之后经过了某一时间量的条件。由于以这种方式设置记录停止条件，所以也自动地执行记
录的停止。该布置允许图像抓取装置的操作者执行拍摄而无需注意其操作。 记录操作控制器可以控制图像抓取装置以连同将要记录的图像一起记录与所述
图像对应的评估值。通过该布置，在记录之后，也可以基于评估值来执行控制。 根据本发明的另一实施例，提供了用于图像抓取装置的图像抓取方法。所述方法
包括如下步骤抓取被摄体的图像；检测所述被摄体的一部分，所述部分具有特定特征；确
定检测到的部分的特定特征的数字表示的评估值；确定所述评估值是否满足预定条件；确
定记录开始时间；以及从记录开始时间记录图像数据。 根据本发明的再一实施例，提供了使得图像抓取装置执行以下步骤的图像抓取程 序抓取被摄体的图像；检测所述被摄体的一部分，所述部分具有特定特征；确定检测到的 部分的特定特征的数字表示的评估值；确定所述评估值是否满足预定条件；确定记录开始 时间；以及从记录开始时间记录图像数据。 如上所述，本发明使得可以防止由于晚操作或操作的失败而引起错过拍摄，并且 还使得可以自动地记录在特定情形下的被摄体的图像以及在该情形下改变的起因和过程。


图1是示出了可应用本发明的图像抓取装置的整体配置的一个示例的框图；
图2是示出了根据本发明的一个实施例的图像抓取装置的记录功能配置的框图；
图3是示出了根据本实施例的图像抓取装置的记录功能的操作的流程图；
图4是示出了根据本实施例的图像抓取装置的报告功能配置的框图；
图5是示出了使用根据本实施例的图像抓取装置的拍摄的第一说明性操作的操 作的图； 图6是示出了在图5中所示的拍摄期间的操作的流程图； 图7A和图7B图示了根据本实施例的图像抓取装置的显示器上显示的图像的示 例； 图8是图示了使用根据本实施例的图像抓取装置的拍摄的第二说明性操作的操 作的图； 图9是示出了在图8中所示的拍摄期间的操作的流程图； 图10是在图9中所示的子流程图的一个示例； 图11是示出了在图10中所示的示例的修改的流程图；以及 图12A和图12B图示了根据本实施例的图像抓取装置的显示器上显示的示例图 像。
具体实施例方式
参照附图，将在下面详细描述本发明的优选实施例。这里以及附图中，由相同的附 图标记表示具有基本上相同功能配置的元件，并且未给出冗余描述。
以如下顺序给出下面的描述 1.根据本发明的实施例的图像抓取装置的整体配置
2.根据本发明的实施例的图像抓取装置的记录功能配置
3.根据本发明的实施例的图像抓取装置的显示功能配置
4.第一说明性示例(基于时间固定记录开始时间)
5.第二说明性示例(基于评估值确定记录开始时间)
6.结论 〈1.根据本发明的实施例的图像抓取装置的整体配置〉 首先将参照图1描述根据本发明的一个实施例的图像抓取装置的整体配置。尽管 根据本实施例的图像抓取装置的主要特征在于下面图2及后面的图中所述的内部功能配 置，但是现在将描述整体配置以有助于整体理解。
图1是示出了根据本发明的实施例的图像抓取装置的整体配置的框图。图1中所
示的图像抓取装置ioo具有用于抓取静态图像或运动图像的功能，并且实现为(例如)数
码相机或数码摄像机。 不必说，图像抓取装置100可以实现为移动电话中包括的数码相机或摄像机。图 像抓取装置100也可以实现为在个人计算机提供的相机或摄像机。 图像抓取装置100也可以实现在数字电子设备中。替代地，图像抓取装置100可以实施为监视相机(surveillance camera)。 [OO53][图像抓取装置的整体配置] 图像抓取装置100总的来说包括图像抓取部件10、处理器20、控制器30、记录部件 40、显示部件50和输入/输出部件60。 图像抓取部件10通过使用图像抓取元件13来抓取被摄体的图像。处理器20对 由图像抓取部件IO抓取的图像执行各种类型的处理。控制器30中心地控制图像抓取装置 100的各种功能。基于从处理器20接收到的图像以及从控制器30接收到的控制信号，记录 部件40将图像记录到记录介质。 显示部件50在由操作者观看的显示器52上显示各种类型的报告信息以及由图像 抓取部件10抓取的图像。输入/输出部件60允许操作者执行用于设置和/或操作的输入， 并向操作者、被摄体等输出报告信息。将在下面描述各部件的细节。
[图像抓取部件的配置] 首先，将给出图像抓取部件10的主要配置的描述，所述图像抓取部件IO具有通过 使用图像抓取元件13来抓取被摄体的图像的功能。图像抓取部件10 —般包括光学单元 11、驱动器12、图像抓取元件13和定时发生器14。 光学单元11用作用于将来自被摄体的光收集到图像抓取元件13上的光学系统， 并具有透镜、用于移动透镜以执行对焦和变焦的驱动机构、快门机构、光圈机构等(未示 出)。 基于来自微计算机31的控制信号，驱动器12控制光学单元11中的每一个机构的 驱动。 图像抓取元件13是用于将被摄体的图像作为数字信号抓取到图像抓取装置100 中的元件。例如，图像抓取元件13是CCD(电荷耦合器件)或CMOS(互补金属氧化物半导 体)固态图像抓取元件。 基于从定时发生器14输出的定时信号来驱动图像抓取元件13，并且图像抓取元 件13将来自被摄体的入射光转换为电信号。 定时发生器14是用于将定时信号输出到与定时控制有关的各部件的元件。在本 实施例中，定时发生器14将定时信号输出到图像抓取元件13。
[处理器的配置] 接下来，给出用于对由图像抓取部件IO抓取的图像执行各种类型的处理的处理 器20的描述。处理器20—般具有AFE(模拟前端)电路21和相机信号处理电路22。
AFE电路21采样并保持从图像抓取元件13输出的图像信号，以便维持有利的S/ N(信噪)比，控制增益，执行诸如A/D(模数)转换之类的处理，并输出所产生的数字图像数 据。 相机信号处理电路22对图像数据执行各种类型的处理。在本实施例中，相机信号 处理电路22对从AFE电路21接收的图像数据执行AF(自动对焦)、AE(自动曝光)、用于
各种类型的图像质量校正处理的检测处理、基于检测信息的图像质量校正处理等。 [ooes][控制器的配置] 接下来，将给出用于中心地控制图像抓取装置100的各种功能的控制器30的描 述。控制器30—般具有微计算机31。
微计算机31包括CPU (中央处理单元)和存储器(如ROM (只读存储器)和RAM (随 机存取存储器))，并通过执行存储器中存储的程序来中心地控制图像抓取装置100。 [OO71][记录部件的配置] 接下来，将给出具有用于将抓取的图像记录到记录介质的功能的记录部件40的 描述。记录部件40 —般具有图像编码器41和记录装置42。 图像编码器41压縮并编码从相机信号处理电路22输出的图像数据，并将已编码 数据输出到记录装置42。当不需要压縮和编码图像数据时，可以消除图像编码器41。
记录装置42是用于记录和保存各种类型数据的记录介质，并将从图像编码器41 输出的已编码数据记录为图像文件。当未提供图像编码器41时，记录装置42直接地记录 图像数据，而非已编码数据。 记录装置42可以在其中具有磁记录介质(如，硬盘)，或者可以是外部记录装置。 外部记录装置的示例包括便携式记录介质(如，磁带或光盘)或非易失性存储器(如，闪 存)。[显示部件的配置] 接下来，将给出具有允许操作者观看正在拍摄的图像的显示器52的显示部件50 的描述。显示部件50 —般具有图形控制电路51和显示器52。 图形控制电路51将要在显示器52上显示的信息转换为适于显示的信号。在本实 施例中，图形控制电路51将从相机信号处理电路22或微计算机31输出的图像数据转换为 要在显示器52上显示的信号。 响应于来自微计算机31的请求，图形控制电路51还在图像上显示诸如面部表情 分数(下面描述)之类的信息。 显示器52是这样的装置其执行显示，以便正在拍摄的图像和各种类型的报告信 息可以由拍摄者等观看。在本实施例中，显示器52基于从图形控制电路51输出的图像数 据来显示图像等。 显示器52可以实施为(例如)液晶显示(LCD)装置或有机EL(电致发光)显示
装置，但不限于此。[输入/输出部件的配置] 接下来，将给出用于向图像抓取装置100输入指示操作者的操作的信号以及用于 向操作者执行输出的输入/输出部件60的描述。输入/输出部件60 —般具有输入部件 61、 LED(发光二极管)发光部件62和声音输出部件63。 输入部件61用作操作部件，所述操作部件用于向微计算机31输出与拍摄者通过 各种输入开关执行的操作输入对应的控制信号。输入部件61可以实施为(例如)快门释 放按钮、十字键(cross key)或触摸板，以用于执行各种菜单操作和操作模式设置等，但不 限于此。 LED发光部件62基于来自微计算机31的控制信号而打开LED。例如，在自动拍照 器(self-timer)功能的操作期间打开LED。 声音输出部件63基于来自微计算机31的控制信号而输出声音(如，操作确认声 音)。当提供用于音频数据的编码器/解码器时，声音输出部件63可以输出通过再现音频 数据而获得的声音。
7
如上所述，图像抓取装置100中的图像抓取元件13通过光学单元11接收光，光电 地将光转换为信号，并顺序地将信号提供到AFE电路21。通过各种类型的处理将信号转换 为数字图像数据，并将所产生的数字图像数据发送到相机信号处理电路22。
〈2.根据本发明的实施例的图像抓取装置的记录功能〉 现在将参照图2和图3描述根据本实施例的图像抓取装置的记录功能。图2是示
出了根据本实施例的图像抓取装置的记录功能配置的框图。 [oogo][记录功能配置] 现在将参照图2描述相机信号处理电路22和微计算机31 (其为根据本实施例的 用于记录功能的主要部件，并且在以上参照图l进行了描述)的功能配置的一个示例。
适用根据本实施例的图像抓取装置，使得它可以在缓冲器等中存储抓取的图像长 达某一时间段，以便允许响应于用于开始记录的指令从先前图像开始记录，使得可以检测 最想拍摄的场景，并且使得可以自动地发布记录开始指令。 将由图像抓取部件10抓取的图像数据经历处理器20和控制器30执行的处理，然 后由记录部件40记录。下面的描述给出了如上所述可以记录先前图像、可以检测最想拍摄 的场景并且可以自动地发布开始记录的指令的功能配置。 相机信号处理电路22具有检测器221和局部图像发生器222，以便检测最想拍摄 的场景。 检测器221是用于检测特殊被摄体的部件，并分析输入图像数据，并检测诸如被 摄体的一部分的位置和大小之类的信息，所述部分具有特定特征。例如，除了位置和大小之 外，在这种情况下检测到的信息可以包括朝向。 局部图像发生器222是用于裁减出所抓取的图像的特殊局部图像的部件。局部图 像发生器222从图像抓取部件10接收图像数据，从检测器221接收诸如已检测到的特定部 分的位置和大小之类的信息，从图像数据中裁减出特定部分的图像，并将裁减出的图像输 出到微计算机31。 微计算机31具有评估器311、缓冲器部件312、记录操作控制器313和确定轴信息 314等。 评估器311是用于确定被摄体的特定特征部分的属性的数字表示的评估值的功 能部件。基于确定轴信息314和从局部图像发生器222接收到的局部图像的归一化图像 数据，评估器311评估输入图像的特定特征，并将所确定的评估值发送到记录操作控制器 313。 由评估器311确定的评估值可以被直接发送到记录操作控制器313，以便用作开 始记录操作的确定信息。由评估器311确定的评估值可以被发送到记录操作控制器313和 缓冲器部件312，以便在缓冲器部件312中存储某一时间段的评估值。 当在缓冲器部件312中存储评估值时，记录操作控制器313可以从评估器311接 收当前点处的评估值，并接收缓冲器部件312中存储的评估值历史，以便使用接收到的评 估值和评估值历史作为记录开始操作的确定信息。 缓冲器部件312用作临时存储部件，其可以对于特定量的时间存储特定量的数 据，并且不变地保存所抓取的图像、声音等。 由于提供缓冲器部件312，所以除了当前图像之外，记录操作控制器313可以从缓冲器部件312中存储的先前图像开始记录。因此，存在防止由于晚的记录开始操作引起的 错过拍摄的优点。 如上所述，缓冲器部件312还可以存储评估值。由于存储了所存储的评估值，所以 可以基于评估值确定记录开始点。 记录操作控制器313是用于控制整体记录操作的功能部件。在本实施例中，一旦 检测到从评估器311接收到的评估值满足预定条件，记录操作控制器313发布开始记录操 作的指令。 除了当前拍摄的图像之外，记录操作控制器313还可以记录缓冲器部件312中存 储的、且早于记录开始点的图像。 不必说，记录操作控制器313可以首先记录处于记录开始时间的图像，而非先前 图像。该布置允许执行设置以便一旦检测到某一条件就自动地开始记录。因此，可以期望， 能够防止由于记录操作的失败而引起错过拍摄。 确定轴信息314是评估部件311使用以执行用于确定被摄体的特定特征的数字表 示的评估值的评估的信息。例如，确定轴信息314被预先存储在内部存储器(如R0M)中。
本实施例中的描述已经给出了这样的示例其中相机信号处理电路22中的检测 器221和局部图像发生器222由硬件实现，并且将微计算机31的功能部件实现为软件功 能。 然而，不必说，那些功能可以由硬件和/或软件实现。 对于软件，例如，可以通过使微计算机31的CPU执行存储器(如，ROM或RAM(未 示出))中存储的程序来实现。例如，基于ROM中存储的程序，CPU可以使用RAM作为工作区来操作。
[记录功能操作的流程] 接下来，将给出由图2中所示的记录功能配置实现的记录操作的流程的描述。图
3是示出了根据本实施例的图像抓取装置的记录功能的操作的流程图。 首先，在步骤S100，检测器221从图像抓取部件10抓取的图像检测具有特定特征
的部分。接下来，在步骤S102，评估器311确定由检测器221检测到的部分的特定特征的数
字表示的评估值。 例如，在这种情况下检测到的部分可以是人脸，并且评估值可以是人的面部表情 的数字表示值。在这种情况下，将要评估的面部表情可以是笑、生气的脸或哭泣的脸，并且 可以将这样的面部表情表示为评估值。 例如，在这种情况下检测到的部分也可以是萤火虫，并且评估值可以是萤火虫的 光强度的数字表示值。例如，可以检测光强度，并抓取在萤火虫开始发光之后或之前的场景 的图像。 在这种情况下检测到的部分可以是动物、昆虫等，并且评估值可以是运动的数字 表示值(在一状态下的改变量)。例如，可以当大象在动物公园中移动长树干时的时刻拍摄 图像。 检测到的部分可以是可识别的、且具有可数字表示的特征的任意其他部分。
在步骤S104中，进行关于评估值是否满足预定记录开始条件的确定。当满足所述 条件时，在步骤S106开始记录。
9
在这种情况下，可以将任意条件设置为记录开始条件。任意条件可以是(但不限 于)评估值大于或等于某一阈值的条件，或者评估值的增大速率大于或等于某一阈值的条 件。 在记录开始期间，可以从缓冲器部件312中保存的延迟图像开始记录，并且可以 任意地设置记录开始图像。 记录开始图像可以是在时间的基础上早于预定时间的图像，或者可以是当基于所 存储的评估值的历史的评估值满足预定条件时的图像。 接下来，在步骤S108，进行关于是否发布了停止指令的确定。继续记录直到发布了 停止指令为止。当发布了停止指令时，在步骤S110停止记录。 可以通过拍摄者按下停止按钮等来发布停止指令，或者可以通过任意停止条件的 设置来发布停止指令。可替代地，当经过预定时间时可以发布停止指令，或者当基于评估值 满足某一条件时可以发布停止指令，但不限于此。 虽然已经在上文中描述了记录的操作，但将在下文中联系特定示例详细描述第一 和第二说明性示例，在所述特定示例中，检测到的部分是人脸，并且评估值是笑的程度的数
字表示值。 〈3.根据本发明的实施例的图像抓取装置的显示功能配置〉 接下来将参照图4描述根据本实施例的用于显示的功能配置。图4是除了图2中 所示的记录功能配置之外还示出了显示功能配置的框图。在下文中不描述与参照图2所述 的那些相同的部件。 图4中所示的微计算机31具有报告控制器315。基于从评估器311接收到的评估 值，报告控制器315根据预定报告方法，向图形控制电路51发布指令以便通过使用图形、图 标等向操作者报告特定面部表情的程度。 也可以在显示器52上显示由检测器21检测到的诸如被摄体的特定部分的位置和 大小之类的信息，以便基于其可以识别出将要评估的部分。 尽管未示出，但是当评估值超过某一阈值时可以以声音通知操作者，或者可以以 发光通知操作者。 响应于来自报告控制器315的指令，图形控制电路51控制用于在显示器52上显 示来自缓冲器部件312的延迟图像以及来自处理器20的当前图像的方法。联系第一和第 二说明性示例，将在下文中详细描述显示的特定示例。
〈4.第一说明性示例> 接下来，参照图5到图7B，将描述使用根据本实施例的图像抓取装置的运动图像 拍摄的第一说明性示例的一系列流程。 图5是图示了使用根据本发明的实施例的图像抓取装置的拍摄的第一说明性示 例中所抓取的图像以及面部表情评估值的改变的图。图6是示出了在这种情况下图像抓取 装置的操作的流程图。 第一说明性示例中的描述将给出这样的示例其中，检测到人脸并且确定用于评 估面部表情在哪种程度上更接近于笑的面部表情评估值，并且当确定面部表情评估值超过 第一阈值时，从早了预定时间量N的图像开始记录。 下面参照图5和图6给出描述，其中t指示笑检测时间，N指示缓冲时间，而Th 1指
10示面部评估值的第一阈值。 首先，拍摄者打开图像抓取装置的电源以执行开始拍摄的操作。将通过图像抓取 而抓取的图像存储为延迟图像70，直到达到最大时间N为止。当经过了时间量N时，不变地 存储与时间量N对应的图像，同时由此顺序地重写较老的图像。 同时，在步骤S200，检测器221对当前正在抓取的图像执行面部检测。在步骤 S202，评估器311确定面部表情评估值。在步骤S204，做出关于面部表情评估值是否大于或 等于第一阈值Thl的确定。 可以使用已经可用的方法作为用于确定评估值的方法。例如，可以使用日本待审 查专利申请公开No. 2008-42319中公开的方案。 在图5中所示的图像71和72的时间，面部表情评估值未达到第一阈值Thl，使得 重复在步骤S200到步骤S204的操作。在图像73的时间，面部表情评估值达到第一阈值 Thl，使得满足记录开始条件。因此，在步骤S206，在时间t-N从图像71开始记录。
尽管记录开始图像75是早了预定时间量的图像，并且首先记录在缓冲器部件312 中存储的图像中的最老的一个(在t-N)，但是这样的布置使得拍摄者可以在缓冲时间内预 设记录开始图像75。 在开始记录之后，继续记录直到发布停止指令为止。当在步骤S208确定发布停止 指令时，处理进行到步骤S210，其中停止记录。 当操作者按下停止按钮等时可以发布停止指令。可替代地，例如，当从面部表情评
估值达到第一阈值Thl的时间t起经过了预定量时间时或者当从开始记录之后面部表情评
估值落在第一阈值Thl以下的时间t起经过了预定量时间时可以自动地停止记录。 虽然已经在上文中描述了根据第一实施例的图像抓取装置的记录操作，但是，由
于图像抓取装置可以检测最想记录的面部表情，可以记录检测到的面部表情的图像之前和
之后的图像，并且可以自动地确定记录的开始以执行操作，因此图像抓取装置的使用使得
可以可靠地防止错过拍摄。[显示的示例] 现在将参照图7A和图7B描述在操作期间的显示的一个示例。待机屏幕70 (图7A 中所示)是在待机状态下(如，在图5中所示的图像71和72的时间)同时正在运行面部 检测的显示的一个示例。在检测时显示的屏幕71(图7B中所示)是当开始记录时(如，在 图5中所示的图像73的时间)的显示的一个示例。 在待机状态下，当检测到面部时，可以显示指定所检测部分的框81、指示正在执行 面部检测/评估的标记82以及表示当前评估值的状态的图表83。 在记录开始期间，类似地，除了指定检测到的面部的位置的框81、指示正在执行面 部检测/评估的标记82以及表示面部表情评估值的状态的图表83之外，还显示示出正在 记录的延迟图像的窗口 84和指示正在记录图像的图标85。
〈5.第二说明性示例> 接下来将描述第二说明性示例。第二说明性示例与第一说明性示例的相同之处在 于，当面部表情评估值达到第一阈值Thl时首先记录先前图像，但不同之处在于，在记录开 始期间基于评估值来确定记录开始图像。 由于在记录开始条件的检测期间基于评估值来确定记录开始图像，因此第二说明
11性示例具有也在缓冲器部件312中存储评估值历史的配置。 下面将参照图8到图12B给出描述，其中t指示笑检测时间，N指示缓冲时间，Thl
指示面部评估值的第一阈值，Th2指示面部评估值的第二阈值，而t-M指示记录开始时间。 图8是图示了使用根据本发明的实施例的图像抓取装置、根据第二说明性示例的
图像抓取的流程的图。图9是示出了在这种情况下的图像抓取的流程的流程图。 首先，拍摄者打开图像抓取装置的电源以执行开始拍摄的操作。将通过图像抓取
而抓取的图像存储为延迟图像70，直到达到最大时间N为止。当经过时间量N时，不变地存
储与时间量N对应的图像，同时由此顺序地重写较老的图像。 同时，在步骤S300，检测器221对当前正在抓取的图像执行面部检测。在步骤 S302，评估器311确定面部表情评估。在当在缓冲器部件312中存储所确定的面部表情评估 值时的同时，在步骤S304做出关于面部表情评估值是否大于或等于第一阈值Thl的确定。
在图8中所示的图像71和72的时间，面部表情评估值未达到第一阈值Thl，使得 重复步骤S300到S304的操作。在图像73的时间，面部表情评估值达到第一阈值Thl，使得 满足记录开始条件。因此，在步骤S306，检测到记录开始时间。 下面参照图10和图11详细描述记录开始时间检测的特定示例。尽管第一说明性 示例中的记录开始图像是在预定时间之前获得的图像并且基于时间来确定，但是第二说明 性示例中的记录开始图像基于缓冲器部件312中的评估值来确定的。 在步骤S308，在记录开始时间t-M开始记录。继续记录直到发布停止指令为止。 当在步骤S310确定发布了停止指令时，在步骤S312停止记录。
[记录开始时间检测] 接下来，将参照图8、图9和图10描述记录开始时间检测的操作流程。首先，将给 出使用面部表情评估值和第二阈值Th2的记录开始时间检测的描述。图10是图9中所示 的记录开始时间检测的一部分的子流程图。 当在图9中的步骤S304确定面部表情评估值大于或等于第一阈值Thl时，处理进 行到图10中的步骤S400。在步骤S400，顺序地扫描缓冲器部件312中存储的评估值。可 以从笑检测时间t返回到较早时间顺序地执行扫描，或者可以从t-N顺序地扫描。
在步骤S402，进行关于所扫描的面部表情评估值是否大于或等于第二阈值Th2的 确定。当面部表情评估值大于或等于第二阈值Th2时，处理进行到步骤S404，其中对于M设 置与时间对应的值。 在这种情况下，t-M是记录开始时间，并且比当前时间t早了 M。由于从与缓冲器 部件312中存储的图像和评估值对应的时间中选择M，所以M具有小于或等于最大缓冲时间 N的值。 当以上述方式在记录开始期间基于评估值确定记录开始图像时，可以执行更精细 的控制器，并且可以更高效地仅记录期望的图像。 根据第二说明性示例(其中使用第二阈值Th2)，当要拍摄孩子的笑时，也可以记
录孩子的面部表情开始改变的时间点处的图像。[记录时间检测的修改] 接下来，将参照图11描述图10中所示的记录时间检测的修改。图11示出了图9 中所示的记录时间检测的特定示例。该特定示例也是图10中的子流程图中所示的处理的修改。 由于步骤S400到S404与图10中的那些类似，所以在下文中未给出其描述。在步 骤S404对于M设置与面部表情评估值大于或等于第二阈值Th2的时间对应的值之后，在步 骤S406进行关于M是否小于预定阈值的确定。 在本实施例中，例如，当M具有小于2秒的值时，在步骤S408对于M设置N。缓冲 时间N是可以在缓冲器部件312中存储面部表情评估值的最大时间。 例如，该设置更优选地用于当面部表情快速改变时极短时间段中的拍摄不合适的 情况。例如，当从笑检测起已经经过了预定时间之后的时间的条件用作停止条件时，所述设 置也可以是有用的。 尽管已经在上文中描述了当M具有小于2秒的值时以缓冲时间替换M的示例，但 不必说M可以具有另一值。例如，可以将M设置为具有图像抓取装置中的固定值，或者可以
由操作者预先设置。
[显示的示例] 现在将参照图12A和图12B描述在操作期间显示的一个示例。待机屏幕120 (图 12A中所示)是待机状态下(如，图8中所示的图像71和72的时间)同时正在运行面部检 测的显示的一个示例。在检测时显示的屏幕121(图12B中所示)是当开始记录时(如，在 图8中所示的图像73的时间)的显示的一个示例。 图示了待机状态下的示例，以便与开始记录期间的显示进行比较，并且与图7A中 图示的第一说明性示例相同，因此在下文中未给出其描述。 在记录开始期间，如在待机状态的情况中那样，除了指示检测到的面部的位置的 框81、指示正在执行面部检测/评估的标记82和表示面部表情评估值的状态的图表83之 外，进一步显示一些延迟图像84。 显示的延迟图像84可以是具有基于评估值确定的特征(如，大改变)的提取的图 像。延迟图像84也可以以规则的间隔显示。 可以以高亮方式显示记录开始图像87，以便可以进行区分。
〈6.结论> 联系示例，已经在上文中描述了根据本发明的实施例的图像抓取装置的配置和功 能操作以及使用根据本实施例的图像抓取装置的图像抓取的流程。 在上述说明性示例中的任意一个中，当显示实况图像时，检测被摄体的特定特征 并在缓冲器部件312中不变地存储延迟图像。因此，当开始拍摄时，除了当前正在抓取的图 像之外，可以记录先前图像。 通过该布置，当拍摄者操作拍摄开始按钮并将图像抓取装置引导至被摄体时，根 据检测到的情形自动地开始记录。例如，当拍摄者要拍摄孩子时，由于他或她可以全身贯注 于孩子，所以减小了与拍摄相关的负担。 例如，在被摄体是动物或昆虫并且当特定情形出现不清楚时的情况下，由于在保
护和设置图像抓取装置时可以自动地开始拍摄，因此可以减少拍摄者的负担。 由于可以仅记录期望情形的图像而不记录不想要的部分的图像，因此不需要之后
从所记录的图像中搜索期望部分，从而使得编辑更容易。也可以减小记录介质的浪费的资
源的量。
在典型的图像抓取装置中，将其引导至被摄体不意味着正在执行记录。因此，被摄
体可能变得紧张从而看起来不自然。然而，通过根据本发明的实施例的图像抓取装置，直到
出现特定情形时才开始记录，从而使得可以获得被摄体的更自然的图像。 尽管已经参照附图在上文中详细描述了根据本发明的优选实施例，但是本发明不
限于所述实施例。对于本领域的技术人员来说，可以在本发明的精神或范围内进行各种修
改和改变，并且不必说，这样的修改和改变同样由本发明的技术范围所包括。 例如，尽管已经联系笑的检测的示例给出了以上实施例，但是本发明不限于此。例
如，本发明不仅可以应用于笑，而且还可以应用于生气的脸或哭泣的脸。 另外，被摄体不限于在本实施例中示例性的人，并且根据本发明的图像抓取装置 可以应用于能够表示为被摄体的特定属性的数字评估值的任意被摄体。 如上所述，例如，检测到的部分可以是萤火虫，并且评估值可以是萤火虫的光强度 的数字表示值。 类似地，如上所述，检测到的部分可以是动物、昆虫等，并且评估值可以是运动的 数字表示值( 一状态下的改变程度)，并且不限于这种示例，只要该部分可检测到并且其特 征可数字表示即可。 尽管在上述实施例中将图像和声音记录到记录介质，但所确定的评估值也可以被 与图像和声音一起记录。在这种情况下，例如，图像抓取装置可以被配置为使得，在记录之 后，可以基于评估值来搜索图像。该布置使得更容易地回放在笑的时刻抓取的图像。
在上述实施例中，当基于评估值确定记录开始点时尽管已经描述了用于使用第二 阈值的方法，但是可以组合多个条件来执行控制。 例如，尽管在上述实施例中已经描述了记录运动图像的情况，但是可以从缓冲器 部件中存储的图像记录每一预定时间量的连续静态图像。 类似地，基于评估值从在缓冲器部件中存储的图像检测具有特征的点，使得可以 记录一个或多个检测到的静态图像。 本申请包含与在2009年1月14日向日本专利局提交的日本优先权专利申请JP 2009-006098中公开的主题有关的主题，将其全部内容通过引用的方式合并在此。
本领域的技术人员应该理解，根据设计要求和其他因素可能出现各种修改、组合、 部分组合和变更，只要它们落在所附权利要求及其等价物的范围内即可。
1权利要求
一种图像抓取装置，包括图像抓取部件，其抓取被摄体的图像；检测器，其从由所述图像抓取部件抓取的图像检测所述被摄体的部分，所述部分具有特定特征；评估器，其确定由所述检测器检测到的所述部分的特定特征的数字表示的评估值；缓冲器部件，其临时地存储与预定时间量对应的延迟图像；以及记录操作控制器，其在确定所述评估值满足预定条件时，控制所述图像抓取装置以记录包括所述缓冲器部件中的预定延迟图像的图像数据。
2. 根据权利要求1所述的图像抓取装置，其中所述记录操作控制器基于所述评估值确定所述缓冲器部件中图像的记录开始点。
3. 根据权利要求1或2所述的图像抓取装置，其中所述预定条件是所述评估值大于或等于第一阈值。
4. 根据权利要求1或2所述的图像抓取装置，其中所述预定条件是所述评估值的增大速率大于或等于预定阈值。
5. 根据权利要求2到4的其中之一所述的图像抓取装置，其中所述记录开始点是当所述缓冲器部件中的所述评估值大于或等于第二阈值时的时间点。
6. 根据权利要求1到5的其中之一所述的图像抓取装置，其中所述被摄体是人，并且所述评估值是通过评估面部表情而获得的值。
7. 根据权利要求3到6的其中之一所述的图像抓取装置，其中在开始记录之后，当在所述评估值落在所述第一阈值以下之后经过了一定时间量时，所述记录操作控制器控制所述图像抓取装置以停止记录。
8. 根据权利要求2到7的其中之一所述的图像抓取装置，其中所述记录操作控制器控制所述图像抓取装置以连同将要记录的图像一起记录与所述图像对应的评估值。
9. 一种用于图像抓取装置的图像抓取方法，所述方法包括如下步骤抓取被摄体的图像；检测所述被摄体的部分，所述部分具有特定特征；确定检测到的部分的特定特征的数字表示的评估值；确定所述评估值是否满足预定条件；确定记录开始时间；以及从记录开始时间记录图像数据。
10. —种使得图像抓取装置执行以下步骤的图像抓取程序抓取被摄体的图像；检测所述被摄体的一部分，所述部分具有特定特征；确定检测到的部分的特定特征的数字表示的评估值；确定所述评估值是否满足预定条件；确定记录开始时间；以及从记录开始时间记录图像数据。
全文摘要
提供了图像抓取装置、图像抓取方法和图像抓取程序。所述图像抓取装置包括图像抓取部件，其抓取被摄体的图像；检测器，其从由图像抓取部件抓取的图像检测所述被摄体的一部分，所述部分具有特定特征；评估器，其确定由检测器检测到的部分的特定特征的数字表示的评估值；缓冲器部件，其临时地存储与预定时间量对应的延迟图像；以及记录操作控制器，其在确定所述评估值满足预定条件时，控制图像抓取装置以记录包括所述缓冲器部件中的预定延迟图像的图像数据。
文档编号H04N5/225GK101795356SQ20101000367
公开日2010年8月4日 申请日期2010年1月14日 优先权日2009年1月14日
发明者福田宪一郎 申请人:索尼公司