虚拟快门图像捕获的制作方法
【专利摘要】根据一些实施例，正如在本文使用的，在“无按钮帧选择”中无需操作快门或者按钮来选择一帧或者一组帧以便于图像捕获。这将用户从不得不操作相机来选择感兴趣的帧中解脱出来。此外，它减少了为了定时操作按钮来精确捕获真正感兴趣的帧或者一组帧所需要的技术量。
【专利说明】虚拟快门图像捕获
【技术领域】
[0001 ] 本发明总体涉及包括静止和运动图片捕获的图像捕获。
【背景技术】
[0002]通常，快门被用于例如相机的静止成像设备中，以选择用于捕获和存储的特定图像。类似地，在电影摄像机中，记录按钮被用于捕获一系列帧，以形成感兴趣的片段。
[0003]当然，这两种技术所存在的一个问题是定时捕获期望的恰当序列需要一定程度上的技术。
【专利附图】
【附图说明】
[0004]图1是根据一个实施例的图像捕获设备的示意图；
[0005]图2是根据本发明的一个实施例的捕获后虚拟快门装置；
[0006]图3是根据本发明的一个实施例的实时虚拟快门装置；
[0007]图4是用于捕获后虚拟快门实施例的本发明的一个实施例的流程图；
[0008]图5是用于实时虚拟快门实施例的流程图；以及
[0009]图6是用于本发明的另一个实施例的流程图。
【具体实施方式】
[0010]根据一些实施例，正如在本文使用的，在“无按钮帧选择”中无需操作快门或者按钮来选择一帧或者一组帧以便于图像捕获。这使得用户从不得不操作相机来选择感兴趣的帧中解脱出来。此外，这减少了为了定时按钮操作以精确捕获该真正感兴趣的帧或者一组帧所需的技术量。
[0011]因此，参考图1，根据一个实施例的成像设备10可包括光学器件12，其接收来自场景的将要被图像传感器14捕获的光线。该图像传感器可随后被耦合到离散图像传感器处理器(ISP) 16，其在一个实施例中可被集成到一个片上系统(SOC) 18中。该SOC 18可耦合到存储器20。
[0012]因此，在一些实施例中，一帧或者一组帧被选择，而无需用户已经操作按钮来指示用户想要记录哪一帧或者哪些帧。在一些实施例中，可执行捕获后的分析，以寻找这些感兴趣的帧。这可通过使用音频或者视频分析在所捕获的媒体中寻找指示用户期望记录一帧或者一组帧的特征或者声音。在其它实施例中，可以寻找特定的图像特征，从而在图像捕获期间实时识别感兴趣的帧或者多个帧。
[0013]参考图2，捕获后虚拟快门实施例使用包含存储的媒体22的存储设备20。存储的媒体可包括在一定时段上记录的暂时连续的帧的流。考虑到这些，帧可以是包括感兴趣的时刻26的元数据24。因此,元数据可指出或者指示关于在巾贞序列中什么是真正感兴趣的信息。这些帧序列可包括与感兴趣的时刻26相关的一个或者多个帧，其是用户真正期望的帧。
[0014]为了识别这些帧，可如在30中指示的那样存储规则。这些规则指示如何确定什么是用户期望从捕获的帧中获得的。例如，在所述事实之后，用户可指示在记录中他或者她真实感兴趣的是在旅途的终点对朋友的描述。分析引擎28可分析完整的音频或者视频记录内容，从而找到感兴趣的特定帧或者多个帧。
[0015]因此，在一些实施例中，记录帧的连续序列并且随后在所述事实之后，使用视频或者音频分析来分析所述帧，连同用户输入一起来找到感兴趣的帧或者多个帧。还可能在所述事实之后在连续捕获的帧中寻找特定表情或者声音。例如，几乎与感兴趣的帧或者多个帧同时，用户可做出已知的声音或者姿态，其可以在之后被搜索从而寻找感兴趣的帧或者多个帧。
[0016]根据图3所示的另一个实施例，在捕获图像时，可实时识别感兴趣的序列。传感器32可被用于记录音频、视频和静止图片。规则引擎34可被提供来指示系统应当寻找什么，从而指示感兴趣的一个或多个帧或者时间。例如，在捕获帧的过程中，用户可执行表情或者产生声音，其被记录装置知晓以表示感兴趣的时刻。当通过这种方式标记了感兴趣的时刻时，时间上与感兴趣时刻的时间帧最接近的帧可被标记并且被记录。
[0017]传感器32可被耦合到媒体编码设备40，其耦合到存储器20并且提供媒体22用于存储在存储器20中。分析引擎28还耦合到传感器，并且其自身还耦合到规则引擎34。分析引擎可耦合到元数据24和感兴趣时刻26。分析引擎可被用于识别在将要被记录的内容中的由用户标记的那些感兴趣时刻。
[0018]通用时间或者序列38提供了用于时间戳的时间指示，使得可以识别感兴趣的时间或者时刻。
[0019]在两个实施例中，捕犹后和实时识别感兴趣的巾贞，与所指定的感兴趣的时刻最接近的帧用作期望或者最优帧的第一近似值。通过任意一种技术选择感兴趣的时刻，第二组分析标准可被用于改善帧选择。在最初选择之前和之后的时间窗内的帧可针对所述标准被记分，并且可选择在时间窗内的局部最大值。在一些实施例中，可提供手动控制来重写虚拟帧选择。
[0020]可以构思很多不同的捕获场景。可通过传感器数据来发起捕获。基于捕获的传感器数据的示例可以是全球定位系统坐标、加速度或者时间数据捕获。图像的捕获可基于携带相机的人所感测的数据或者通过在成像的场景或者一组帧中示出的对象的运动特性或者其它特征。
[0021]因此，当用户通过终点线时，他或者她可能位于特定的全球定位点，其使固定在身体上的相机抓拍一张图片。类似的，相机本身的加速度可以触发一张图片，从而可以捕获例如跳台滑雪者观察到的场景的图片。然而，可针对以特定加速度运动的对象来分析视频帧，该特定加速度能够触发捕获。由于很多相机包括自带加速度测量器以及可包括在与捕获的图像或者帧相关的元数据中的其它传感器数据，因此可以很容易获得该信息。也可以通过包括在捕获帧中的时间来触发捕获。
[0022]在其它实施例中，可检测到对象，可识别对象，并且口说命令或者语言可被检测或实际上理解，并且被识别为捕获触发。例如，当用户说“捕获”时，可捕获帧。当所捕获的音频中的用户的声音被识别出时，其可以触发以捕获帧或者一组帧。同样地，当产生特定的语句时，其可以触发图像捕获。并且另一示例，做出具有特定意思的语句会触发图像捕获。以及再一个实施例，当识别图像内的特定对象时，可发起图像捕获。
[0023]在一些实施例中，训练可与图像检测、识别或者理解实施例相关联。因此，系统可被训练成识别语音、理解用户语言或者使给定的对象与捕获触发相关联。在一些实施例中，这可以使用图形用户界面在设置阶段期间完成。
[0024]在其它实施例中，在真实捕获的帧的选择中可以是智能的。当接收到触发时，可基于包括真实捕获的图像帧的质量的多个标准来选择与触发点最接近的帧。例如，与触发点最接近的过曝光或者曝光不足的帧被跳过，从而获得在时间上最接近的最佳图像质量的帧。
[0025]因此参考图4，可提供序列42以实现捕获后虚拟快门的实施例。序列42可以以软件、固件和/或硬件来实现。在软件和固件的实施例中，通过存储在永久计算机可读介质(例如磁、光或者半导体存储器)中的计算机可执行指令来实现。
[0026]通过指导成像设备10连续捕获帧，如在框44中示出的，来进行序列42。通过音频或者视频分析单元46有助于感兴趣时刻的实时捕获,该音频或者视频分析单元46分析表示特定序列应当被捕获的所捕获的视频和音频队列。例如，眨眼表情或者手势可被用于标记感兴趣时刻。类似地，特定声音可以产生以用于指示感兴趣时刻。一旦该分析识别了信号，就如冋在菱形48中指不的Iv命中。随后在框50中将该时间标记为感兴趣。在一些实施例中，替代标记特定帧，例如使用时间戳来表示时间。而最接近于感兴趣时间的帧被标记，使得用户不需要提供具有高定时精确度的指示。
[0027]接下来参考图5，在捕获后实施例中，序列52也可以实现为软件、固件和/或硬件。在软件和固件实施例中，通过使用存储在永久计算机可读介质(例如磁、光或者半导体存储器)中的计算机可执行指令来实现。
[0028]如在框54中指示的，序列52还执行连续捕获一系列帧。在菱形56中的检查确定是否已经接收到寻找感兴趣时刻的请求。如果是，如在框58中指示的，可使用分析法来分析所记录的内容，从而识别具有特定特征的感兴趣时刻。该内容可以是音频和/或视频内容。该特征可以是用户在那时已经慎重完成或者在那时已经完成再调用的任意音频或视频的分析地可确定信号，其可用于识别特定感兴趣时刻。如果在菱形60中检测到命中，与命中的时间相对应的时间帧可被标记为感兴趣时刻，如在框62中所示的。此外，代替标记特定帧，在一些实施例中替代地，可使用时间，从而使帧的识别具有较少的技术依赖性。
[0029]最后，转到图6，在序列64中，可用于识别那些真正感兴趣的帧。该序列64可以实现为软件、固件和/或硬件。在软件和固件实施例中，通过使用存储在永久计算机可读介质(例如半导体、光或者磁存储器)中的计算机可执行指令来实现。
[0030]通过定位与所记录的感兴趣的时间最接近的帧开始该序列64，如在框66中所示。在所定位的帧之前或者之后，可收集预定数量的帧，如在框68中所示。
[0031]接下来如在框70中所示，该帧可被记分。基于它们的由视频或者音频分析确定的与规定为用于识别感兴趣时刻的基础的特征的相似性来给帧记分。
[0032]随后，最佳帧可被选择，如在框72中所示，并且用作一组帧中的索引。在一些情况下，可仅使用最佳帧。在另一些情况下，通过定义该帧的记分如何接近于理想值，使得一个片段可被定义在一组连续帧中。
[0033]本文描述的图形处理技术以不同的硬件架构来实现。例如，图形功能可以集成在芯片组中。可选择地，也可以使用离散图形处理器。如在另一个实施例中，可以通过包括多芯处理器的通用目的处理器来实现图形功能。
[0034]贯穿整个说明书中的参考“一实施例”或者“实施例”意思是一个特定的特征、结构、或者结合这些实施例描述的特性被包括在本发明内包含的至少一个实施例中。因此，所出现的术语“一个实施例”或者“在实施例中”不应指的是相同的实施例。此外，特定的特征、结构或者特性可以以不同于所示的特定实施例的其它合适形式来建立，并且所有这些形式都包括在本发明的权利要求中。
[0035]虽然已经通过参考有限数量的实施例描述了本发明，然而本领域技术人员可以明白其中的多种修改和变形。旨在使所附权利要求覆盖落入本发明的真正精神和范围内的所有这些修改和变形。
【权利要求】
1.一种方法，包括: 使用计算机来从捕获的图像内容中进行无按钮帧选择。
2.根据权利要求1所述的方法，包括使用视频或者音频分析法进行帧选择。
3.根据权利要求1所述的方法，包括删除所捕获的视频内容中的队列，并使用所述队列进行帧选择。
4.根据权利要求1所述的方法，包括连续捕获帧，并且使用无按钮帧选择来选择连续捕获的帧。
5.根据权利要求4所述的方法，包括在所述连续捕获的帧中标记感兴趣的帧。
6.根据权利要求4所述的方法，包括定位在与所述感兴趣的时间最接近的时间处所捕获的帧。
7.根据权利要求6所述的方法，包括定位与在所述感兴趣的时间处的所述帧最接近的多个帧。
8.根据权利要求7所述的方法，包括评估所述多个帧以选择感兴趣的帧。
9.根据权利要求1所述的方法，包括识别口说命令来控制图像捕获。
10.根据权利要求1所述的方法，包括响应于语音识别来捕获帧。
11.一种存储指令的永久计算机可读介质,所述指令用于使计算机能够: 使用计算机来从捕获的图像内容中进行无按钮帧选择。
12.根据权利要求11所述的介质，进一步存储用于使用视频或者音频分析法进行帧选择的指令。
13.根据权利要求11所述的介质，进一步存储用于删除所捕获的视频内容中的队列并使用所述队列进行帧选择的指令。
14.根据权利要求11所述的介质，进一步存储用于连续捕获帧并使用无按钮帧选择来选择连续捕获的巾贞的指令。
15.根据权利要求11所述的介质，进一步存储用于在所述连续捕获的帧中标记感兴趣的帧的指令。
16.根据权利要求11所述的介质，进一步存储用于定位在与所述感兴趣的时间最接近的时间处所捕获的帧的指令。
17.根据权利要求11所述的介质，进一步存储用于将多个帧定位在所述感兴趣的时间处的所述帧的指令。
18.根据权利要求11所述的介质，进一步存储用于评估所述多个帧以选择感兴趣的帧的指令。
19.根据权利要求11所述的介质，进一步存储用于识别口说命令来控制图像捕获的指令。
20.根据权利要求11所述的介质，进一步存储用于响应于语音识别来捕获帧的指令。
21.一种装置，包括: 成像设备，其用于捕获一系列的帧；以及 处理器，其用于基于在所述帧中的声音或者图像的识别来选择用于存储的帧。
22.根据权利要求21所述的装置，所述处理器用于使用视频或者音频分析法来进行帧选择。
23.根据权利要求21所述的装置，所述处理器用于删除所捕获的视频内容中的队列，并使用所述队列进行帧选择。
24.根据权利要求21所述的装置，所述处理器用于连续捕获帧并使用无按钮帧选择来选择连续捕获的帧。
25.根据权利要求21所述的装置，所述处理器用于在所述连续捕获的帧中标记感兴趣的帧。
26.根据权利要求21所述的装置，所述处理器用于定位在与所述感兴趣的时间最接近的时间处所捕获的帧。
27.根据权利要求21所述的装置，所述处理器用于将多个帧定位在所述感兴趣的时间处的所述帧。
28.根据权利要求21所述的装置，所述处理器用于评估所述多个帧以选择感兴趣的帧。
29.根据权利要求21所述的装置，所述处理器用于识别口说命令来控制图像捕获。
30.根据权利要求21所述的装置，所述处理器用于响应于语音识别来捕获帧。
【文档编号】H04N5/232GK104170367SQ201180076132
【公开日】2014年11月26日 申请日期:2011年12月28日 优先权日:2011年12月28日
【发明者】D·C·米德尔顿, M·C·蓬塔雷利 申请人:英特尔公司