用于创建相机重聚焦效果的方法和系统的制作方法
【技术领域】
[0001] 本发明大体设及图像处理系统和方法，并且尤其设及采用用于在捕捉图像之后创 建可重聚焦效果的全光成像方法和系统。
【背景技术】
[0002] 光场相机或全光相机是使用微镜头阵列来捕捉关于场景的4维光场信息的相机。 此捕捉方法集合了多种计算机视觉和图形应用可利用的关于场景的大量信息。商用全光相 机目前推出的一种运样的技术或效果是对已经拍摄的图像进行重聚焦的能力。顺便说一 句，如图1中所图示的重聚焦效果(refOCUS effect)似乎是当代商用光场相机的仅有卖点。 或者，光场相机使终端用户能够拍摄给定场景，然后重聚焦到他们感兴趣的区域。
[0003] 虽然重聚焦效果的视觉效应相当重要，并且从消费者的视角其完全打破了照片拍 摄范式，但手段没有为目的提供充分基础。允许用户"现在拍摄W后聚焦"的运些光场相机 所产生的重聚焦效果，作为关键商用方面，并不一定要求创建全光机构。换句话说，可在不 使用全光相机的情况下，即通过使用像数字相机运样的常规捕捉设备模拟相同的重聚焦效 果。
[0004] 光场相机使终端用户能够拍摄给定场景，然后重聚焦到他们感兴趣的区域。提供 此重聚焦能力的所有解决方案要么要求专用光场相机要么要求特殊辅助硬件或者某种形 式的硬件集成或操纵。另外，运样的解决方案昂贵且与现有图像捕捉设备/相机不兼容，并 且为了产生此重聚焦效果，将必须要求新的设备或镜头/传感器阵列。
[0005] 虽然已经尝试通过使用要求某种形式的额外硬件的技术来模拟重聚焦效果，但硬 件附件或从更低层硬件设备(诸如传感器)获得信息并不总是可用。所有运些又要在成本或 设备兼容性上妥协。任何硬件解决方案或追求硬件/传感器层级信息的解决方案都将被捆 绑到特定设备或模型。运又将迫使用户购买那个设备或附件W实现要求的重聚焦效果。
[0006] 相关技术的前述示例及与其有关的限制意图为说明性的且非排他性的。在阅读了 说明书及研究了附图后，相关技术的其它限制将变得清楚。
【发明内容】
[0007] 问题的解决方案
[000引本文的各种实施例提供了用于捕捉可重聚焦图像集的方法和装置。该方法包括： 将视场分割成多个栅格;确定与多个栅格中的每一个相关联的锐度水平;基于所确定的多 个栅格中的每一个的锐度水平识别一个或多个区域，每个区域包括多个栅格中的一个或多 个；W及捕捉与所识别的一个或多个区域中的每一个相关联的图像W形成可重聚焦图像 集。
[0009] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括检测对视场中具有 相关联的照度水平的对象的重聚焦动作，W及基于检测来变化对象的相关联的照度水平。
[0010] 根据本发明的实施例，重聚焦效果按如下过程来定义:其中在图像被捕捉之后，用 户可选择性地选择用户想要聚焦的区域。另外，本文的场景被定义为用户意图捕捉为图片 的视场。
[0011] 根据本发明的实施例，该方法还包括在全景模式中捕捉可重聚焦图像集。在全景 模式中，可在全景模式中的所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚 焦。
[0012] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括在高动态范围 化DR)模式中捕捉可重聚焦图像集，其中，在皿R模式中，可在所捕捉的可重聚焦图像集中对 与视场相关联的每个对象个别聚焦。
[0013] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括在S维(3-D)模式 中从多个位置捕捉可重聚焦图像集W擅染(render)所捕捉的可重聚焦图像集，其中，在3-D 模式中，可在所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。
[0014] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括将可重聚焦图像集 与相关联的元数据一起存储为预定义格式，诸如BSR文件格式、多媒体容器格式或档案文件 格式之一。
[0015] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括:将视场分割成多 个栅格，每个栅格与存在于视场中的一个或多个对象相关联;确定与多个栅格中的每一个 相关联的锐度水平;基于所确定的多个栅格中的每一个的锐度水平识别一个或多个区域， 每个区域包括多个栅格中的一个或多个；W及捕捉与所识别的一个或多个区域中的每一个 相关联的图像W形成可重聚焦图像集，其中每个识别出的区域具有不同的锐度水平。
[0016] 根据本文的实施例，捕捉每个区域的图像包括将焦点设定在所选择区域上，计算 一个或多个区域的锐度水平，基于阔值识别锐利的一个或多个区域，不拍摄被标记为锐利 的区域的图像，并且继续捕捉多个非锐利区域的图像直到对于多个非锐利区域中的每个区 域都捕捉了图像为止。
[0017] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括检测对视场中具有 相关联的照度水平的对象的重聚焦动作，W及基于检测来变化对象的相关联的照度水平。
[0018] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括在全景模式中捕捉 可重聚焦图像集，其中，在全景模式中，可在所捕捉的可重聚焦图像集中对与视场相关联的 每个对象个别聚焦。
[0019] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括在高动态范围 化DR)模式中捕捉可重聚焦图像集，其中，在皿R模式中，可在所捕捉的可重聚焦图像集中对 与视场相关联的每个对象个别聚焦。
[0020] 根据本发明的实施例，用于捕捉可重聚焦图像集的方法还包括在S维(3-D)模式 中从多个位置捕捉可重聚焦图像集W擅染所捕捉的可重聚焦图像集，其中，在3-D模式中， 可在所捕捉的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。
[0021] 本文的实施例还提供一种用于捕捉可重聚焦图像集的成像装置，该装置包括：图 像捕捉单元，被适配用于捕捉感兴趣的场景的图像，W及图像处理单元，被适配用于将视场 分割成多个栅格，确定与多个栅格中的每一个相关联的锐度水平，基于所确定的多个栅格 中的每一个的锐度水平识别一个或多个区域，每个区域包括多个栅格中的一个或多个，并 且捕捉与所识别的一个或多个区域中的每一个相关联的图像W形成可重聚焦图像集。
[0022] 根据本发明的实施例，图像处理单元还被适配用于检测对视场中具有相关联的照 度水平的对象的重聚焦动作，W及基于检测来变化对象的相关联的照度水平。
[0023] 根据本发明的实施例，图像处理单元还被适配用于在全景模式中捕捉可重聚焦图 像集，其中，在全景模式中，可在所捕捉的可重聚焦图像集中对与视场相关联的每个对象个 别聚焦。
[0024] 根据本发明的实施例，图像处理单元还被适配用于:将视场分割成多个栅格，每个 栅格与存在于视场中的一个或多个对象相关联;确定与多个栅格中的每一个相关联的锐度 水平;基于所确定的多个栅格中的每一个的锐度水平识别一个或多个区域，每个区域包括 多个栅格中的一个或多个；W及捕捉与所识别的一个或多个区域中的每一个相关联的图像 W形成可重聚焦图像集。
[0025] 根据本发明的实施例，图像处理单元还被适配用于检测对视场中具有相关联的照 度水平的至少一个对象的重聚焦动作，W及基于检测来变化对象的相关联的照度水平。
[0026] 根据本发明的实施例，图像处理单元还被适配用于在高动态范围化DR)模式中捕 捉可重聚焦图像集，其中，在皿財莫式中，可在所捕捉的可重聚焦图像集中对与视场相关联 的每个对象个别聚焦。
[0027] 根据本发明的实施例，图像处理单元还被适配用于在S维（3-D)模式中从多个位 置捕捉可重聚焦图像集W擅染所捕捉的可重聚焦图像集，其中，在3-D模式中，可在所捕捉 的可重聚焦图像集中对与视场相关联的每个对象个别聚焦。
[0028] 前文已经大体上概述了本发明的各方面，并且将充当更好地理解之后的更完整的 详细描述的辅助物。参照运些，将会清楚地理解，本发明不受限于本文描述和图示的使用的 方法或应用。意图是根据