与示例性实施方式一致的设备和方法涉及图像拍摄设备及其图像拍摄方法,更具体地,涉及即使用户在具有低照度的环境中捕捉图像也保持图像的图像质量的图像拍摄设备及其图像拍摄方法。
背景技术:
近来,随着图像拍摄设备变得流行,移动电话、笔记本计算机、个人计算机(PC)等以及照相机都常常包括图像拍摄模块以便提供图像拍摄功能。因此,由于用户易于通过各种电子设备实现图像拍摄功能,用户对于捕捉即使拍摄环境改变也不影响图像质量的图像的需求有所增加。
也就是说,通过图像拍摄设备捕捉的图像受拍摄环境影响。特别是,因为图像拍摄设备使用通过透镜传输的光捕捉目标对象的图像以形成照片,当周围环境中的光学上光的量不充足时,捕捉的图像的质量就受影响。
因此,需要用于即使捕捉图像的环境的照度降低也捕捉具有无关照度的高质量的图像的方法。
技术实现要素:
技术问题
示例性实施方式克服了上述缺点和以上未描述的其他缺点。而且,示例性实施方式无需克服上述的缺点,并且给定的示例性实施方式可不克服上述缺点中的任何一个。
示例性实施方式提供了这样的图像拍摄设备及其图像拍摄设备,其用于捕捉图像同时即使使用图像拍摄设备的图像拍摄环境的照度降低也保持成在高照度中捕捉的图像的图像质量。
解决方案
根据示例性实施方式的方面,提供了图像拍摄设备的图像拍摄方法,该方法包括:在图像拍摄期间确定拍摄环境的照度;并根据确定的照度控制捕捉的图像的分辨率。
控制可包括响应于确定的照度等于或小于第一阈值控制捕捉的图像的分辨率降至阈值分辨率。
控制可包括控制捕捉的图像的分辨率随确定的照度减弱而成比例地降低。
图像拍摄设备可包括图像传感器,控制分辨率可包括合并图像传感器中包括的多个像素的子集。
控制可包括对应于确定的拍摄环境的照度确定捕捉的图像的分辨率;分析用于捕捉所捕捉的图像的彩色滤波阵列(CFA)模式的频率;并根据确定的分辨率限制CFA模式的频带。
确定可包括分析捕捉的图像并根据分析结果确定拍摄环境的照度。
图像拍摄设备可包括照度传感器,确定可包括使用照度传感器确定拍摄环境的照度。
图像拍摄方法还可包括确定捕捉的图像的信噪比(SNR);并响应于图像的SNR大于或等于阈值控制图像的分辨率。
控制可包括响应于图像的SNR大于或等于第一阈值降低捕捉的图像的分辨率至阈值分辨率。
图像拍摄方法还可包括储存与确定的照度相关联的捕捉的图像的受控的分辨率。
合并可包括合并图像传感器中包括的多个像素的预设数量的邻近像素。
根据示例性实施方式的另一方面,提供了一种图像拍摄设备,其包括:拍摄模块,配置为捕捉图像;以及控制器,配置为在图像的拍摄期间确定拍摄环境的照度,并根据确定的照度控制捕捉的图像的分辨率。
控制器可配置为响应于拍摄环境的照度等于或小于第一阈值控制捕捉的图像的分辨率降至阈值分辨率。
控制器可配置为控制捕捉的图像的分辨率随确定的照度减弱而成比例地降低。
拍摄模块可包括:图像传感器,其包括多个像素;以及控制器,可配置为通过合并图像传感器中包括的多个像素的子集来控制捕捉的图像的分辨率降低。
控制器可配置为对应于确定的拍摄环境的照度确定图像的分辨率,分析用于捕捉图像的彩色滤波阵列(CFA)模式的频率,并根据确定的分辨率限制CFA模式的频带。
控制器可配置为分析捕捉的图像并根据分析结果确定拍摄环境的照度。
图像拍摄设备还可包括照度传感器,控制器可配置为使用照度传感器确定照度。
控制器可配置为确定捕捉的图像的信噪比(SNR),并当图像的SNR大于或等于阈值时,根据图像的SNR控制图像的分辨率。
控制器可配置为当图像的SNR大于或等于第一阈值时,根据图像的SNR降低捕捉的图像的分辨率至阈值分辨率。
图像拍摄设备还可包括存储器,控制器可配置为控制存储器以储存与确定的照度相关联的捕捉的图像的受控的分辨率。
控制器可配置为合并图像传感器中包括的多个像素的预设数量的邻近像素。
根据另一示例性实施方式的方面,提供了包括拍摄模块和控制器的图像拍摄设备,该拍摄模块包括配置为捕捉图像的图像传感器;该控制器配置为响应于待捕捉的图像的环境照度小于或等于阈值照度合并图像传感器的多个像素的子集。
控制器可配置为合并图像传感器的多个像素的许多邻近像素。
控制器可配置为合并目标像素、位于目标像素以左的像素、位于目标像素以下的像素及位于位于目标像素以左的像素以下的像素。
控制器可配置为合并目标像素、位于目标像素邻近和以左的像素、位于目标像素邻近和以下的像素及位于位于目标像素以左的像素邻近和以下的像素。
附图说明
通过参照附图描述某些示例性实施方式,上述和/或其他方面将更加显而易见,其中:
图1是示出根据示例性实施方式的图像拍摄设备的配置的框图;
图2是详细示出根据示例性实施方式的图像拍摄设备的配置的框图;
图3是根据示例性实施方式的控制图像拍摄设备的方法的流程图;
图4是根据示例性实施方式的图像拍摄设备的图像拍摄方法的流程图;
图5是示出通过根据示例性实施方式的图像拍摄设备控制分辨率并根据分辨率处理信号的方法的流程图;
图6是根据示例性实施方式通过分析拜耳数据和频率特性获得的图表;
图7是根据示例性实施方式用于根据分辨率控制解释新的奈奎斯特频率的图表;
图8是根据示例性实施方式用于解释频带限制效应的图表。
具体实施方式
在下文中,将参考附图描述示例性实施方式。在描述中,当被视为会不必要地模糊本发明概念的本质时,省略相关领域的某些详细的解释。说明书中使用的术语考虑示例性实施方式中使用的功能来定义,并可根据客户、操作者和用户的意图或通常使用的方法而改变。因此,术语的定义应基于本说明书的整体描述来理解。
图1是示出根据示例性实施方式的图像拍摄设备的配置的框图。如图1所示,图像拍摄设备100可包括拍摄模块110和控制器120。在此情况下,图像拍摄设备100作为示例性实施方式体现为照相机。然而,图像拍摄设备100可体现为包括拍摄模块110的各种电子设备,诸如移动电话、平板个人计算机(PC)、数字照相机、摄录像机、笔记本PC、个人数字助理(PDA)等等。
拍摄模块110是用于捕捉图像的组件。就是说,拍摄模块110可通过图像传感器将通过透镜输入的光学信号转换为电信号并接收目标对象的图像。在此情况下,目标对象是指任何对象。对象可包括生成的捕获的图像中的主要目标对象和背景。
控制器120是用于控制图像拍摄设备100的整体操作的组件。控制器120可为例如一个或多个微处理器或微控制器。特别地,控制器120可在通过拍摄模块110捕捉图像的同时确定拍摄的环境(即拍摄环境)的照度,并根据拍摄环境的照度控制捕捉的图像的分辨率。
控制器120可分析捕捉的图像并根据图像分析结果确定拍摄环境的照度。此外,控制器120可使用图像拍摄设备100中包括的照度传感器确定拍摄环境的照度。
作为确定结果,当拍摄环境的照度等于或小于第一阈值时,控制器120可控制捕捉的图像的分辨率降至阈值分辨率。阈值分辨率可预设。此外,控制器120可控制图像的分辨率随确定的拍摄环境的照度减弱而成比例地降低。
特别地,关于包括在用于捕捉图像的拍摄模块110的图像传感器中的多个像素,控制器120可合并各种像素以降低图像的分辨率。就是说,控制器120可合并图像传感器中包括的多个像素的子集以降低图像的分辨率。例如,控制器120可合并多个邻近像素。合并的邻近像素的数量可预设。
具体地,控制器120可通过计算对应于确定的拍摄环境的照度的图像的分辨率、分析彩色滤波阵列(CFA)模式的频率以及根据计算的分辨率限制CFA模式的频带来控制分辨率。
控制器120可通过确定的照度执行控制以根据确定的照度匹配并储存捕捉的图像的分辨率。就是说,控制器120可储存与确定的照度相关联的捕获的图像的分辨率。
控制器120可确定信噪比(SNR)来代替测量拍摄环境的照度的方法。可选地,控制器120可连同测量照度的方法一同确定SNR。控制器120可根据确定的结果控制分辨率。
就是说,一旦确定捕捉的图像的SNR并且根据分析结果确定图像的SNR大于或等于阈值,控制器120就可控制通过拍摄模块110捕捉的图像的分辨率。
具体地,一旦确定图像的SNR大于或等于第一阈值,控制器120就可执行控制以将捕捉的图像的分辨率降至阈值分辨率。阈值分辨率可预设。
通过前述的图像拍摄设备100,即使图像的拍摄环境的照度降低,用户也可获得如在高照度中捕捉的图像一样的高质量图像。
如图2中所示,图像拍摄设备100可包括除拍摄模块110和控制器120之外的图像处理器130、显示器140、通用串行总线(USB)150、同步动态RAM(SDRAM)160、存储器(MEM)卡170及闪速存储器(MEM)180。
此外,作为用于捕捉图像的组件的拍摄模块110可包括透镜111、固态图像传感装置112、时序发生器(TG)114、模拟前端(AFE)113及电机驱动器115。
透镜111可为由目标对象反射的光入射在其上的组件并可包括变焦透镜和聚焦透镜的至少之一。此外,图像拍摄设备100还可包括可变光圈(未示出)。
可变光圈是调节穿过透镜111并入射在图像拍摄设备100上的光量的组件。
固态图像传感装置112是用于形成通过透镜111传输的目标对象的图像的组件。固态图像传感装置112可包括光电二极管(PD)、传输晶体管(TX)、重置晶体管(RX)及浮动扩散结点(FD)。
具体地,固态图像传感装置112是用于形成通过透镜111传输的目标对象图像的组件。固态图像传感装置112包括以矩阵形式排布的多个像素。多个像素的每一个都根据入射光积累光电荷并基于光电荷将图像输出为电信号。固态图像传感装置112可为电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)等等。
根据示例性实施方式,图像拍摄设备100可根据拍摄环境的照度合并固态图像传感装置112的各种像素,并根据控制器120的控制捕捉图像。具体地,一旦确定拍摄环境的照度等于或小于阈值,控制器120就可控制固态图像传感装置112合并固态图像传感装置112的多个像素中的各种像素并根据光电荷输出电信号。就是说,控制器120可控制固态图像传感装置112合并固态图像传感装置112的多个像素的子集。例如,控制器120可控制固态图像传感装置112合并固态图像传感装置112的多个像素中的多个邻近像素。待合并的像素的数量可预设,或可适应性地确定。
就是说,当拍摄环境的照度低时,固态图像传感装置112可合并固态图像传感装置112的多个像素中的各种像素以便合并的像素如一个像素那样操作。
TG 114输出用于读出固态图像传感装置112的像素数据的时序信号。
AFE 113取样并将从固态图像传感装置112输出的关于目标对象的图像的电信号数字化。
然而,可设计替代品以代替AFE 113和TG 114。特别地,当固态图像传感装置112用CMOS类型配置时,AFE 113和TG 114可省略。
电机驱动器115通过驱动聚焦透镜调节图像拍摄设备100的焦距。然而,当图像拍摄设备100体现为智能电话或移动电话时,聚焦可依据软件进行而不用驱动聚焦透镜,并因而可以省略电机驱动器115。
控制器120控制多个装置以控制图像拍摄设备100的整体操作。控制器120对原始图像数据进行图像处理并在SDRAM 160中记录原始图像数据。此外,控制器120在显示器140上显示SDRAM 160的图像处理的数据。
特别地,控制器120可确定图像的拍摄环境的照度并根据确定的拍摄环境的照度控制捕捉的图像的分辨率。
为了确定拍摄环境的照度,控制器120可分析捕捉的图像并根据图像分析结果确定拍摄环境的照度。此外,控制器120可使用图像拍摄设备100中包括的单独的照度传感器(未示出)确定拍摄环境的照度。
依照确定结果,当拍摄环境的照度等于或小于第一阈值时,控制器120可控制捕捉的图像的分辨率降至阈值分辨率。阈值分辨率可预设,或可适应性地设置。此外,控制器120可控制图像的分辨率随确定的拍摄环境的照度减弱而成比例地降低。
特别地,关于包括在用于捕捉图像的拍摄模块110的图像传感器中的多个像素,控制器120可合并各种像素以降低图像的分辨率。例如,控制器120可合并预设数量的邻近像素以降低分辨率。
例如,控制器120可通过合并任意像素、位于目标像素以左的像素、位于目标像素以下的像素及位于目标像素左部以下的像素(即四个像素合并如一个像素)而控制捕捉的图像的分辨率降低。就是说,关于固态图像传感装置112中包括的多个像素,控制器120可合并四个像素以如一个像素操作来控制捕捉的图像的分辨率。
然而,合并多个像素的四个像素的情况只是示例,合并的像素的数量可多于或少于四。例如,控制器120可根据计算的分辨率确定待合并的像素的数量。
控制器120可通过计算对应于确定的拍摄环境的照度的图像的分辨率、分析彩色滤波阵列(CFA)模式的频率以及根据计算的分辨率限制CFA模式的频带来控制分辨率。
控制器120可通过确定的照度执行控制以根据确定的照度匹配并储存捕捉的图像的分辨率。就是说,控制器120可储存与确定的照度相关联的分辨率。就是说,控制器120可匹配并储存由拍摄环境的照度计算的关于图像的分辨率的信息。因此,当将来在已执行拍摄的拍摄环境中捕捉图像时,控制器120可使用关于预存的图像的分辨率的信息快速控制图像的分辨率。
控制器120可确定信噪比(SNR)代替测量拍摄环境的照度的方法。可选地,控制器120可连同测量照度的方法一起确定SNR。控制器120可根据确定结果控制分辨率。
就是说,一旦确定捕捉的图像的SNR并根据分析结果确定图像的SNR大于或等于阈值,控制器120可控制通过拍摄模块110捕捉的图像的分辨率。
具体地,一旦确定图像的SNR大于或等于第一阈值,控制器120可执行控制以将捕捉的图像的分辨率降至阈值分辨率。阈值分辨率可预设。
图像处理器130是用于处理图像的组件。图像处理器130可执行各种图像处理操作,诸如即时取景生成、图像分辨率控制、缩放、颜色和对比度控制、像素插值、剪辑、重叠等。
USB模块150提供与外部装置的接口。当USB模块150通过USB连接线连接至PC或其他外部装置时,USB模块150处理图像数据的传输和接收。此外,USB模块150处理用于执行固件升级的固件的传输和接收。
SDRAM 160用于储存图像或通过CPU执行图像处理。根据示例性实施方式,能够在系统时钟的上升沿和下降沿上提供输出的DDR SDRAM可用于提升输出。例如,输出可为仅在上升沿上提供输出的情况的两倍速度。
闪速存储器180储存固件程序、适用于图像拍摄设备100的规格的各种调整信息项、根据用户输入的图像拍摄设备100的设置信息、捕捉的图像文件等。
存储卡170包括闪速存储器并且可从图像拍摄设备100拆卸。存储卡170可储存捕捉的图像文件。
显示器140是用于显示包括文本、图标等的用户界面、电子信息、即时取景图像、动态图像及静态图像等的至少之一的组件。此外,显示器140可执行电子取景器的功能。
在下文中,将按照图3至图5的流程图详细描述根据图像拍摄环境控制图像的分辨率并捕捉图像的方法。
图3是根据示例性实施方式的图像拍摄设备100的控制方法的流程图。图像拍摄设备100在图像拍摄期间确定拍摄环境的照度(S300)。通过图像拍摄设备100捕捉图像的操作可解释为包括通过固态图像传感装置112中包括的多个像素积累光电荷并将基于光电荷输出图像为电信号的操作、在显示器140上显示处理为即时取景的图像的操作和/或根据用户命令捕捉即时取景图像的操作。
图像拍摄设备100可在图像拍摄期间分析图像信号并确定拍摄的环境(即拍摄环境)的照度。例如,图像拍摄设备100可使用计算捕捉的图像的像素平均值并基于计算的平均值确定拍摄环境照度的方法。此外,图像拍摄设备100可在为自动曝光(AE)调整曝光的同时确定拍摄环境的照度。
图像拍摄设备100可包括照度传感器(未示出)。因此,图像拍摄设备100可通过照度传感器(未示出)检测拍摄环境的照度。
图像拍摄设备100根据拍摄环境的照度控制捕捉的图像的分辨率(S310)。就是说,一旦确定拍摄环境的光量不足且照度低,图像拍摄设备100可控制图像的分辨率降低。
具体地,图像拍摄设备100可合并固态图像传感装置112中包括的多个像素中的各种像素并控制捕获的图像的分辨率降低。例如,图像拍摄设备100可合并多个邻近像素。合并的像素的数量可预设,或适应性地确定。作为示例,图像拍摄设备100可通过合并目标像素、位于目标像素以左的像素、位于目标像素以下的像素和位于目标像素左部以下的像素(即四个像素合并如一个像素)来控制捕获的图像的分辨率降低。如上所论,这仅为示例,并可合并各种像素。而且,像素的数量可多于或少于四。
图4是根据示例性实施方式的图像拍摄设备100的图像拍摄方法的流程图。首先,图像拍摄设备100在图像拍摄期间确定拍摄环境的照度(S400)。
图像拍摄设备100确定拍摄的环境(即拍摄环境)的照度是否等于或小于阈值(S410)。就是说,图像拍摄设备100可确定照度和拍摄环境,并且当照度等于或小于阈值照度时,图像拍摄设备100可确定拍摄环境的光量不足而当前状态昏暗。阈值照度可预设。
作为确定结果,当拍摄环境的照度等于或小于阈值时(S410-Y),图像拍摄设备100控制捕捉的图像的分辨率降至阈值分辨率(S420)。例如,图像拍摄设备100可调整图像的分辨率至1/2。阈值分辨率可预设,或适应性地确定。
作为确定结果,当拍摄环境的照度不等于或不小于阈值时(S410-N),图像拍摄设备100保持捕捉的图像的分辨率(S430)。例如,拍摄设备100可将捕捉的图像的分辨率保持在最大分辨率。就是说,图像拍摄设备100可执行控制以使用固态图像传感装置112中包括的多个像素的全部来捕捉图像。
此外,图像拍摄设备100根据设置的分辨率捕捉图像(S440)。就是说,一旦确定拍摄环境的照度等于或小于阈值并控制分辨率降低,图像拍摄设备100可根据降低的分辨率捕捉图像。此外,一旦确定拍摄环境的照度超过阈值并确定分辨率不受控制,图像拍摄设备100可根据当前分辨率捕捉图像。例如,当前分辨率可为最大分辨率。
图5是示出通过根据示例性实施方式的图像拍摄设备控制分辨率并根据受控的分辨率处理信号的方法的流程图。
首先,图像拍摄设备100计算对应于拍摄的环境(即拍摄环境)的照度的图像的分辨率(S500)。就是说,如上所述,当拍摄环境的照度等于或小于阈值时,图像拍摄设备100可控制捕捉的图像的分辨率降至阈值分辨率。阈值分辨率可预设。
此外,图像拍摄设备100可控制图像的分辨率随确定的拍摄环境的照度减弱而成比例地降低。例如,图像拍摄设备100可控制分辨率每当图像的照度减弱10lx(勒克斯)时降低10%。
前述方法仅为示例性的,因而图像拍摄设备100可通过多种方法计算适合在确定的照度捕捉的图像的分辨率。
图像拍摄设备100根据计算的分辨率控制图像的分辨率(S510)。具体地,图像拍摄设备100可合并固态图像传感装置112中包括的多个像素中的各种像素以控制捕捉的图像的分辨率降低。例如,图像拍摄设备100可合并固态图像传感器112中包括的多个像素的多个邻近像素。作为一个示例,图像拍摄设备100可通过合并目标像素、位于目标像素以左的像素、位于目标像素以下的像素和位于目标像素左部以下的像素来控制捕捉的图像的分辨率降低。
当使用前述方法合并像素以降低分辨率时,可改变奈奎斯特频率而引起混叠(aliasing)。因此,图像拍摄设备100可根据受控的分辨率的比例限制频带以便防止混叠发生。
就是说,图像拍摄设备100分析彩色滤波阵列(CFA)模式的频率(S520)并根据计算的捕捉的图像的分辨率来限制CFA频率的频带(S530)。
根据前述方法,图像拍摄设备100可获得具有最佳分辨率的图像而无品质下降。
根据图6至图8将详细描述通过图像拍摄设备根据拍摄环境的照度获得具有最佳分辨率而无品质下降的图像的方法。
图6是根据示例性实施方式通过分析拜耳数据和频率特性获得的图表。
就是说,当图像拍摄设备100使用其中根据拜耳模式排布像素的固态图像传感装置112时,图像拍摄设备100可分析从拜耳模式的像素输出的信号以获得图6中所示的频率特性的图表。
如图6中所示,图像拍摄设备100可在用于频率特性的图表中提取亮度信号(Y信号)600。
图7是根据示例性实施方式的用于根据分辨率控制解释新的奈奎斯特频率的图表。如图7中所示,当合并多个像素以产生较低分辨率时,可改变奈奎斯特频率以引起混叠700。
根据光学低通滤波器(OLPF)特性710,可发生混叠700,但可降低分辨率以便最大频率可从π720改变至新的π730。因此,图像拍摄设备100可提取移除混叠的图像信号。
就是说,回到图6,在提取Y信号600期间,图像拍摄设备100可同时限制根据图像的分辨率降低的比例计算的混叠的频带,以便获得高SNR的图像从而确保适合于图像的分辨率的最佳质量。
结果,图像拍摄设备100可分析图6中所示的拜耳数据的频率特性,并可根据图7中所示的分辨率控制同时屏蔽(block)频带。
因此,用户可快速获得具有高SNR的图像以确保最佳质量,并使用具有低功耗的图像拍摄设备100。
分析拜耳数据的频率特性并同时屏蔽频带的前述情况仅为示例性,因而图像拍摄设备100可在分析图6中所示的拜耳数据的频率特性的分析之前或之后根据图7中所示的分辨率控制屏蔽频带。
图8是根据示例性实施方式用于解释频带限制效应的图表。
如上所述,根据捕捉的图像的分辨率的控制可分析拜耳数据的频率特性并可计算新的奈奎斯特频率,因而图像拍摄设备100可计算用于限制频带的低通滤波器(LPF)系数。
此外,图像拍摄设备100可应用计算的LPF系数至LPF以移除混叠并改变最大频率,从而获得具有改善的SNR的图像。
特别地,图8是根据示例性实施方式示出捕捉的图像的分辨率根据确定的照度降至1/2的情况的图。如图8中所示,随着图像的分辨率降至1/2,图像拍摄设备100可获得具有实验性改善了3dB的SNR的图像。
根据各种示例性实施方式的前述图像拍摄方法可编码在非暂时性可读介质中储存的软件中并由计算机、处理器或集成电路执行。非暂时性可读介质可在各种设备中安装和使用。
非暂时性计算机可读介质是指半永久地储存数据并可由装置读取的介质,而非短时间段内储存数据的介质,诸如寄存器、高速缓存、存储器等。详细地,前述程序可在非暂时性计算机可读介质中储存和提供,诸如光盘(CD)、数字化通用光盘(DVD)、硬盘、蓝光光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等。
根据前述各种示例性实施方式,即使拍摄环境的照度降低,用户可捕捉图像同时保持成在高照度中捕捉的图像的图像质量。
此外,根据另一示例性实施方式,用户可控制分辨率而不管捕捉的图像的信号处理顺序,从而使用具有降低的功耗的图像拍摄设备。
前述实施方式和优点仅为示例性的而并非解释为限制。而且,示例性实施方式的描述旨在阐示,而非限制权利要求的范围,并且许多可选方案、修改和变化对于本领域技术人员将是显而易见的。