电子装置及增强图像分辨率的方法
【专利摘要】一种增强图像分辨率的装置及方法，其中一代表电子装置包括：一图像撷取感测器，其具有多个像素，用以通过于一曝光时间中入射于像素上的光线转换为电子信号来取得一图像帧；以及一图像撷取系统，选择性地操作于第一以及第二图像撷取模式；于第一图像撷取模式时，图像撷取系统输出相应于单一曝光时间中所取得的单一图像帧的图像；以及于第二图像撷取模式时，图像撷取系统输出相应于一多重曝光时间中取得的多个图像帧的增强图像，使增强图像可呈现的分辨率高于在第一图像撷取模式所取得的图像可呈现的分辨率。
【专利说明】电子装置及增强图像分辨率的方法
【技术领域】
[0001 ] 本发明是关于一种图像撷取及处理技术。
【背景技术】
[0002]图像撷取装置(例如:数字相机)使用图像感测器来取得图像数据。举例来说，此类的图像感测器可为电荷稱合元件(charged coupled device, CCD)感测器以及互补式金属氧化物半导体(complementary metal oxide semiconductor, CMOS)感测器，每一感测器使用可将入射光线转换为电子信号的感测器像素。一般而言，图像感测器的像素密度与其价格高度相关，具有较高像素密度的感测器的价格比具有较低像素密度的感测器的价格更为昂贵。
【发明内容】
[0003]有鉴于此，本发明提供一种电子装置及增强图像分辨率的方法。
[0004]本发明实施例提供一种电子装置，包括:一图像撷取感测器，其具有多个像素，用以通过于一曝光时间中入射于像素上的光线转换为电子信号来取得一图像帧；以及一图像撷取系统，选择性地操作于第一图像撷取模式以及第二图像撷取模式；于第一图像撷取模式时，图像撷取系统输出相应于单一曝光时间中所取得的单一图像帧的一图像；以及于第二图像撷取模式时，图像撷取系统输出相应于一多重曝光时间中所取得的多个图像帧的增强图像，使增强图像所呈现的分辨率高于第一图像撷取模式取得的图像所呈现的分辨率。
[0005]本发明实施例还提供一种增强图像分辨率的方法，包括下列步骤:利用图像撷取感测器的像素，取得相应于一场景的多个图像帧；指定图像信息的多个图像帧其中一者作为参考帧；以及处理参考帧以提供一增强图像，使增强图像所呈现的分辨率高于参考帧所呈现的分辨率。
[0006]本发明上述方法可以通过程序码方式存在。当程序码被机器加载且执行时，机器变成用以实行本发明的装置。
【专利附图】
【附图说明】
[0007]图1A显示本发明一实施例用以取得图像信息的电子装置的示意图。
[0008]图1B显示依据图1A的实施例所取得的代表图像信息的示意图。
[0009]图2显示本发明一实施例用以增强图像分辨率的方法的流程图。
[0010]图3显示本发明一实施例可用以实作一图像撷取系统的电子装置示意图。
[0011]图4A显示本发明一实施例的真实图像的部分示意图。
[0012]图4B显示相应图4A的真实图像的已知低分辨率像素输出的示意图。
[0013]图4C显示本发明一实施例的真实图像的增强图像的图像像素的示意图。
[0014]图5显示本发明另一实施例的用以增强图像分辨率的方法的流程图。
[0015]图6A显示本发明另一实施例用以取得图像信息的电子装置示意图。[0016]图6B显示本发明一实施例中利用图6A的实施例所取得的图像帧的示意图。
[0017][主要元件标号说明]
[0018]100~电子装置；102~场景；
[0019]104~人物；A、B、C、D~视点；
[0020]112、114、116、118 ~帧；120 ~参考帧；
[0021]130、132、134~执行步骤；140~电子装置；
[0022]150~处理装置；152~输入/输出接口单元；
[0023]154~显示装置；156~触控屏幕接口单元；
[0024]158~网络/通讯接口单元；160~存储器；
[0025]162~操作系统；164~大量储存装置；
[0026]166~数据总线；168~数据总 线；
[0027]170~加速度感测器；172~图像撷取系统；
[0028]180 ~图像;182、184、186、188 ~区域；
[0029]190~低分辨率像素输出；192、194、196、198~图像像素；
[0030]210,212,…、228~执行步骤；250~装置；
[0031]252~光圈；254~场景；
[0032]256 ~光圈；258、260 ~帧。
【具体实施方式】
[0033]为使本发明的上述和其它目的、特征、和优点能更明显易懂，下文特举出较佳实施例，并配合所附图式，作详细说明如下。
[0034]本发明实施例提供用以增强分辨率图像撷取的装置与方法，于一些实施例中，其涉及包含内建相机的智能型手机的使用。举例来说，智能型手机可包含图像撷取系统，此图像撷取系统选择性地操作于一标准分辨率模式以及一增强分辨率模式。于增强分辨率模式，图像撷取系统输出相应于多重曝光时间中所取得的多个图像帧(frame)的一增强图像。于一些实施例中，图像信息帧是于装置移动时取得，使得因为视点变化产生的细微变化可显现于所取得的图像中。尤其，增强图像可经处理来呈现比标准分辨率模式有关的图像所呈现的分辨率更高的较高分辨率(特别是在图像中确认具有显着对比的边缘位置上)。
[0035]就此而言，图1A显示本发明一实施例的电子装置的示意图，此电子装置用以取得图像信息。如图1A所示，电子装置100(例如:一移动装置)取得有关一场景102的图像信息，其中场景102包括人物104。于取得图像信息时，电子装置100操作于一增强分辨率模式，于此模式中可利用多个图像帧来提供一输出图像，此输出图像具有比图像撷取感测器(未绘示)可取得的图像信息更高的像素分辨率(例如:在图像中可检测到的具有显着对比的部分)。标准分辨率模式的操作则相异于此，标准分辨率模式利用单一图像帧来提供输出图像。
[0036]于图1A中，电子装置100于图像撷取时被使用者移动以及/或相机自动移动(例如虚线所示的经由点A、B、C、D),因此帧是从不同视点(point of view)所取得。
[0037]图1B显示依据本发明图1A的实施例所取得的代表图像信息的示意图。于图1B中，分别显示了与视点A、B、C、D相关的图像帧(分别为帧112、114、116与118)，以及与电子装置的原始位置相关的图像帧(参考帧120)。请注意，本发明的实施例可取得任意数量的图像帧以提供电子装置的不同视点，本发明并不限于图1A所显示的数量或特定移动方式。
[0038]于参考帧120中，人物104相对位于帧的中央，而于帧112中，人物稍微地由下往左偏移。相反地，人物于巾贞114中由上往右偏移、于巾贞116中由下往右偏移、以及于巾贞118中由上往左偏移。如将描述于下，多个图像信息帧之间的偏移是用以调整参考帧来产生增强图像。请注意，图中所显示的偏移量为真实偏移量的放大以利说明之便。
[0039]图2显示本发明一实施例的用以增强图像分辨率的方法的流程图。如图2所示，此方法首先于步骤130中利用图像撷取感测器来取得相应一场景(scene)的多个图像帧。于步骤132，指定多个图像帧的其中一者作为参考帧。接着，如步骤134所示，处理参考帧以产生增强图像。请注意，增强图像呈现的分辨率比参考图像所呈现的分辨率较高(例如:在图像中具有可检测的边缘对比的部分)。
[0040]图3显示本发明一实施例的电子装置示意图，其中电子装置可用以实作一个图像撷取系统。如前所述，电子装置140可为一智能型手机，但也可为任何广泛使用的各种装置的其中一者。如图3所示，电子装置140包括处理装置(处理器)150、输入/输出接口单元152、显示装置154、触控屏幕接口单元156、网络/通讯接口单元158、存储器160、操作系统162以及大量储存装置164，其中各单元可通过区域数据总线166来进行通讯。另外，电子装置140包含图像撷取感测器168、一或多个加速度感测器170以及图像撷取系统172。
[0041]处理装置150可以是客制化或市售处理器、中央处理单元(CPU)、或与电子装置140相关的数个处理器的辅助处理器、半导体为基础的微处理器(以微芯片形式)、一或多个应用特殊集成电路(ASIC)、多个适当设定的数字逻辑门、以及其它电子设定包括分散的元件同时个别的且以各种组合方式来完成系统的整体操作。
[0042]存储器160可包括易失性存储器元件的组合的任何一者(例如:随机存取存储器(RAM,例如DRAM以及SRAM等等))以及非易失性存储器元件。存储器通常包括原始操作系统162、一或多个原始应用程序、仿真系统、或各种操作系统的任意一者的仿真应用程序以及/或仿真硬件平台、仿真操作系统等等。举例来说，应用程序可包括应用程序特定软件，其可包括电子装置140的部分或全部元件。于一些实施例中，这些元件是储存于存储器160中且由处理装置150所执行。
[0043]触控屏幕接口单元156用以检测显示装置154的显示区域里的触碰，并提供可允许使用者通过触碰方式来导览使用者接口的功能，例如屏幕上按钮、选单、键盘、软件按键等等的功能。加速度感测器170用以检测电子装置140的移动。
[0044]本领域技术人员可知存储器160可以且通常包括其它的必要元件，其细节不在此赘述。注意的是，于本发明揭露书内容中，一个非瞬时性计算机可读取媒体可储存一或多个程序，其可被使用于或相连接于指令执行系统、设备或装置。请再参见图3，网络/通讯接口单元158包括用以在一网络的环境中传送及/或接收数据的各种元件。当这类元件被实施为一应用程序时，前述一或多个元件可储存于非瞬时性计算机可读取媒体中且由处理装置150所执行。
[0045]图4A显示依据本发明一实施例的真实图像的部分示意图。特别来说，图像180表示一场景中大小可于像撷取感测器的低分辨率像素相比的一部分。具体来说，当低分辨率像素具有极大的分辨率时，图像180可通过像素来撷取得到。注意的是，图像180中分别包括位于右上角及左下角的较暗区域182与184，以及位于左上角及右下角的较亮区域186与188。
[0046]虽然图像180可呈现高对比，低分辨率像素所提供的输出仅对应于射入在像素上的光线的平均值。因此，在标准(低分辨率)模式下的低分辨率像素输出190 (图4B)其像素呈现的是均匀灰阶色彩。
[0047]相反地，图4C显示本发明一实施例相应于图4A的图像180的增强图像的图像像素的示意图。如图4C所示，于此实施例中，图像像素192、194、196以及198可提供改良分辨率，其为低分辨率像素输出所提供的四倍。注意的是，于其它实施例中，可提供4:1之外的图像像素比例。
[0048]为了提供图像像素，图像像素的值是利用于图像撷取感测器于多重曝光时间(multiple exposure)所取得的图像信息来计算。其中,虚线部分表示于多重曝光时间所取得的其它图像帧(例如:部分202与204)。特别地，这些其它图像帧的相对方向是用以显示图像信息的内文的偏移，为图像撷取时视点变化的属性。
[0049]图像像素所算出的值的特性加入至增强图像。于此实施例中，图像信息的值可结合并且映像至对应的图像像素。
[0050]于产生前述增强图像时，于多重曝光时间所取得的多个图像帧其中之一被指定为参考帧。于某些实施例中，于多重曝光时间取得的第一图像帧可作为参考帧。于多重曝光时间时取得的其它图像帧接着用以修改参考帧的图像信息。举例来说，图像信息可为实际上地与参考帧的图像对齐，且前述图像帧的累积像素值可用以计算图像像素的值。
[0051]如图4C所示，此可通过设定一边缘检测门坎值(在对应的图形中由散列标示所表示)来实现，使得当合并的输入对应于前述门坎值时，可识别出一边缘。因此，增强图像的产生是用来呈现对应于所计算的图像像素数量的像素分辨率。
[0052]假设边缘检测可由连续图像帧中等效的感测器像素来分析而得，也就是说，在几乎与参考帧相同的图像位置所检测到的像素，显然地相机或感测器移动的量只需要足够将图像的对比边缘平移一低分辨率像素部分的量。前述移动可由相机摄影师及/或自动化移动所提供，且不同于相机自动对焦移动的动作。
[0053]图5显示依据本发明另一实施例的用以增强图像分辨率的方法的流程图，其可由电子装置所执行(例如:图1的装置100)。如图5所示，此方法首先于步骤210中致能电子装置的增强分辨率图像撷取模式。于一些实施例中，此步骤可包含与电子装置的使用者互动，例如:通过制动(actuate) —按钮或从选单中选择操作模式等等。于步骤212,于使用者制动电子装置的快门时取得图像信息。于某些实施例中，可同时发出一快门声(shuttersound)。之后，如步骤214，通过电子装置的显示装置显示使用者可移动装置的建议移动路径。
[0054]于步骤216，判断是否检测到一第一滑动(swipe)(亦即:装置的移动)。若检测到第一滑动时，于步骤218在检测到移动时取得额外图像帧。于某些实施例中，可同时发出多个快门声(mult1-shutter sound)。接着于步骤220,判断是否检测到一第二滑动。若检测到第二滑动时，于步骤222在检测到移动时取得更多图像帧，亦可伴随多个快门声。
[0055]于步骤224，于图像撷取时判断检测到的移动是否足够提供想要的各种视点。若检测到的移动足够时，执行步骤226来处理图像信息以产生一增强图像。然而，若检测到的移动不足够时，于步骤228，可能无法产生增强图像，且取得的一或多个图像帧可储存为标准分辨率图像。若步骤216中判定未检测到第一滑动与步骤220中判定未检测到第二滑动时也会提供这样的结果。在相机自动地执行移动路径的例子中，可以不需要使用者回馈。
[0056]图6A显示依据本发明另一实施例的用以取得图像信息的电子装置示意图。如图6A所示，装置250设有多个光圈(aperture)(于此例中有两个这类光圈)，其中每一光圈是用于从稍微不同的视点来取得图像信息。特别来说，相较于通过光圈256所取得的图像信息，光圈252是从稍微偏上且朝左的场景254取得图像信息。
[0057]图6B显示依据本发明一实施例中利用图6A的实施例所取得的图像帧的示意图。特别来说，帧258对应于光圈252且帧260对应于光圈256。由于图像信息间的偏差，增强图像可利用相较于只使用一光圈的装置所需较少的装置移动来产生。
[0058]当本发明的方法，或特定型态或其部分以软件实施时，流程图中所表示的每个步骤表示一模块、程序段落或部分的程序码，包括储存在非瞬时性计算机可读取媒体中的程序指令以实现特定逻辑功能。因此，程序指令可被实作于原始码形式，其包括以程序语言撰写的语句，或包括可由一适当执行系统例如图3的装置140所识别的机器码，机器码可由原始码转换而得等等。当以硬件实施时，每一区块可表示一电路或一些互连的电路以实现特定逻辑功能。另外，虽然前述流程图显示特定的执行顺序，然可理解的是，其可具有不同的执行顺序。
[0059]虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围当视所附的权利要求范围所界定者为准。
【权利要求】
1.一种电子装置，包括: 一图像撷取感测器，具有多个像素，用以通过将一曝光时间中入射于上述像素上的光线转换为电子信号来取得一图像帧；以及 一图像撷取系统，选择性地操作于一第一图像撷取模式和一第二图像撷取模式；于上述第一图像撷取模式时，上述图像撷取系统输出对应于一单一曝光时间中所取得的一单一图像帧的一图像；以及 于上述第二图像撷取模式时，上述图像撷取系统输出对应于一多重曝光时间中所取得的多个图像帧的一增强图像，使上述增强图像所呈现的一第二分辨率较高于上述第一图像撷取模式的上述图像所呈现的一第一分辨率。
2.根据权利要求1所述的电子装置，其中上述增强图像的上述第二分辨率高于上述图像撷取感测器的一像素分辨率。
3.根据权利要求1所述的电子装置，其中上述电子装置还包括一移动感测器，用以检测上述电子装置的移动； 上述图像撷取系统用以接收对应于上述移动感测器检测到的移动信息；以及于上述第二图像撷取模式时，上述图像撷取系统于检测到上述电子装置的移动时取得上述图像帧的至少一者。
4.根据权利要求3所述的电子装置，其中上述图像撷取系统用以于上述多重曝光时间中检测到的上述移动不符合一既定门坎值时，禁能上述增强图像的上述输出。
5.根据权利要求1所述的电子装置，其中，于上述第二图像撷取模式时，上述图像撷取系统用以: 将多个图像像素与上述图像`撷取感测器的每一上述像素结合； 利用于上述多重曝光时间中所取得的上述图像帧，计算上述图像像素的像素值；以及将所计算出的上述图像像素的上述像素值的特性加入至上述增强图像，使上述增强图像的上述第二分辨率呈现对应于上述图像像素的数量的一像素分辨率。
6.根据权利要求1所述的电子装置，其中于上述第二图像撷取模式时，上述图像撷取系统用以: 使用于上述多重曝光时间中所取得的上述图像帧中的一第一图像帧作为一参考帧；使用于上述多重曝光时间中所取得的上述图像帧中剩余图像帧于上述参考帧的增强处理操作，用以产生上述增强图像。
7.根据权利要求1所述的电子装置，其中上述图像撷取系统于进行增强处理操作时执行有关上述图像帧的边缘检测。
8.根据权利要求1所述的电子装置，还包括沿着一第一光学路径设置的一第一光圈，用以选择性地准许光线被入射在上述图像撷取感测器上。
9.根据权利要求8所述的电子装置，其中上述电子装置还包括沿着一第二光学路径设置的一第二光圈，用以选择性地准许光线被入射在上述图像撷取感测器上； 于上述第二图像撷取模式时，上述图像撷取系统用以选择性地制动上述第一光圈以及上述第二光圈，使上述图像信息可沿着上述第一光学路径以及上述第二光学路径传播的光线来取得。
10.根据权利要求1所述的电子装置，其中上述电子装置为一智能型手机。
11.一种增强图像分辨率的方法，包括下列步骤: 利用一图像撷取感测器的像素，取得相应于一场景的多个图像帧； 指定上述图像帧其中一者作为一参考帧；以及 处理上述参考帧以提供一增强图像，使上述增强图像所呈现的一第二分辨率较高于上述参考帧所表不的一第一分辨率。
12.根据权利要求11所述的方法，其中上述增强图像所表示的上述第二分辨率高于上述图像撷取感测器的一像素分辨率。
13.根据权利要求11所述的方法，其中上述处理上述参考帧的步骤包括: 将多个图像像素与上述图像撷取感测器的每一上述像素结合； 利用于一多重曝光时间中所取得的上述图像帧，计算上述图像像素的像素值；以及将所计算出的上述图像像素的上述像素值的特性加入上述增强图像，使上述增强图像的上述第二分辨率呈现对应于上述图像像素的数量的一像素分辨率。
14.根据权利要求11所述的方法，其中上述取得上述图像帧的步骤包括从与上述参考帧的一视点不同的其它视点取得上述图像帧至少一者。
15.根据权利要求14所述的方法，其中: 上述方法还包括于取得上述图像帧时检测与上述图像撷取感测器有关的移动；以及从上述其它视点取得上述图像帧的上述至少一者的步骤包括于检测到有关上述图像撷取感测器的移动时取得上述图像信息的上述图像帧的上述至少一者。
16.根据权利要求11所述的 方法，其中上述处理上述参考帧的步骤包括执行边缘检测。
17.根据权利要求11所述的方法，其中上述取得上述图像信息的上述图像帧的步骤包括: 选择性地准许沿着一第一光学路径传播的光线被入射在上述图像撷取感测器上；以及 选择性地准许沿着一第二光学路径光线被入射在上述图像撷取感测器上。
【文档编号】H04N5/235GK103516989SQ201310020128
【公开日】2014年1月15日 申请日期:2013年1月18日 优先权日:2012年6月26日
【发明者】罗德尼.O.威廉斯 申请人:宏达国际电子股份有限公司