用于运行摄像机的方法及其电子设备的制作方法
【专利摘要】一种电子设备使用的方法执行操作第一摄像机和第二摄像机的至少一个应用，并确定由第二摄像机获取的图像是否被对象遮蔽，所述对象遮挡了获取的第二摄像机图像的一部分。响应于确定遮蔽了获取的第二摄像机图像，所述方法在预览屏幕上显示由第一摄像机获取的图像。
【专利说明】用于运行摄像机的方法及其电子设备
【技术领域】
[0001]本发明涉及一种电子设备。更具体地，本发明涉及一种用于在电子设备中运行摄像机的方法和装置。
【背景技术】
[0002]包括智能电话和平板个人计算机(PC)的公知电子设备配备有前置摄像机和后置摄像机。设置在电子设备前部的摄像机和设置在设备后部的摄像机通常用于不同目的。例如，设置在电子设备前部的摄像机通常用于获取用户的图像，而设置在电子设备后部的摄像机通常还用于获取周围环境(例如，风景或除了用户之外的人物)的图像。设备用户使用由摄像机应用提供的摄像机切换菜单来选择摄像机，并选择设置在电子设备前部的摄像机。用户需要直接控制摄像机切换菜单以便在前置和后置摄像机之间进行切换摄像机操作。用户承受了以下负担和不便:必须通过预览屏幕来识别前置和后置摄像机中的哪个在进行操作并切换到所需摄像机。根据本发明原理的系统解决这种不足和相关问题。
【发明内容】
[0003]有利地，发明人认识到需要在电子设备中预测前置或后置摄像机的用户操作。系统在电子设备中分析从多个摄像机获取的图像，并针对摄像机确定摄像机操作方法。系统响应于对从每个摄像机获取的图像的分析来选择和操作摄像机，并确定特定摄像机是否获取被对象遮蔽(shaded)的图像，以及是否处于遮蔽状态。系统响应于命令，在预览屏幕上显示从处于未遮蔽状态下的摄像机获取的图像。
[0004]电子设备使用的方法执行操作第一摄像机和第二摄像机的至少一个应用，并确定第二摄像机获取的图像是否被对象遮蔽，其中由于对象阻挡光到达摄像机镜头而遮挡了获取的第二摄像机图像的一部分。所述方法响应于确定遮蔽了获取的第二摄像机图像，在预览屏幕上显示由第一摄像机获取的图像。
[0005]在本发明特征中，所述方法识别第二摄像机获取的图像各个像素的辉度亮度颜色信息；将识别的各个像素的辉度亮度颜色信息与先前获取图像的辉度亮度颜色信息的先前存储图案进行比较；以及响应于该比较，确定第二摄像机被特定对象遮蔽。该方法响应于该图像的识别辉度亮度颜色信息具有随着距图像中心的距离越远呈现越深红色的图案，确定第二摄像机被用户手部遮蔽。响应于确定图像的识别辉度亮度颜色信息没有指示与先前所存储图案相似的图案，所述方法确定第二摄像机没有被特定对象遮蔽；以及显示示出了第二摄像机获取的图像的预览屏幕。
[0006]在本发明的另一特征中，特定对象包括用户手部以及蜂窝电话壳体中的至少一个的一部分，以及响应于确定第二摄像机获取被遮蔽图像，维持第二摄像机的操作并从第二摄像机获取图像输入。所述方法分析从第二摄像机输入的图像并识别第二摄像机是否获取未遮蔽图像；以及响应于确定第二摄像机在获取被遮蔽图像之后获取未遮蔽图像，使用在变化的不同获取时间处从第一摄像机输入的图像。所述方法还包括:在获取被特定对象遮蔽的图像之后，分析从第二摄像机输入的图像并识别第二摄像机图像是否被特定对象遮蔽。所述方法响应于第二摄像机的状态从被遮蔽获取改变为未遮蔽获取，通过在选定时间处使用第一摄像机发起视频序列的获取；在获取未遮蔽图像之后，分析从第二摄像机输入的图像并识别第二摄像机图像是否被特定对象遮蔽；以及响应于识别第二摄像机在获取未遮蔽图像之后获取遮蔽图像，终止获取视频序列。所述方法分析从第二摄像机输入的图像，并识别状态转变，其中在获取未遮蔽图像之后，第二摄像机图像被特定对象遮蔽，并响应于识别了该转变，结束第二摄像机的操作。第一摄像机是安装在电子设备的第一表面上的摄像机，而第二摄像机是安装在电子设备的第二表面上的摄像机。
[0007]在本发明的另一特征中，一种电子设备包括:一个或多个处理器，用于执行计算机程序；输入/输出(I/O)单元，用于执行数据输入和输出操作；至少两个摄像机，用于获取图像和视频；存储器，用于存储数据和指令；以及一个或多个程序，存储在存储器中并配置为可由一个或多个处理器执行，其中所述一个或多个程序包括可执行指令，用于:操作第一摄像机和第二摄像机；通过分析由第二摄像机获取的图像，以便识别图像是否由于用特定对象阻挡光到达摄像机镜头而受到特定对象的遮蔽，随后通过第二摄像机获取未遮蔽图像来识别状态转变；以及在预览屏幕上显示由第一摄像机获取的图像。
【专利附图】
【附图说明】
[0008]根据结合附图的以下详细描述，将更清楚本发明的以上和其它对象、特征和优点，附图中:
[0009]图1A示出了根据发明原理的运行摄像机的电子设备的框图；
[0010]图1B示出了根据发明原理的管理摄像机的处理器的结构的框图；
[0011]图2示出了根据发明原理，用于在电子设备中操作摄像机的处理流程图；
[0012]图3示出了根据发明原理，用于在电子设备中显示与第一摄像机和第二摄像机之一相对应的预览屏幕的处理流程图；
[0013]图4A到4C示出了根据发明原理，确定电子设备中的摄像机是否被用户手部遮蔽；
[0014]图5A示出了根据发明原理，电子设备中第二摄像机被用户手部遮蔽；
[0015]图5B示出了根据发明原理，电子设备中第一摄像机被用户手部遮蔽；以及
[0016]图6示出了根据发明原理，通过电子设备中的第二摄像机拍摄图像。
【具体实施方式】
[0017]下文将参考附图描述这里所述本发明的优选实施例。为了清楚和简要目的省略对公知功能和结构的详细描述，因为它们将以不必要的细节模糊本发明。此外，以下描述的考虑到本发明的功能而定义的术语可以依赖于用户和操作者的意图或实践而有所不同。因此，应该基于整个说明书的公开来定义这些术语。
[0018]在以下描述中，例如，电子设备包括具有摄像机的移动通信终端、智能电话、平板个人计算机(PC)、数字摄像机、手表、膝上型计算机、笔记本和计算机。为了描述方便，假定电子设备配备有两个摄像机来进行以下描述。然而，以下描述也可应用于具有三个或更多摄像机的电子设备。这里所用的遮蔽包括对全部或部分的获取的摄像机图像的遮挡，作为用对象阻挡光到达摄像机镜头的结果。
[0019]图1A示出了运行摄像机的电子设备100，包括存储器110、处理器120、输入/输出(I/O)单元130以及摄像机140。存储器110和处理器120可以包括多个存储器110和多个处理器120。存储器110包括数据存储单元111、操作系统(OS)程序112、应用程序113、图形用户界面(GUI)程序114、摄像机控制程序115以及图像分析程序116。程序和软件元件包括指令集，这里可以将其称之为模块。存储器110存储一个或多个程序。数据存储单元111响应于存储器110中存储的程序，存储在执行功能时产生的数据。数据存储单元111存储颜色表，用于识别遮蔽由第一摄像机或第二摄像机提供的图像的对象。该颜色表包括至少两个或更多红、绿和蓝(RGB)颜色信息，单独颜色数据具有非重叠的阈值范围。当摄像机获取被用户手部遮蔽的图像时，数据存储单元111使用存储的颜色表和通过摄像机获取的图像的颜色信息。
[0020]OS 程序 112 包括内置操作系统(例如，WINDOWS、LINUX、Darwin、RTXC、UNIX、OS X、或VxWorks)，包括控制通用系统操作(包括存储器管理)的不同软件元件，并控制例如存储硬件(器件)控制和管理、电力控制和管理。OS程序112在不同硬件(器件)和软件元件(程序)之间平滑通信。例如，应用程序113包括浏览器、电子邮件(e-mail)应用、消息应用、词语处理应用、地址薄应用、窗口小部件应用、数字版权管理(DRM)应用、语音识别应用、语音复制应用、位置确定功能、基于位置的服务、电话应用、日程管理应用及商业管理应用。
[0021]⑶I程序114为电子设备100提供图形用户界面，用于通过输入/输出单元130显示用户界面信息。GUI程序114显示示出了由第一摄像机和/或第二摄像机获取的图像的预览屏幕。响应于第一摄像机和第二摄像机的同时(concurrent)操作,⑶I程序114向I/O单元130提供从第一摄像机或第二摄像机输入的一个或多个图像，并在预览屏幕上显示该图像。GUI程序114将预览屏幕划分为第一区域和第二区域，并分别在第一区域和第二区域显示第一摄像机的图像和第二摄像机的图像。此外，⑶I程序114响应于确定第一摄像机和第二摄像机之一被特定对象遮蔽，向I/O单元130提供从未遮蔽的摄像机输入的图像，并在预览屏幕上显示该图像。例如，当确定第一摄像机被用户手部遮蔽时，Gn程序114在预览屏幕上显示由第二摄像机获取的未遮蔽图像。
[0022]摄像机控制程序115与图像分析程序116交互操作以便分析由第一和第二摄像机获取的图像，从而确定摄像机图像(或视频)是否被特定对象遮蔽(即，处于遮蔽状态的摄像机)，作为响应，在预览屏幕上显示由另一摄像机(即，处于未遮蔽状态的摄像机)获取的未遮蔽图像(或视频)，并发起由另一摄像机的图像获取。此外，图像分析程序116检测例如通过移除特定遮蔽对象引起的从遮蔽到未遮蔽的摄像机状态的改变(反之亦然)，并开始由新的未遮蔽摄像机获取图像或视频。图像分析程序116检测摄像机状态从未遮蔽到遮蔽的改变，通过停止摄像机操作或关闭摄像机电源来终止由新遮蔽的摄像机获取图像或视频。
[0023]图像分析程序116分析由摄像机获取的图像，并通过将由每个摄像机获取的接收图像与数据存储单元111先前存储的颜色表进行比较来确定该摄像机是否被特定对象遮蔽。颜色表存储识别通过摄像机获取并且被特定对象遮蔽的图像的颜色图案。例如，当摄像机被用户手部遮蔽时，遮蔽图像具有在图像中呈现大量红色区域而距离图像中心越远为越深红色的图案。颜色表包括RGB颜色信息，存储了图像区域的RGB像素颜色辉度(luminance)等级，用于识别各个像素颜色(例如，识别主要红色区域)。图像被划分为具有各记录等级的对应RGB颜色信息的特定尺寸像素，能够令图像分析程序116确定图像是否被特定对象遮蔽。
[0024]此外，图像分析程序116分析由摄像机获取的图像，并确定遮蔽该摄像机的特定对象是否已消失。处理器120包括至少一个处理器和外围接口。I/O单元130包括能够进行数据输入的输入单元和能够进行数据输出的输出单元，并向用户提供界面。例如，I/O单元130可以是同时支持数据输入和输出的触摸屏。摄像机140响应于用户控制获取图像。
[0025]图1B示出了管理摄像机的处理器120，包括摄像机控制器122和图像分析处理器124。摄像机控制处理器122执行指令以便与用于对从两个摄像机中的每个输入的图像进行分析的图像分析处理器124交互操作，从而确定是否至少一个摄像机处于包括获取被特定对象遮蔽的图像的操作状态或被特定对象遮蔽，以及在预览屏幕上显示处于未遮蔽图像获取状态下的另一摄像机的图像。
[0026]图2示出了用于操作电子设备中运行的摄像机的处理。在步骤201中，电子设备100操作第一前置摄像机以及第二后置摄像机。在步骤203中，电子设备100通过分析由第二摄像机获取的图像以及确定第二摄像机图像是否被特定对象(例如，用户手指或蜂窝电话壳体)遮蔽，来确定第二摄像机是否获取遮蔽图像。
[0027]在步骤205中，响应于第二摄像机被特定对象遮蔽，设备100确定用户通过第二摄像机拍摄了受损图像，并在预览屏幕上选择和显示由第一摄像机获取的图像。响应于设备100确定第一摄像机和第二摄像机都获取了未遮蔽页面，电子设备100根据预定的摄像机优先级数据或图像类型选择优先级数据，在预览屏幕上显示第二摄像机的图像。
[0028]图3示出了用于在电子设备中显示第一摄像机和第二摄像机之一的预览屏幕的方法的流程图。在步骤301中，电子设备100感测执行了摄像机应用，并在步骤303中开始执行用于操作第一摄像机和第二摄像机的摄像机应用。在步骤305中设备100分析通过第二摄像机接收的图像，并在步骤307中，识别是否遮蔽了由第二摄像机获取的图像。电子设备100指定包括各个像素或像素组的图像区域。在实施例中，设备100将单个像素的颜色信息与先前存储的颜色表中的先前获取图像的对应像素颜色信息进行比较。响应于检测到超过预定阈值的差异，如图4A所示，设备100确定第二摄像机获取的图像被特定对象(例如，用户手指)遮蔽。由第二摄像机获取的图4A的图像呈现出整体红色，其中远离中心处的颜色变为更深的红色。此外，当在相对黑暗环境下由第二摄像机获取的图像被用户手指遮蔽时，如图4B所示，通过第二摄像机接收的图像呈现整体深红色并且随着远离中心变为更暗的红色。
[0029]电子设备100分析由第二摄像机获取的图像，并区分第二摄像机是被用户手指遮蔽还是仅因为摄像环境较暗。例如，如图4C所示，电子设备100将第二摄像机获取的图像划分为多个像素组，并识别像素组的辉度亮度等级(或在其他实施例中是各个像素)。根据辉度亮度大小的升序将辉度亮度等级分为7个等级(等级I到等级7)，对于每个RGB (红、绿、蓝)颜色，每个彩色辉度亮度具有预定阈值范围值。响应于由第二摄像机获取的图像在所接收图像的中心处具有相对较低亮度等级的辉度亮度图案，且随着距中心越远具有逐渐相对较高亮度等级，设备100确定第二摄像机被用户手部遮蔽。否则设备100确定第二摄像机没有被用户手部遮蔽。
[0030]如果在步骤307中确定第二摄像机被遮蔽，则在步骤309中电子设备在预览屏幕上显示由第一摄像机获取的图像。例如，当如图5A所示电子设备100的后置摄像机501被遮蔽时，电子设备100在预览屏幕上显示由前置摄像机获取的图像，并继续分析由后置摄像机501获取的图像，以便确定是否如图6所不移除了遮蔽后置摄像机501的用户手指。响应于如图5B所示电子设备100的前置摄像机511被遮蔽，设备100可以在预览屏幕上显示由后置摄像机获取的图像，并终止图3的处理。如果在步骤307中确定第二摄像机没有被遮蔽，则设备100在预览屏幕上显示在步骤311中由第二摄像机获取的图像，并终止图3处理。
[0031]本说明书中所述的示例实施例和所有功能操作可以由计算机软件、固件、或硬件、或其组合来执行，所述计算机软件包括在本说明书中公开的结构及其等同结构。此外，本说明书所述本发明的示例实施例可以由一个或多个计算机程序产品(即，数据处理设备)实现或可以实现为在计算机可读介质上编码的一个或多个计算机程序指令，用于控制这些数据处理设备的操作。
[0032]计算机可读介质可以是机器可读存储介质、机器可读存储基底、存储设备、影响机器可读无线电波流的材料的指令、或它们的组合。例如，术语“数据处理设备”包括可编程处理器、计算机或多个处理器、或用于数据处理的装置、设备以及机器(包括计算机)。装置包括硬件中编码的并针对对应计算机程序产生执行环境的代码，例如，编码为处理器固件的代码、协议栈、数据管理系统中的数据、操作系统中的数据或它们的组合。
[0033]上述实施例可以实现 为硬件、固件或作为可以存储在诸如⑶ROM、数字通用盘(DVD)、磁带、RAM、软盘、硬盘或磁光盘等记录介质上的软件或计算机代码，或在网络上下载的原始存储在远程记录介质或非暂时机器可读介质上并存储在本地记录介质上的计算机代码，使得这里所述方法可以通过使用通用计算机、或专用处理器或可编程或专用硬件(例如ASIC或FPGA)在记录介质上存储的这种软件来呈现。如本领域技术人员理解的，计算机、处理器、微处理器控制器或可编程硬件包括存储组件，例如RAM、ROM、闪存等，其可以存储或接收软件或计算机代码，这些软件或计算机代码在被计算机、处理器或硬件访问和执行时实现这里所说的处理方法。此外，应该认识到，当通用计算机访问用于执行这里示出的所述处理的代码时，所述代码的执行将通用计算机转化为具体用途的计算机用于执行这里示出的所述处理。可以自动地、或响应于用户命令全部地或部分地执行整理的功能和处理步骤。响应于可执行命令或设备操作而无需用户直接发起活动，来执行自动执行的活动(包括步骤)。除非使用短语“用于…的装置”来明确限定元件，否则不应按照35U.S.C.112第六段的规定来理解权利要求中的元件。
[0034]尽管参考本发明的特定优选实施例示出并描述了本发明，然而本领域技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的前提下，可以在其中进行形式和细节上的多种改变。
【权利要求】
1.一种电子设备可用的方法，包括: 执行操作第一摄像机和第二摄像机的至少一个应用； 确定第二摄像机获取的图像是否被对象遮蔽，其中由于所述对象阻挡光到达摄像机镜头导致所述对象遮挡了获取的第二摄像机图像的一部分；以及 响应于确定获取的第二摄像机图像被遮蔽，在预览屏幕上显示由第一摄像机获取的图像。
2.根据权利要求1所述的方法，其中确定第二摄像机获取的图像是否被遮蔽包括: 识别第二摄像机获取的图像的各个像素的辉度亮度颜色信息； 将识别的各个像素的辉度亮度颜色信息与先前获取图像的辉度亮度颜色信息的先前存储图案进行比较；以及 响应于所述比较，确定第二摄像机被特定对象遮蔽。
3.根据权利要求2所述的方法，包括通过响应于图像的识别辉度亮度颜色信息具有随着距图像中心越远呈现越深红色的图案来确定第二摄像机被用户手部遮蔽，从而确定第二摄像机获取的图像是否被特定对象遮蔽。
4.根据权利要求2所述的方法，还包括: 响应于确定图像的识别辉度亮度颜色信息没有指示与先前存储的图案相似的图案，确定第二摄像机没有被特定对象遮蔽；以及 显示示出了由第二摄像机获取的图像的预览屏幕。
5.根据权利要求2所述的方法，其中所述特定对象包括用户手部和蜂窝电话壳体中至少一个的一部分。
6.根据权利要求1所述的方法，还包括响应于确定第二摄像机获取了遮蔽图像，维持第二摄像机的操作并从第二摄像机获取图像输入。
7.根据权利要求6所述的方法，还包括: 分析从第二摄像机输入的图像，并识别第二摄像机是否获取未遮蔽图像；以及响应于确定第二摄像机在获取被遮蔽图像之后获取未遮蔽图像，使用在变化的不同获取时间处从第一摄像机输入的图像。
8.根据权利要求6所述的方法，还包括: 在获取被特定对象遮蔽的图像之后，分析从第二摄像机输入的图像并识别第二摄像机图像是否被特定对象遮蔽； 响应于第二摄像机的状态从被遮蔽获取改变为未遮蔽获取，通过在选定时间处使用第一摄像机来发起视频序列的获取； 在获取未遮蔽图像之后，分析从第二摄像机输入的图像并识别第二摄像机图像是否被特定对象遮蔽；以及 响应于识别第二摄像机在获取未遮蔽图像之后获取被遮蔽图像，终止获取视频序列。
9.根据权利要求1所述的方法，还包括:分析从第二摄像机输入的图像并识别状态转变，在所述状态转变中在获取未遮蔽图像之后第二摄像机图像被特定对象遮蔽；以及响应于识别了该转变，终止第二摄像机的操作。
10.根据权利要求1所述的方法，其中所述第一摄像机是安装在电子设备的第一表面上的摄像机，以及所述第二摄像机是安装在电子设备的第二表面上的摄像机。
11.一种电子设备，包括: 一个或多个处理器，用于执行计算机程序； 输入/输出I/o单元，用于执行数据输入和输出操作； 至少两个摄像机，用于获取图像和视频； 存储器，用于存储数据和指令；以及 一个或多个程序，存储在存储器中并配置为可由一个或多个处理器执行， 其中所述一个或多个程序包括可执行指令，用于: 操作第一摄像机和第二摄像机；通过分析由第二摄像机获取的图像，来识别在第二摄像机获取未遮蔽图像之后是否由于特定对象阻挡光到达摄像机镜头而使图像被特定对象遮蔽，从而识别状态转变；以及 响应于识别的转变，在预览屏幕上显示由第一摄像机获取的图像。
12.根 据权利要求11所述的电子设备，其中所述程序包括可执行指令，用于: 识别由第二摄像机获取的图像的像素信息； 识别各个像素的辉度亮度颜色信息；以及 响应于确定识别的辉度亮度颜色信息包括与存储的图案实质上类似的图案，确定第二摄像机被特定对象遮蔽。
13.根据权利要求12所述的电子设备，其中所述程序包括用于以下操作的可执行指令:响应于图像的识别辉度亮度颜色信息具有随着距图像中心越远呈现越深红色的图案来确定第二摄像机被用户手部遮蔽。
14.根据权利要求12所述的电子设备，其中所述程序包括用于以下操作的可执行指令: 响应于图像的识别辉度亮度颜色信息具有与所存储图案实质上不同的图案，确定第二摄像机没有被特定对象遮蔽；以及 显示由第二摄像机获取的预览屏幕。
15.根据权利要求11所述的电子设备，其中所述电子设备布置为执行权利要求5到10之一所述的方法。
【文档编号】G06F3/14GK103916589SQ201310750827
【公开日】2014年7月9日 申请日期:2013年12月31日 优先权日:2013年1月3日
【发明者】尹弼注, 黄秀智, 丁晨弘, 金键洙, 金汉执, 朴光元, 朴贞炫 申请人:三星电子株式会社