拍摄图像的设备和方法
【专利摘要】一种拍摄图像的设备和方法。一种用于使用电子装置拍摄的方法和设备。所述方法和设备包括将从第一图像传感器输出的第一图像显示为主图像，并将由第二图像传感器拍摄的第二图像显示为子图像的预览显示操作。当全景拍摄操作被请求时，执行缓存主图像的全景拍摄操作。从预设帧捕捉子图像。当全景拍摄操作被终止时，从主图像的全景图像产生合成全景，并与捕捉的子图像进行合成。
【专利说明】拍摄图像的设备和方法
【技术领域】
[0001]本公开涉及拍摄，更具体地，涉及数字拍摄。
【背景技术】
[0002]数字拍摄通常涉及从相机的图像传感器获取的图像数据的显示，以及当用户执行拍摄捕捉命令时，将被存储在存储器中的获取的图像数据的捕捉、压缩和编码。
[0003]典型的便携式终端可配备有双摄像头，一个具有较高的分辨率，一个具有较低的分辨率。较高分辨率的相机和较低分辨率的相机可被分别安装在便携式终端的正面和背面。如此配备的装置可独立地使用前置摄像头和后置摄像头，以同时拍摄两幅图像，但一般不能自动地组合图像。因此通过后处理被合成和/或组合的画面通常按顺序被拍摄。这可能需要各个图像的手动布置。
【发明内容】
[0004]本公开涉及一种用于产生合成全景图像的方法和设备。一种电子装置可包括用于缓存主图像系列的第一图像传感器和用于产生子图像的第二图像传感器，使用至少一个图像传感器拍摄包括缓存的主图像系列的全景图像，将拍摄的全景图像和子图像进行合成，并存储合成的图像。根据本公开的电子装置可拍摄一个全景图像和静止图像，并可拍摄多个全景图像。
[0005]此外，所述电子装置可包括对在主图像系列的预设帧间隔中的静止图像的捕捉。所述电子装置可将子图像的第二全景图像和主图像全景图像进行合成，以产生具有画中画(PIP)类型格式的合成全景图像，或它可以以并行或顺序格式将子图像全景图像和主图像全景图像进行合成。
[0006]根据本公开的一个示例实施例，一种在电子装置中拍摄图像的方法包括:预览显示操作，将从第一图像传感器输出的第一图像显示为主图像，将来自第二图像传感器的第二图像显示为子图像；全景拍摄操作，当在预览显示操作中请求了全景拍摄时缓存第一图像，从预设帧捕捉第二图像，将第一图像和第二图像分别显示为主图像和子图像；合成全景显示操作，响应于全景拍摄操作的终止，将缓存的第一图像产生为全景图像，并将捕捉的第二图像和全景图像进行合成。
[0007]根据另一示例实施例，一种在配备有双图像传感器的电子装置中拍摄图像的方法包括:将从第一图像传感器输出的第一图像显示为主图像，并将从第二图像传感器输出的第二图像显示为子图像的预览显示操作。当在预览显示操作中请求了全景拍摄时，缓存第一图像和第二图像的全景拍摄操作。第一图像和第二图像被分别显示为主图像和子图像。当全景拍摄操作被终止时，从缓存的第一图像和缓存的第二图像产生合成全景图像，图像被合成用于形成合成全景图像。
[0008]根据另一示例实施例，一种用于拍摄图像的设备包括:第一图像传感器和第二图像传感器；显示单元，被配置为将从第一图像传感器输出的第一图像显示为主图像，将由第二图像传感器拍摄的第二图像显示为子图像图像。当全景拍摄被请求时，控制器缓存第一图像，并从预设帧捕捉第二图像。当全景拍摄被终止时，从缓存的第一图像产生全景图像，并且全景图像在被显示在显示单元上之前，与捕捉的第二图像合成。
【专利附图】
【附图说明】
[0009]从下面结合附图的详细描述中，本公开的上述特征和优点将更清楚，其中:
[0010]图1是示出根据一个实施例的电子装置的示例配置的框图；
[0011]图2是根据示例实施例的全景拍摄的抽象示图；
[0012]图3是示出根据示例实施例的用于拍摄全景图像的步骤的示例顺序的流程图；
[0013]图4A是根据示例实施例的示例全景拍摄的抽象示图；
[0014]图4B是根据示例实施例的示例全景拍摄的抽象示图；
[0015]图4C是根据示例实施例的示例全景拍摄的抽象示图；
[0016]图5是示出根据示例实施例的用于拍摄全景图像的步骤的示例顺序的流程图；
[0017]图6A是根据示例实施例的示例全景拍摄的抽象示图；
[0018]图6B是根据示例实施例的示例全景拍摄的抽象示图；
[0019]图7是示出根据示例实施例的用于执行示例全景拍摄的步骤的示例顺序的流程图；
[0020]图8是示出根据示例实施例的便携式终端的示例配置的框图。
【具体实施方式】
[0021]参照附图描述本公开的示例性实施例。为了清晰和简洁的目的，在此合并的公知功能和结构的详细描述可被省略，以避免模糊本公开的主题。
[0022]根据本公开的实施例的配备有图像传感器的便携式终端包括多个图像传感器。便携式终端可用于通过使用所述多个图像传感器中的至少一个图像传感器来拍摄全景图像，并将拍摄的全景图像与由其他图像传感器拍摄的另一图像进行合成。合成图像可被存储。通过对从图像传感器产生的帧图像进行组合使得一个图像可部分地重叠在另一图像上来合成图像，创建合成全景图像。
[0023]以下，相机装置(或配备有图像传感器的设备)将被描述为电子装置。电子装置可以是包括智能电话、平板装置、计算机和相机装置的装置。此外，电子装置可以是包括两个或更多个图像传感器的装置。
[0024]本公开的第一实施例可通过使用产生主图像的第一图像传感器拍摄全景图像，通过使用产生子图像图像的第二图像传感器产生静止图像，并将静止图像与全景图像进行合成，以在图像的合成时获得子图像。在这种情况下，与全景图像合成的子图像的位置可以是全景图像的第一帧间隔、最后帧间隔或预设帧间隔。子图像可以以画中画(PIP)类型格式与全景图像合成。此外，子图像可并行地在全景图像上与主图像合成。
[0025]本公开的第二示例实施例可通过使用用于产生主图像的第一图像传感器拍摄第一全景图像，通过使用产生子图像图像的第二图像传感器来产生第二全景图像，并在图像的合成时，将第二全景图像与全景图像进行合成。第二图像传感器可拍摄用户的图像。在第二全景图像的产生时，电子装置可合成除了具有面部的帧图像以外的剩余帧图像，并通过面部检测包括面部，以产生全景图像。在这种情况下，可通过同时拍摄来与第一全景图像同时产生第二全景图像。此外，通过在第一全景的产生期间驱动第二图像传感器，可产生第二全景图像。此外，当将第二全景图像与第一全景图像进行合成时，第二全景图像可以以PIP类型或格式与第一全景图像合成，并且第二全景图像可并行地与第一全景图像合成。
[0026]安装在设备的第一表面的第一图像传感器可以是例如安装在设备的背面的图像传感器。安装在设备的第二表面的第二图像传感器可以是例如安装在设备的正面的前置图像传感器。此外，除了连接到终端的图像传感器之外，图像传感器可包括使用例如无线连接方案(诸如，近场通信(NFC)、无线保真(WIFI)等)功能地连接的图像传感器。
[0027]图1是示出根据一个实施例的电子装置的示例配置的框图。以下，假设配备有多个图像传感器的电子装置是配备有双图像传感器的设备。
[0028]参照图1，第一图像传感器(S卩，后置图像传感器)120可被安装在设备的背面，第二图像传感器(即，前置图像传感器)可被安装在设备的正面。这里，第一图像传感器120可以是具有比第二图像传感器125的分辨率更大的分辨率的高分辨率图像传感器。第一图像传感器120或第二图像传感器125可由控制器100独立地或同时地控制。此外，第一图像传感器120或第二图像传感器125可被配置为拍摄静止图像或运动图像。
[0029]控制器100可控制电子装置的整体操作。此外，控制器100可分别提供用于第一图像传感器120和/或第二图像传感器125的控制和协调，并可同时驱动第一图像传感器120和第二图像传感器125。当第一图像传感器120和第二图像传感器125被同时驱动时，控制器100可将在预览模式下拍摄的预览图像在显示器上显示为双画面格式，并对显示在显示器上的预览图像的捕捉进行协调。子图像可被显示为PIP类型。
[0030]此外，控制器100可在预览模式下通过使用多个图像传感器中的至少一个图像传感器来拍摄全景图像。当存储全景图像时，控制器100可将从另一图像传感器拍摄的图像和拍摄的全景图像进行组合以创建合成全景图像，对合成图像进行编码和存储。在全景的拍摄捕捉时，控制器100拍摄由第一图像传感器120和/或第二图像传感器125产生的帧图像，使得捕捉的图像彼此部分地重叠，并且覆盖相应的部分捕捉的图像，以创建合成全景图像。
[0031]根据本公开的实施例，存储单元110可包括用于存储电子装置的操作系统和用于创建合成全景图像的程序的存储器，以及用于存储图像的数据存储器。
[0032]显示单元130可被安装在电子装置的正面。显示单元130可被配置为显示由第一图像传感器120和/或第二图像传感器125拍摄的图像。显示单元130可以是例如，IXD型或OLED型显示器。输入单元140可产生用于控制电子装置的拍摄功能的输入。显示单元130和输入单元140可被配置为经由集成的触摸屏组件接收输入。
[0033]控制器100可在拍摄“双模式”下，通过同时驱动第一图像传感器120和第二图像传感器125来执行多个图像的捕捉，并在显示单元130上显示获取的图像，由一个图像传感器捕捉的第一图像被显示为主图像并且由另一个图像传感器捕捉的第二图像被显示为子图像。控制器110可在处于预览模式时根据用户需要和指示来交换主图像和子图像。
[0034]控制器110可包括图像信号处理器，图像信号处理器可包括图像预处理器、后处理器、图像缩放器以及编码器和解码器(CODEC)。在这种情况下，从第一图像传感器120输出的第一图像可由图像处理器进行图像预处理和后处理，并且可由图像缩放器缩放为显示单元130的主图像尺寸。此外，从第二图像传感器125输出的第二图像可由图像处理器进行图像预处理和后处理，并且可由图像缩放器缩放为显示单元130的子图像尺寸。在这种情况下，子图像可具有PIP的尺寸或主图像的尺寸。
[0035]此外，当在“双模式”下请求全景取景(shot)时，电子装置可驱动第一图像传感器120或第二图像传感器125中的至少一个来拍摄全景取景。为了这个目的，控制器100可在预览模式下在屏幕上显示全景拍摄模式按钮，或在屏幕上显示能够设置拍摄模式的按钮。“全景拍摄”模式可显示能够设置单全景(single panorama)模式(即，“第一全景拍摄模式”)和“多全景(multiple panorama)”模式(即，“第二全景拍摄模式”)的菜单，其中，所述单全景模式捕捉主图像全景并将子图像拍摄为静止图像，所述“多全景”模式捕捉两个全景，主图像和子图像均为全景图像。当“多全景”模式被选择时，“全景拍摄”模式可显示提供同时拍摄捕捉模式和顺序拍摄捕捉模式的菜单。
[0036]如果用户选择了全景拍摄模式(S卩，第一或第二全景拍摄模式)，则用户可在保持快门开关的打开状态(例如，相机被配置为捕捉图像的状态)预设时间或预设弧度的旋转的同时，在沿着统一的旋转平面旋转相机时进行拍摄。统一的旋转平面表示当在分别水平或垂直移动的同时进行拍摄时，未垂直或水平移动的电子装置的移动方向。此外，电子装置以恒定速度旋转的原因在于由图像传感器拍摄的各个相邻帧图像可能彼此重叠。在这种情况下，帧之间的重叠百分率的示例比率可从30%到50%变动。控制器100的图像处理器可连续地缓存从图像传感器120和/或125输出的帧，当终止全景捕捉时从每一帧去除重叠部分，并连接/合成帧图像以产生合成的全景图像。
[0037]示出根据本公开的第一实施例的全景拍摄模式的操作。当在预览模式下请求全景捕捉时，控制器100可连续地获取和缓存从第一图像传感器120产生的主图像的帧图像，捕捉产生子图像的第二图像传感器的特定帧图像作为静止图像，并当全景拍摄被终止时，将静止图像和全景图像合成为子图像。与全景图像合成的子图像的位置可以是全景图像的第一帧间隔、最后帧间隔或预设帧间隔。在这种情况下，子图像可以以PIP类型格式或可选择地以并行或顺序格式与全景图像合成。
[0038]图2是根据示例实施例的全景拍摄的抽象示图。
[0039]参照图2，在处于预览模式时接收到用于执行全景拍摄捕捉的命令时，用户可通过以恒定速度统一地保持电子装置的旋转来捕捉全景图像。控制器100可根据装置的旋转，连续地处理和缓存从第一图像传感器产生的帧图像。每帧的图像可包括根据前一帧和下一帧的图像之间的期望比率的重叠部分。如图2的标号220中所示，控制器100可在预设时间点捕捉从第二图像传感器125产生的第二图像，并随后将捕捉的第二图像处理并缓存为子图像。然后，如果全景拍摄被终止，则控制器100从缓存的帧图像去除每个重叠的图像部分，并将每个图像的剩余部分进行合成，以产生如图2的标号210中所示的全景图像主图像。将子图像220与全景图像210进行合成，以产生如图2的标号230中所示的合成全景图像，并将其存储在存储单元HO中。
[0040]为了获取子图像220，控制器110可在全景拍摄模式下，捕捉可能的子图像的范围的第一帧图像、最后帧图像或预设帧图像。通常，全景捕捉涉及在保持统一的旋转表面时，电子装置以恒定速度的稳定旋转。特定动作(诸如，需要按压快门或捕捉按钮)可能导致这个操作更难处理。此外，如图2的标号230中所示，当将子图像图像与全景图像进行合成时，子图像可在全景图像的最后帧间隔内、全景图像的第一帧间隔或某些中间帧间隔内被合成。
[0041]以下，将示出根据另一示例实施例的示例全景拍摄模式(S卩，“第二全景拍摄模式”)的操作。当在预览模式下拍摄全景图像时，用户可通过以恒定速度旋转电子装置来执行全景拍摄，其中，如上所述，第一图像传感器120和第二图像传感器125捕捉帧。随着电子装置被旋转，控制器100可缓存从第一图像传感器120和第二图像传感器125产生的每一帧的第一图像和第二图像。在全景拍摄的终止时，控制器100可从第一图像和第二图像去除重叠部分，以产生第一全景图像和第二全景图像，并合成产生的全景图像。在这种情况下，第二图像可包括用户/拍摄者的图像。在一个实施例中，用户的图像被包含在特定帧图像间隔内。当拍摄第一和第二全景图像时，控制器100可通过第一图像传感器120和第二图像传感器125的同时拍摄来产生全景图像。此外，控制器100通过顺序拍摄来拍摄第一全景图像，并随后拍摄第二全景图像。在后者的情况下，当在第一全景图像仍正被拍摄的状态下，执行拍摄第二全景图像的操作时，因为需要在保持统一高度的同时以恒定速度旋转电子装置并避免横向移动或倾斜，因此操作的难处理可能影响全景拍摄操作。因此，控制器100可包括计时器，其中，所述计时器控制全景图像的拍摄捕捉，并在计时器的终止时，通过缓存在全景拍摄操作期间捕捉的从第二图像传感器125产生的每一帧来控制第二全景图像的捕捉。当将第二全景图像与第一全景图像进行合成时，控制器100可以以PIP类型格式将第二全景图像与第一全景图像进行合成，或并行地将第二全景图像与第一全景图像进行合成。
[0042]图3是示出根据示例的用于拍摄全景图像的步骤的示例顺序的流程图。图4A至图4C是根据示例实施例的示例全景拍摄的抽象示图。
[0043]参照图3，可通过输入单元140接收图像传感器的激活，并且作为响应，在操作311，控制器100可执行预览模式，在显示器上显示双模式预览。控制器100可在预览模式下在预览屏幕上显示图像传感器按钮和双按钮。图像传感器按钮选择用于拍摄被显示为主图像的图像的图像传感器，并且双按钮激活和停用“双模式”。图像传感器按钮和双按钮可经由开关或触发器被操作。如果通过图像传感器按钮选择了第一图像传感器120，则控制器100可将第一图像传感器120选为主图像的源。此外，如果当第一图像传感器被选择时用户触摸双按钮，则控制器100确定电子装置应被置于“双模式”下，并可在激活第二图像传感器125。控制器100可处理由第一图像传感器120获取的图像，并将其作为主图像显示在显示单元130上，并可对从第二图像传感器125获取的图像进行处理和调整大小，并将经调整大小的图像作为子图像显示在显示单元130的预设位置上。控制器100知道显示为子图像的图像的尺寸和显示位置，并可根据预设尺寸在主图像的预设位置覆盖并显示子图像。在这种情况下，可用默认显示位置和默认尺寸来设置子图像的显示位置和尺寸，并且可根据用户的选择改变显示位置和/或显示尺寸。然而，当在第一图像传感器120被选择用于输出主图像的时候通过双按钮的触发器停用了“双模式”时，控制器100可处理从第一图像传感器120获取的图像，并将其显示在显示单元130上。因此，第二图像传感器125可被停用。此外，当用户通过使用图像传感器按钮选择了第二图像传感器125时，控制器100可处理从第二图像传感器125获取的图像，并将处理后的图像作为主图像显示在显示单元130上，并且对从第一图像传感器120获取的图像进行处理和调整大小，并将经过调整大小的图像作为子图像显示在显示单元130的预设位置。另外，通常假设(为了公开的简明的目的)从第一图像传感器120产生的第一图像被选为主图像，并且“双模式”被激活。因此，控制器100可在预览模式下处理从第一图像传感器120输出的第一图像并将经过处理的第一图像作为主图像显示在显示单元130上，处理从第二图像传感器125拍摄的第二图像并将其显示在子图像显示区域。在这种情况下，控制器100可包括图像信号处理器，并且图像信号处理器可包括图像预处理器、后处理器、图像缩放器、编解码器等。从第一图像传感器120输出的第一图像可由图像信号处理器进行预处理和后处理，并由图像缩放器缩放为显示单元130的主图像尺寸以输出在显示器上。从第二图像传感器125输出的第二图像可由图像信号处理器进行预处理和后处理，并由图像缩放器缩放为显示单元130的子图像尺寸以输出到显示器。
[0044]控制器100可在预览模式下在显示单元130的预览屏幕上显示能够全景拍摄的拍摄模式按钮。此外，全景拍摄模式可包括用于全景拍摄主图像的图像的模式(即，根据本公开的示例实施例的“第一全景拍摄模式”)和用于全景拍摄主图像和子图像的图像的模式(即，“第二全景拍摄模式”)。此外，第二全景拍摄模式可支持同时拍摄模式和顺序拍摄模式。在这种情况下，如果在预览模式下请求第一全景拍摄，则在操作313，控制器100可检测这个请求，并在操作315，控制器100可缓存从第一图像传感器120产生的主图像。再次，随着第一图像传感器120捕捉一系列帧，用户在保持相同高度的同时旋转电子装置。垂直朝向(即，倾斜)或水平朝向(即，扫描)不应被迅速改变以确保最好质量的全景图像。电子装置的以恒定速度的旋转确保重叠图像部分的一致比率。
[0045]此外，在操作315，控制器100将缓存的从第一图像传感器120产生的图像作为主图像显示在显示单元130上，并将从第二图像传感器125产生的图像处理为子图像，将经过处理的图像作为子图像显示在显示单元130上。
[0046]如上所述，当从第一图像传感器120输出的图像被缓存时，基于时间的方案被用于确定捕捉用户的面部的适当时间，随后当达到预定时间点时，在操作319，控制器100执行从第二图像传感器125输出的如图4A的标号220中所示的第二图像的捕捉和处理，从而捕捉用户的面部。
[0047]第二图像的拍摄时间点可以是由全景拍摄请求的总长度定义的时间点、全景拍摄终止的时间点或另一预设时间点。在本公开的一个示例实施例中，通过使用计时器捕捉第二图像。在这种情况下，当在操作313请求全景拍摄时，控制器100操作计时器。当计时器达到终止时，控制器100可在操作317检测终止，并在操作319捕捉第二图像。以这种方式，如果计时器被使用，则在用户将主图像的拍摄发起为全景图像之后，计时器可被提供用于设置第二图像的期望帧。
[0048]在捕捉第二图像之后，控制器100可将捕捉的静止图像在显示单元130上显示为子图像，或可显示从第二图像传感器125输出的预览图像。在本公开的示例实施例中，在全景图像被拍摄时，子图像图像被显示为预览图像。因此，控制器100可在缓存第一图像时将从第一图像传感器120输出的第一图像显示为主图像，并将从第二图像传感器125输出的第二图像作为子图像显示在显示单元130上。
[0049]如果在处于上述状态时全景拍摄被终止，则在操作321，控制器100检测全景拍摄的终止，处理正被缓存的第一图像以产生全景图像，并将捕捉的第二图像与全景图像进行合成，对其进行编码，并在操作323将合成图像存储在存储单元110中。这里，可使用触发的快门开关或经由计时器以预设时间执行全景拍摄。在第一种情况下，快门开关的停用被检测为全景拍摄的终止。在第二种情况下，如果预设计时器达到终止，则这被解释为全景拍摄的终止。
[0050]在全景拍摄的终止时，控制器100可在从在操作323缓存的主图像的相邻帧图像去除重叠部分的同时，通过合成相邻帧图像来产生如图3A的标号210中所示的全景图像。此外，控制器100可将子图像220和所得的全景图像210进行合成，将合成的图像显示在显示单元130上，并将其存储在存储单元110中。当子图像220与全景图像210合成时，控制器100可在很多可能的帧(诸如，如图4B中所示的全景图像210的最后帧位置、如图4C中所示的全景图像210的第一帧位置或全景图像的某些中间预设帧处)中合成子图像220。
[0051]如果在处于预览模式时产生驱动终止请求，则在操作331，控制器100检测这个请求，并可在操作333终止双模式的操作。
[0052]如上所述，如图4A中所示，根据本公开的实施例的第一全景拍摄方法连续地拍摄和缓存主图像，在全景拍摄期间捕捉子图像(其可被放置在第一帧位置、中间帧位置或最后帧位置)，在全景拍摄的终止时通过合成缓存的相邻主图像来产生全景图像，并将子图像和全景图像进行合成。
[0053]控制器100可在拍摄全景时产生全景图像，并在当全景图像被产生时期间设置的帧位置处捕捉并合成子图像。也就是说，控制器100在第一全景拍摄模式下处理从第一图像传感器120输出的帧图像，并在去除每一帧的重叠前一帧的部分的同时产生全景图像。此外，在子图像的合成帧中，控制器100可捕捉从第二图像传感器125输出的第二图像，并与相应的巾贞间隔合成。
[0054]如果如上所述执行全景拍摄模式，则当第一全景拍摄被终止时，控制器100可产生与第二图像合成的全景图像。在这种情况下，当在全景拍摄被执行的状态下子图像被合成时，如果用户的面部未插入第一帧，但用户试图将用户的面部插入在额外的合成帧中，则在前置图像传感器120的拍摄在如图4B中所示的全景拍摄期间被执行的情况下，前置图像传感器120的图像可与相应的合成帧合成，此外，如图4C中所示，为了将用户的面部插入在第一帧中，通过双相机拍摄合成第一帧，并且可仅通过主相机拍摄来合成剩余的全景合成帧。
[0055]图5是示出根据示例实施例的用于拍摄全景图像的步骤的示例顺序的流程图。图6A和图6B是根据示例实施例的示例全景拍摄的抽象示图。
[0056]参照图5，如果通过输入单元140激活了双模式，则在操作511，控制器100可执行预览模式。预览模式下的操作可通过与图3中示出的操作311的方法相同的方法来执行。
[0057]在这种情况下，如果在预览模式下请求第二全景拍摄，则控制器100在操作513检测所述请求，并可在操作515确定期望的拍摄方法以执行第二全景拍摄模式。期望的拍摄方法可以是同时拍摄和顺序拍摄。当全景拍摄被请求时，同时拍摄将从第一图像传感器120和第二图像传感器125输出的第一图像和第二图像同时处理为全景图像。顺序拍摄是当拍摄被请求时(表示快门开关被激活或计时器结束的时间)将从第一图像传感器120输出的第一图像处理为全景图像并将从第二图像传感器输出的第二图像处理为全景图像的方法。
[0058]如果同时拍摄模式被指示，则控制器100在操作515检测同时拍摄模式，并可在操作517缓存从第一图像传感器120产生的主图像和从第二图像传感器125产生的第二图像。在第二全景拍摄模式下，随着电子装置沿着相同的高度旋转并以恒定速度旋转，电子装置优选地捕捉帧。电子装置不应快速地垂直改变(即，倾斜)或水平改变(即，扫描)。所得的捕捉的帧图像可因此以特定比率彼此重叠。在操作517，在缓存从第一图像传感器120和第二图像传感器125输出的第一和第二图像时，控制器100可将从第一图像传感器120和第二图像传感器125输出的第一图像和第二图像作为预览图像显示在显示单元130上。
[0059]如果在上述状态下全景拍摄被终止，则在操作519，控制器100检测全景拍摄的终止。控制器100可分别处理正被缓存的第一图像和第二图像，以产生主图像全景图像和子图像全景图像，将子图像全景图像与主图像全景图像进行合成，并且对合成的图像进行编码并在步骤521将其存储在存储单元110中。这里，当快门开关被打开或在预设时间期间，全景拍摄可被执行。在前一种情况下，如果快门开关被关闭，则控制器100检测全景拍摄的终止。在后一种情况下，如果预设时间过去，则控制器100可将其检测为全景拍摄的终止。
[0060]现在返回步骤515，如果在操作515，控制器100将期望的模式检测为顺序拍摄模式，则在操作531，控制器100可缓存从第一图像传感器120产生的主图像。此外，在操作531，控制器100将缓存的从第一图像传感器120产生的图像作为主图像显示在显示单元130上。此外，控制器100可将从第二图像传感器125产生的图像处理为子图像，并将经过处理的图像作为子图像显示在显示单元130上。
[0061]然后，当在操作533，第二图像的全景拍摄被请求时，在操作535，控制器100可缓存从第二图像传感器125输出的第二图像。也就是说，如果当从第一图像传感器120输出的第一图像被缓存时，已针对第二图像的全景拍摄设置了时间点，则控制器100可在相应时间点开始缓存第一图像和第二图像。
[0062]第二图像的全景拍摄的时间点可以是计时器的结束时间或快门开关被激活的时间点。在本公开的一个实施例中，假设在使用计时器时进行第二图像的全景拍摄。在这种情况下，当在操作515，第一图像的全景拍摄被请求时，控制器100操作计时器以控制全景拍摄功能。当计时器被终止时，控制器100在操作533检测计时器的终止，并在操作535开始第二图像的全景拍摄。如上所述，如果计时器被使用，则用户可发起主图像的拍摄，并随后在没有电子装置的迅速或突然的移动的情况下稳定且连续地执行第二图像的全景拍摄。此外，当第二图像包括用户的面部时，临界时间可被指定为设置第二图像的用户的面部将出现的帧，以确保在第一图像传感器120被激活之后的用户的面部的捕捉。
[0063]如果在第一图像和第二图像的全景拍摄时请求终止全景拍摄，则控制器100处理在操作517缓存的第一图像和第二图像以产生全景图像，将捕捉的第二图像和全景图像进行合成，并且对合成图像进行编码并将其存储在存储单元110中。针对每一帧，用户图像可能被重复地包括在从第一图像传感器120和第二图像传感器125输出的图像中。从第二图像传感器125拍摄的第二图像可以是包括拍摄者的面部的图像。
[0064]在这种情况下，当产生全景图像时，重复包括的人图像可优选地仅被用于特定帧。因此，在包括用户图像的图像的情况下，控制器100针对当产生全景图像时缓存的各个帧图像检测面部区域，以提取面部图像，将面部图像插入到一个帧图像中，并合成除了包含用户的面部的相应帧以外的剩余帧的图像，以产生全景图像。
[0065]一般地，面部识别包括用于在拍摄的图像中提取面部图像的区域的面部区域提取和用于在从提取的面部区域搜索到的面部图像中确定面部图像的身份的识别功能。面部区域提取可使用诸如亮度、移动、颜色、眼睛(鼻子、嘴、耳朵等)的位置估计的信息以将面部与背景区分开，并可包括在此未列出的多个其他信息类型以适应各种未知变量。也就是说，为了精确地提取面部区域，可使用在两个或更多个信息点的收集之后相互补偿的方法。控制器100可包括具有面部区域提取功能的面部识别单元来在整个拍摄图像中确定面部的区域。
[0066]如上所述，在从缓存的图像检测到面部区域之后，当缓存的每一帧的图像被产生为全景图像时，控制器100连接包括彼此不重叠的面部区域的图像，并将包括面部区域的人图像插入到特定帧中。此外，控制器100可将第二图像的全景图像和第一图像的全景图像进行合成，并且对合成图像进行编码并在操作521将其存储在存储单元110中。
[0067]在这种情况下，第一图像的全景图像被示出在图6A和图6B的标号610中，并且第二图像的全景图像被示出在图6A和图6B的标号620中。在第一种情况下，当第二图像的全景图像与第一图像的全景图像进行合成时，如图6A的标号630中所示，子图像全景图像以PIP类型格式与主图像全景图像合成，或在第二种情况下，如图6B的标号650中所示，子图像全景图像以并行或顺序格式与主图像全景图像合成。
[0068]此外，如果在处于预览模式时图像传感器驱动终止请求被产生，则控制器100可在操作551检测这个请求，并在操作553终止双模式。
[0069]如上所述，如果第二全景拍摄模式被执行，则控制器100控制第一图像传感器120和第二图像传感器125同时地或顺序地执行全景功能。控制器100将第二图像传感器125的全景图像和第一图像传感器120的全景图像进行合成，以如图6A中所示以PIP类型格式创建全景取景。在这种情况下，如果当执行第二图像传感器125的全景拍摄时，由第二图像传感器125捕捉了包含用户或人的图像(或“人图像”)，则控制器100可通过仅提取除了人图像以外的背景图像来产生全景图像。
[0070]此外，如果第二图像传感器125未捕捉到人图像，则控制器100可在通过使用现有的全景拍摄方法拍摄全景之后，通过与第一图像传感器120的全景图像进行合成来产生双全景图像。
[0071]此外，如图6B中所示，第二图像传感器125的全景图像与第一图像传感器120的全景图像并行地或顺序地合成，以产生一个全景图像。在这种情况下，当通过将电子装置旋转180度实现全景拍摄时，可通过将第一图像传感器120的全景图像与第二图像传感器125的全景图像进行合成，来创建360度的全景图像。
[0072]图7是根据示例实施例的用于执行示例全景拍摄的步骤的示例顺序的流程图。
[0073]参照图7，在指示双模式应被激活时，在操作711，控制器100执行预览模式，允许用户选择第一全景拍摄模式或第二全景拍摄模式。如果在操作713激活了全景模式，则可选择同时拍摄或顺序拍摄，并且这个选择可被指示。
[0074]当第一全景拍摄模式被选择时,在操作713和715,控制器100检测该第一全景拍摄模式，并且在操作717，控制器100运行从第一图像传感器120输出的主图像的全景拍摄。如果在操作719检测到用于拍摄子图像的预指示的时间点，则在操作721，控制器100可将从第二图像传感器125输出的第二图像捕捉为子图像。如果请求了终止第一全景拍摄，则控制器100在操作725检测所述请求，在操作727将缓存的第一图像产生为全景图像，并可将捕捉的第二图像与第一全景图像进行合成(如上所示，例如，针对图4B和图4C)。
[0075]如果第二全景拍摄模式的同时拍摄被选择，则控制器100在操作713和715检测该同时拍摄模式，在操作729缓存从第一图像传感器120输出的第一图像和从第二图像传感器125输出的第二图像，并以主图像的形式和子图像的形式将图像显示在显示单元130上。此外，在全景拍摄的终止时，控制器100在操作731检测全景拍摄的终止，并且在操作733将缓存的第一图像和第二图像产生为全景图像以将图像彼此合成。
[0076]此外，当第二全景拍摄模式的顺序拍摄被选择时，在操作713和715，控制器100检测顺序拍摄。随后，在操作717，控制器100可对从第一图像传感器120输出的主图像进行全景拍摄，并预览从第二图像传感器125拍摄的图像。
[0077]此外，当在操作723，第二图像的全景拍摄被请求时，在操作729，控制器100可缓存从第一图像传感器120输出的第一图像和从第二图像传感器125输出的第二图像，并可以以主图像和子图像的形式在显示单元130上显示图像。此外，在全景拍摄的终止时，控制器100在操作731检测全景拍摄的终止，在操作733将缓存的第一图像和第二图像产生为全景图像，以将第二图像与第一图像进行合成。
[0078]在这种情况下，在处于第二全景拍摄模式下将通过同时拍摄或顺序拍摄产生的子图像的全景图像与主图像的全景图像进行合成的方法中，子图像全景图像可以以如图6A中所示的PIP类型格式与主图像全景图像合成，并且子图像全景图像可如图6B中所示并行或顺序地与主图像全景图像合成。当在全景图像的产生时，人图像被包括在每一帧中时，控制器100可如上所述提取面部区域，并将重复的人图像显示在特定一帧的图像中，并仅用场景图像配置其他帧的图像。
[0079]图8是示出根据本公开的实施例的执行拍摄操作的便携式终端的配置的框图。便携式终端可包括各种数字装置，诸如，包括智能电话的移动电话、MP3终端、平板PC和计算机。
[0080]参照图8，通信单元170可与基站或互联网服务器执行无线通信功能。这里，通信单元170可包括用于对发送信号的频率进行上变频并放大所述信信号的功率的发送器，以及用于低噪放大接收信号并对所述信号的频率进行下变频的接收器。此外，通信单元170可包括调制器和解调器。调制器可对发送信号进行调制以发送到发送器，解调器可对通过接收器接收的信号进行解调。在这种情况下，调制器/解调器可包括LTE、WCDMA、GSM等，还可包括WIF1、WIBR0等，并可包括NFC、蓝牙等。在本公开的实施例中，假设通信单元170包括LTE、WIFI和蓝牙通信单元。
[0081]第一图像传感器120是安装在终端装置的背面的后置图像传感器，并可以拍摄高分辨率的图像。第二图像传感器125是安装在终端装置的正面的前置图像传感器，并可以拍摄比第一图像传感器120的分辨率相对更低的分辨率的图像。
[0082]控制器100可控制便携式终端的整体操作，并可包括:应用处理器(AP) 810，用于控制便携式终端中的各种应用的处理；通信处理器(CP) 820，用于控制便携式终端的通信功能。此外，在双模式的预览模式下，应用处理器810控制将第一图像和第二图像显示为主图像和子图像。此外，根据本公开的实施例，在全景拍摄模式中，应用处理器810将第一图像和/或第二图像产生为全景图像，并在存储合成图像之前，将第一图像和第二图像进行合成。[0083]根据本公开的实施例的存储单元110可包括用于存储终端的操作系统和拍摄程序的存储器，以及用于存储用于终端的操作的表格和其他数据结构以及在程序的执行期间产生的数据的存储内存。
[0084]显示单元130可在控制器100的控制下显示执行的应用信息。此外，显示单元130可在控制器100的控制下在“双模式”下显示主图像和子图像的预览图像。显示单元130可被配置为IXD或OLED型显示器。输入单元140可通过电容式或电阻式触摸屏来实现。输入单元140可将用户触摸(称为“手指触摸”)的位置信息输出到控制器100。此外，输入单元140可还包括EMR传感器板，并检测笔触摸输入并将检测到的笔触摸输入输出到控制器100。显示单元130和输入单元140可被配置为整体式。感测单元150可包括用于感测便携式终端的运动的传感器。感测单元150可用加速度传感器、地磁传感器、陀螺仪传感器和/或位置传感器来配置。音频处理器180可在控制器100的控制下处理在通信模式下产生的语音信号。
[0085]具有上述结构的便携式终端的控制器100可包括:图像传感器按钮，用于选择用于在显示单元130上显示主图像的图像传感器；双按钮，用于打开/关闭“双模式”的设置。当用户打开双按钮时，控制器执行“双模式”以驱动第一图像传感器120和第二图像传感器125，并可将从图像传感器120和125输出的图像作为主图像和子图像的双图像显示在显示单元130上。此外，控制器100可通过在“双模式”下选择图像传感器来选择用于输出主图像的图像传感器。在本公开的实施例中，假设当便携式终端在“双模式”下被驱动时，第一图像传感器120被选为主图像传感器，并且第二图像传感器125被选为子图像传感器。
[0086]当便携式终端在预览模式下驱动“双模式”时，控制器100可将从第一图像传感器120产生的第一图像显示在显示单元130上，并可将从第二图像传感器125产生的第二图像显示为子图像。此外，控制器100可在预览屏幕上显示包括全景拍摄模式的全景模式选择按钮。在本公开的实施例中，全景拍摄模式包括:第一全景拍摄模式，用于将从双图像传感器的一个图像传感器拍摄的图像拍摄为全景图像；第二全景拍摄模式，用于将从双图像传感器拍摄的第一图像和第二图像两者拍摄为全景图像。第二全景拍摄模式可执行同时拍摄或顺序拍摄。
[0087]如果在“双模式”的预览模式下选择了第一全景拍摄模式，则控制器100 (在执行图3示出的一系列步骤时)缓存从第一图像传感器120输出的第一图像，将第一图像作为主图像显示在显示单元130上，并将从第二图像传感器125输出的第二图像预览为子图像。此外，控制器100可捕捉第二图像传感器125的第二图像，来将预设帧中的子图像产生为静止图像。
[0088]控制器100可包括计时器。当请求全景拍摄时，控制器100可激活计时器，并当计时器终止时捕捉第二图像。此外，在全景图像的终止时，静止图像可作为子图像与全景图像合成。在这种情况下，与全景图像合成的子图像的位置可以是如图4B中所示的全景图像的第一帧间隔、如图4C中所示的最后帧间隔或中间帧间隔。子图像可以以PIP类型格式与全景图像合成。子图像可还以以并行或顺序格式与全景图像合成。
[0089]如果在“双模式”的预览模式下选择了第二全景拍摄模式，则控制器100缓存从第一图像传感器120和第二图像传感器125产生的每一帧的第一图像和第二图像，并可将第一图像和第二图像作为主图像和子图像显示在显示单元130上。在这种情况下，用户可在以恒定速度和稳定高度旋转便携式终端的同时执行拍摄模式，以拍摄全景图像。在终止全景拍摄时，控制器100可从缓存的第一图像和第二图像去除每个图像的重叠部分，以产生主图像的全景图像和子图像的全景图像，将所述两个全景图像彼此合成，并存储合成图像。从第二图像产生器125产生的第二图像可包括每一帧中重复的拍摄者的图像。在这种情况下，人图像可优选地仅显示在一帧图像间隔上。因此，当产生第二全景图像时，控制器100可将包括拍摄者的面部的一帧图像与排除了拍摄者的剩余帧的图像进行合成，以通过对包括在第二图像中的面部的检测来产生全景图像。
[0090]此外，当拍摄第一图像和第二图像时，控制器100可使用第一图像传感器120和第二图像传感器125通过图像的同时拍摄来产生全景图像。此外，控制器100可拍摄第一全景图像，并随后通过并行或顺序拍摄来拍摄第二全景图像。
[0091]在后一种情况下，当在第一全景图像正被拍摄的状态下执行了第二全景图像的拍摄操作时，由于在保持统一高度的同时以恒定速度旋转相机的需要，因此执行第一全景拍摄操作。
[0092]因此，在顺序拍摄的情况下，当拍摄全景图像时，控制器100可包括计时器，其中，当计时器终止时(即，与全景拍摄同时)，控制器100可缓存从第二图像传感器125产生的每一帧的第二图像，以拍摄第二全景图像。当将第一全景图像与第二全景图像进行合成时，控制器100可以以PIP类型格式将第二全景图像与第一全景图像进行合成，或可以以并行或顺序格式将第二全景图像与第一全景图像进行合成。
[0093]配备有多个图像传感器的电子装置可选择从图像传感器获得的图像，以产生全景图像，并可将产生的全景图像与由其他图像传感器拍摄的图像进行合成。在这种情况下，全景图像或静止图像可通过选择性地驱动所述多个图像传感器而被产生和合成。此外，每个图像传感器的输出可被产生为用于合成的全景图像。
[0094]本公开的上述实施例可被实现在硬件、固件中，或经由可被存储在记录介质(诸如，⑶ROM、数字通用盘(DVD)、磁带、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或原始存储在远程记录介质或非暂时性机器可读介质上且将被存储在本地记录介质上的经由网络下载的计算机代码的执行来实现，使得在此描述的方法可使用通用计算机或专用处理器经由存储在记录介质上的这样的软件来实施，或者在可编程或专用硬件(诸如ASIC或FPGA)中被实施。如本领域中将理解的，计算机、处理器、微处理器控制器或可编程硬件包括存储器组件(例如RAM、ROM、闪存等)，所述存储器组件可存储或接收当被计算机、处理器或硬件访问和执行时实现在此描述的处理方法的软件或计算机代码。此外，将认识到，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换成专用计算机，以执行在此示出的处理。附图中提供的任何功能和步骤可以以硬件、软件或两者的组合来实现，并且可在计算机的编程指令内被全部或部分地执行。
[0095]虽然已在上文中详细描述了本公开的示例性实施例，但应清楚地理解，在此教导的对本领域技术人员可清楚的基本发明构思的很多变化和修改仍将落入本公开的如权利要求限定的精神和范围内。
【权利要求】
1.一种拍摄的方法，所述方法包括: 缓存来自第一图像传感器的一系列第一图像和来自第二图像传感器的一系列第二图像； 将所述一系列第一图像合成为第一全景图像； 通过将所述一系列第二图像中的至少一部分合成在第一全景图像的至少一部分上来在显示器上显示合成全景图像。
2.如权利要求1所述的方法，还包括:响应于计时器，缓存所述一系列第二图像中的至少一部分。
3.如权利要求1所述的方法，还包括:根据画中画格式将所述一系列第二图像中的所述至少一部分合成在第一全景图像的至少一部分上。
4.如权利要求1所述的方法，还包括:在所述一系列第一图像的第一帧、中间帧或最后帧内，将所述一系列第二图像中的所述至少一部分合成在第一全景图像的至少一部分上。
5.如权利要求1所述的方法，还包括:将所述一系列第二图像合成为第二全景图像；其中，第二全景图像被合成在第一全景图像的一部分上。
6.一种用于拍摄图像的设备，包括: 第一图像传感器和 第二图像传感器； 显示单元； 控制器，用于 缓存来自第一图像传感器的一系列第一图像和来自第二图像传感器的至少一个第二图像， 响应于全景拍摄的终止，从所述一系列第一图像产生第一全景图像， 将所述至少一个第二图像与第一全景图像进行合成。
7.如权利要求6所述的设备，其中，控制器对在全景拍摄的开始时激活的计时器进行操作，响应于计时器的终止，所述至少一个第二图像被缓存。
8.如权利要求6所述的设备，其中，所述至少一个第二图像根据画中画格式与第一全景图像合成。
9.如权利要求6所述的设备，其中，所述至少一个第二图像在所述一系列第一图像的第一帧、中间帧或最后帧内与第一全景图像合成。
10.如权利要求6所述的设备，其中，所述至少一个第二图像以并行格式与第一全景图像合成。
11.如权利要求6所述的设备，其中，所述至少一个第二图像是一系列第二图像，并且所述一系列第二图像被用于产生第二全景图像。
12.如权利要求6所述的设备，其中，控制器 响应于全景拍摄的请求，激活计时器， 在保持计时器的同时，缓存所述一系列第一图像， 当计时器被终止时，缓存所述第一图像和所述一系列第二图像。
13.如权利要求11所述的设备，其中，控制器 从所述一系列第二图像的重复的图像帧提取重复的图像， 产生包括除了重复的图像和重复的图像帧以外的帧的合成全景图像。
14.如权利要求13所述的设备，其中，根据画中画格式产生合成全景图像。
15.如权利要求1 3所述的设备，其中，根据并行格式产生合成全景图像。
【文档编号】H04N5/265GK104010135SQ201410067412
【公开日】2014年8月27日 申请日期:2014年2月26日 优先权日:2013年2月26日
【发明者】金汶洙, 崔烘硕 申请人:三星电子株式会社