用于图像处理的电子设备和方法
【专利摘要】提供了用于显示图像的方法，该方法包括：由电子设备显示从图像传感器获得的第一图像；由电子设备一起显示第一图像和多个第二图像，其中，每个第二图像是基于第一图像和相应图像过滤器生成的；响应于对至少一个第二图像的选择，基于第一图像和所选择的第二图像的相应图像过滤器生成第三图像并显示第三图像以代替第一图像。
【专利说明】用于图像处理的电子设备和方法
【技术领域】
[0001] 本公开涉及电子设备，而且更具体地，涉及具有图像处理功能的电子设备。
【背景技术】
[0002] 诸如蜂窝电话、电子日程安排器（electronic scheduler)、个人复杂终端、膝上型 计算机等的电子设备已成为现代生活的必需品。这样的设备通常包括允许用户捕获图像和 通过向捕获的图像应用各种拍摄效果来增强捕获的图像的照相机功能。目前，需要用于将 拍摄效果应用于图像的既有效又易于使用的新的用户接口。
【发明内容】
[0003] 本公开解决了这个需要。根据本公开的一方面，提供了一种用于显示图像的方法， 该方法包括：由电子设备显示从图像传感器获得的第一图像；由电子设备将多个第二图像 与第一图像一起显示，其中，多个第二图像是基于第一图像和相应图像过滤器生成的；响应 于对至少一个第二图像的选择，基于第一图像和所选择的第二图像的相应图像过滤器生成 第三图像并显示第三图像以代替第一图像。
[0004] 根据本公开的另一方面，提供了一种电子设备，包括：显示单元；用于获取第一图 像的图像传感器；以及处理电路，其被配置为在显示单元上显示从图像传感器获得的第一 图像；在显示单元上将多个第二图像与第一图像一起显示，其中，每个第二图像是基于第一 图像和相应图像过滤器生成的；响应于对至少一个第二图像的选择，基于第一图像和所选 择的第二图像的相应图像过滤器生成第三图像并显示第三图像以代替第一图像。
[0005] 根据本公开的又一方面，提供了一种电子设备，其包括：用于获取第一图像的图像 传感器；一个或多个处理器；用于存储处理器可执行的指令的存储器，当所述处理器可执 行的指令被所述一个或多个处理器执行时使得该电子设备：在显示单元上显示从图像传感 器获得的第一图像；在显示单元上将多个第二图像与第一图像一起显示，其中，每个第二图 像是基于第一图像和相应图像过滤器生成的；响应于对至少一个第二图像的选择，基于第 一图像和所选择的第二图像的相应图像过滤器生成第三图像并显示第三图像以代替第一 图像。
[0006] 根据本公开的再一方面，提供了一种电子设备，其包括：处理器单元，被配置为通 过图像传感器获得第一图像，将与第一图像的效果相对应的至少一个第二图像与第一图像 一起显示，并且响应于对至少一个第二图像的选择，使用该效果来显示第一图像的至少一 部分；以及显示模块，被配置为显示第一图像以及与第一图像的效果相对应的至少一个第 二图像。
【专利附图】
【附图说明】
[0007] 从结合附图的以下详细描述，本公开的以上和其他目的、特征和优点将变得更加 明显，在附图中：
[0008] 图1是根据本公开的各方面的电子设备的示图；
[0009] 图2是根据本公开的各方面的过滤器管理模块的框图；
[0010] 图3是根据本公开的各方面的图像处理模块的框图；
[0011] 图4是根据本公开的各方面的用于图像处理的过程的流程图；
[0012] 图5至图7是根据本公开的各方面的显示第二图像的过程的流程图；
[0013] 图8和图9是根据本公开的各方面的显示图像的过程的流程图；
[0014] 图10和图11是根据本公开的各方面的排列第二图像的过程的流程图；
[0015] 图12是根据本公开的各方面的显示第二图像的过程的流程图；以及
[0016] 图13到图21是示出根据本公开的各方面的照相机应用的不同屏幕的示图。
【具体实施方式】
[0017] 下面将参照附图描述本公开的各方面。在以下描述中，因为公知功能或构造将以 不必要细节模糊本公开，所以不详细描述公知功能或构造。此外，下面描述的考虑本公开中 的功能而定义的术语取决于用户和操作者的意图或实践可以不同。因此，术语应当基于遍 及整个说明书中的描述来定义。
[0018] 图1是根据本公开的各方面的电子设备100的不图。电子设备100可以包括移动 电话、移动平板、媒体播放器、平板计算机、手持式计算机、或个人数字助理（PDA)、和/或任 何其他合适的电子装置。电子设备100可以包括主机设备110、外部存储器设备121、图像 传感器122、传感器设备123、全球定位系统（GPS)接收设备124、无线通信设备125、音频设 备126、外部端口设备127、触摸屏设备128、其他输入/控制设备129、和电源设备130。
[0019] 主机设备110可以包括内部存储器111、一个或多个处理器112、和接口 113。内部 存储器111、一个或多个处理器112和接口 113可以是分离的构成元件，或者它们可以一起 集成在一个或多个集成电路中。
[0020] 处理器112可以包括任何适当类型的处理电路，诸如基于ARM的处理器、基于MIPS 的处理器、x86处理器、FPGA、或其它电子电路。在一些实施方式中，处理器112可以是片上 系统（SoC)的一部分。在操作中，处理器112可以执行各种软件程序并执行用于电子设备 100的各种功能，并执行对于语音通信、视频通信和数据通信的处理和控制。另外，除了这种 一般功能，处理器112还可以运行存储在内部存储器111和/或外部存储器设备121中的 软件程序(即，指令集)。此外，处理器112甚至可以起到运行存储在内部存储器111和/或 外部存储器设备121中的特定软件程序（S卩，指令集）的作用并且执行与所运行的程序相对 应的各种特定功能。例如，处理器112可以与存储在内部存储器111和/或外部存储器设 备121中的软件程序交互工作，并且执行示例性方面的方法。此外，处理器112可以包括一 个或多个应用处理器单元（APU)、图形处理器单元（GPU)、音频处理器单元、通信处理器、和 /或任何适当类型的电子电路。
[0021] 应用处理器单元可以运行操作系统（0S)并执行各种功能，并且它可以是汇集了内 核、存储器、显示系统/控制器、多媒体编码/解码编解码器、2维/3维（2D/3D)加速器引擎、 图像信号处理器（ISP)、照相机、音频、调制解调器、各种高速和低速串行/并行连接接口等 等的所有功能的一个芯片。例如，应用处理器单元可以驱动0S和应用，并且可以是片上系 统（S0C)，该S0C是汇集了控制系统设备/接口的各种功能的一个芯片。
[0022] 图形处理器单元可以执行与图形处理有关的操作，并且可以负责图像信息处理、 加速、信号转换、屏幕输出等。在一些实施方式中，图形处理器或许能够比应用处理器单元 更快地处理2D或3D图形。
[0023] 音频处理器单元可以执行与音频处理有关的操作，并且可以将音频信号从数字格 式改变为模拟形式(反之亦然)。通信处理器单元可以负责电子设备1〇〇和其它设备之间的 通信，并且当电子设备100期望使用网络的通信功能时，通信处理器单元可以执行在电子 设备100和其它设备之间建立连接的功能。接口 113可以将主机设备110与电子设备100 的各种设备连接。
[0024] 外部存储器设备121可以包括任何合适类型的易失性和非易失性存储器。例如， 外部存储器设备121可以包括高速随机访问存储器和/或非易失性存储器，诸如一个或多 个磁盘存储设备、一个或多个光学存储设备和/或快闪存储器(例如，NAND、N0R)。外部存储 器设备121存储软件。所述软件可以包括0S程序、通信程序、照相机程序、图形程序、一个 或多个应用程序、用户接口程序、编解码器程序等等。术语程序可以被表示为一组指令、或 指令集、或程序。通信程序、照相机程序、图形程序、一个或多个应用程序、用户接口程序和 编解码器程序可以通过各种应用编程接口（API)使用0S程序的各种功能。
[0025] 0S 程序代表诸如 Windows、Linux、Darwin、RTXC、UNIX、OS X、或 VxWorks 的嵌入式 操作系统，并且可以包括控制一般系统操作的各种软件构成元素。一般系统操作的控制可 以包括存储器管理和控制、存储硬件(设备)控制和管理、电源控制和管理等。此外，0S程序 可以便利各种硬件(设备）和软件组成元素(模块）之间的通信。
[0026] 通信程序可以通过无线通信设备125或外部端口设备127使能与远程计算机、月艮 务器或电子设备的通信。
[0027] 照相机程序可以包括照相机相关的软件构成元素，用于使能照相机相关的处理和 功能。照相机程序可以在开放式图形库（OpenGL)、DirectX等的API支持下执行用于对 从图像传感器122获得的图像应用各种效果的预处理，并执行对所捕获的快照图像（snap image)应用各种效果的后处理。针对这些效果的过滤器（filter)可以被集中管理，以使得 这些过滤器可以在预处理和后处理二者中共同使用。此外，甚至可以在除了照相机程序之 外的其他程序中使用这些过滤器。
[0028] 图形程序可以包括用于提供并在触摸屏设备128上显示图形的各种软件构成元 素。图形程序可以包括各种API，诸如OpenGL、DirectX等，用于创建图形。另外或可替代 地，图形程序可以提供可以对图像应用各种效果的各种过滤器。应当理解的是，术语"图形" 是指在显示屏幕上可绘制的任何类型的信息，并且它可以包括文本、网页、图标、数字图像、 视频、动画等。在一些实施方式中，图形程序可以是关注图像后处理的可用性的图像查看器 (image viewer)、图像编辑程序、对图像预处理来说是最优化的照相机相关的程序、视频电 话相关的程序等等。图形程序可以执行对完成绘制的图像应用各种效果的后处理，或者可 以执行对图像应用各种效果的预处理。如上所述，针对这些效果的过滤器可以被集中管理， 以使得过滤器可以共同用于其他程序。
[0029] 照相机程序和/或图形程序可以执行从外部(例如，网络、电子邮件、信使、可拆卸 的外部存储器等）下载和安装过滤器包文件的功能。如果照相机程序和/或图形程序从网 络下载并安装过滤器包文件，则包括在过滤器包文件中的过滤器和过滤器相关的数据（例 如，图标图像、过滤器名称、过滤器版本等）可以在数据库中集中管理。此外，当过滤器被从 数据库中删除时，不仅过滤器而且过滤器包文件可以都被删除。照相机程序和/或图形程 序可以将指示所增加的过滤器的图标图像和过滤器名称一起显示。过滤器名称可以被翻译 并以用户的语言显示。具体来说，照相机程序可以对从图像传感器122获得的图像应用所 增加的过滤器的效果，然后通过图标(例如，缩略图图像）提供该图像。
[0030] 应用程序可以包括浏览器、电子邮件、即时消息、文字处理、键盘仿真、地址簿、触 摸列表、窗口小部件、数字权利管理（DRM)、语音识别、语音复制、位置确定功能、基于位置的 服务、和/或任何其他合适的软件。
[0031] 用户接口程序可以包括与用户接口相关的各种软件构成元素。此外，用户接口程 序可以包括指定用户接口中状态改变将发生的方式的信息。这样的信息可以指定触发状态 改变的条件、和/或任何其他合适的信息。
[0032] 编解码器程序可以包括与视频文件的编码和解码相关的软件构成元素。
[0033] 外部存储器设备121还可以包括除了上述程序外的程序(指令)。此外，电子设备 100的各种功能可以在包括一个或多个数据流处理的硬件、专用集成电路(ASIC)、软件、和 /或软件和硬件的组合来实现。
[0034] 图像传感器122可以将从拍摄对象所反射的光转换成电信号。图像传感器122可 以是电荷耦合器件（CXD)、互补金属氧化物半导体（CMOS)等。
[0035] 电子设备100的各构成元素也可以通过一个或多个通信总线(未用参考标记表示） 或流线（stream line)(未用参考标记表示）彼此连接。
[0036] 传感器设备123可以包括运动传感器、光传感器、温度传感器等，并且使能各种功 能。例如，运动传感器可以感测电子设备100的运动，并且光学传感器可以感测环境光。
[0037] GPS接收器124可以接收从GPS卫星发送的信号并确定当前位置。
[0038] 无线通信设备125可以使能无线通信，并且可以包括无线频率发送器/接收器和 光学(例如，红外线）发送器/接收器。无线通信设备125可以包括包含至少一个天线、射 频（RF)连接器等的模块。无线通信设备125可以被设计为根据通信网络通过全球移动通 信系统（GSM)网络、增强型数据GSM环境（EDGE)网络、码分多址（CDMA)网络、无线码分多址 (W-CDMA)网络、长期演进（LTE)网络、正交频分多址（0FDMA)网络、无线保真（Wi-Fi)网络， 微波接入无线互操作性（WiMAX)网络、蓝牙网络和/或类似网络之一操作。
[0039] 音频设备126被连接到扬声器1261和麦克风1262,以负责语音识别、语音复制、数 字录音、通话功能等的音频输入和输出，并且可以包括音频放大器。音频设备126可以通过 扬声器1261和麦克风1262与用户通信。另外，音频设备126可以从主机设备110接收数据 信号、将接收到的数据信号转换成电信号、并通过扬声器1261输出转换后的电信号。扬声 器1261可以将电信号转换成可听频带并输出可听频带，而且麦克风1262可以将从人物或 其它声源转发的声波转成电信号。另外，音频设备126可以从麦克风1262接收电信号，将 接收到的电信号转换成音频数据信号、并且将转换后的音频数据信号发送到主机设备110。 音频设备126可以包括从电子设备100可拆卸的耳机（earphone)、头戴耳机（headphone) 或头戴设备（headset)。
[0040] 外部端口设备127可以将电子设备100直接与其它电子设备连接，或通过网络(例 如，因特网，内联网，无线LAN等）将电子设备100间接与其它电子设备连接。
[0041] 触摸屏设备128可以提供用户设备100和用户之间的输入和输出接口。触摸屏 设备128可以应用触摸感测技术，并且可以将用户的触摸输入转发到主机设备110,并向 用户显示从主机设备110提供的视觉信息，例如，文本、图形、视频等。在一些实施方式 中，触摸屏设备128可以包括显示图像的显示器。显示器可以是电润湿显示器（Electro Wetting Display, EWD)、电子纸、等离子体显示面板（PDP)、液晶显示器（LCD)、有机发光二 极管（0LED)和有源矩阵有机发光二极管（AM0LED)、和/或任何其他合适的类型的显示器之 一。此外，触摸屏设备可以包括触摸感测设备，诸如触笔（stylus)数字化器、电容覆盖触摸 面板、电阻覆盖触摸面板、表面声波触摸面板和红外线波束触摸面板。虽然在这个例子中使 用了包括显示器和触摸感测组件二者的触摸屏设备，但是在其他示例中可以只使用显示设 备。在这样的例子中，鼠标或其他类型的输入设备可以被用于接收用户输入。
[0042] 其他输入/控制设备129可以包括用于音量控制的上/下按钮。除此以外，其它 输入/控制设备129可以包括特定功能的按钮、锁定按钮、翘板开关（rocker switch)、指轮 (trumb-wheel)，拨盘（dial)、棒（stick)、以及诸如触笔的指针式设备（pointer device) 等中的至少一个。
[0043] 电源设备130可以包括至少一个电源管理集成电路（PMIC)。PMIC可以调整电池 功率。例如，根据处理的负载，处理器112可以依赖于该负载向电源设备130发送接口信号 (interface signal)。电源设备130可以调整供应给处理器112的核心电压，使其适应于 处理器112。处理器112可以始终以最小功率驱动。除了用于主机设备110的PMIC之外， 还可以构造与外部存储器设备121、图像传感器122、传感器设备123、GPS接收设备124、无 线通信设备125、音频设备126、外部端口设备127、触摸屏设备128、和其他输入/控制设备 129中的至少一个相关的至少一个PMIC。此外，可以构造一个集成的PMIC。集成的PMIC可 以不仅调整主机设备110的电池功率，而且调整外部存储器设备121、图像传感器122、传感 器设备123、GPS接收设备124、无线通信设备125、音频设备126、外部端口设备127、触摸屏 设备128、和其他输入/控制设备129中的至少一个的电池功率。
[0044] 图2是根据本公开的各方面的过滤器管理模块的框图。过滤器管理模块可以以硬 件(例如，作为一个或多个电子电路)、软件(例如，作为由处理器120运行的处理器可运行的 指令)、或软件和硬件的组合来实现。如图所示，过滤器管理模块可以包括应用单元220、集 成的过滤器管理单元210、过滤器目录（dir ect〇ry)230、和过滤器下载单元240。每个应用 单元220可以以硬件实现、实现为可由处理器120运行一个或多个指令、或者实现为硬件和 软件的组合。应用单元220可以包括支持图像预处理的应用、支持图像后处理的应用、支持 图像预处理和图像后处理二者的应用中的至少一个。应用单元220可以包括图像查看器、 图像编辑应用、照相机应用、视频电话应用等。
[0045] 集成的过滤器管理单元210可以提供图像过滤器API。如果存在来自应用单元220 的对于特定效果的请求，则集成的过滤器管理单元210可以从过滤器目录230加载特定过 滤器，并调用用于所加载的过滤器的API函数。集成的过滤器管理单元210可以向视频电话 应用和其他合适的软件提供用于图像预处理或后处理的API。集成的过滤器管理单元210 可以被配置为指定对象(例如，CPU或GPU)，该对象被配置为根据所加载的过滤器执行过滤 操作，以便生成应用单元220所请求的效果。
[0046] 集成的过滤器管理单元210可以提供过滤器编辑功能。通过过滤器编辑功能，用 户可以设置喜爱的效果列表，并且集成的过滤器管理单元210可以将喜爱的效果列表存储 在过滤器目录230中。此外，用户可以通过过滤器编辑功能选择期望被删除的过滤器，并且 集成的过滤器管理单元210可以从过滤器目录230删除特定的过滤器。特别地，当期望被 删除的过滤器是通过过滤器包文件(例如，过滤器安装文件）安装的过滤器时，集成的过滤 器管理单元210可以删除该过滤器包文件，并确保存储空间。过滤器包文件可以包括过滤 器、过滤器名称、图标图像、供应商、过滤器类型(预处理/后处理)、版本等。此外，用户可以 通过过滤器编辑功能选择可合成的多种效果，并且集成的过滤器管理单元210可以将针对 可合成的多种效果的过滤器编组，并将编组的过滤器存储在过滤器目录230中。此外，集成 的过滤器管理单元210可以使用共同用于图像预处理和图像后处理的特定过滤器，因为集 成的过滤器管理单元210在过滤器目录230中集中存储和管理在电子设备100中工作的所 有的图像处理相关的过滤器。
[0047] 过滤器目录230可以存储多个过滤器，并且可以被集成的过滤器管理单元210管 理。过滤器下载单元240可以提供下载功能。通过下载功能，用户可以从外部(例如，网络、 电子邮件、信使、可拆卸的外部存储器等)下载过滤器，并且集成的过滤器管理单元210可以 将所获取的过滤器存储在过滤器目录230中。此外，过滤器下载单元240还可以提供过滤 器安装功能。用户可以从网络下载过滤器包文件，并通过过滤器安装功能来安装过滤器包 文件。如果安装了过滤器包文件，则集成的过滤器管理单元210可以将包括在过滤器包文 件中的过滤器和过滤器相关的数据(例如，过滤器名称、图标图像、供应商、过滤器类型等） 存储在过滤器目录230中。
[0048] 图3是根据本公开的各方面的图像处理模块的示图。图像处理模块250可以以硬 件(例如，作为一个或多个电子电路)、软件(例如，作为由处理器120运行的处理器可运行的 指令)、或软件和硬件的组合来实现。如图所示，图像处理模块250可以包括获取模块260、 显示模块270、和效果应用模块280。
[0049] 在操作中，获取模块260可以通过图像传感器122获得第一图像。显示模块270 可以将与第一图像的效果相对应的至少一个第二图像与第一图像一起显示。响应于对至少 一个第二图像的选择，效果应用模块280可以通过使用该效果来显示第一图像的至少一部 分。
[0050] 图4是根据本公开的各方面的用于图像处理的过程的流程图。在操作401中，从 图像传感器122获得第一图像。接着，在操作403中，将与第一图像的效果(或过滤器）相 对应的至少一个第二图像与第一图像一起显示。可以随着接收到来自图像传感器122的信 号，实时刷新第一图像。可以通过向第一图像应用特定效果来创建第二图像。第二图像可以 显示为图标(例如，缩略图）。在一些实施方式中，可以随着接收到来自图像传感器122的信 号，实时刷新第二图像。在操作405中，响应于对至少一个第二图像的选择，可以通过使用 与选择的第二图像相对应的效果来重新显示第一图像的至少一部分。在一些实施方式中， 通过使用与选择的第二图像相对应的效果来生成第三图像。例如，用户可以通过手势(例 如，触摸、悬停、单触摸、双击、拖放、轻弹等）选择显示在屏幕上的第二图像。如果选择了第 二图像，则第三图像被生成并替代第一图像被显示。如果单一第二图像被选择多次，则通过 与第二图像被选择的次数一样多次地应用第二图像的效果来生成第三图像。另外或可替换 地，在一些实施方式中，可以一次选择多个第二图像。在这种情况下，第三图像可以通过应 用所选择的第二图像中的每一个的效果来生成。因此，在这个示例中，选择多个第二图像可 以导致当显示第一图像时，多个过滤器被应用到第一图像。在一些实施方式中，如上面所讨 论的，第三图像可以通过对第一图像应用（多个）效果或过滤器来生成。另外或可替换地， 在一些实施方式中，如以上所讨论，第三图像可以通过对第一图像之后的由图像传感器122 捕获的图像帧应用（多个）效果或过滤器来生成。
[0051] 图5是根据本公开的各方面的显示第二图像的过程的流程图。在操作501中，力口 载至少一个效果(或与该效果相对应的过滤器)。接着，在操作503中，通过对从图像传感器 122获取的第一图像应用所加载的效果(或与该效果相对应的过滤器)来生成至少一个第二 图像。此后，显示所生成的第二图像。
[0052] 图6是根据本公开的各方面的显示第二图像的另一过程的流程图。在操作601中， 可以从外部(例如，网络、电子邮件、信使、可拆卸的外部存储器等)获取效果过滤器。在获取 之后，效果过滤器可以被存储在应用共同使用的目录中。接着，在操作603中，通过对从图 像传感器122获取的第一图像应用所获取的效果过滤器的效果来生成第二图像。此后，可 以显示所生成的第二图像。
[0053] 图7是根据本公开的各方面的显示第二图像的又一过程的流程图。在操作701中， 选择(或识别）效果(或与该效果相对应的过滤器）的组。在一些实现中，所述组可以包括同 一个效果(或过滤器)的多个实例。另外或可替换地，在一些实施方式中，所述组可以包括不 同的效果(或过滤器)。另外或可替换地，在一些实施方式中，这种效果(或过滤器)的编组可 以在选择使用希望被包括在该组中的效果所生成的多个第二图像之后通过接收用户输入 (例如，按压照相机按钮）来激活。接着，在操作703中，可以通过对从图像传感器122获得 的第一图像应用组中的所有效果来处理第一图像，并且可以显示得到的过滤后的图像。
[0054] 图8是根据本公开的各方面的显示图像的过程的流程图。在操作801中，确定相 同的第二图像是否被选择多次。如果相同的第二图像被选择多次，则处理器112执行操作 803。否则，如果相同的第二图像没有被选择多次则，处理器112可以执行操作807。接着， 在操作803中，对相同的第二图像被选择的次数的指示被输出以呈现给用户。此后，在操作 805中，处理器112可以通过与第二图像被选择的次数一样多次地对第一图像应用与第二 图像相对应的效果(或过滤器）来生成过滤后的图像。此后，可以显示所生成的过滤后的图 像。在操作807中，处理器112可以通过对第一图像应用一次第二图像的效果（或过滤器） 来生成过滤后的图像并随后显示过滤后的图像。
[0055] 图9是根据本公开的各方面的显示图像的另一过程的流程图。在操作901中，确 定是否选择了多个不同的第二图像。如果选择了不同的第二图像，则执行操作903。在操作 903中，对第一图像应用与每个所选择的第二图像相对应的效果(或过滤器）以生成过滤后 的图像，然后显示生成的过滤后的图像。否则，如果未选择多个图像，则执行相对于图8所 讨论的过程。
[0056] 图10是根据本公开的各方面的排列第二图像的过程的流程图。在操作1001中， 确定多个第二图像的每个过滤器(或与所述过滤器相对应的效果）被选择的频率。接着，在 操作1003中，基于所确定的选择频率，确定第二图像将被排列的次序。随后，在操作1005 中，以所确定的次序排列第二图像。虽然在这个例子中，第二图像的次序基于第二图像相应 的过滤器(或与过滤器相对应的效果)来确定，但是在其他例子中，触摸屏128上显示给定图 像的位置基于第二图像相应的过滤器(或效果）被选择的频率来确定。
[0057] 图11是根据本公开的各方面的排列第二图像的另一过程的流程图。在操作1101 中，识别与相似效果(或过滤器)相关联的一个或多个第二图像。接着，在操作1103中，将识 别出的第二图像排列在一个组中。在一些实施方式中，当将第二图像排列在一组中时，它们 可以彼此相邻地显示。
[0058] 图12是根据本公开的各方面的显示第二图像的过程的流程图。参照图12,在操作 1201中，处理器112(例如，显示模块270)可以激活不可与已经被取消选择第二图像(例如， 通过取消勾选与该图像相关联的复选框已经被去除选择的图像）的效果合成在一起的效果 相关联的至少一个第二图像。接着，在操作1203中，处理器112可以基于与不可与已经选 择第二图像的效果合成在一起的效果相关联的去激活的第二图像，将尚未被选择的至少一 个第二图像去激活。在一些实施方式中，当实现效果的过滤器可以一个接一个地应用于图 像时，两种效果可以被认为是可相互合成的。作为简单的例子，在涉及将图像变换为灰度色 彩空间的效果之后，将图像中的所有红颜色改变为蓝色的效果将不可用。在一些实施方式 中，当第二图像被去激活时，第二图像可能无法由用户选择。
[0059] 图13到图21是示出根据本公开的各方面的照相机应用的屏幕。在这些示例中， 照相机应用可以使用由电子装置(例如，智能电话）的操作系统（0S)提供的照相机API。照 相机API可以提供用于修改由照相机捕获的图像的各种过滤器。照相机应用可以根据需要 加载这些过滤器。
[0060] 图13示出了照相机应用的原始屏幕1300。根据这个例子，屏幕1300可以在图像 窗格1310中显示正在被图像传感器122捕获的图像数据。在一些实施方式中，当新的图像 被图像传感器122捕获时，图像窗格1310中的内容可以周期性地刷新。屏幕1300可以显 示效果菜单按钮1302。如果按下效果菜单按钮1302,则屏幕1300可以显示与可应用于该 图像数据的效果相对应的图标。另外，屏幕1300可以显示照相机按钮1303。如果按下照相 机按钮1303,则屏幕1300可以获得快照图像（snap image)。快照图像是指当按下照相机 按钮1303时可获得的高清晰度图像。当获得快照图像时，图像窗格1310可以停止实时刷 新而且快照图像可以在屏幕上永久显示，直到用户希望恢复实时显示由图像传感器122捕 获的数据为止。当用户按下效果菜单按钮1302时，屏幕1300被切换到图14的屏幕1400。
[0061] 参照图14,如果用户按下效果菜单按钮1302,则效果菜单按钮1302向上移动，并 且多个图标1401、1402、1403、1404、1405、和1406可以水平排列地出现在屏幕1400的下侧。 图标1401、1402、1403、1404、1405、和1406可以水平排列在屏幕1400的上侧，或者可以垂直 排列在屏幕1400的左侧或右侧。如果用户再次按下效果菜单按钮1302,则效果菜单按钮 1302可以返回到图13的屏幕1300的初始位置，而且图标1401、1402、1403、1404、1405、和 1406可以消失。如果用户触摸显示从图像传感器122获得的图像数据的区域，则屏幕1400 可以返回到图13的屏幕1300。在预定的时间段内没有选择图标1401、1402、1403、1404、 1405、和1406的情况下，屏幕1400可以返回到图13的屏幕1300。
[0062] 第一图标1401可以显示通过不对从图像传感器122获得的图像数据应用任何效 果所获得的图像数据。其他图标1402、1403、1404、1405、和1406可以显示通过利用各种过 滤器处理从图像传感器122获得的图像数据所获得的图像。图标1402、1403、1404、1405、和 1406可以分别显示通过对从图像传感器122获得的图像数据应用效果所获得的图像数据。 例如，第二图标1402可以显示通过对从图像传感器122获得的图像数据应用"红色"效果 所获得的图像数据。作为另一例子，第三图标1403可以显示通过对从图像传感器122获得 的图像数据应用"绿色"效果所获得的图像数据。
[0063] 第一图标1401可以显示包含文字"原始"1411的标签，文字"原始"1411指示该 图标的图像是从图像传感器122获得的图像数据的未经过滤的版本。其他图标1402、1403、 1404、1405、和1406可以分别显示标识用于指示效果的按钮的相应效果(或过滤器）1412、 1413、1414、1415和1416的标签。如上所述，给定图标的相应过滤器是可以被用于生成该图 标的图像的过滤器。
[0064] 图标1401-1406是可滚动的。如果用户在图标1401至1406上执行轻弹手势 (1420 )，则这些图标可以向屏幕1400的左侧滚动，并被新的图标1501、1502、1503、1504、 1505和1506取代，如图15的屏幕1500所示。如果用户选择了图15的屏幕1500中的第二 图标1502,则可以通过使用与第二图标1502相对应的过滤器来处理从图像传感器122获得 的图像数据以产生结果图像数据，并且结果图像数据可以被显示在图像窗格1310中。如图 15所示，在这个例子中，第二按钮1502与草图（sketch)效果过滤器相关联。
[0065] 第二图标1502可以通过任何合适的用户手势来选择。选择图标的用户手势可以 是触摸、悬停、单触摸、双击、拖放、轻弹1523等。例如，如果用户触摸并朝向图像窗格1310 中的点轻弹（1523)第二图标1502,则用户可以选择第二图标。
[0066] 参照图16,所选择的图标1502可以显示指示它已经被选择的复选框1622。如果用 户触摸复选框1622,则可以释放对图标1502的选择。如果用户触摸显示从图像传感器122 得到的图像数据的区域并将其轻弹（1623)到所选择的图标1502,则可以释放对图标1502 的选择。如果释放了对图标1502的选择，则复选框1622会消失。如果释放了对图标1502 的选择，则应用到在图像窗格1310中显示的图像的草图效果被去除。如果释放了对图标 1502的选择，则图像窗格1310可以显示从图像传感器122获得的图像数据，而无需首先利 用与图标1502至1506相对应的过滤器之一来修改数据。另外或可替换地，在一些实施方 式中，如果用户触摸了上述第一图标1401，则也可以释放对图标1502的选择。
[0067] 参照图17,如果选择了多个不同的图标，则屏幕1700可以在图像窗格1310中显示 通过对从图像传感器122获得的图像数据应用多个效果所获得的图像数据。例如，如果选 择了第二图标1502和第五图标1505,则图像窗格1310可以显示通过对从图像传感器122 获得的图像数据应用草图效果和单色效果所获得的图像数据。
[0068] 参照图18,如果一个图标被选择多次，则屏幕1800可以显示通过与该图标被选择 的次数一样多次地对从图像传感器122获得的图像数据应用与选择的图标相对应的效果 所获得的图像数据。例如，如果第二图标1502被选择一次而且第五图标1505被选择三次 (例如，通过在该图标上轻击3次)，则图像窗格1310可以显示通过对从图像传感器122获 得的图像数据应用一次草图效果并应用三次单色效果所获得的结果图像数据。所选择的第 二图标1502和第五图标1505可以显示数字"1"（1832)和"3"（1835)，它们分别指示第二 图标1502和第五图标1505被选择的次数。被选择一次的第二图标1502可以只显不复选 框1822和/或数字" 1"（ 1832)。如果用户触摸第五图标1505的复选框1825 -次，则屏幕 1800可以将在第五图标1505中显示的数字"3"改变为"2"，从而使图像窗格1310显示通过 应用一次与图标1502相对应的过滤器(草图效果过滤器)并且通过应用两次与图标1505相 对应的过滤器(单色过滤器）所获得的结果图像数据。在这方面，图标1501至1506中的每 个可以包括用于增加和/或减小与图标相对应的过滤器将被应用的次数的用户接口组件。 [0069] 参照图19,示出了屏幕1900,其中图标已经被选择的次数是由重叠在图标的图像 上的划线（dash) 1932和1935指示的，而不是由数字指示。
[0070] 参照图20,示出了屏幕2000的例子。在这个例子中，其相应效果与所选择的图标 的效果不兼容的图标被禁用。如图所示，在这个例子中，图标1502被选择，而且图标1504和 1506被禁用，而图标1503和1505被允许保持活动。如上面所指出的，在一些实现方式中， 当两个效果(或与该效果相对应的过滤器）可相互合成时，它们被认为是兼容的。此外或可 替换地，当两个效果(或与该效果相对应的过滤器）无法相互合成时，它们被认为是不兼容 的。
[0071] 参照图21，示出了获取快照图像时的屏幕2100的例子。当获取快照图像时，显示 在图像窗格中1310中的图像、以及图标140U2102和1403至1406停止周期性地被刷新， 并过渡到只显示所获取的(例如，快照的)图像的状态。如图所示，图标可以显示通过对所获 取的图像应用多个效果而修改后的所获取的图像。例如，如果在图18的屏幕1800中按下 照相机按钮1303,则屏幕2100可以获得快照图像，并可以对快照图像应用与所选择的图标 相对应的一组效果（即，草图效果等级1，和单色效果等级3)。
[0072] 在一些实施方式中，图标之一的内容可以依赖于已经选择哪些其他图标而变化。 例如，屏幕2100可以显示图标2102,其内容基于相对于图18所讨论的识别出的一组效果。 更具体地，在一些实例中，图标2102可以显示通过对从图像传感器122获得的图像数据应 用该被编组的效果所获得的图像数据。另外或可替换地，在一些实现方式中，图标2102可 以显示指示被应用到从图像传感器122获得的(多个）图像的两个或更多个效果的名称和/ 或每个效果被应用的次数的信息2132。
[0073] 另外或可替换地，在某些情况下，屏幕2100中显示图标的位置可以响应于用户输 入而改变。举例来说，如果用户触摸第二图标2102并将其拖动到第四图标1404和第五图标 1405之间，然后释放该拖动，则第二图标2102可以移动到第四图标1404和第五图标1405 之间。另外或可替换地，用户可以以相同的方式进一步朝向图像窗格1310中心移动图标。 另外或可替换地，可以自动地确定屏幕2100中图标1401、2102、和1403至1406中的至少 一个的位置。例如，选择频率高的图标可以被排列在有利于用户访问的位置。在一些实施 方式中，可以在屏幕的上部显示它们相应的过滤器趋于比其它显示的图标的过滤器更频繁 地被选择的图标(而在屏幕的下部显示其它图标)。此外，在一些实现方式中，基于图标的过 滤器被选择的频率超过了预定阈值，该图标可以被绘制为不可滚动，从而使用户能够滚动 其它图标，如相对于图14所讨论的，而不能滚动其过滤器的选择频率超过了预定阈值的图 标。此外，在一些实施方式中，相似效果的图标可以被排列在一组中。例如，在图14中，"红 色"效果的图标1402、"绿色"效果的图标1403、和"蓝色"效果的图标1404都用于调整色 彩感，因此，它们可以被排列在一组中（例如，通过彼此相邻地放置)。用于确定效果的相似 性的标准可以是亮度、色度等。
[0074] 另外或可替换地，在一些实施方式中，照相机应用可以提供过滤器添加功能。通过 过滤器添加功能，用户可以从诸如远程服务器的外部获得过滤器。过滤器可以通过通信网 络连接、电子邮件、信使、可拆卸的外部存储器、和/或任何其他合适的方法来获得。从外部 获得的过滤器可以被存储在指定的目录中，并且可以被应用共同使用。照相机应用可以添 加与外部获得的过滤器相对应的图标。这个图标可以显示通过对从图像传感器122获取的 图像数据应用过滤器的效果所获得的图像数据。
[0075] 另外或可替换地，在一些实现方式中，用户可以从网络下载应用类型的过滤器包 文件，并且可以安装过滤器包文件。如果安装了过滤器包文件，则包括在过滤器包文件中的 过滤器可以被存储在指定的目录中，以使得应用可以共同使用该过滤器。该过滤器可以被 自动添加到照相机应用的过滤器列表，而且与添加的过滤器相对应的图标可以通过上述方 案附加地显示。
[0076] 图4至图11仅作为例子被提供。相对于这些图所讨论的至少一些操作可以并行 地、以不同的顺序执行、或者被完全省略。相对于图4至图11所讨论的任何操作可以由诸 如处理器112的处理电路来执行。此外，在一些实现方式中。相对于图4至图11所讨论的 操作中的不同操作可以由不同的处理电路模块来执行。将容易理解的是，相对于图4至图 11所讨论的过程可以以硬件、软件(例如，由处理器执行的处理器可执行的指令)、或软件和 硬件的组合来实现。还将理解的是，遍及本公开，术语"效果"和"过滤器"可以互换使用。
[0077] 本公开的上述实施例可以以硬件、固件实现，或者可以通过执行可以被存储在诸 如CD-ROM、数字多用盘（DVD)、磁带、RAM、软盘、硬盘或磁光盘的记录介质中的软件或计算 机代码、或者通过执行最初存储在远程记录介质或非临时性计算机可读介质上并且通过网 络下载以存储在本地记录介质上的计算机代码来实现，从而本文所描述的方法可以通过使 用通用计算机、或专用处理器或可编程或专用硬件(例如ASIC或FPGA)执行存储在记录介 质上的这样的软件来呈现。如本领域技术人员将理解的，计算机、处理器、微处理器控制器 或可编程硬件包括可以存储或接收软件或计算机代码的存储器组件，例如RAM、ROM、闪存 等，当所述软件或计算机代码被计算机，处理器或硬件访问和执行时实现本文所描述的处 理方法。此外，将理解的是，当通用计算机访问用于实现本文所示的处理的代码时，代码的 执行将通用计算机转换成用于执行本文所示的处理的专用计算机。图中所提供的任何功能 和步骤可以以硬件、软件或两者的组合来实现，并且可以全部或部分地通过计算机的编程 指令来执行。
[〇〇78] 虽然已经参照本公开的某些优选的方面示出和描述了本公开，但是本领域技术人 员将理解，可以在形式和细节上做出各种改变，而不脱离由所附权利要求定义的本公开的 精神和范围。
【权利要求】
1. 一种用于显示图像的方法，该方法包括： 由电子设备显示从图像传感器获得的第一图像； 由电子设备将多个第二图像与第一图像一起显示，其中，每个第二图像是基于第一图 像和相应的图像过滤器生成的； 响应于对至少一个第二图像的选择，基于第一图像和所选择的第二图像的相应图像过 滤器生成第三图像并显示第三图像以代替第一图像。
2. 如权利要求1所述的方法，其中，每个第二图像是通过利用第二图像的相应图像过 滤器过滤第一图像来生成的。
3. 如权利要求1所述的方法，其中，第二图像被显示为重叠在第一图像上的图标。
4. 如权利要求1所述的方法，其中，第二图像按照基于第二图像的相应图像过滤器的 特性所确定的次序显示。
5. 如权利要求1所述的方法，其中，第二图像中的至少一个在基于在过去的一段时间 第二图像的相应图像过滤器已经被选择的频率所确定的位置处显示。
6. 如权利要求1所述的方法，还包括基于对第二图像之一的选择而将第二图像中的另 一个去激活，其中，所述去激活致使该去激活的第二图像不能被选择。
7. 如权利要求1所述的方法，还包括显示对第二图像之一被选择的次数的指示。
8. 如权利要求1所述的方法，还包括由电子设备从外部获得第二图像中的至少一个的 相应图像过滤器。
9. 一种电子设备，包括： 显示单元； 图像传感器；以及 处理电路，其被配置为： 在显示单元上显示从图像传感器获得的第一图像； 在显示单元上将多个第二图像与第一图像一起显示，其中，每个第二图像是基于第一 图像和相应图像过滤器生成的； 响应于对至少一个第二图像的选择，基于第一图像和所选择的第二图像的相应图像过 滤器生成第三图像并显示第三图像以代替第一图像。
10. 如权利要求9所述的电子设备，其中，每个第二图像是通过利用第二图像的相应图 像过滤器过滤第一图像来生成的。
11. 如权利要求9所述的电子设备，其中，第二图像被显示为重叠在第一图像上的图 标。
12. 如权利要求9所述的电子设备，其中，第二图像按照基于第二图像的相应图像过滤 器的特性所确定的次序显示，其中，所述特性是从包括颜色、亮度和色度的组中选择的。
13. 如权利要求9所述的电子设备，其中，第二图像中的至少一个在显示单元中的基于 第二图像的相应图像过滤器被选择的频率所确定的位置处显示。
14. 如权利要求9所述的电子设备，其中，所述处理电路还被配置为基于对第二图像之 一的选择而将第二图像中的另一个去激活，其中，所述去激活致使该去激活的第二图像不 能被选择。
15. 如权利要求9所述的电子设备，其中，所述处理电路还被配置为显示对第二图像之 一被选择的次数的指示。
16. 如权利要求9所述的电子设备，还包括存储器，其包括用于存储第二图像的相应图 像过滤器中的至少一个的过滤器目录，其中，所述处理电路还被配置为提供集成的过滤器 管理单元，其用于在电子设备上执行的多个应用当中共享包括在过滤器目录中的图像过滤 器。
17. 如权利要求9所述的电子设备，其中，所述处理电路还被配置为从外部获得第二图 像中的至少一个的相应图像过滤器。
18. 如权利要求17所述的电子设备，其中，所述外部是网络、电子邮件（e-mail)、信使 和可拆卸的外部存储器中的至少一个。
19. 一种电子设备，包括： 图像传感器； 一个或多个处理器； 存储器，用于存储处理器可执行的指令，当所述处理器可执行的指令被所述一个或多 个处理器执行时使得该电子设备： 在显示单元上显示从图像传感器获得的第一图像； 在显示单元上将多个第二图像与第一图像一起显示，其中，每个第二图像是基于第一 图像和相应图像过滤器生成的； 响应于对至少一个第二图像的选择，基于第一图像和所选择的第二图像的相应图像过 滤器生成第三图像并显示第三图像以代替第一图像。
【文档编号】G06T1/00GK104050621SQ201410096326
【公开日】2014年9月17日 申请日期:2014年3月14日 优先权日:2013年3月14日
【发明者】李宇镛, 宋在允, 吴康焕, 金炫廷 申请人:三星电子株式会社