图像压缩方法、图像恢复方法及计算机可读记录介质与流程

本申请要求享有2017年5月26日提交的韩国专利申请第10-2017-0065217号的优先权，其整个内容通过引用合并于此。

一个或多个实施例涉及图像压缩和恢复方法，并且更具体地，涉及一种将包括多个帧的图像压缩成图像的一些帧和剩余帧的标志位置信息，或相反地，从图像的一些帧和剩余帧的标志位置信息恢复图像的方法。

背景技术

本部分提供与本公开有关的背景信息，其未必是现有技术。

随着信息和通信技术的快速发展，已经实现了诸如移动通信终端和个人计算机的各种类型的终端以执行各种功能。

例如，移动通信终端被实现来不仅执行基本语音通信功能，而且最近还执行诸如数据通信功能、使用摄像机的照相和拍摄功能、音乐和视频文件的播放功能、玩游戏功能和直播观看功能的各种功能。

最近，已经实现了各种技术，使得图像通过这些终端而被实时捕捉和传输或接收。但是，图像的传输和接收不仅过度占用通信资源，而且需要高速和高带宽通信，并且因此，可能无法在恶劣的通信环境中适当地操作。

技术实现要素：

本部分提供本发明构思的概述，并不是本发明构思的其全部范围和全部特征的广泛公开。

一个或多个实施例包括有效压缩和恢复图像的方法。

另外，一个或多个实施例包括一种将包括多个帧的图像压缩成图像的一些帧和剩余帧的标志位置信息的方法。

另外，一个或多个实施例包括一种基于图像的一些帧和剩余帧的标志位置信息来恢复包括多个帧的图像的方法。具体地，一个或多个实施例包括通过参照模板帧组合两个图像来恢复图像的方法。

将在某种程度上在随后的描述中提出附加方面，并且根据描述，在某种程度上附加方面将是显而易见的，或者可通过提供的实施例的实践而知晓。

根据一个或多个实施例，一种基于第一帧和所述第一帧之后的至少一个第二帧的标志位置信息来恢复包括所述第一帧和所述至少一个第二帧的图像的图像恢复方法，所述图像恢复方法包括：获取所述第一帧；设定所述第一帧的至少一个标志；获取所述至少一个第二帧的所述标志位置信息；以及基于所述至少一个第二帧的所述标志位置信息，从所述第一帧生成所述至少一个第二帧，其中，所述至少一个第二帧的所述标志位置信息是在所述至少一个第二帧中的、所述第一帧的所设定的至少一个标志的位置信息。

获取所述标志位置信息可包括：基于所述至少一个第二帧的所述标志位置信息和特定时间段来确定事件是否已经发生，其中所述确定可包括：当所述至少一个第二帧之后的帧是新的第一帧时，或者当从所述第一帧被获取的时间点起已经过去所述特定时间段时，确定所述事件已经发生。

获取所述第一帧可包括每当事件发生时重复地获取更新的所述第一帧，设定所述至少一个标志可包括设定所更新的第一帧的至少一个标志，并且生成所述至少一个第二帧可包括从所更新的第一帧生成所述至少一个第二帧。

图像恢复方法可进一步包括：在获取所述第一帧之前，设定至少一个模板帧的至少一个标志，其中生成所述至少一个第二帧可包括：基于所述第一帧和所述至少一个第二帧的所述标志位置信息中的至少一个，从所述至少一个模板帧生成所述至少一个第二帧。

设定所述至少一个模板帧的所述至少一个标志可包括：基于关于所述至少一个模板帧的用户输入来设定所述至少一个模板帧的所述至少一个标志。

生成所述至少一个第二帧可进一步包括：通过以所述第一帧的至少部分区域取代所述至少一个模板帧的至少部分区域来生成所述至少一个第二帧。

生成所述至少一个第二帧可包括：基于所述至少一个第二帧的所述标志位置信息，通过改变所述第一帧的所述至少一个标志的位置来生成所述至少一个第二帧。

所述至少一个标志可被设定在所述第一帧中包括的人脸的至少一个特征点上。

包括所述第一帧和所述至少一个第二帧的所述图像可从呼叫者终端被传输到被呼叫者终端，获取所述第一帧可包括从所述被呼叫者终端获取所述第一帧，设定所述至少一个标志可包括在所述第一帧中包括的对话者的脸的至少一个特征点上设定所述至少一个标志，获取所述标志位置信息可包括从所述被呼叫者终端获取所述至少一个第二帧的所述标志位置信息，并且生成所述至少一个第二帧可包括：基于所述至少一个第二帧的所述标志位置信息，通过从所述第一帧改变所述对话者的脸的所述至少一个特征点的位置来生成所述至少一个第二帧。

根据一个或多个实施例，一种基于标志位置信息对包括第一帧和所述第一帧之后的至少一个第二帧的图像进行压缩的图像压缩方法，所述图像压缩方法包括：获取所述第一帧和所述至少一个第二帧中的至少一个；设定所述第一帧的至少一个标志；识别所述至少一个第二帧中所述至少一个标志的位置；以及处理所述第一帧并且顺序地处理所述至少一个第二帧中所述至少一个标志的位置。

识别所述位置可包括：基于所述至少一个第二帧的标志位置信息和特定时间段来确定事件是否已经发生，其中所述确定可包括：当相邻的第二帧的标志位置之间的差等于或大于特定差时、当从所述第一帧被获取的时间点起已经过去所述特定时间段时、或者当从外部装置接收到所述第一帧的传输请求时，确定所述事件已经发生。

所述获取可包括每当事件发生时重复地获取更新的所述第一帧，设定所述至少一个标志可包括设定所更新的第一帧的所述至少一个标志，识别所述位置可包括识别在所述至少一个第二帧中的、所更新的第一帧的所述至少一个标志的位置，并且所述处理可包括处理所更新的第一帧并且顺序地处理所更新的第一帧之后的所述至少一个第二帧的所述至少一个标志的位置。

所述处理可包括获取选择模板帧的用户输入，所述第一帧和所述至少一个标志的位置要被应用于所述模板帧。

包括所述第一帧和所述至少一个第二帧的所述图像可从呼叫者终端被传输到被呼叫者终端，所述获取可包括从所述呼叫者终端的图像获取器获取所述第一帧和所述至少一个第二帧，并且所述处理可包括将所述第一帧中的所述至少一个标志的位置和所述至少一个第二帧中的所述至少一个标志的位置顺序地传输到所述被呼叫者终端。

包括所述第一帧和所述至少一个第二帧的所述图像可被存储在呼叫者终端中，所述获取可包括从所述呼叫者终端的图像获取器获取所述第一帧和所述至少一个第二帧，并且所述处理可包括将所述第一帧中的所述至少一个标志的位置和所述至少一个第二帧中的所述至少一个标志的所述位置顺序地存储在所述呼叫者终端的存储单元中。

附图说明

将关于附图更详细地描述示例实施例，其中，除非另外指定，贯穿各个附图，相同的附图标记指代相同的部件，并且其中：

图1是根据实施例的图像压缩和恢复系统的示意图；

图2是根据实施例的用户终端的配置的框图；

图3和图4是根据实施例的对通过用户终端获取的图像进行压缩的图像压缩方法的流程图；

图5至图8是根据实施例的对通过用户终端获取的图像进行恢复的图像恢复方法的流程图；

图9图示根据实施例的对通过用户终端获取的图像进行压缩的示例；

图10和图11图示根据实施例的对通过用户终端获取的图像进行恢复的示例；以及

图12和图13图示根据实施例的效果和对象添加到帧的各种示例。

应该注意，这些附图意在图示在某些示例实施例中所使用的方法和/或结构的通用特性，并且意在补充下面提供的文字描述。然而，这些附图并不一定是按照比例的，并且可能没有准确地反映任何给定实施例的准确结构或性能特性，并且不应被解释为限定或限制由示例实施例包含的值的范围或属性。

具体实施方式

将参照所附附图来详细描述一个或多个示例实施例。然而，示例实施例可以以各种不同形式体现，并且不应被理解为仅限制到图示的实施例。相反，图示的实施例被提供为示例使得本公开将是彻底的和完全的，并且将向本领域普通技术人员充分传达本公开的构思。相应地，可能不会关于一些示例实施例描述已知的过程、要素和技术。除非另外注明，贯穿所附附图和文字描述，相同的附图标记表示相同要素，并且因此将不重复描述。

尽管术语“第一”、“第二”、“第三”等可在本文中用于描述各种元件、部件、区域、层和/或部分，但是，这些元件、部件、区域、层和/或部分不应被这些术语限制。这些术语仅用于区分一个元件、部件、区域、层和/或部分与另一区域、层或部分。因此，下面讨论的第一元件、第一部件、第一区域、第一层或第一部分可被称为第二元件、第二部件、第二区域、第二层或第二部分，而不脱离本公开的范围。

为了便于描述的目的，在本文中可使用诸如“之下”、“下方”、“下部”、“下面”、“上方”、“上部”之类的空间相对术语，以描述如各图中所图示的一个要素或特征相对于另一要素或特征的关系。将理解的是，除了图中所描绘的方位之外，空间相对术语意在包含设备在使用或操作中的不同方位。例如，如果图中的设备被翻转，则被描述为在其他要素或特征“下方”、“之下”或“下面”的要素将被定向为在其他要素或特征“上方”。因此，示例术语“下方”和“下面”可包含上方和下方两种方位。设备可被另外定向(旋转90度或者在其他方向)，并且本文所使用的空间相对描述符应被相应地解释。此外，当要素被称为在两个要素“之间”时，该要素可以是两个要素之间的唯一要素，或者可存在一个或多个其他中间要素。

如本文所使用的，单数形式“一”和“该”意在也包括复数形式，除非上下文中另有明确指示。将进一步理解的是，当在本说明书中使用术语“包含”和/或“包括”时，表明存在所陈述的特征、整体、步骤、操作、元件和/或部件，但不排除一个或多个其他特征、整体、步骤、操作、元件、部件和/或它们的组的存在或添加。如本文所使用的，术语“和/或”包括一个或多个相关所列项目的任意组合和所有组合。当诸如“...中的至少一个”之类的表达位于要素列表之后时，其修饰整个要素列表，而不修饰列表的个别要素。另外，术语“示例性”意在指代示例或说明。

当要素被称为在另一要素“上”、“连接到”另一要素、“耦接到”另一要素、或与另一要素“邻近”时，该要素可以直接在另一要素上、直接连接到另一要素、直接耦接到另一要素、或直接与另一要素“邻近”，或者可存在一个或多个其他中间要素。相反，当要素被称为“直接”在另一要素“上”、“直接连接到”另一要素、“直接耦接到”另一要素、或与另一要素“紧邻”时，不存在中间要素。

除非另外限定，本文所使用的所有术语(包括技术术语和科学术语)具有与示例实施例所属领域的普通技术人员通常所理解的含义相同的含义。诸如在常用字典中限定的那些术语应当被解释为具有与它们在相关领域和/或本公开的语境中的含义相一致的含义，并且除非本文中明确限定，不应被解释为理想的或者过于正式的意义。

可参照动作和操作的符号表示描述示例实施例(例如，以流程图、流程示意图、数据流程示意图、结构示意图、框图等的形式)，动作和操作的符号表示可结合下面更详细讨论的单元和/或设备实现。尽管以具体方式讨论，但在特定框中指定的功能或操作可不同于流程图、流程示意图等中指定的流程来执行。例如，图示为以两个连续框顺序执行的功能或操作可实际上同时执行，或在一些情况下以相反顺序执行。

根据一个或多个示例实施例的单元和/或设备可使用硬件、软件和/或其组合来实现。例如，硬件设备可使用处理电路来实现，处理电路诸如但不限于处理器、中央处理单元(cpu)、控制器、算术逻辑单元(alu)、数字信号处理器、微计算机、现场可编程门阵列(fpga)、片上系统(soc)、可编程逻辑单元、微处理器、或能够以限定方式响应于指令并执行指令的任何其他设备。

软件可包括计算机程序、程序代码、指令或它们的一些组合，以用于独立地或共同地指示或配置硬件设备从而如所期望的那样操作。计算机程序和/或程序代码可包括能够由一个或多个硬件设备实现的程序或计算机可读指令、软件部件、软件模块、数据文件、数据结构等，一个或多个硬件设备诸如上面提及的硬件设备中的一个或多个。程序代码的示例包括由编译器产生的机器代码和使用解释器执行的更高级别程序代码两者。

例如，当硬件设备是计算机处理设备(例如处理器、cpu、控制器、alu、数字信号处理器、微计算机、微处理器等)时，计算机处理设备可被配置成根据程序代码而通过执行算术操作、逻辑操作和输入/输出操作来执行该程序代码。一旦程序代码被加载到计算机处理设备中，计算机处理设备就可被编程以执行程序代码，从而将计算机处理设备转变成专用目的计算机处理设备。在更具体的示例中，当程序代码被加载到处理器中时，处理器变为可编程的，以执行程序代码和对应于该程序代码的操作，从而将处理器转变成专用目的处理器。

软件和/或数据可以永久地或暂时性地以任何类型的机器、部件、物理的或虚拟的设备、或能够将指令或数据提供给硬件设备或能够由硬件设备解释的计算机存储介质或设备被具体化。软件还可分布到联网计算机系统上，使得软件以分布方式存储和执行。具体地，例如，软件和数据可通过包括本文所讨论的有形或非暂时性计算机可读存储介质的一个或多个计算机可读记录介质存储。

根据一个或多个示例实施例，为了增加描述的清晰度，计算机处理设备可被描述为包括执行各种操作和/或功能的各个功能单元。然而，计算机处理设备不意在受限于这些功能单元。例如，在一个或多个示例实施例中，功能单元的各种操作和/或功能可以通过功能单元中的其他功能单元来执行。进一步，计算机处理设备可以执行各个功能单元的操作和/或功能而不将计算机处理单元的操作和/或功能细分成这些各个功能单元。

根据一个或多个示例实施例的单元和/或设备还可包括一个或多个存储设备。一个或多个存储设备可以是有形或非暂时性计算机可读存储介质，诸如随机存取存储器(ram)、只读存储器(rom)、永久大容量存储设备(诸如硬盘驱动器)、固态(例如，nand闪存)设备、和/或能够存储和读取数据的任何其他类数据存储机器。一个或多个存储设备可被配置成存储计算机程序、程序代码、指令或它们的一些组合，以用于一个或多个操作系统和/或用于实现本文所描述的示例实施例。计算机程序、程序代码、指令或它们的一些组合还可使用驱动机器从分离的计算机可读存储介质加载到一个或多个存储设备和/或一个或多个计算机处理设备中。这种分离的计算机可读存储介质可包括通用串行总线(usb)闪存、记忆棒、蓝光/dvd/cd-rom驱动器、存储卡、和/或其他类似的计算机可读存储介质。计算机程序、程序代码、指令或它们的一些组合可经由网络接口而不是经由本地计算机可读存储介质，从远程数据存储设备加载到一个或多个存储设备和/或一个或多个计算机处理设备中。此外，计算机程序、程序代码、指令或它们的一些组合可通过网络从被配置成传送和/或分发计算机程序、程序代码、指令或它们的一些组合的远程计算系统加载到一个或多个存储设备和/或一个或多个处理器。远程计算系统可经由有线接口、空中接口和/或其他类似的介质传送和/或分发计算机程序、程序代码、指令或它们的一些组合。

为了示例实施例的目的，可以具体设计和构建一个或多个硬件设备、一个或多个存储设备、和/或计算机程序、程序代码指令或它们的一些组合，或者为了示例实施例的目的，它们可以是被更改和/或修改的已知设备。

诸如计算机处理设备的硬件设备可运行操作系统(os)和该os上运行的一个或多个软件应用程序。计算机处理设备还可响应于执行软件而访问、存储、操控、处理和创建数据。为了简化起见，一个或多个示例实施例可被例示为一个计算机处理设备；然而，本领域普通技术人员将理解，硬件设备可包括多个处理元件和处理元件的多个类型。例如，硬件设备可包括多个处理器或处理器和控制器。此外，其他处理配置是可能的，诸如并行处理器。

尽管参照特定示例和附图进行了描述，但本领域普通技术人员根据该描述可以对示例实施例进行各种修改、添加和替换。例如，可以以与所描述的方法的顺序不同的顺序来执行所描述的技术，和/或诸如所描述的系统、架构、设备、电路等的部件可以以不同于上面描述的方法的方式连接或组合，或者结果可通过其他部件或等同物适当地实现。

图1是根据实施例的图像压缩和恢复系统的示意图。

参照图1，根据实施例的图像压缩和恢复系统可包括第一用户终端100、第二用户终端200、服务器300以及连接第一用户终端100、第二用户终端200和服务器300的通信网络400。

根据实施例的图像压缩和恢复系统的第一用户终端100和第二用户终端200可将包括多个帧的图像压缩成该图像的一些帧和剩余帧的标志位置信息。

根据实施例的图像压缩和恢复系统的第一用户终端100和第二用户终端200可基于图像的一些帧和剩余帧的标志位置信息而恢复包括多个帧的图像。

另外，根据另一实施例的图像压缩和恢复系统的第一用户终端100和第二用户终端200可在如上所述恢复图像的同时，通过参照模板帧组合两个图像来恢复图像，并且其细节将稍后描述。

在本公开中，“图像”可表示包括至少一个帧的多媒体对象。在此，帧可表示形成图像的单个场景。

帧可包括第一帧和第二帧。在此，第一帧和第二帧是基于帧的顺序而命名的，而不指示第一帧和第二帧具有不同属性或是不同类型。

图像可包括多个图像部分。在此，每个图像部分可包括第一帧(即初始帧)和第一帧之后的至少一个第二帧。换句话说，整个图像可包括包含在多个部分中的每一个部分中的第一帧和包含在多个部分中的每一个部分中的至少一个第二帧。在此，图像可基于事件的发生而被分成若干部分，且关于事件的描述将稍后提供。

同时，除了帧之外，图像可进一步包括与每个帧对应的声音。

在本公开中，帧的“标志”可表示用于识别帧的适合的目标。例如，当图像的每个帧包括人脸时，标志可表示人脸的每个部分。在此，每个部分可表示诸如“左眉毛的起始部分”、“嘴唇的右端部”等的详细的部分。

可预设定标志设定规则。例如，如上所述，当每个帧包括人脸时，可预设定标志设定规则，使得标志关于人脸上的66个点而设定。在此，在设定帧上的标志之前，可识别标志设定目标对象。然而，实施例不限于此。

根据实施例的服务器300可表示在第一用户终端100与第二用户终端200之间中继通信的设备。在此，服务器300可对第一用户终端100与第二用户终端200之间的图像的传输和接收进行中继。

根据另一实施例，服务器300可在对第一用户终端100与第二用户终端200之间的通信进行中继的同时，压缩或恢复图像。例如，服务器300可在相对好的网络环境中从第一用户终端100和第二用户终端200中的一个用户终端接收未压缩的图像，并且按照下面的描述压缩和传输图像，以在相对坏的网络环境中将图像传输到第一用户终端100和第二用户终端200中的另一个用户终端。另一方面，服务器300可在相对坏的网络环境中从第一用户终端100和第二用户终端200中的一个用户终端接收图像，恢复图像，并在相对好的网络环境中将该图像传输到第一用户终端100和第二用户终端200中的另一个用户终端。然而，实施例不限于此。

通信网络400将服务器300与第一用户终端100和第二用户终端200彼此连接。例如，通信网络400为第一用户终端100提供访问路径，以将分组数据传输到第二用户终端200或从第二用户终端200接收分组数据。通信网络400的示例包括有线网络和无线网络，但不限于此，有线网络诸如局域网(lan)、广域网(wan)、城域网(man)和综合业务数字网(isdn)，无线网络诸如无线lan、cdma、蓝牙和卫星通信网络。

第一用户终端100和第二用户终端200可以是能够在它们之间传输或接收图像、和/或将图像传输到服务器300或从服务器300接收图像以及存储图像的任何装置。在此，第一用户终端100和第二用户终端200可以是移动终端121和201，或者个人计算机122和202。可替代地，第一用户终端100和第二用户终端200可以是包括机顶盒和电视(tv)的各种娱乐装置。相应地，可在传输或接收图像或者处理图像的各个领域中使用图像压缩和恢复方法。例如，可在图像广播领域或者压缩和存储图像或从压缩的图像中恢复原始图像的领域中使用图像压缩和恢复方法。然而，实施例不限于此。

第一用户终端100和第二用户终端200可将包括多个帧的图像压缩成图像的一些帧和剩余帧的标志位置信息。另外，第一用户终端100和第二用户终端200可基于图像的一些帧和剩余帧的标志位置信息而恢复包括多个帧的图像。另外，在恢复图像的同时，第一用户终端100和第二用户终端200可通过参照模板帧组合两个图像来恢复图像。

图2是根据实施例的第一用户终端100的配置的框图。

参照图2，根据当前实施例的第一用户终端100可包括显示器110、控制器120、通信单元130、图像获取器140和存储器150。这样的配置仅仅是示例，并且第一用户终端100可不包括上面的部件中的一些，或可包括除了上面的部件之外的其他部件。

根据实施例的显示器110可以是根据通过以下所述的控制器120生成的电信号来显示图形、字符或其组合的显示设备。例如，显示器110可包括阴极射线管(crt)、液晶显示器(lcd)、等离子体显示面板(pdp)和有机发光二极管(oled)显示器中的一个，但不限于此。

同时，显示器110可进一步包括用于接收用户输入的输入单元。例如，显示器110可进一步包括数字转换器以便根据显示在其上的屏幕获取用户输入，该数字转换器用于读取用户的触摸坐标并且将该触摸坐标转换成电信号。相应地，显示器110可以是包括触摸面板的触摸屏。

在此，可以与显示器110分开提供输入单元。例如，输入单元可以是与显示器110分开提供的键盘、鼠标、轨迹球、麦克风和按钮中的任何一个。

根据实施例的控制器120可包括诸如处理器的能够处理数据的任何类型的装置。在此，“处理器”可以是嵌入在硬件中并且具有物理结构电路的数据处理装置，以执行代码中表达的功能或程序中包括的命令。这种数据处理装置的示例可包括微处理器、中央处理单元(cpu)、处理器核、多处理器、专用集成电路(asic)和可编程门阵列(fpga)，但不限于此。

根据实施例的通信单元130可以是包括硬件和软件的装置，该装置是第一用户终端100用于以有线/无线连接方式将信号(诸如控制信号或数据信号)传输到另一网络装置(诸如第二用户终端200或者服务器300)或从该另一网络装置接收信号所需要的。

根据实施例的图像获取器140是用于捕捉周围环境的图像的单元，并且可包括透镜和图像传感器。在此，透镜可以是包括至少一个透镜的透镜组。图像传感器可将通过透镜的图像输入改变成电信号。例如，图像传感器可以是能够将光信号改变成电信号(即图像和/或帧)的半导体器件，诸如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)。

根据实施例的存储器150临时地或永久地存储通过第一用户终端100来处理的数据、指令、程序、程序代码或其组合。存储器150可包括磁性存储介质或闪存存储介质，但不限于此。

由于第一用户终端100的描述可同样应用于第二用户终端200，因此将不再提供第二用户终端200的描述。换句话说，第一用户终端100和第二用户终端200是具有相同或相似配置的装置，并且在本公开的一个或多个实施例中基于它们的功能被不同地简单表示。

在下文中，将首先描述第一用户终端100和第二用户终端200压缩图像的图像压缩方法，并且然后将描述第一用户终端100和第二用户终端200恢复压缩的图像的图像恢复方法。

现在将参照图3、图4和图9描述根据实施例的、对通过第一用户终端100和第二用户终端200获取的图像进行压缩的图像压缩方法。

如上所述，根据实施例的控制器120可将包括多个帧的图像压缩成图像的一些帧和剩余帧的标志位置信息。

就这一点而言，在操作s31中，根据实施例的控制器120可获取第一帧91和至少一个第二帧92中的至少一个。例如，当要压缩的图像910是通过图像获取器140实时获取的图像时，控制器120可顺序地和/或重复地从图像获取器140获取第一帧91和第二帧92。在此，如将参照操作s33详细描述的，控制器120可基于事件是否已经发生而获取第一帧91和第二帧92中的任何一个。

同时，当要压缩的图像是存储在存储器150中的图像时，控制器120可同时或顺序地获取第一帧91和第二帧92。与此同时，控制器120可从存储器150重复地获取第一帧91和第二帧92。

例如，图像压缩方法可应用到视频呼叫。在这种情况下，控制器120可实时从图像获取器140获取包括多个帧的图像。此时，从图像获取器140获取的图像的第一帧可以是第一帧91，并且在第一帧91之后获取的帧可以是第二帧92。第一帧91可包括视频呼叫开始之后用户的第一图像(例如，脸部图像)，并且第二帧92可包括根据时间改变的用户的图像(例如，脸部图像)。

然后，在操作s32中，根据实施例的控制器120可设定在操作s31中获取的第一帧91的至少一个标志。在此，在帧中“设定标志”可以意味着搜索和识别作为帧中标志目标的对象。例如，如图9的图像920中所示，当第一帧91是人脸时，设定第一帧91的至少一个标志可指示搜索和识别第一帧91中人脸的每个部分。详细地，在第一帧中人脸的每个部分的搜索和识别中，控制器120可检索脸部轮廓、头部轮廓、眼睛轮廓、鼻子轮廓、嘴唇轮廓、耳朵轮廓以及斑或痣的轮廓。

在此，控制器120可将每个标志的轮廓识别为“面”而不是“线”。例如，控制器120可搜索脸部区域、头部区域、眼睛区域、鼻子区域、嘴唇区域、耳朵区域以及斑或痣的区域。

然后，控制器120可将每个标志与至少一个点和/或像素匹配。例如，当标志是脸部轮廓(或脸部区域)时，控制器120可将脸部的线与沿着脸部的线设置的若干个点匹配。类似地，控制器120可将眼睛轮廓与沿着眼睛轮廓设置的若干个点匹配。

同时，可预设定关于帧的哪个部分要被设定为标志的规则(即，标志设定规则)。例如，如上所述，当每个帧包括人脸时，可预设定标志设定规则使得标志关于人脸上的66个点被设定。然而，实施例不限于此，并且标志设定规则可基于使用本公开的图像压缩和恢复系统的目的和/或环境而被不同地设定。

第一帧91中通过控制器120设定的至少一个标志可以是用于识别第二帧92中的位置的目标。

在操作s33中，根据实施例的控制器120可识别至少一个第二帧92中的至少一个标志的位置。在此，在操作s32中，可设定至少一个标志。换句话说，控制器120可在第二帧92中识别第一帧91中设定的标志的位置。

例如，如图9的图像930中所示，在操作s331中，根据实施例的控制器120可识别至少一个第二帧92中的每个标志的位置。

例如，如上所述，标志设定规则可设定人脸上的66个点，并且66个点中的一个点可以是“左眉毛的起始部分”。

在这种情况下，控制器120可搜索和识别第二帧92中“左眉毛的起始部分”的位置。换句话说，控制器120可生成第二帧92中“左眉毛的起始部分”的标志位置信息。此时生成的第二帧92的标志位置信息可包括例如第二帧92中“左眉毛的起始点”的坐标。

同时，在操作s332中，控制器120可基于特定时间段和在操作s331中识别的至少一个第二帧92的标志位置信息而确定事件是否已经发生。

例如，控制器120可在相邻的第二帧92的标志位置信息之间的差等于或者大于特定差时，确定已经发生事件。在此，该差可以是由于标志设定目标对象的消失、标志设定目标对象的数量增加或标志设定目标对象的覆盖而导致的。

另外，控制器120可在从第一帧91被获取的时间点起过去特定时间段时，确定事件已经发生。例如，控制器120可在从第一帧91被获取的时间点起已经过去10秒时，确定事件已经发生。

另外，控制器120可在从外部装置接收到第一帧91的传输请求时，确定事件已经发生。

当确定事件已经发生时，控制器120可根据操作s31获取更新的第一帧91。另一方面，当确定事件未发生时，控制器120可执行操作s34。

在操作s34中，根据实施例的控制器120可处理操作s31中获取的第一帧91，并且然后顺序地处理在操作s33中识别的至少一个第二帧92中的至少一个标志的位置93。

在此，对帧和/或标志的位置的“处理”可以意味着帧和/或标志的位置通过通信单元130被传输到另一用户终端，或被存储在存储器150中。

相应地，控制器120可将第一帧91传输到另一装置或将第一帧91存储在存储器150中，并且然后可将第二帧92中的标志的位置93传输到其他装置或将位置93存储在存储器150中。在此，根据实施例的控制器120可获取与要应用于恢复第一帧91的模板帧的选择有关的输入以及第二帧92中的标志的位置93。关于模板帧的细节将稍后在描述图像恢复方法的同时描述。

同时，当在操作s332中确定事件未发生时，控制器120可在执行操作s34之后执行操作s31。换句话说，控制器120可对至少一个第二帧92重复地执行操作s31至s34直至第一帧91根据事件的发生而更新。

照此，根据本公开的一个或多个实施例，图像可通过使用最小化资源和/或最小化存储空间来传输或存储，并且此外，模板帧可根据用户的选择应用于图像。

在下文中，将参照图5至图8和图10至图13描述根据实施例的、对通过第一用户终端100和第二用户终端200获取的图像进行恢复的图像恢复方法。

根据实施例的控制器120可基于包括多个帧的图像1010的一些帧(即，第一帧101)和剩余帧(即，第二帧102)的标志位置信息103来恢复图像。另外，图像可通过参照模板帧1110组合两个图像来恢复。在下文中，为了便于描述，描述了包括多个帧的图像1010被压缩成包括第二帧102的标志位置信息103和第一帧101的图像1020。

在操作s51中，根据实施例的控制器120可获取要恢复的图像1020的第一帧101。例如，当要恢复的图像是通过通信单元130从另一装置实时获取的图像时，控制器120可顺序地和/或重复地从通信单元130获取第一帧101以及第二帧102的标志位置信息103。另一方面，当要恢复的图像是存储器150中存储的图像时，控制器120可从存储器150获取第一帧101。然而，实施例不限于此。

然后，在操作s52中，根据实施例的控制器120可设定在操作s51中获取的第一帧101的至少一个标志。由于上面已经参照操作s32描述了第一帧101中至少一个标志的设定，因此将不再提供其细节。

同时，在压缩图像的同时设定第一帧101的标志的方法和在恢复图像的同时设定第一帧101的标志的方法可以是预设置的或共享的方法。

相应地，设定第一帧101的标志的方法可以以源码和/或程序的形式预存储在存储器150中，或者可以通过通信单元130从另一装置接收。

在操作s53中，根据实施例的控制器120可获取要恢复的图像1010的第二帧102的标志位置信息103。换句话说，控制器120可在第二帧102中获取第一帧101中设定的标志的位置。例如，当要恢复的图像是通过通信单元130从另一装置实时获取的图像时，控制器120可与第一帧101一起顺序地和/或重复地从通信单元130获取第二帧102的标志位置信息103。换句话说，控制器120可仅获取采用图像形式的第一帧101，并且获取采用位置信息形式的第二帧102(即，剩余帧)。换句话说，仅第一帧101以具有大容量的图像的形式被获取，而剩余帧(即，第二帧102)可以以具有小容量的数字和/或字符数据的形式被获取。

同时，当要恢复的图像是存储器150中存储的图像时，控制器120可从存储器150获取第二帧102的标志位置信息103。与此同时，仅第一帧101可以以图像的形式被存储，而剩余帧(即，第二帧102)可以以数字和/或字符数据的形式被存储。然而，实施例不限于此。

在此，第二帧102的标志位置信息103可包括例如如第二帧102中在第一帧101中设定的标志的位置信息、第二帧102中标志的坐标。

同时，控制器120可在操作s531中获取第二帧102的标志位置信息103，并且在操作s532中基于标志位置信息103来确定事件是否已经发生。

例如，当第二帧102之后的帧是第一帧101时，控制器120可确定事件已经发生。在此，当第一帧101本身是从外部装置接收的或者第一帧的信号通知传输被接收到时，控制器120可确定后续帧是第一帧101。

另外，当在第一帧101被获取的时间点之后过去特定时间段时，控制器120可确定事件已经发生。

当确定事件已经发生时，控制器120可根据操作s51获取更新的第一帧101。另一方面，当确定事件未发生时，控制器120可执行操作s54。

根据实施例的控制器120可在操作s54中基于在操作s53中获取的第二帧102的标志位置信息103，从第一帧101生成第二帧102。

例如，如上所述，标志位置信息103可包括第二帧102中至少一个标志的坐标。相应地，控制器120可基于第二帧102的标志位置信息103(即，坐标)，通过改变第一帧101的至少一个标志的位置来生成第二帧102。照此恢复的图像的第一帧可以是第一帧101，并且图像的第二帧可以是其中第一帧101(即，第一帧)中仅标志的位置改变的帧。在视频呼叫的情况下，视频呼叫期间首先显示的帧是第一帧101本身，并且在第一帧101之后显示的帧可以是其中第一帧101中仅标志的位置改变的帧。换句话说，视频呼叫期间显示的帧可以是根据标志位置信息103修改的第一帧101。

在此，控制器120可使用各种技术来生成更自然的第二帧102。例如，控制器120可通过使用像素溶解(pixelliquify)技术从第一帧101生成第二帧102。另外，控制器120可通过使用机器学习技术从第一帧101生成第二帧102。然而，实施例不限于此。

根据实施例的控制器120可在显示器110上连续地显示第一帧101和在操作s54中生成的第二帧102。例如，图像1010中的人脸可向右移动，如通过图10的附图标记1030所指示。在这种情况下，控制器120可在显示器110上连续地显示第一帧101和第二帧102。在此，第二帧102可已经基于第二帧102的标志位置信息103而生成，在第二帧102的标志位置信息103上反映人脸的运动信息。

另外，当图像压缩和恢复方法用于视频呼叫时，控制器120可通过连续地显示第一帧101和在操作s54中生成的第二帧102来显示其中背景未改变但仅标志(即，人脸)改变的图像。在此，人脸的改变可指示整个脸向左、向右、向上或向下移动。可替代地，人脸的改变可指示仅脸的一部分被改变，例如，嘴张开、出现皱眉、出现打哈欠、鼻孔张开、眨眼或闭眼。

同时，当在操作s532中确定事件未发生时，控制器120可在执行操作s54之后执行操作s53。换句话说，控制器120可对至少一个第二帧102重复地执行操作s53和s54直至第一帧101根据事件的发生被更新。通过重复操作s53和s54，正在移动的图像的帧可不断地生成和/或重复。

关于第二帧102的生成，根据实施例的控制器120可基于标志位置信息103来将各种效果添加到第二帧102。例如，当通过参照第二帧102的标志位置信息103而特定标志被移动特定阈值时，控制器120可将本地效果应用到特定标志上，或将效果应用到整个帧上。

例如，当第二帧102包括人脸时，控制器120可通过参照第二帧102的标志位置信息103来检测变化，诸如眨眼、闭眼、睁大眼睛、惊讶的脸或张开嘴。控制器120可响应于检测到的变化，添加如图12的图像1210中所示的瞪出的眼珠的效果或如图12的图像1220中所示的从嘴伸出新对象的效果。然而，这样的效果仅仅是示例，效果不限于这些。

根据实施例的控制器120可通过参照各种信息、关于第二帧102的生成而将各种效果添加到第二帧102。例如，控制器120可通过参照以下信息中的一个信息而将与该一个信息对应的对象和/或效果添加到第二帧102：第一用户终端100或第二用户终端200的位置信息、第一用户终端100或第二用户终端200的身份(id)信息、第一用户终端100或第二用户终端200的状态信息、或者用户信息。

例如，控制器120可通过参照第一用户终端100或第二用户终端200的位置信息将象征第一用户终端100或第二用户终端200的位置的标志的对象(例如，如图12的图像1230中所示的，当第一用户终端100或第二用户终端200的位置是巴黎时为埃菲尔铁塔)添加到第二帧102。

另外，如图12的图像1240中所示，控制器120可参照第一用户终端100或第二用户终端200的电池状态信息在电池电力水平低时，将开裂效果添加到第二帧102。

另外，控制器120可通过参照用户信息在与特殊纪念日(诸如生日)对应的特定日期时，将象征纪念日的对象(例如，如图12的图像1250中所示的生日蛋糕图像)添加到第二帧102。

照此，根据本公开的一个或多个实施例，通过使用最小化资源和/或最小化存储空间传输或存储的图像可更自然的恢复和显示，并且此外，各种特殊效果可容易地且方便地应用于图像。

图7是根据实施例的、用于描述在控制器120恢复图像的同时通过参照模板帧1110组合两个图像来对图像进行恢复的过程的流程图。在下文中，将不再提供与图5和图6的那些细节重复的细节。

在操作s70中，根据实施例的控制器120可在获取第一帧101之前设定模板帧1110的标志。在此，模板帧1110可表示包括将与要恢复的图像1120组合的图像的帧，并且可存在多个模板帧1110。

例如，如在上面的示例中，当要恢复的图像1120包括人脸时，模板帧1110可包括“蒙娜丽莎的脸”、“石膏模型的脸”或“名人的脸”。

另外，当图像压缩和恢复方法用于视频呼叫时，模板帧1110可包括视频呼叫的被呼叫者和/或呼叫者的脸。当被呼叫者和/或呼叫者的脸作为模板帧预存储在第一用户终端100或第二用户终端200中时，视频呼叫可仅经由第二帧的标志位置信息的传输和接收来执行，而没有第一帧的传输和接收。换句话说，视频呼叫可基于接收到的第二帧的标志位置信息，在没有图像(或帧)的传输和接收的情况下，通过改变预存储的模板帧中的标志的位置来执行。

在图像恢复的同时或在图像压缩的同时，这种模板帧1110可经由用户的选择被确定。

例如，当图像压缩和恢复方法用在视频呼叫时，考虑呼叫者终端，模板帧1110可通过被呼叫者来确定，以确定在呼叫者终端上显示的他/她的脸，或者通过呼叫者来确定，以确定呼叫者想看到的被呼叫者的脸。

根据实施例的控制器120可预设定模板帧1110的标志，以便将模板帧1110和要恢复的图像1120组合。由于上面已经参照操作s32描述了标志的设定，因此将不再提供其细节。

同时，可基于用户输入来执行标志的设定。例如，当控制器120由于模板帧1110的低分辨率和/或低质量而不能自动地识别模板帧1110中的标志时，控制器120可基于用户输入来设定模板帧1110的标志。在此，控制器120可通过显示器110显示标志设定指南。

然后，在操作s71中，根据实施例的控制器120可获取要恢复的图像的第一帧101。另外，在操作s72中，根据实施例的控制器120可设定操作s71中获取的第一帧101的至少一个标志。在此，在操作s73中，根据实施例的控制器120可获取图像的第二帧102的标志位置信息103。

在操作s74中，根据实施例的控制器120可基于第一帧101和第二帧102的标志位置信息103中的至少一个而从模板帧1110生成第二帧1130。

如上所述，标志位置信息103可包括第二帧102中至少一个标志的坐标，并且因此，控制器120可基于第二帧102的标志位置信息103(即，坐标)，通过改变模板帧1110的至少一个标志的位置而生成第二帧。换句话说，控制器120可通过以模板帧1110中包括的形状取代整个图像来生成第二帧。

例如，当要恢复的图像1120包括人脸并且模板帧1110包括“石膏模型的脸”时，控制器120可生成包括石膏模型的脸的第二帧，其中面部表情和运动全都反映到石膏模型的脸。

可替代的，控制器120可在以第一帧101的至少一部分取代模板帧1110的至少一部分的同时，基于第二帧102的标志位置信息(即，坐标)，通过改变模板帧1110的至少一个标志的位置来生成第二帧1130。

例如，当要恢复的图像1120包括人脸并且模板帧1110包括“石膏模型的脸”时，控制器120可生成第二帧1130，其中仅石膏模型的图像的脸部被人脸取代。在此，第二帧102的标志位置信息103可被反映在第二帧1130的被人脸取代的部分上。在此，各种技术可用于两个帧(即，第二帧102和模板帧1110)的自然组合。

首先，控制器120可从模板帧1110和第一帧101中的每一个识别作为标志设定目标的对象。例如，当在人脸上设定标志时，控制器120可从模板帧1110和第一帧101中的每一个识别人脸。

另外，控制器120可对从第一帧101识别的作为标志设定目标的对象的至少一个部分进行选择，并且使该至少一部分模糊。另外，控制器120可计算模板帧1110中作为标志设定目标的对象的显示位置和角度，并且基于所计算的显示位置和角度将第一帧101的被模糊的至少一部分与模板帧1110合并。

在此，控制器120可考虑第一帧101与模板帧1110之间的色差等而将第一帧101的被模糊的至少一部分与模板帧1110合并。

另外，由于包括在模板帧1110和第一帧101中的对象的部分的比率(例如，标志之间的距离)可彼此不同，因此控制器120可将第二帧的标志位置信息103转换成模板帧1110的位置信息。

控制器120可通过使用诸如像素溶解、机器学习等的各种技术来匹配第一帧101和模板帧1110。

连同图像的处理，根据实施例的控制器120可操控与每个帧对应的声音以与模板帧1110对应。

例如，当模板帧1110包括著名人物或著名艺人的脸并且与每个帧对应的声音包括语音时，控制器120可将语音改变成模板帧1110中包括的著名人物或著名艺人的语音。根据选择性的实施例，控制器120可静音。

另外，根据实施例的控制器120可基于与每个帧对应的声音而生成显示在每个帧上的新帧。

例如，如图13的图像1310中所示，当与每个帧对应的声音包括语音时，控制器120可生成与该语音对应的字幕对象，并且将该字幕对象添加到该帧。

另外，当与每个帧对应的声音包括诸如警报器声音、特定通知声音、打嗝声音、胀气声音或鸟叫声音的可指定声音时，控制器120可生成与可指定声音对应的对象并将该对象添加到该帧。换句话说，当声音包括警报器声音时，控制器120可如图13的图像1320所示而将警报器标记添加到帧，或者当声音包括打嗝声音时，控制器120可如图13的图像1330中所示而将打嗝标记添加到帧。

照此，根据本公开的一个或多个实施例，通过使用最小化资源和/或最小化存储空间传输或存储的图像仍可自然地恢复，并且同时更自然地压缩，从而激发用户的兴趣。

另外，在恢复图像的同时，反映声音的图像可通过参照与该图像对应的声音来生成。

图8是用于描述当根据实施例的图像压缩和恢复方法用于视频呼叫时执行的过程的流程图。在下文中，将不再提供与图3至图7的那些细节重复的细节。另外，为了便于描述，将仅描述从第一用户终端100接收图像的第二用户终端200的方面。

在操作s81中，根据实施例的第二用户终端200可从第一用户终端100接收第一帧。在此，第一帧可以是包括在通过第一用户终端100的图像获取器获取的图像中的帧。另外，除了第一帧之外，第二用户终端200可进一步接收视频呼叫的信号通知启动、第一用户的id信息等。

在操作s82中，第二用户终端200可设定所接收的第一帧的至少一个标志。在操作s83a中，第二用户终端200可获取第二帧的标志位置信息。在操作s84a中，第二用户终端200可基于获取的第二帧的标志位置信息确定事件是否已经发生。在操作s85a中，第二用户终端200可基于第二帧的标志位置信息从第一帧生成第二帧。关于操作s82至s85a的细节，参照图5的操作s52至s54。

第二用户终端200可重复地执行操作s82至操作s85a中的一些，直至确定事件已经发生。当确定事件已经发生时，第二用户终端200可在操作s86中向第一用户终端100请求第一帧，并且在操作s87中，接收更新的第一帧。

根据选择性的实施例，第一用户终端100可检测事件，并且相应地将更新的第一帧传输到第二用户终端200。在这种情况下，第二用户终端200可将检测到更新的第一帧的接收作为事件，并且执行与该事件对应的操作。

一旦接收到更新的第一帧，第二用户终端200可重复操作s82至s85a，以接收和恢复压缩的图像。

照此，根据一个或多个实施例，可使用低带宽来连续地执行视频呼叫，并且在视频呼叫期间，第一用户终端100与第二用户终端200之间的数据传输/接收量可显著地降低。相应地，一个或多个实施例在以与视频呼叫的数据传输/接收量的水平类似的水平维持数据传输/接收量的同时，可提供能够提供连续和平滑图像的视频呼叫。

根据一个或多个实施例，可提供一种有效压缩和恢复图像的方法。

另外，可提供一种将包括多个帧的图像压缩成图像的一些帧和剩余帧的标志位置信息的方法。

另外，可提供一种基于图像的一些帧和剩余帧的标志位置信息而恢复包括多个帧的图像的方法。同时，还可提供一种通过参照模板帧组合两个图像来恢复图像的方法。

为了图示和描述的目的，已经提供了前面的描述。其不意在是详尽的或限制本公开。特定示例实施例的单独要素或特征通常不限于该特定实施例，而是在合适的情况下，它们可互换并且可用于选择的实施例中，即使未明确地示出或描述。所述单独要素或特征还可以以各种方式修改。这样的修改不被认为是脱离本公开，并且所有这样的修改意在包括在本公开的范围中。