电子设备的多媒体数据处理方法及其电子设备与流程

本发明涉及一种通过电子设备处理多媒体数据的方法及其电子设备。

背景技术：

各种类型的电子设备，诸如智能手机，平板PC等，被广泛使用。例如，诸如智能电话等的电子设备可以从外部下载各种类型的多媒体数据，诸如包括照片或图片的静止图像以及包括电影，动画等的动态图像，并且存储它们，或者通过相机拍摄各种类型的多媒体数据并存储它们。

电子设备可以选择各种类型的多媒体数据，并在屏幕上显示多媒体数据或将多媒体数据发送到外部。电子设备可以显示其上可以使用用户界面的列表屏幕，以便允许用户方便地使用各种类型的多媒体数据之一。

例如，电子设备可以在可以执行用户选择的列表屏幕上显示表示每条多媒体数据的多个缩略图，并且用户可以从显示在其上的多个缩略图中选择预定的缩略图列表屏幕，以便方便地选择用户期望的多媒体数据。

技术实现要素：

技术问题

本发明的各个实施例提供了一种通过电子设备处理多媒体数据的方法及其电子设备，当在电子设备中选择诸如静止图像或动态图像的多媒体数据时，例如智能电话或可以通过音频数据输出与要与多媒体数据的图像链接的多媒体数据相关的各种信息。

本发明的各个实施例提供了一种通过电子设备处理多媒体数据的方法及其电子设备，当选择多媒体数据时，其可以重叠地显示与多媒体数据相关的各种信息和多媒体的图像数据。

本发明的各个实施例提供了一种由电子设备处理多媒体数据的方法及其电子设备，当用户选择在多媒体数据的图像上重叠显示的各条信息中的一个或多个时，提供与所选择的信息相关的附加服务。

技术方案

根据本发明的各个实施例，一种由电子设备处理多媒体数据的方法可以包括：通过所述电子设备获取与所述多媒体数据相关的信息；存储要彼此链接的所获取的信息和多媒体数据；和当选择多媒体数据时，输出存储的信息以通过音频与多媒体数据链接。

根据本发明的各个实施例，一种由电子设备处理多媒体数据的方法可以包括：当选择所述多媒体数据时，由所述电子设备获取与所述多媒体数据相关的信息；和通过音频数据输出所获取的要与多媒体数据链接的信息。

根据本发明的各个实施例，一种电子设备可以包括：存储器，被配置为存储多媒体数据；和处理器，被配置为控制所述存储器，其中，当存储所述多媒体数据时，所述处理器获取与多媒体数据相关的信息，存储要彼此链接的所获取的信息和多媒体数据，并且当所述多媒体数据被选择时，通过音频数据输出所述存储的要与多媒体数据链接的信息。

根据本发明的各个实施例，一种电子设备可以包括：存储器，被配置为存储多媒体数据；和处理器，被配置为控制所述存储器，其中，当选择所述多媒体数据时，所述处理器获取与多媒体数据相关的信息，并通过音频数据输出所获取的要与所述多媒体数据链接的信息。

有益效果

根据本发明的各个实施例，当选择多媒体数据时，诸如智能电话的电子设备可以通过音频数据输出与要与多媒体数据链接的多媒体数据相关的各种信息片段，使得用户可以在视觉上观看多媒体数据的图像并且同时听觉地收听各种信息。因此，可以向盲人和正常用户提供方便。

根据本发明的各个实施例，当选择多媒体数据时，电子设备可以在多媒体数据的图像上重叠地显示与多媒体数据相关的各种信息，使得用户可以同时进行视觉上观看多媒体的图像数据和各种信息。

根据本发明的各个实施例，当用户选择在多媒体数据的图像上重叠显示的各条信息时，电子设备可以提供与所选择的信息相关的附加服务，使得用户可以方便地使用各种附加服务，例如，通信服务，日程管理服务和简档搜索服务，同时观看多媒体数据的图像。

附图说明

图1a示出了包括根据本发明的各个实施例的电子设备的网络环境；

图1b示出了根据本发明的各个实施例的多媒体接口的配置的示例；

图2是根据本发明的各个实施例的电子设备的框图；

图3示出根据本发明的各个实施例的多媒体数据文件的配置的示例；

图4示出了根据本发明的各个实施例的电子设备执行面部识别操作的处理的示例；

图5示出根据本发明的各个实施例的电子设备通过音频数据和子屏幕输出与图像相关的信息的示例；

图6示出了根据本发明的各个实施例的电子设备通过音频数据和语音气泡输出与图像相关的信息的示例；

图7示出根据本发明的各个实施例的电子设备输出与用户通过音频数据和语音气泡选择的缩略图图像有关的信息的示例；

图8示出根据本发明的各个实施例的电子设备通过音频数据和语音气泡输出与包括几个人的图像相关的信息的示例；

图9示出根据本发明的各个实施例的读取优先级设置屏幕的示例；

图10示出了根据本发明的各个实施例的阅读声音设置屏幕的示例；

图11示出了根据本发明的各个实施例的电子设备提供日程管理服务的过程的示例；

图12示出了根据本发明的各个实施例的电子设备提供简档搜索服务的过程的示例；

图13a至13d是示出根据本发明的各个实施例的由电子设备处理多媒体数据的方法的示例的操作的流程图；和

图14是示出根据本发明的各个实施例的由电子设备处理多媒体数据的方法的另一示例的操作的流程图。

具体实施方式

在下文中，将参照附图描述本发明的各种实施例。本发明可以具有各种实施例，并且可以在其中进行修改和改变。因此，将参考附图中所示的具体实施例详细描述本发明。然而，应当理解，没有意图将本发明的各种实施例限制于本文公开的特定实施例，而是本发明应当被解释为覆盖落入本发明的各种实施例的精神和范围内的所有修改、等同物和/或替换。结合附图的描述，相同的附图标记表示相同的元件。

在本发明中，表述“包括”或“可包括”是指对应的功能、操作或元件的存在，并且不限制一个或多个附加的功能、操作或元件。此外，如在本发明的各种实施例中所使用的，术语“包括”、“具有”及其变形仅旨在表示特定特征、数字、步骤、操作、元件、组件或其组合，不应解释为最初排除一个或多个其它特征、数字、步骤、操作、元件、组件或其组合的存在或添加的可能性。

此外，如在本发明的各种实施例中所使用的，表达“或”包括在一起列举的单词的任何或所有组合。例如，表达“A或B”可以包括A，可以包括B，或者可以包括A和B。虽然包括序数的表达，诸如“第一”和“第二”，如在本发明的各种实施例中使用的本发明可以修改各种构成元件，但是这些构成元件不限于上述表达方式。例如，上述表述不限制元素的顺序和/或重要性。上述表述仅用于区分元件与其它元件的目的。例如，第一用户设备和第二用户设备指示不同的用户设备，尽管它们两者都是用户设备。例如，第一元件可以被称为第二元件，并且类似地，第二元件也可以被称为第一元件，而不脱离本发明的范围。

在元件被称为“连接”或“接入”到其他元件的情况下，应当理解，不仅该元件直接连接或接入到其它元件，而且在它们之间可以存在另一个元件。相反，当元件被称为“直接耦合”或“直接连接”到任何其它元件时，应当理解，在它们之间没有元件。

在本发明的各种实施例中使用的术语仅仅是为了描述特定实施例的目的，并且不旨在限制本发明的各种实施例。如本文所使用的，单数形式也旨在包括复数形式，除非上下文另有明确指示。

除非另有定义，本文使用的所有术语，包括技术术语和科学术语，具有与本发明的各种实施例所属领域的普通技术人员通常理解的相同的含义。在通常使用的字典中定义的那些术语应被解释为具有与相关领域中的上下文含义相同的含义，并且不应被解释为具有理想的或过度形式的含义，除非在各种实施例中清楚地定义本发明。

根据本发明的各个实施例的电子设备可以是包括通信功能的设备。例如，电子设备可以包括智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、照相机、可穿戴设备(例如，诸如电子眼镜的头戴式设备、电子手镯、电子项链、电子配件、电子纹身或智能手表)。

根据一些实施例，电子设备可以是具有通信功能的智能家用电器。智能家电可以包括例如电视、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、电视盒(例如，三星的HomeSync TM、Apple TV TM或Google TV TM)、游戏控制台、电子词典、电子钥匙、摄像机或电子相框。

根据一些实施例，电子设备可以包括各种医疗器械(例如，磁共振血管造影术(MRA)、磁共振成像(MRI)、计算机断层摄影(CT)和超声波机)，导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、船舶电子设备(例如船舶导航设备和陀螺罗盘)、航空电子设备、安防设备、车辆头单元(vehicle head unit)、工业或家庭机器人、银行系统的自动取款机(ATM)和商店的销售点(POS)。

根据一些实施例，电子设备可以包括家具的一部分或具有通信功能的建筑物/结构、电子板、电子签名接收设备、投影仪和各种测量仪器(例如，水表、电表、气表、无线电波表等)中的至少一个。根据本发明的各个实施例的电子设备可以是上述各种设备中的一个或多个的组合。此外，根据本发明的各个实施例的电子设备可以是柔性设备。此外，对于本领域技术人员显而易见的是，根据本发明的各种实施例的电子设备不限于上述设备。

在下文中，将参照附图描述根据本发明的各个实施例的电子设备。在本发明的各种实施例中使用的术语“用户”可以指示使用电子设备的用户或使用电子设备的设备，诸如人工智能电子设备。

图1a示出了包括根据本发明的各种实施例的电子设备101的网络环境100。图1b示出了根据本发明的各种实施例的多媒体接口170的配置的示例。

参考图1，电子设备101可以包括总线110、处理器120、存储器130、输入/输出接口140、显示器150、通信接口160、多媒体接口170和传感器接口180。

参考图1b，多媒体接口170可以包括例如用于处理数据以记录或再现各种类型的多媒体数据(诸如静止图像或动态图像)的数据处理器170A；将文本转换为声音的TTS(文本到声音)转换器170B，用于输出与多媒体数据相关的信息作为音频数据；以及用于通过对多媒体数据的图像的图像扫描来识别人的脸部的脸部识别单元170C。

多媒体接口170的一部分或整体可以被包括在处理器120中或者作为单独的元件与处理器120交互工作。

总线110可以是互连上述元件并在上述元件之间传递通信(例如，控制消息)的电路。处理器120可以通过总线110接收例如来自其他元件(例如，存储器130、输入/输出接口140、显示器150和通信接口160)的指令，分析所接收的指令，并执行根据分析的指令进行计算或数据处理。

存储器130可以存储从处理器120或其他元件(例如，输入/输出接口140、显示器150和通信接口160)接收或由其创建的指令或数据。存储器130可以包括编程模块，例如，内核131、中间件132、应用编程接口(API)133、应用134等。上述编程模块中的每一个可以由软件、固件、硬件或其至少两个的组合形成。

内核131可以控制或管理用于执行在剩余的其他编程模块(例如中间件132、API 133或应用程序134)中实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130)。此外，内核131可以提供接口，通过该接口中间件132、API 133或应用134可以在访问各个组件时控制或管理电子设备101的各个组件。

中间件132可以执行允许API 133或应用134与内核131通信以与其交换数据的中继功能。此外，与从应用134接收的任务请求相关联，中间件132可以通过使用例如向应用程序134中的至少一个分配方法来控制(例如，调度或负载平衡)任务请求、用于使用电子设备101的系统资源(例如，总线110，处理器120，存储器130等)的优先级。

API 133是应用134可以通过其控制由内核131或中间件132提供的功能的接口，并且可以包括用于文件控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，指令)。

根据本发明的各种实施例，应用134可以包括短消息服务(SMS)/多媒体消息服务(MMS)应用、电子邮件应用、日历应用、报警应用、健康护理应用(例如，用于测量运动量或血糖的应用)和环境信息应用(例如，用于提供大气压、湿度、温度等的应用)。附加地或替代地，应用134可以是与电子设备101和外部电子设备(例如，电子设备104)之间的信息交换相关的应用。与信息交换有关的应用可以包括例如用于将预定信息传送到外部电子设备的通知中继应用或用于管理外部电子设备的设备管理应用。

例如，通知中继应用可以包括将在电子设备101的其他应用(例如，SMS/MMS应用、电子邮件应用、健康管理应用、环境信息应用等)中生成的通知信息传送到外部电子设备(例如，电子设备104)。附加地或替代地，通知中继应用可以从例如外部电子设备(例如，电子设备1024)接收通知信息，并且可以向用户提供接收到的通知信息。设备管理应用可以管理(例如，安装、删除或更新)例如与电子设备101通信的外部电子设备(例如，电子设备104)的至少一部分的功能(例如，打开/关闭外部电子设备本身(或其某些元件)或调整显示器的亮度(或分辨率)，管理在外部电子设备中操作的应用或从外部电子设备提供的服务(例如，电话呼叫服务或消息服务)。

根据本发明的各种实施例，应用134可以包括根据外部电子设备(例如，电子设备104)的属性(例如，电极装置的类型)指定的应用。例如，当外部电子设备是MP3播放器时，应用134可以包括与音乐的再现相关的应用。类似地，当外部电子设备是移动医疗器械时，应用134可以包括与保健相关的应用。根据实施例，应用134可以包括指定给电子设备101的应用和从外部电子设备(例如，服务器106或电子设备104)接收的应用中的至少一个。

输入/输出接口140可以将通过输入/输出设备(例如，传感器、键盘或触摸屏)从用户输入的指令或数据例如通过总线110传送到处理器120、存储器130和通信接口160。例如，输入/输出接口140可以向处理器120提供用于通过触摸屏的用户触摸输入的数据。另外，通过输入/输出装置(例如，扬声器或显示器)，输入/输出接口140可以通过总线110输出从处理器120、存储器130或通信接口160接收的指令或数据。例如，输入/输出接口140可以通过扬声器将通过处理器120处理的语音数据输出到用户。

显示器150可以向用户显示各种信息(例如，多媒体数据或文本数据)。通信接口160可以连接电子设备101和外部电子设备(例如，电子设备104或服务器106)之间的通信。例如，通信接口160可以通过无线通信或有线通信连接到网络162以与外部设备通信。无线通信可以包括例如Wi-Fi、蓝牙(BT)、近场通信(NFC)、全球定位系统(GPS)和蜂窝通信(例如，LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro、GSM等)中的至少一个。此外，有线通信可以包括例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)和普通老式电话服务(POTS)中的至少一个。

根据本发明的实施例，网络162可以是电信网络。通信网络可以包括计算机网络、因特网、物联网和电话网络中的至少一个。根据实施例，用于电子设备101和外部设备之间的通信的协议(例如，传输层协议、数据链路层协议或物理层协议)可以由应用134、应用程序编程接口133、中间件132、内核131和通信接口160中的至少一个支持。

图2是根据本发明的各个实施例的电子设备201的框图。电子设备201可以形成例如图1所示的电子设备101的一部分或全部。如图2所示，电子设备201可以包括至少一个应用处理器(AP)210、通信模块220、订户识别模块(SIM)卡224、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电动机298。

AP 210可以通过驱动操作系统或应用程序来控制连接到AP 210的多个硬件或软件元件，并且处理包括多媒体数据的各种类型的数据并执行计算。AP 210可以被实现为例如片上系统(SoC)。根据实施例，AP 210还可以包括图形处理单元(GPU)(未示出)。

通信模块220(例如，通信接口160)可以在电子设备201(例如，电子设备101)和其他电子设备(例如，电子设备104和服务器106)之间的通信中执行数据发送/接收。根据实施例，通信模块220可以包括蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227、NFC模块228和射频(RF)模块229。

蜂窝模块221可以通过通信网络(例如，LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro或者GSM)来提供语音呼叫、视频呼叫、短消息服务(SMS)。此外，蜂窝模块221可以使用例如订户识别模块(例如，SIM卡224)来执行通信网络中的电子设备的识别和认证。根据一个实施例，蜂窝模块221可以执行可以由AP 210提供的至少一些功能。例如，蜂窝模块221可以执行至少一些多媒体控制功能。

根据本发明的实施例，蜂窝模块221可以包括通信处理器(CP)。此外，蜂窝模块221可以实现为例如SoC。在图2中，诸如蜂窝模块221(例如，通信处理器)、存储器230和电源管理模块295的元件被示为与AP 210分离。然而，根据实施例，AP 210可以被实现为包括前述元件(例如，蜂窝模块221)中的至少一些。

根据本发明的实施例，AP 210或蜂窝模块221(例如，CP)可以加载从非易失性存储器和与其连接的其它组件中的至少一个接收的指令或数据到易失性存储器中，以及处理加载的指令或数据。此外，AP 210或蜂窝模块221可以在非易失性存储器中存储从至少一个其他组成元件接收或生成的数据。

Wi-Fi模块223、BT模块225、GPS模块227和NFC模块228可以包括例如用于处理通过相应模块发送/接收的数据的处理器。在图2中，蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227和NFC模块228被示出为分离的块。然而，根据实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227和NFC模块228中的至少一些(例如，两个或更多个)可以被包括在一个集成芯片(IC)或一个IC封装。例如，与蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227和NFC模块228对应的处理器中的至少一些(例如，对应于蜂窝模块221的通信处理器和对应于Wi-Fi模块223的Wi-Fi处理器)可以实现为一个SoC。

RF模块229可以发送/接收数据，例如RF信号。虽然未示出，但是RF模块229可以例如包括收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)等。此外，RF模块229还可以包括用于在无线通信的自由空间中发送和接收电磁波的部件，例如导体、导线等。虽然蜂窝模块221、Wi-Fi模块223、BT模块225、NFC模块227和GPS模块228共享图2中的一个RF模块229，但是，根据实施例，蜂窝模块221、Wi-Fi模块223、BT模块225、NFC模块227和GPS模块228中的至少一个可以通过单独的RF模块发送/接收RF信号。

SIM卡224可以是包括订户识别模块的卡，并且可以插入形成在电子设备的特定部分中的槽中。SIM卡224可以包括唯一的标识信息(例如，集成电路卡标识符(ICCID))或订户信息(例如，国际移动订户标识符(IMSI))。

存储器230(例如，存储器130)可以包括内部存储器232或外部存储器234。内部存储器232可以包括例如易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)和同步动态RAM(SDRAM))和非易失性存储器(例如，一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除和可编程ROM EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪速ROM、NAND闪速存储器和NOR闪速存储器)中的至少一个。

根据实施例，内部存储器232可以是固态驱动器(SSD)。外部存储器234还可以包括闪存驱动器，例如紧凑型闪存(CF)、安全数字(SD)、微安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极速数字(xD)、记忆棒等。外部存储器234可以通过各种接口在功能上与电子设备201连接。根据实施例，电子设备201还可以包括诸如硬盘驱动器的存储设备(或存储介质)。

传感器模块240可以测量物理量或检测电子设备的操作状态，并且可以将测量或检测的信息转换为电信号。传感器模块240可以包括例如姿势传感器240A、陀螺仪传感器240B、大气压力传感器240C、磁性传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如，红色、绿色和蓝色(RGB)传感器)、生物传感器240I、温度/湿度传感器240J、照度传感器240K和紫外(UV)传感器240M中的至少一个。附加地或替代地，传感器模块240可以包括例如E鼻传感器(未示出)、肌电图(EMG)传感器(未示出)、脑电图(EEG)传感器(未示出)、心电图(ECG)传感器(未示出)、红外(IR)传感器(未示出)、光圈传感器(未示出)和指纹传感器(未示出)。传感器模块240还可以包括用于控制其中包括的一个或多个传感器的控制电路。

输入设备250可以包括触摸面板252、(数字)笔传感器254、按键256或超声波输入设备258。触摸面板252可以检测例如电容性类型、电阻型、红外型或超声波型中的至少一个类型的触摸输入。此外，触摸面板252还可以包括控制电路。在电容型触摸面板的情况下，物理接触或接近检测是可能的。触摸面板252还可以包括触觉层。在这种情况下，触摸面板252可以向用户提供触觉响应。

(数字)笔传感器254可以例如使用与接收用户的触摸输入相同或相似的方法或使用单独的识别片(sheet)来实现。按键256可以包括例如物理按钮、光学键或键盘。超声输入设备258可以通过利用产生超声信号的输入单元通过电子设备201的麦克风(例如，麦克风288)检测声波来识别数据，并且可以执行无线检测。根据实施例，电子设备201还可以通过使用通信模块220从连接到其的外部设备(例如，计算机或服务器)接收用户输入。

显示器260(例如，显示器150)可以包括面板262、全息设备264或投影仪266。面板262可以是例如液晶显示器(LCD)和有源矩阵有机发光器件二极管(AM-OLED)显示器等。面板262可以被实现为例如柔性的、透明的或可佩戴的。面板262可以与触摸面板252集成以配置一个模块。全息图装置264可以通过使用光的干涉在空中显示立体图像。投影仪266可以将光投射到屏幕上以显示图像。屏幕可以位于例如电子设备201的内部或外部。根据实施例，显示器260还可以包括用于控制面板262、全息设备264或投影仪266的控制电路。

接口270可以包括例如高清晰度多媒体接口(HDMI)272、通用串行总线(USB)274、光学接口276或D超小型(D-sub)278。接口270可以被包括在例如图1所示的通信接口160中。附加地或替代地，接口270可以包括例如移动高清晰度链路(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外数据协会(IrDA))标准接口。

音频模块280可以双向地转换声音和电子信号。音频模块280的至少一些元件可以包括在例如图1所示的输入/输出接口140中。音频模块280可以处理通过例如扬声器282、接收器284、耳机286、麦克风288等输入或输出的声音信息。

相机模块291是可以拍摄静止和运动图像的设备，并且根据实施例，可以包括一个或多个图像传感器(例如，前传感器或后传感器，未示出)、镜头(未示出)、图像信号处理器(ISP)(未示出)或闪光灯(例如，LED或氙气灯，未示出)。电源管理模块295可以管理电子设备201的电源。虽然未示出，但电源管理模块295可以包括例如电源管理集成电路(PMIC)、充电器集成电路(IC)或电池或量度表。

PMIC可以安装在例如集成电路或SoC半导体中。充电方法可以分为有线充电和无线充电。充电器IC可以对电池充电并防止来自充电器的过大电压或过大电流流入。根据实施例，充电器IC可以包括用于有线充电和无线充电中的至少一个的充电器IC。无线充电的示例可以包括磁共振充电、磁感应充电和电磁充电，并且可以添加诸如线圈回路、谐振电路、整流器等的附加电路用于无线充电。

电池量表可以测量例如电池296的剩余量或充电期间的电压、电流或温度。电池296可以存储或产生电力，并且可以通过使用所存储或产生的电力来向电子设备201供电。电池696可以包括例如可再充电电池或太阳能电池。

指示器297可以显示电子设备201或电子设备的一部分(例如，AP 210)的特定状态，例如，引导状态、消息状态、充电状态等。电机298可以将电信号转换为机械振动。虽然未示出，但是电子设备201可以包括用于支持移动TV的处理单元(例如，GPU)。用于支持移动TV的处理单元可以根据数字多媒体广播(DMB)、数字视频广播(DVB)、媒体流等的标准来处理媒体数据。

根据本发明的各种实施例的电子设备的上述元件中的每一个可以由一个或多个组件形成，并且相应元件的名称可以根据电子设备的类型而变化。根据本发明的各种实施例的电子设备可以包括上述元件中的至少一个，并且可以排除一些元件或者还包括其他附加元件。此外，根据本发明的各种实施例的电子设备的一些元件可以耦合以形成单个实体，同时在耦合之前执行与相应元件的功能相同的功能。

在下文中，将详细描述根据本发明的各种实施例的由电子设备处理多媒体数据的方法及其电子设备。根据本发明的各个实施例的电子设备可以是各种类型的电子设备，诸如智能电话、平板个人计算机(PC)等，并且可以被配置为包括图1a、1b和2所述的部件的一些或全部。

根据本发明的各种实施例，当存储多媒体数据时，电子设备101可以获取与多媒体数据相关的信息，存储所获取的与多媒体数据链接的信息，并且当选择多媒体数据时，输出所存储的信息以通过音频数据与多媒体数据链接。

根据本发明的各种实施例，当选择多媒体数据时，电子设备101可以获取与多媒体数据相关的信息，然后通过音频数据输出获取的信息以与多媒体数据链接。

根据本发明的各种实施例，与多媒体数据相关的信息可以包括文件类型，天气、类别、人名和亮度中的至少一个，并且可以基于从多媒体数据提取的人脸特征信息和通过执行人的脸部识别应用从存储在电子设备中的简档信息中提取的人的脸部特征信息获取人的姓名信息。

根据本发明的各个实施例，可以通过根据上下文特定优先级改变顺序的音频数据以及通过组合或连接多个的元素形成的句子的音频数据中的至少一个来输出所存储的信息。

根据本发明的各种实施例，电子设备101可以在多媒体数据的图像上重叠地显示与多媒体数据相关的信息，并且当选择在多媒体数据的图像上重叠显示的信息时，电子设备101可以提供与所选信息相关的附加服务。

图3示出根据本发明的各种实施例的多媒体数据文件的配置。参考图3，多媒体数据文件300可以包括各种类型(诸如静止图像或动态图像)的多媒体数据301以及与多媒体数据相关的标签信息302。

标签信息302可以包括例如属性信息302a和附加信息302b，属性信息302a可以对应于指示例如多媒体数据的属性的信息，并且可以包括文件类型302a-1、亮度302a-2或类别302a-3。

附加信息302b可以对应于例如另外解释多媒体数据的图像的信息，并且可以包括当多媒体数据文件300被存储时的日期302b-1、位置302b-2、天气302b-3或对应于指示多媒体数据的图像内的人的脸的“谁”302b-4的人的姓名。

附加信息302b可以包括在例如标签信息302中，或者可以作为与多媒体数据相关联的单独的日志信息存储在电子设备内部或外部。

当存储多媒体数据文件300时，可以通过电子设备101内的每个操作模块获取附加信息302b，然后将其存储在标签信息或日志信息中。当再现多媒体数据文件300时，可以在标签信息或日志信息中搜索附加信息302b，然后与多媒体数据301的图像一起作为音频数据再现。

附加信息302b可以与多媒体数据301的图像一起由各种类型的子屏幕重叠显示。此外，附加信息302b可以与属性信息302a一起作为音频数据输出，或者由子屏幕重叠显示。

当用户选择预定的一条重叠显示的属性信息或附加信息时，电子设备101可以根据所选择的信息提供各种附加服务，诸如通信服务、日程管理服务或者简档搜索服务。

图4示出了根据本发明的各个实施例的电子设备执行脸部识别操作的处理的示例。例如，电子设备101的处理器120可以安装并执行可以通过图像扫描操作识别人的面部的面部识别应用。

面部识别应用可以对多媒体数据的图像执行图像扫描操作，并提取包括在图像中的人的面部的特征信息。

面部识别应用可以从存储在电子设备101中的多个人的简档中搜索例如图像(例如，照片)作为联系人信息，然后提取包括在每个图像中的人的面部的特征信息。

处理器120可以比较提取的人的面部特征信息，在简档信息中搜索与包括在多媒体数据的图像中的人相同或相似的人的姓名，然后存储找到的要与多媒体数据文件的标签信息链接的姓名作为附加信息。

参考图4，当执行面部识别应用并且执行针对多媒体数据400的图像的图像扫描操作时，第一指示器400a可以重叠地显示在图像中包括的人的面部上，例如图4的男人的面部，并且第二指示器400b可以重叠地显示在图4的女人的脸上。

此外，图4的联系人信息410可以包括：简档信息410a，简档信息410a包括其上重叠显示第一指示器400a的男人的照片和姓名(例如，Tom)；以及简档信息410b，简档信息410b包括其上重叠显示第二指示器400b的女人的照片和名字(例如，Alice)。

因此，处理器120可以将从图像400提取的面部特征信息与从简档信息410提取的面部特征信息进行比较，搜索匹配或类似的特定人的姓名(例如，Tom或Alice)，以及存储所找到的特定人的姓名作为附加信息。

图5示出根据本发明的各种实施例的电子设备通过音频数据和子屏幕输出与图像相关的信息的示例。当再现多媒体数据文件300时，电子设备101的处理器120可以显示多媒体数据301的图像，并且还输出包括在多媒体数据文件300的标签信息302中的属性信息302a和附加信息302b作为音频数据，以便当多媒体数据的图像输出时一起输出声音。

此外，处理器120可以通过对属性信息和附加信息中的至少一个进行信号处理，然后在多媒体数据的图像上重叠地显示子屏幕，来产生各种类型的子屏幕。

参考图5，处理器120可以通过再现多媒体数据文件300来显示包括男人的脸部和女人的脸部的图像500，并且从多媒体数据文件300的标签信息302提取属性信息302a和附加信息302b，以输出提取的信息作为音频数据。

这里，指示正在输出音频数据的扬声器形状的图标501可以重叠地显示在显示的屏幕上，并且音频数据可以是例如由用户选择的语音或根据预定顺序、语调或发音通过其读取的文件类型、照片、日期、位置、天气、从标签信息中提取的类别、人名或亮度的音频数据。

此外，用于可视地显示例如文件类型、照片、日期、位置、天气、类别、人名或亮度的子屏幕502可以重叠地显示在图像500上。

这里，可以根据用户的选择或预定的亮度、透明度或颜色来不同地显示子屏幕502，并且可以与音频数据一起输出或者与音频数据分开地输出子屏幕502。

图6示出根据本发明的各个实施例的电子设备通过音频数据和语音气泡输出与图像相关的信息的示例。当多媒体数据文件300被再现时，电子设备101的处理器120可以显示多媒体数据301的图像，并且还可以对图像执行图像扫描操作以识别人的面部。

处理器120可以通过音频数据和语音气泡输出与图像相关的信息。参考图6，处理器120可以对图像600执行图像扫描操作以识别包括在图像600中的男人的脸部和女人的脸部。

处理器120可以重叠地显示男人的面部上的第一指示器600a和女人的面部上的第二指示器600b，并且可以通过音频数据输出与图像600相关的属性信息和附加信息，以输出声音。

处理器120可以重叠地显示指示正在输出音频数据的扬声器形状的图标601、在图像600上指示男人的脸部附近的男人的姓名(例如，Tom)的语音气泡602a和指示女人的脸部附近的女人姓名(例如，Alice)的语音气泡602b。

这里，可以根据用户的选择或预定形状、透明度、颜色或亮度来不同地重叠地显示图标601和语音气泡602a和602b。

图7示出根据本发明的各种实施例的电子设备输出与用户通过音频数据和语音气泡选择的缩略图图像有关的信息的示例。电子设备101的处理器120可以通过多个缩略图图像显示例如存储在电子设备101中的多张照片。

参考图7，当用户选择预定缩略图图像700时，处理器120可以在屏幕上显示与缩略图图像相对应的照片图像710，搜索与所显示的照片图像相关的信息720，然后通过音频数据和语音气泡多样化地输出所述信息。

可以在显示在屏幕上的照片图像710上重叠地显示扬声器形状的图标710a、指示器710b和710c以及指示人的姓名的语音气泡710d。

这里，音频数据可以是通过其读取各种信息(例如，文件类型、日期、位置、天气、类别、人的姓名和亮度)的声音。当没有识别到面部或者检测到名字不可知的人时，可以输出读出“发现Jina和一个人”的声音。

图8示出根据本发明的各种实施例的电子设备通过音频数据和语音气泡输出与包括多个人的图像相关的信息的示例。当显示诸如包括例如几个人的照片图像的图像时，电子设备101的处理器120可以根据用户的选择或者预定的顺序和方法来不同地读取几个人的姓名。

参考图8，当通过图像800显示包括例如五个人的照片图像时，处理器120可以分别重叠地显示五个人的面部上的指示器，并且通过语音气泡810a至810e重叠地显示五个人的姓名。

处理器120可以在图像800上重叠地显示扬声器形状的图标801，并通过音频数据输出与图像相关的信息。这里，可以根据用户的选择或预定的顺序和方法来不同地读取五个人的姓名(例如，Tom，Alice，爸爸，妈妈和John)。

例如，基于作为电子设备101的所有者的用户自己，可以首先读取靠近用户的人的名字或者可以首先读取位于特定方向的人的名字(例如，顺时针方向或逆时针方向)。

此外，可以首先根据较大面部大小的顺序读取面部被识别为最大的人的姓名，或者可以首先读取基于与家人、朋友或同事的亲密度而确定的人的姓名。

图9示出根据本发明的各种实施例的读取优先级设置屏幕的示例。例如，当通过音频数据读取包括在图像中的几个人的姓名时，电子设备101的处理器120可以根据用户的选择或预定优先级来不同地读取姓名。

参考图9，处理器120可以显示例如作为用户选择菜单屏幕之一的读取优先级设置屏幕900。读取优先级设置屏幕900可以包括各种用户选择项。例如，可以包括诸如用户自己、家人、朋友/同事、最近联系人的数量、方向基准、距离基准和面部尺寸基准的各种选择项目

用户可以通过例如读取优先级设置屏幕将用户自己设置为具有第一优先级，家人具有第二优先级，朋友/同事具有第三优先级，面部尺寸基准具有第四优先级，并且方向基准具有第五优先级。在这种情况下，处理器120可以根据优先级通过音频数据读取几个人的姓名。

这里，处理器120可以参考各种简档信息(诸如存储在电子设备中并由其管理的联系人信息或社交网络服务(SNS)信息)来确定几个人的姓名作为用户自己、家人或朋友/同事。

图10示出了根据本发明的各种实施例的阅读声音设置屏幕的示例。例如，当通过音频数据读取包括在图像中的几个人的姓名时，电子设备101的处理器120可以根据用户的选择或预定的语音、语调或速度来不同地读取姓名。

参考图10，处理器120可以显示例如作为用户选择菜单屏幕之一的阅读声音设置屏幕1000。阅读声音设置屏幕1000可以包括各种用户选择项目。例如，可以包括诸如男声、女声、文学风格、口语风格、标准语言、方言和讲话速度的各种选择项目1001a至1001h。

用户可以通过阅读声音设置屏幕1000将男声、口语风格和标准语言设置为阅读声音。在这种情况下，处理器120可以通过满足条件的声音来不同地读取与图像相关的信息的男声、口语风格和标准语言。

图11示出了根据本发明的各种实施例的电子设备提供日程管理服务的过程的示例。例如，当显示图像1100时，电子设备101的处理器120可以在图像1100上重叠地显示扬声器形状的图标1101和示出与图像有关的信息的子屏幕1102。当在图像上重叠地显示预定的信息由用户选择时，处理器120可以提供与所选择的信息相对应的各种附加服务。

参考图11，当用户从在图像1100上重叠显示的信息中选择日期信息时，处理器120可以通过显示显示所选择的日期的日程计划器来允许用户更方便地使用日程管理服务。

这里，重叠显示在图像上的日期信息可以由用户通过例如触摸动作方便地选择，并且可以包括用于与日程计划器的链接的链接信息。

图12示出了根据本发明的各种实施例的电子设备提供简档搜索服务的过程的示例。例如，当显示图像1200时，电子设备101的处理器120可以在图像1200上重叠地显示扬声器形状的图标1201和示出与图像有关的信息的子屏幕1202。当在图像上重叠地显示预定的信息由用户选择时，处理器120可以提供与所选择的信息相对应的各种附加服务。

参考图12，当用户从在图像1200上重叠显示的信息中选择人名(日期)信息时，处理器120可以通过显示所显示的选择名称的联系人1210的简档信息1210a来允许用户更方便地使用简档搜索服务。

这里，重叠地显示在图像上的名称信息可以由用户通过例如触摸动作方便地选择，并且可以包括要与简档链接的链接信息。用户可以基于链接到简档的电话号码方便地使用各种通信服务，例如呼叫服务、短消息服务(SMS)或社交网络服务(SNS)。

图13a至13d是示出根据本发明的各种实施例的由电子设备处理多媒体数据的方法的操作的流程图。如上面参考图1A和1B所述的，包括在多媒体接口170中的数据处理器170a、TTS转换器170b和面部识别单元170c中的一些或全部可以被包括在处理器120中，或者可以作为单独的元件与处理器120交互工作。作为本发明的各种实施例之一，作为示例详细描述了多媒体接口170被包括在处理器120中的情况。

参考图13a，当存储多媒体数据时，在操作1300，处理器120可以从外部下载多媒体数据，例如静止图像或动态图像，并存储下载多媒体数据，或者可以通过相机拍摄对象，并将拍摄的对象存储为多媒体数据。

在操作1301中，处理器120可以获取与多媒体数据相关的各条附加信息，并且在操作1302中存储所获取的与多媒体数据的属性信息链接的附加信息。

例如，当获取附加信息需要很长时间时，处理器120可以首先存储多媒体数据，然后，当获取与存储的多媒体数据相关的附加信息时，存储彼此链接的多媒体数据的属性信息和附加信息。这里，当电子设备进入空闲状态时，可以执行获取附加信息的操作。

相反，当不花费长时间来获取附加信息时，处理器120可以获取附加信息，并且在存储多媒体数据时，存储彼此链接的多媒体数据的属性信息和附加信息。

当在操作1303中选择多媒体数据时，处理器120可以在操作1304中搜索多媒体数据的属性信息和与属性信息链接的存储的附加信息，并且在操作1305，通过音频数据输出找到的属性信息和附加信息。

也就是说，处理器120可以在选择多媒体数据的同时通过音频数据一起再现和输出多媒体数据的一个或多个属性信息和附加信息，使得用户可以观看多媒体数据的再现图像，通过音频数据同时收听各种相关信息。在下文中，将详细描述获取与多媒体数据相关的附加信息的操作1301。

参考图13b，处理器120可以在操作1301a获取在电子设备101的屏幕上显示的当前时间信息，在操作1301b获取电子设备101的当前位置信息，以及在操作1301c获取当前天气信息。

例如，处理器120可以通过使用包括在图2的通信模块220中的GPS模块、Wi-Fi模块、BT模块和蜂窝模块中的至少一个来获取电子设备101的当前位置信息和当前天气信息。

在操作1301d，处理器120可以识别包括在多媒体数据的图像中的人的面部，并且可以获取与识别的面部相对应的人的姓名信息。在下文中，将详细描述获取人的姓名信息的操作1301d。

参考图13c，处理器120可以在操作1301d-1中通过图像扫描操作执行用于识别人的脸部的应用，并且可以在操作1301d-2中通过该应用从多媒体数据的图像提取人的脸部特征信息。

处理器120可以通过对已经存储在电子设备中的信息(例如，在操作1301d-3中包括的联系人的简档信息中的照片)的图像扫描操作来提取人的面部特征信息。

在操作1301d-4中，处理器120可以比较提取的人的面部特征信息。当存在匹配或类似的人的面部特征信息时，在操作1301d-5，处理器120可以从简档信息提取匹配或类似人的姓名。在下文中，将详细描述通过音频数据输出属性信息和附加信息的操作1305之后的操作。

参考图13d，在操作1306中，处理器120可以生成一条或多条属性信息和附加信息作为子屏幕，并在多媒体数据的图像上重叠地显示子屏幕。

当在操作1307中用户选择重叠显示的属性信息或附加信息时，在操作1308，处理器120可以提供链接到所选信息的附加服务。

例如，当用户从重叠显示的信息中选择日期信息时，处理器120可以通过显示包括日期的日程计划器来向用户提供日程管理服务。当用户选择姓名信息时，处理器120可以通过显示包括姓名的简档信息来向用户提供简档搜索服务。

图14是示出根据本发明的各种实施例的由电子设备处理多媒体数据的方法的另一示例的操作的流程图。参考图14，当在操作1400中选择了多媒体数据时，处理器120可以从外部下载多媒体数据，例如静止图像或动态图像，并再现下载的多媒体数据，或者可以通过相机拍摄对象并选择多媒体数据。

在操作1401中，处理器120可以获取与多媒体数据相关的各条附加信息。例如，处理器120可以基于图2的通信模块220中包括的GPS模块、Wi-Fi模块、BT模块和蜂窝模块的至少一个获取电子设备101的当前位置信息和当前天气信息。

处理器120可以识别包括在多媒体数据的图像中的人的面部，并获取与所识别的面部相对应的人的姓名信息。在操作1402中，处理器120可以搜索获取的附加信息以及多媒体数据文件中的属性信息和附加信息，并且在操作1403中通过音频数据输出属性信息和附加信息。

也就是说，处理器120可以在选择多媒体数据的同时通过音频数据一起再现和输出多媒体数据的一个或多个属性信息和附加信息，使得用户可以观看多媒体数据的再现图像，通过音频数据同时收听各种相关信息。

根据本发明的各种实施例的权利要求或说明书中描述的方法可以通过硬件、软件或硬件和软件的组合来实现。在软件的实现中，可以提供用于存储一个或多个程序(软件模块)的计算机可读存储介质。存储在计算机可读存储介质中的一个或多个程序可以被配置为由电子设备内的一个或多个处理器120执行。至少一个程序可以包括使电子设备执行如由所附权利要求限定和/或在此公开的根据本发明的各种实施例的方法的指令。

程序(软件模块或软件)可以存储在非易失性存储器中，包括随机存取存储器和闪存、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、磁盘存储设备、压缩盘-ROM(CD-ROM)、数字通用盘(DVD)或其它类型的光学存储设备或磁带盒。或者，一些或全部的任何组合可以形成其中存储有程序的存储器。此外，在电子设备中可以包括多个这样的存储器。

另外，程序可以存储在可附接的存储设备中，其可以通过诸如因特网、内联网、局域网(LAN)、广域网(WLAN)和存储区域网络(SAN)或其组合的通信网络访问电子设备。这样的存储设备可以经由外部端口访问电子设备。此外，通信网络上的单独的存储设备可以访问便携式电子设备。

在如上所述的本发明的各种具体实施例中，根据所提出的具体实施例，包括在本发明中的一个或多个元件以单数形式或复数形式表示。然而，出于方便适于所呈现的情况的描述而选择单数形式或复数形式，并且本发明的各种实施例不限于单个元件或其多个元件。此外，在说明书中表示的多个元件可以被配置为单个元件，或者说明书中的单个元件可以被配置为多个元件。

同时，虽然在本发明的详细描述中已经参考本发明的具体实施例示出和描述了本发明，但是不言而喻，在不脱离本发明的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本发明的范围不应限于这些实施例，而应由所附权利要求及其等同物来限定。