用于提供信息的装置和方法与流程

文档序号:18755559发布日期:2019-09-24 22:15阅读:203来源:国知局
用于提供信息的装置和方法与流程

相关申请的交叉引用

本申请要求2014年7月31提交韩国知识产权局的韩国专利申请号为10-2014-0098633、2015年2月13日提交韩国知识产权局的韩国专利申请号为10-2015-0022720、和2015年3月31日提交韩国知识产权局的韩国专利申请号为10-2015-0044996的优先权,其全部内容通过引用结合在本申请中。

与示例性实施例一致的装置和方法涉及用于提供信息的装置和方法。



背景技术:

由于便携终端的快速普及,便携终端的使用在日常生活中变得重要。便携终端可以提供各种功能,诸如语音呼叫服务、数据传输服务和各种附加服务。

具体地,使用智能终端的用户之间的通信变得越来越流行。随着这种趋势,正在开发各种技术,用于提供用于通信的更便利的通信环境。

然而,现有技术不能利用用户的信息,例如用户的位置信息,提供定制化服务。



技术实现要素:

一个或多个示例性实施例提供一种方法和电子设备,用于通过考虑用户的位置信息提供用户感兴趣的信息,并用于获取用户感兴趣的信息。

一个或多个示例性实施例包括一种电子设备,该电子设备生成在用户使用应用的同时用户可能需要的查询、执行搜索操作、和获取感兴趣的信息。

附加方面将在随后的描述中部分地阐述,并且将部分地通过描述显而易见、或可以通过实施示例性实施例而获知。

根据示例性实施例的一方面,提供一种电子设备,该电子设备包括:显示器,配置为响应于应用的执行来显示一个或多个消息,该应用用于在该电子设备和另一电子设备之间交换一个或多个消息;和处理器,配置为从该一个或多个消息中提取关键词,用于通过使用该关键词和电子设备的位置信息来处理搜索查询。

该显示器可以进一步配置为显示图形用户界面(gui),该gui配置为接收关于该关键词的用户输入,以及处理器可以进一步配置为根据用户输入获取与搜索查询的结果相关的信息,以及该显示器可以进一步配置为显示该信息。

该处理器可以进一步配置为经由安装在该电子设备中的第二应用和因特网搜索服务中的至少一个来获取信息。

该处理器可以进一步配置为执行该第二应用、及通过输入该搜索查询到该第二应用来获取信息。

该显示器可以进一步配置为显示配置用以接收有关该关键词的用户输入的图形用户界面(gui)、及根据用户输入显示用于编辑该搜索查询的查询编辑窗口。

该显示器可以进一步配置为经由该查询编辑窗口显示由处理器确定的搜索查询,及接收用户对该搜索查询的编辑。

该处理器可以进一步配置为获取与根据接收到的编辑来编辑的搜索查询的结果相关的信息。

该处理器可以进一步配置为获取以下至少一个:通过使用包含在电子设备中的全球定位系统(gps)处理器而测量到的该电子设备的位置信息、和从一个或多个消息提取的电子设备的位置信息。

该处理器可以进一步配置为通过越过使用该gps处理器获取的位置信息的使用而优先从一个或多个消息中提取的位置信息的使用,来确定搜索查询。

该处理器可以配置为基于与该电子设备相关联的用户信息来确定搜索查询。

根据示例性实施例的一方面,提供一种在电子设备中提供信息的方法,该方法包括:响应于应用的执行来显示一个或多个消息,该应用用于在该电子设备和另一电子设备之间交换一个或多个消息;从该一个或多个消息中提取关键词;和使用该关键词和电子设备的位置信息来处理搜索查询。

该方法可以进一步包括接收关于该关键词的用户输入;和响应于该用户输入获取与该搜索查询的结果相关的信息;并显示该信息

该获取可以包括经由安装在该电子设备中的第二应用和因特网搜索服务中的至少一个来获取信息。

该获取可以包括执行该第二应用、和通过输入该搜索查询到该第二应用来获取信息。

该方法可以进一步包括接收有关该关键词的用户输入;和根据该用户输入显示用于编辑该搜索查询的查询编辑窗口。

该方法可以进一步包括经由该查询编辑窗口显示该搜索查询;和接收用户对该搜索查询的编辑。

该获取可以包括获取与根据接收到的编辑来编辑的搜索查询的结果相关的信息。

该方法可以进一步包括获取以下至少一个:通过使用包含在电子设备中的全球定位系统(gps)处理器而测量到的该电子设备的位置信息、和来自一个或多个消息的位置信息。

该确定可以包括通过越过使用该gps处理器获取的位置信息的使用而优先从一个或多个消息中提取的位置信息的使用来确定搜索查询。

该确定可以包括基于与该电子设备相关联的用户信息来确定搜索查询。

根据示例性实施例的一方面,提供一种电子设备,该电子设备可以包括:显示器,配置为显示被传输到另一电子设备或从其接收的消息;和处理器,配置为基于该消息确定关键词,并通过使用该关键词和用户信息来确定搜索查询。

该处理器可以进一步配置为通过使用之前的消息和在该显示器上显示的当前消息来确定该关键词。

该处理器可以进一步配置为通过使用该搜索查询来执行搜索操作,和控制该显示器显示该搜索操作的结果。

该处理器可以进一步配置为响应于关于显示在显示器上的关键词的用户输入而执行与该关键词相对应的搜索查询,和控制该显示器显示执行该搜索查询的结果。

该用户信息可以包括以下至少一个:该用户的电子设备的位置信息、该用户的通信历史信息、和该用户的搜索日志信息。

该处理器可以进一步配置为和该消息一起在该显示器上显示执行该搜索查询的结果。

该处理器可以进一步配置为控制该显示器在预设时间段经过后,以原始显示状态显示该关键词。

该显示器可以进一步配置为在一个或多个消息中区别地显示该关键词。

该方法可以进一步包括在一个或多个消息中区别地显示该关键词。

该显示器可以进一步配置为在消息中区别地显示该关键词。

根据示例性实施例的一方面,提供一种电子设备,该电子设备包括:

处理器,配置为从应用内容提取关键词,该应用内容在该电子设备和另一电子设备之间经由应用通信,基于该关键词生成搜索查询、和基于该搜索查询的结果获取信息;和输出接口,配置为在执行应用的同时提供已获取的信息到用户。

该应用可以包括执行文本聊天的应用、执行语音聊天的应用、和执行视频聊天的应用中的至少一个。

当执行语音聊天的应用和执行视频聊天的应用中的至少一个被执行时,该处理器可以进一步配置为通过使用语音到文本(stt)引擎来将语音信号转换成文本,并从经转换的文本中提取关键词。

该处理器可以包括自然语言处理器,该自然语言处理器配置为识别包含在内容的词的含义,以及该处理器可以进一步配置为确定是否基于已识别的词的含义来提取关键词。

该输出接口可以进一步配置为通过使用以下至少一个:转换应用执行屏幕、分区该应用执行屏幕、输出语音信号、执行发消息服务、执行电子邮件服务、执行社交网络服务(sns)、和执行应用服务,来将已获取的信息提供给用户。

该电子设备可以与第二电子设备交互操作,以及该处理器可以进一步配置为:通过在该第二电子设备中执行该应用,从该第二电子设备和该另一电子电子设备之间通信的内容提取关键词;基于该关键词生成该搜索查询;和基于执行该搜索查询的结果获取信息。以及,该输出接口配置为通该过电子设备提供已获取的信息给用户。

根据示例性实施例的一方面,提供一种电子设备,该电子装置包括:显示器;存储器,存储一个或多个命令;以及处理器,配置执行一个或多个命令以:显示第一应用的第一窗口,该第一窗口显示在该电子装置和外部电子装置之间交换的一个或多个文本消息,从该一个或多个文本消息选择关键词,显示关于选择的关键词的一个或多个推荐的应用,接收从一个或多个推荐的应用选择推荐的应用的用户输入,以及执行选择的推荐的应用。

根据示例性实施例的一方面,提供一种在电子装置中提供信息的方法,该方法包括:显示第一应用的第一窗口,该第一窗口显示在该电子装置和外部电子装置之间交换的一个或多个文本消息;从该一个或多个文本消息选择关键词;显示关于选择的关键词的一个或多个推荐的应用;接收从一个或多个推荐的应用选择推荐的应用的用户输入;以及执行选择的推荐的应用。

根据示例性实施例的一方面,提供至少一个用于存储计算机程序的非暂时计算机可读记录介质,当该计算机程序由计算机执行时,使得该计算机执行在电子装置中提供信息的方法。

附图说明

通过参考附图描述特定示例性实施例,上述和/或其他方面将变得更显而易见,其中:

图1a示出根据示例性实施例的电子设备的用户界面(ui);

图1b示出根据另一示例性实施例的电子设备的ui;

图2a示出根据示例性实施例的通过电子设备执行的提供信息的方法的流程图;

图2b示出根据另一示例性实施例的通过电子设备执行的提供信息的方法的流程图;

图2c示出根据再一示例性实施例的通过电子设备执行的提供信息的方法的流程图;

图3、4a-c、5、6a-c和7示出在通信期间经由发消息服务(messagingservice)提供的具体的ui环境;

图8、9a-b和10示出在通信期间经由语音聊天服务提供的具体的ui环境;

图11至15示出在通信期间经由邮件服务(mailingservice)提供的具体的ui环境;

图16至19示出在通信期间经由社交网络服务(sns)提供的具体的ui环境;

图20示出在使用日程安排服务的同时提供的具体的ui环境;

图21示出在使用词处理器应用(wordprocesserapplication)的同时提供的具体的ui环境;

图22a至22i示出这样的示例,其中当电子设备是智能电话或平板电脑(pc)并且用户通过使用该智能电话或平板pc进行文本聊天时,经由输出接口将通过该电子设备获取的信息提供给用户;

图23a至23e示出这样的示例,其中当电子设备是智能电话或平板pc并且用户通过使用该智能电话或平板pc进行语音聊天时,经由输出接口将通过该电子设备获取的信息提供给用户;

图24a至24f示出这样的示例,其中当电子设备是智能手表并且用户通过使用该智能手表进行文本聊天时,经由输出接口将通过该电子设备获取的信息提供给用户;

图25a和25b示出这样的示例,其中当电子设备是智能手表并且用户通过使用该智能手表和智能电话(该智能电话是与该智能手表互操作的电子设备)进行文本聊天时,经由输出接口将通过该电子设备获取的信息提供给用户;

图26a至26b示出这样的示例,其中当电子设备是智能手表并且用户通过使用该智能手表进行语音聊天时,经由输出接口将通过该电子设备获取的信息提供给用户;

图27a至27b示出这样的另一其他示例,其中当电子设备是智能眼镜并且用户通过使用该智能眼镜进行文本聊天时,经由输出接口将通过该电子设备获取的信息提供给用户;

图28a至28b示出这样的另一其他示例,其中当电子设备是智能眼镜并且用户通过使用该智能眼镜进行语音聊天时,经由输出接口将通过该电子设备获取的信息提供给用户;

图29a至29b示出这样的示例,其中当电子设备包括多种电子设备并且用户通过使用该电子设备经由语音聊天和文本聊天中的至少一个来与另一用户通信时,经由输出接口将通过该电子设备获取的信息提供给用户;

图30a-g和31a-b示出根据示例性实施例的通过电子设备提供的设置ui;

图32至35为示出根据示例性实施例的由电子设备执行的提供信息的方法的流程图;

图36示出根据示例性实施例的电子设备;

图37是示出根据另一示例性实施例的电子设备的框图;

图38示出图36和37中所示的自然语言处理器的配置;

图39为示出根据再一示例性实施例的电子设备的框图;

图40为示出根据示例性实施例的电子设备执行的用于识别实体操作的框图;

图41示出根据示例性实施例的在命名实体识别器识别实体之后,由该命名实体识别器所产生的表图;

图42为示出根据示例性实施例的由电子设备执行的获取用户输入的操作的框图;

图43为示出根据另一示例性实施例的由电子设备执行的获取用户输入的操作的框图;

图44为示出根据示例性实施例的用户终端设备的配置;

图45a为示出根据示例性实施例的用户终端设备的软件配置的框图;

图45b示出根据示例性实施例的由电子设备提供的用户设置屏幕;

图46示出根据另一示例性实施例的电子设备的ui;和

图47至50示出由该电子设备100提供的用于经由发消息服务的通信的ui的示例。

具体实施方式

以下参考附图更具体地描述特定示例性实施例,其中相同的附图标记始终指代相同的元件。在该方面,示例性实施例可以有不同的形式并且不应该被解释为限于在此阐述的描述。因此,下面仅通过参照附图来描述本示例性实施例,以说明本描述的各方面。为了便于说明,附图中的元件的尺寸可能被夸大。换句话说,由于为了便于说明而在附图中任意地示出组件的尺寸和厚度,所以下面的示例性实施例不限于此。

在此使用的包括描述和技术术语的所有术语应当被解释为具有对本领域的普通技术人员都显而易见的含义。然而,该术语可以根据本领域的普通技术人员的意图、先例或新技术的出现而具有不同的含义。此外,一些术语可以任意地由申请人选择,并且在这种情况下,将在本公开的具体描述中具体描述所选择的术语的含义。因此,这里所用的术语必须基于所述术语的含义和与整个说明书中的描述一起被定义。

整个说明书中,当部件“包括”或“包含”元件时,除非存在相反的特定描述,该部件能够进一步包括其他元件,并非不包括其他元件。整个说明书中,也将理解,当元件被称为与另一元件“连接”或“耦接”,其能够直接地连接到另一元件或与另一元件耦接,或者其能够通过具有插入其间的介入(intervening)元件电连接到另一元件或与与另一元件耦接。在下面的描述中,诸如“单元”、“模块”等的术语指用于处理至少一个功能或操作的单元,其中该单元或模块可以实现为硬件或软件,或通过结合硬件和软件实现.

整个说明书中,术语“用户”表示电子设备的用户。整个说明书中,通信服务意味一对一服务、一对多服务、或多对多服务,其利于用户之间交换信息,例如用户之间的对话。

整个说明书中,应用(application)指设计用以执行特定作业的计算机程序的集合。整个说明书中,应用可以变化。例如,该应用可以包括但不限于游戏应用、视频再现应用、地图应用、备忘录应用、日历应用、电话簿应用,广播应用,锻炼支持应用,支付应用,照片文件夹应用等。应用可以被称为“app”。

现在,将参考附图更全面描述本发明构思,在附图中示出示例性实施例。然而,本发明构思可以实现为不同形式并不应该被理解为限制于这里所阐述的示例性实施例;相反,提供这些示例性实施例使得本公开将是彻底的和完整的,并且使得本公开将充分地向本领域普通技术人员传达本发明构思。在下面的描述中,不详细描述公知的功能或结构,因为它们用不必要的细节模糊本公开。整个说明书中,相同的附图标记在附图中表示相同的元件。

如本文所使用的,术语“和/或”包括一个或多个相关联的所列项目中的任一个或所有组合。当在元件列表前,诸如“...中的至少一个”的表达修改元件的整个列表但不修改该列表中的单个元件。

整个说明书中,消息可以意味包括可以作为用户之间对话的一部分的词、短语和句子中的至少一个的单位文本集合或单位语音集合。

整个说明书中,关键词可以包括在消息中并可以意味与通过对该消息执行自然语言分析而获取的消息含义相关的词、短语和/或句子。

整个说明书中,查询可以意味词、短语,和句子中的至少一个,其作为用于搜索与查询条件相匹配的信息的对象。

图1a示出根据示例性实施例的电子设备100的用户界面(ui)。

电子设备100可以实现为智能电话、平板电脑(pc)、可穿戴设备、个人数字助理(pda)、膝上电脑、蜂窝电话、移动电话、企业数字助理(dea)、便携多媒体播放器(pmp)、个人导航设备(pnd)、手持游戏机、移动因特网设备(mid)、或电子书(e-book)。

整个说明书中,可穿戴设备可以包括带在头上的头载式显示器(hmd)。例如,hmd可以包括但不限于眼镜、头盔、帽等。整个说明书中,可穿戴设备可以包括戒指、项链、手链、鞋、耳环、发带、衣服、手套、顶针等。

根据示例性实施例的电子设备100可以经由通信服务在其屏幕上显示消息5、6、7和8。整个说明书中,消息可以意味着文本单位集合或语音单位集合,其是用户之间对话的一部分并在该电子设备100和另一电子设备之间作为一组序列换。例如,参考图1a,用户(克里斯)在2013年8月6日上午8:28传输消息7“你想要做什么?”给hyunjin。此外,例如,参考图1a,hyunjin在2013年8月6日上午8:30传输消息8“我想要吃披萨饼”。例如,在图1a中,包括在克里斯和hyunjin之间对话的每个发言泡(speechballoon)中的文本可以被定义为消息。

根据示例性实施例的电子设备100可以确定是否从消息提出关键词。根据示例性实施例的该电子设备100可以经由通信服务从在屏幕上显示的消息中提取至少一个关键词。例如,电子设备100可以从消息中的文本和图像提取至少一个关键词。例如,电子设备100可以从消息中附接的多媒体文件提取至少一个关键词。多媒体文件可以包括图片文件、视频文件和声音文件。该关键词可以被包括在消息中或者可以与该消息内容相关,和可以包括与该消息含义相关的词、短语和句子中的至少一个。例如,电子设备100可以提取“披萨饼”作为来自消息8的关键词。

根据示例性实施例的电子设备100可以显示提取的关键词。参考图1a,电子设备100通过使用下划线标记该关键词。可选地,通过改变字体、通过改变字体大小、通过高亮该关键词、通过对关键词进行加粗、通过闪烁关键词、通过阴影化关键词、或通过阴影化发言泡,电子设备100可以将关键词与来自消息8的其他内容相区别。

根据示例性实施例的电子设备100可以生成与从该消息提取的关键词相关的查询,并可以获取基于该查询的信息和该电子设备100的位置信息。该查询可以意味词、短语、和句子中的至少一个,其为用于搜索与查询条件相匹配的信息的对象。该查询可以与该关键词相关。该查询可以基于至少一个关键词来生成。

根据另一示例性实施例的电子设备100可以基于关键词和该电子设备100的位置信息生成查询。例如,该电子设备100可以经由基于关键词和该电子设备100的位置信息生成的查询获取信息,并可以显示该信息。

该电子设备100可以获取电子设备100中的信息或者可以获取从服务器检索的信息。该电子设备100可以从搜索引擎网站获取信息。

此外,该电子设备100可以提供由该电子设备100的处理器获取的信息。在一示例性实施例中,该信息在视觉上或听觉上提供给用户以被识别。例如,当用户触摸与消息8的其他内容相区别地标记的关键词时,电子设备100可以提供所获取的信息。

在示例性实施例中,无论来自用户的请求如何,电子设备100的处理器可以获取与消息8的其他内容相区别地标记的关键词相关的信息,并可以在该电子设备100的存储器(未示出)中存储该信息。此外,当用户触摸区别标记(例如,高亮)的关键词时,该电子设备100输出来自该电子设备100的存储器的信息并将该信息提供给用户,该信息被获取而无论来自用户的请求如何并被存储在电子设备100的存储器中。

在示例性实施例中,当用户触摸区别地标记(如,高亮)的关键词时,电子设备100的处理器获取与该关键词相关的信息并将该信息提供给用户而不将该信息存储在电子设备100的存储器中。

之后,将参考附图2a具体的描述通过电子设备100执行的提取关键词的方法、基于所提取的关键词生成查询的方法和基于查询和电子设备100的位置信息获取信息的方法。

图1b示出根据另一示例性实施例的电子设备100的ui。

根据示例性实施例的电子设备100可以提供由电子设备100的处理器所生成的查询。根据示例性实施例的电子设备100可以接收由用户编辑的查询。例如,用户通过对由处理器生成的第一查询进行编辑来组成(compose)第二查询,并将该第二查询输入到经由电子设备100的图形用户界面(gui)提供的查询编辑窗口1。用户可以将由处理器生成的第一查询当作第二查询输入到电子设备100。电子设备100可以基于经编辑的第二查询获取信息,并可以基于编辑的第二查询和电子设备100的位置信息来获取信息。

例如,如所示,电子设备100提供查询编辑窗口1,并提供词“披萨饼”作为查询的默认值。此外,电子设备100可以接收由用户编辑的查询,可以通过使用各种方法获取信息,并且可以提供所获取的信息给用户。参考图2a和2b,具体给出关于电子设备100的操作的详细描述。

下文,说明电子设备100的操作。

图2a示出了根据示例性实施例的提供信息的方法的流程图,该方法由电子设备100执行,并且对应于图1a描述该方法。

图2a示出根据示例性实施例的方法的流程图,该方法通过电子设备执行并对应于图1a来描述。

参考图2a,电子设备100的处理器经由通信服务从在该电子设备100的屏幕上显示的消息中提取关键词(s110)。由处理器使用以提取关键词的方法可以包括如表1中所示的语义分析和/或统计分析。

表1

【1.关键词提取】

例如,如图1a和1b所示,在屏幕上显示的消息可以是“你想要做什么?”(第一消息7)和“我想要吃披萨饼”(第二消息8)。处理器分析第一和第二消息7和8的含义,并从第二消息8中提取“披萨饼”作为关键词。

电子设备100的处理器对消息执行语义分析和/或统计分析并因此可以提取“披萨饼”作为关键词。电子设备100的处理器可以通过考虑与消息有关的情况(situation)提取关键词。例如,电子设备100的处理器可以基于包括在消息中的词的类型、词之间的关系以及词的含义来提取关键词。

处理器可以通过使用参考图36至41所描述的方法来识别消息中的实体,并通过考虑每个实体被使用的次数来提取关键词。由处理器执行的识别实体的方法将之后描述。

电子设备100的处理器可以控制电子设备100的各种处理操作。例如,电子设备100的处理器可以包括诸如中央处理器单元(cpu)、微控制器单元(mcu)或微处理器单元(mpu)的处理器。

【1-1.语义分析】

电子设备100的处理器可以通过执行语音分析提取关键词。

例如,处理器通过进一步考虑用户之间对话的内容以及用户相关信息来提取“披萨饼”作为关键词。这里,用户相关信息可以包括用户位置日志、用户之前输入的信息和有关用户的历史信息中的至少一个。用户相关信息可以意味仅关于一个用户的信息或关于至少两个用户的信息。

处理器可以基于例如但不限于1)用户之间的对话内容、2)用户的位置日志、3)用户之前输入的信息、和4)关于用户的历史信息中的至少一个来提取关键词。

处理器可以对用户之间的对话内容执行自然语言分析,可以识别用户之间对话的内容及可以提取关键词。例如,在图1a的示例性实施例中,基于从用户和另一通信方之间的对话所提取的内容、关于用户位置的对话内容、关于用户精神状态(如感受)的对话内容、和/或关于用户过往经历的对话内容,提取关键词。

例如,处理器可以基于对话内容执行提取,以及在图1a的示例性实施例中,该处理器可以从消息8中提取“披萨饼”作为关键词。处理器可以识别包括在用户之间的对话中的消息的含义,并可以基于消息的含义预测用户期望的信息的类型。例如,处理器可以将消息的含义分析为“用户想要吃披萨饼”并可以基于该含义预测用户当前想要找出用户当前位置附近的披萨饼餐馆(第一情况),或者用户需要用户当前位置附近的披萨饼餐馆的电话号码(第二情况)。这里,用户的情况可以表明与用户有关的环境因素。

此外,处理器基于消息的含义提取关键词,处理器可以考虑用户的位置日志。

例如,用户位置日志可以包括用户经过用户当前所处地点的频率或用户经过特定地点的频率、用户经过用户当前所处地点的次数或者用户经过特定地点的次数、用户停留在用户当前所处地点或特定地点期间的总时间、在特定时间段用户停留在用户当前所处地点或停留在特定地点期间的总时间、和/或用户第一次访问当前地点或特定地点的时间。

电子设备100可以检查用户的位置信息,并可以使用该位置信息来提取关键词。用户的位置信息可以实时地被连续检查并可以被储存在电子设备100中。

用户的位置信息可以由电子设备100的位置信息进行测量。例如,电子设备100的位置信息可以包括全球定位系统(gps)-标值,基站的标识(id),服务集标识符(ssid)和接入点(ap)的网络地址。用户的位置信息可通过使用各种无线通信技术的测量方法来测量,该各种无线通信技术包括,例如,漫射红外线、超声波、蓝牙、超宽带(uwb)、射频识别(rfid)、wi-fi保护设置(wps)等。

位置信息可以指示关于用户的位置或有关时间的电子设备100的日志信息。例如,电子设备100可以包括gps模块。将参考图45具体描述由gps模块来执行的测量电子设备100的位置方法。

此外,当处理器基于该消息的含义提取关键词时,该处理器可以考虑用户在前输入的信息。

例如,用户在前输入的信息可以包括用户的地址、用户的披萨饼餐馆偏爱、用户在选择菜单中的倾向、和/或用户的估计日程。

例如,当用户的地址相对远离当前位置,并且用户当前位置停留的总时间段小于基准时间(例如,1小时)时,该处理器可以识别出用户的当前位置不是用户熟悉的地点。基于该分析,该处理器可以预测用户当前想找出用户当前位置附近的披萨饼餐馆(第一情况)或用户需要用户当前位置附近的披萨饼餐馆的电话号码(第二情况)。

此外,当处理器基于消息的含义预测关键词时,处理器可以考虑该用户的历史信息。

例如,关于用户的历史信息可以指示被记录在电子设备100和服务器中的关于用户的历史。此外,关于用户的历史可以包括当用户使用电子设备100时由用户记录的历史,和当用户使用应用服务时由用户记录到服务器的历史。另外,关于用户的历史可以包括当用户使用电子设备100或服务器时非由用户直接记录但间接记录的内容。例如,关于用户的历史信息可以包括与用户相关的信息,如用户的当前位置、用户的支付历史、用户的累计历史、用户的呼叫历史等。

【1-2.统计分析】

电子设备100的处理器可以通过统计分析来提取关键词。

处理器可确定参考内容的优先级顺序。例如,当处理器基于用户之间的对话的内容、用户的位置日志、用户的输入信息和关于用户的历史信息执行语义分析时,处理器可从分析基础中确定将会优选考虑的分析基础,以提取关键词。例如,当由电子设备100的gps模块测量到的电子设备100的位置与用户之间的对话内容中所提到的位置信息不同时,该处理器可以通过优选考虑在用户之间的对话内容中所提到的位置信息来提取关键词。

此外,处理器可确定用户的预测情况的优先级顺序。例如,在图1a和1b的示例性实施例中,处理器可以确定一种情况具有更高发生可能性,其中该情况是第一情况和第二情况中的一者,在第一情况中,用户当前想找出用户当前位置附近的披萨饼餐馆,在第二情况中,用户需要用户当前位置附近的披萨饼餐馆的电话号码。

根据用户的累计位置信息,如果用户经常到访特定的披萨饼餐馆,处理器可以确定其中用户当前想找出当前位置附近的披萨饼餐馆的第一种情况为第一优先级。

可选择地,例如,当用户当前所处的地方是室外时,及根据用户的累计位置信息(或累计位置历史),如果用户移动超过预定时间(例如,30分钟),或者如果外出被记录到用户的日程,则处理器可以确定其中用户当前想找出用户当前位置附近的披萨饼餐馆的第一情况为第一优先级。

例如,当用户呼叫披萨饼餐馆的次数等于或大于用户呼叫历史中的预设次数时,处理器可以确定其中用户需要用户当前位置附近的披萨饼餐馆的电话号码的第二情况为第一优先级。

可选择地,例如,当在用户当前所处的地点是用户朋友的房子,并根据用户的日程安排,用户打算停留该地点超过预定时间(例如3小时),则处理器可以确定其中用户需要用户当前位置附近的披萨饼餐馆的电话号码的第二情况为第一优先级。

尽管在上述示例中描述该处理器确定第一情况或第二情况,然而示例性实施例不限于此。电子设备100的处理器可以基于消息的含义和该用户的历史信息确定任何数量的不同情况中的一个。

该处理器可以通过执行上述的统计分析和/或语义分析提取关键词“披萨饼”。

【1-3.关键词提取中的限制】

电子设备100的处理器可考虑相应词出现的次数来设置关键词。例如,处理器可将在对话中被用户重复提到超多预定次数的字设置为关键词。例如,当用户至少五次提到该词或该词在对话中至少有约20%的使用频率时,处理器可设置该词为关键词。

例如,该处理器可以执行命名实体识别,并且可以测量每个实体的重复次数或重复率(或重复频率)。例如,该处理器测量经由外部服务器识别的每个实体的重复次数或重复率。

之后,将描述经由处理器或服务器识别实体的方法。

此外,外部服务器可以执行命名实体识别,和可以计算每个实体的重复次数或重复率,且该处理器可以接收有关每个实体重复次数或重复率的数据并可以参考该数据来设置关键词。

例如,该处理器可以不将被提到小于预定次数的实体作为关键词。另外,例如,处理器可以不将被提到小于预设率的实体设置为关键词。上述用于限制关键词提取的算法也可应用到用于生成查询的算法。

处理器可不同于消息中其他词标记提取到的关键词。该处理器可以接收选择所提取的关键词的用户输入,并且可以执行操作s130至s190。在另一示例性实施例中,处理器可以执行操作s130至s190而不接收用户输入。

此外,该处理器可以通过使用如上所描述的语义分析的方法限制关键字的提取。换言之,电子设备100可以基于1)用户之间的对话内容、2)用户的位置日志、3)用户之前输入的信息、和4)用户的历史信息来识别实体,并可限制实体的识别。

例如,当电子设备100接收到消息“请去到披萨饼餐馆旁边的灵堂”,处理器通过执行语义分析,可以识别<披萨饼餐馆旁边的灵堂>作为实体,或者可以识别<披萨饼餐馆>作为实体,但不能提取识别到的实体作为关键词。

例如,处理器可以识别在<披萨饼餐馆旁边的灵堂连>中使用用于连接表达地点的词的连接词(例如,旁边、附近或后面),并可以识别<披萨饼餐馆旁边的灵堂>作为实体。

【1-4.通过用户输入提取关键词】

该处理器可以通过接收用户输入确定关键词。用户可以从对话的消息选择关键词。用户可以以预先设定的方式选择关键字。例如,用户可以以经由设置预先设定的方式选择关键词。例如,用户可以以长按触摸和拖曳操作选择关键字。

处理器可生成并提供与关键词相关的的查询(s130)。处理器所使用的生成查询的方法是如表2所示的语义分析和/或统计分析。

表2

【2.查询的生成】

如图1b中的示例性实施例所示,处理器可以基于所提取的关键词执行语义分析和/或统计分析,并且可以生成“好日子披萨饼”作为查询。例如,处理器可以基于1)用户之间的对话内容、2)用户的位置日志、3)用户的之前输入的信息、和4)关于用户的历史信息中的至少一个生成“好日子披萨饼”作为查询。

该处理器可分析用户之间的对话的内容,并且可以生成“好日子比萨饼”作为查询。例如,如果处理器从用户之间的对话内容语义地识别到用户想要在一餐馆“好日子披萨饼”就餐,则处理器可以生成“好日子披萨饼”作为查询。

该处理器可以分析用户的位置日志,并且可以生成“好日子披萨饼”作为查询。该处理器可以分析用户的位置日志,并且可以提供与用户的情况相匹配的查询。

例如,如果处理器识别出用户想要找出当前位置附近的披萨饼餐馆,而且在用户的位置累计历史中频繁出现显示用户到访该“好日子披萨饼”餐馆的记录,则该处理器可以生成“好日子披萨饼的位置”作为查询。

例如,如果该处理器识别出用户想要找出当前位置附近的披萨饼餐馆的电话号码,而且在用户呼叫历史中频繁出现显示用户呼叫该餐馆“好日子披萨饼”的记录,则处理器可以生成“好日子披萨饼的号码”作为查询。

例如,如果该处理器识别出用户想要找到当前位置附近的披萨饼餐馆,或者想要当前位置附近的披萨饼餐馆的电话号码,而且在用户历史中表明用户支付该餐馆“好日子披萨饼”的账单的记录反频繁出现在支付明细接收消息中,则该处理器可以生成“好日子披萨饼”作为查询。

该处理器可以分析用户的之前输入的信息,并且可以生成“好日子披萨饼”作为查询。处理器可以从输入到电子设备100中的信息识别到,该餐馆“好日子披萨饼”是用户的喜欢的披萨饼餐馆。

用户可以直接将该餐馆“好日子披萨饼”作为用户喜欢的披萨饼餐馆记录到电子设备100。此外,用户可以将关于餐馆“好日子披萨饼”的多条信息记录到电子设备100。在这种情况下,处理器可以通过执行统计分析识别到餐馆“好日子披萨饼”是用户的喜欢的披萨饼餐馆。

处理器可以从经由应用服务输入到服务器的信息识别到该餐馆“好日子比萨“是用户的喜爱的披萨饼餐馆。例如,通过参考由用户编写并通过社交网络(sns)输入到服务器的评论,处理器可确定用户优选餐馆“好日子披萨饼”。

用户可以经由应用服务将餐馆“好日子披萨饼”作为用户的喜爱的披萨饼餐馆记录到服务器的数据库。此外,用户可以经由应用服务将有关餐馆“好日子披萨饼”的多条信息记录到服务器的数据库中。在这种情况下,处理器可以通过使用统计方法识别出该餐馆“好日子披萨饼”是用户的喜爱的披萨饼餐馆。

如上所述,处理器可以执行语义分析和/或统计分析,并由此可提取“好日子披萨饼”作为查询。

电子设备100可以接收来自用户的信息提供请求,并且可以提取查询。例如,显示器9(参照图1a)可以接收选择对应于被显示在屏幕上的关键词的一部分的用户输入(例如,触摸),并且可以提取查询。例如,在电子设备100接收来自用户的信息提供请求之前,电子设备100可以确定关键词,并且可以通过与其他内容区别地标记该关键词来显示该关键词,并且在电子设备100接收来自用户的信息提供请求之后,电子设备100可以提取关键词。

在整个说明书中,信息提供请求可包括由用户请求电子设备100提供信息的输入。例如,用户可以通过使用各种输入方法(例如,触摸、点击、双击等)输入请求,以请求电子设备100提供信息,以及用户的请求可以被称为信息提供请求。此外,用户可以输入包括语音和/或文本的特定命令,以请求电子设备100提供信息,以及用户的请求可以被称为信息提供请求或信息提供请求输入。

用于限制该关键词的提取的上述的算法也可以应用到用于生成查询的算法。

基于查询和电子设备100的位置信息,处理器可获取信息(s170)。在表3中示出处理器所使用的用以生成信息的方法。

表3

【3.信息的获取】

电子设备100可以基于查询和电子设备100的位置信息执行各种类型的信息检索操作,并且因此可以获取信息。由电子设备100获取的信息可包括二维(2d)图像、三维(3d)图像、2d运动图像、3d运动图像、通过使用不同的语言生成的文本、各种领域的内容,以及提供各种服务的应用。

在电子设备100接收到选择关键词的用户输入之后,电子设备100可以执行获取对应于所选择的关键词的信息的操作。

此外,在电子设备100接收到选择关键词的用户输入之前,电子设备100可以执行获取对应于所选择的关键词的信息的操作,以及可以将所获取的信息存储在电子设备的100的存储中。电子设备100可以接收选择关键词的用户输入,并且可以将存储在存储中的信息提供给用户。

下文中,具体描述获取信息的操作。

【3-1.通过应用服务的信息获取】

电子设备100可从外部搜索服务器获取相关的信息。

例如,电子设备100可以经由应用服务获取信息。

电子设备100可以根据应用的当前状态确定服务、可以基于查询和电子设备100的位置信息执行各种类型的信息检索操作、并可以因此获取信息。

例如,根据用户的位置信息,当用户被确定为位于韩国时,电子设备100可以选择由韩国服务提供商提供的地图应用服务,而当用户位于日本时,电子设备100可以选择由日本服务提供商提供的地图应用服务。

例如,电子设备100可以参考用户使用地图应用的次数,并且可以选择电子设备100的用户经常使用的地图应用服务。

电子设备100可以请求用户选择应用服务、可以接收来自用户的响应、并且可以根据用户的响应来选择应用服务。

例如,电子设备100可以考虑用户的情况来选择要使用的候选应用(例如,第一至第五应用)、可以请求用户选择第一至第五应用中的至少一个、和当用户选择第一应用时,电子设备100可以通过使用第一应用检索信息。

根据示例性实施例,电子设备100可以从用户选择的应用服务中选择与用户的当前状况匹配的应用服务。

例如,电子设备100可以从用户选择的第一至第五应用中根据用户当前情况选择第一应用。例如,如果用户之前选择了第一至第五餐馆应用,则电子设备100可以根据用户的当前情况选择“好日子披萨饼”餐馆应用。

根据示例性实施例,电子设备100可以请求用户选择用户选择的应用服务中的至少一个、可以接收来自用户的响应、和根据来自用户的响应选择应用服务。

例如,电子设备100可以请求用户选择用户选择的第一至第五应用中的至少一个,并且当用户选择第一应用时,电子设备100可以通过使用第一应用检索信息。

【3-2.通过因特网搜索服务的信息获取】

电子设备100可以从外部搜索服务器获取相关的信息。

例如,电子设备100可以经由因特网搜索服务获取信息。

电子设备100可以确定因特网搜索服务、可以基于查询和电子设备100的位置信息执行各种类型的信息检索、并且因此可以获取信息。该查询可以指自动提取的查询或由用户编辑的查询。

例如,因特网搜索服务可以指商业化的搜索服务,包括雅虎、谷歌、必应,naver等等。例如,因特网搜索服务可以指搜索服务,诸如由授权用户访问的大学的图书馆数据库、论文搜索引擎网站、或研究机构的数据库。

电子设备100可以基于查询和电子设备100的位置信息获取信息,并且可以将该信息提供给用户。

因此,根据示例性实施例的电子设备100可以在用户使用通信服务的同时允许用户方便地接收与正在进行的通信服务相关的信息。

【3-3在电子设备中的信息的获取】

电子设备100可以从内部存储设备获取感兴趣的信息。下文中,感兴趣的信息被称为兴趣信息。

例如,电子设备100可以从存储在内部存储设备中的图像文件、电话号码列表、地址列表、及最近检索的信息列表,获取兴趣信息。当电子设备100是可穿戴设备时,电子设备100可以从包括在另一电子设备中的存储设备获取兴趣信息,该另一电子设备经由诸如蓝牙的短距离通信与电子设备100连接。

因此,根据示例性实施例的电子设备100可以在用户使用通信服务同时允许用户方便地接收与正在进行的通信服务相关的信息。

输出接口可以提供由处理器获取的信息(s190)。在表4中示出由处理器使用的用以提供信息的方法。

表4

【4.信息的提供】

电子设备100可以以各种方式将基于查询和电子设备100的位置信息而获取的信息提供给用户。

例如,电子设备100可以经由语音、图像和文本中的至少一个将获取的信息提供给用户。提供获取的信息的方法可以根据电子设备100的类型变化,该方法由电子设备100执行。将参考图22至29,具体描述由电子设备100执行的提供所获取的信息的方法。

图2b示出根据另一示例性实施例的提供信息的方法的流程图,该方法由电子设备100执行并对应于图1b描述。

电子设备100可以从在通信中使用的消息提取关键词、可以生成与该关键词相关的第一查询,并且可以提供该第一查询到用户(s110_a和s130_a)。电子设备100可以通过使用各种方法提供第一查询。例如,电子设备100可以提供通过生成发言泡、通过使用弹出窗口、或通过执行屏幕转换来提供查询。

电子设备100可以接收由用户编辑的第二查询(s150_a)。

【5.编辑查询】

电子设备100可以从用户接收已编辑的第二查询(s150_a)。电子设备100可以允许用户以这样的方式编辑查询,从而在文本、手势、语音或草图中编辑查询。

当由电子设备100产生的第一查询被提供给用户时,用户可以通过将他/她的精确意图反映到查询来编辑查询。在整个说明书中,术语“已编辑的查询”可以意味由用户编辑的查询。

用户可以经由输出接口编辑通过电子设备100提供的查询。例如,用户可以编辑由电子设备100提供的查询,并且可以输入已编辑的查询到电子设备100。例如,用户可以不改变由电子设备100提供的查询,并可以输入所提供的查询。电子装置100可以接收由用户输入的已编辑的查询或未经编辑的查询。

电子设备100可以基于已编辑的查询和电子装置100的位置信息获取信息(s170_a)。电子设备100可以以各种方式提供所获取的信息(s190_a)。将参考图22至29详细描述提供所获取的信息的方法,该方法由电子装置100执行。

图2c示出根据又一示例性实施例的通过电子设备100执行的提供信息的方法的流程图,

电子设备100可以从在通信中使用的消息提取关键词、可以基于该关键词和位置信息生成查询、及可以将生成的查询提供到用户(s110_b和s130_b)。

电子设备100可以以各种方式识别位置信息,并且可以提供查询。例如,电子设备100可以通过考虑电子设备100的gps模块所获取的电子设备100的位置信息来生成查询,或者可以通过考虑根据包括在该消息中词、词之间的连接关系(例如,用于连接表达地点的词的连接词(例如,旁边、附近或后面))、词意等而获取的位置信息来生成查询。

电子设备100可使用以上述方式获取的位置信息来生成关键词和/或查询。此外,电子设备100可以使用该位置信息来获取要提供给用户的信息。

电子设备100可以基于查询获取的信息(s170_b)。电子设备100可以以各种方式提供信息(s190_b)。电子设备100可以以将要参考图22至29描述的各种方式来提供信息。

下面,详细的场景描述如下。

【场景1:发消息服务】

图3至7示出在通信期间经由发消息服务(messagingservice)提供的具体的ui环境。

参考图3,电子设备100可以显示用户之间经由发消息服务的通信内容。

电子设备100可提供包括返回按钮20、语音呼叫连接按钮30、用户名框40、以及通信窗口(参考附图标记5、6、7和8)的接口。用户名框40可以包括后退按钮20和语音呼叫连接按钮30。

通过使用后退按钮20(例如,触摸或双敲后退按钮20),用户可以返回之前的菜单。通过使用语音呼叫连接按钮30(例如,触摸或双敲的语音呼叫连接按钮30),用户可以执行语音聊天。用户名框40可以显示对话中另一方的名字或昵称。此外,用户名框40可以显示电子设备100的用户的名字或昵称。通信窗口可以显示在用户与另一方之间交换的消息5、6、7和8。

电子设备100可以确定是否通过使用自然语言处理器1200(参照图36)从每个消息5、6、7和8中提取关键词。电子设备100可以识别每个消息5、6、7和8的含义,并可以确定是否以从中提取关键词。

此外,电子设备100可以经由统计分析和/或语义分析提取“披萨饼”作为关键词。例如,电子设备100可以基于1)用户之间的对话内容、2)用户的位置日志、3)用户的之前输入的信息、和4)关于用户的历史信息,提取“披萨饼”作为关键词。

例如,电子设备100可以对1)用户之间的对话内容执行自然语言分析,并可以提取“披萨饼”作为关键词。电子设备100可以识别包括在用户之间的对话内容中的消息的含义,并且可以基于该消息的含义来预测用户的需要。例如,电子设备100可以将消息的含义分析为“用户想吃披萨饼”,并可以基于该含义预测1)用户想要找出披萨饼餐馆或2)用户需要用户当前位置附近的披萨饼餐馆的电话号码,以及可以提取“披萨饼”作为关键词。

另外,例如,电子设备100可以对对话内容执行自然语言分析,并且可以通过进一步考虑2)用户的位置日志、3)用户的之前输入的信息、和4)关于用户的历史信息,提取“披萨饼”作为关键词。

例如,用户的位置日志可以包括用户经过用户当前所处地点的频率、用户经过用户当前所处地点的次数、用户停留在用户当前所处地点期间的总时间、用户停留在用户当前所处地点的期间的总时间、用户在特定时间段停留在用户当前所处地点期间的总时间、和/或用户第一次访问当前地点的时间。

例如,用户之前输入的信息可以包括用户的地址、用户偏好的披萨饼饼餐馆、用户在选择菜单上的倾向、和/或根据用户的估计日程的地点。

例如,关于用户的历史信息可以指被记录在电子设备100和服务器中的有关用户的历史。另外,有关用户的历史可以包括当用户使用电子设备100时由用户记录的历史、和当用户使用应用服务时由用户记录到服务器的历史。另外,关于用户的历史可以包括当用户使用电子设备100或应用服务时不直接由用户记录但是被间接记录的内容。

参照图4a至4c,电子设备100可以连续监视用户的对话内容,如图4所示,并且可以单独地指示或标记包括在消息中的关键词。

例如,电子设备100可以高亮包括在消息中的关键词(如图4a所示),可以下划线关键词(如图4b所示),或者可以改变包括关键词的发言泡的颜色(如图4c所示)。

电子设备100允许用户经由设置来调整对关键词单独指示或标记的持续时间(参照图30e)。

尽管未示出,然而电子设备100可以通过使用各种方法指示或标记关键词以将该关键词与消息的其他内容相区别。

例如,电子设备100可以通过使用不同字体、或在关键词周围设置框来标记包括在消息中关键词。

例如,电子设备100可以通过使用超链接标记包括在消息中的关键词。

例如,电子设备100可以通过使用闪烁效果标记包括在该消息中的关键词。

例如,电子设备100可以通过使用化身(avatar)标记包括在消息中的关键词。

例如,电子设备100可以通过使用发言泡标记包括在消息中的关键词。

例如,电子设备100可以通过使用上标或下标标记包括在该消息中的关键词。

例如,电子设备100可以通过使用与该消息其它内容的颜色不同的颜色来标记包括在消息中的关键字。

仅用于说明的目的给出上述示例且示例性实施例不限于此。电子设备100可以通过使用将关键词与消息的其他内容相区别的任何方法来指示或标记关键词。

参照图5,电子设备100可以接收与需要输入的指示或标记相对应的用户输入。用户可以通过使用各种方法输入请求。电子设备100可以接收信息提供请求输入。

信息提供请求输入可以指用户请求电子设备100提供信息的输入。例如,用户可以通过使用各种输入方法(例如,触摸、点击、双击等)输入请求,以请求电子设备100提供信息。此外,用户可以输入包括语音和/或文本的特定命令来请求电子设备100提供信息。

例如,电子设备100可以经由麦克风或语音识别处理器、通过接收用户语音来选择关键词。例如,电子设备100可以经由鼠标、触摸板、或触摸垫,通过接收用户点击来选择关键词。例如,电子设备100可以经由触摸面板或触摸垫,通过接收用户触摸来选择关键词。例如,电子设备100可以经由感测相机,通过接收用户预设特定手势选择关键词。例如,电子设备100可以经由虚拟键盘或虚拟触摸屏,接收用于选择关键词的输入。

参照图6a至6c,电子设备100可以提供与关键字相关的查询。

图6a示出电子设备100的屏幕,该屏幕在主框中显示关键词(例如,“披萨饼”)并在主框下的候选列表窗口610中显示候选查询。例如,关键词“披萨饼”的候选查询可以包括“好日子披萨饼”、“好日子披萨饼号码”、“好日子披萨饼位置”和“好日子披萨饼菜单”。

电子设备100可以基于所提取的关键词,通过执行统计分析和/或语义分析生成候选查询。如所示,电子设备100可以基于1)用户之间的对话内容、2)用户的位置日志、3)用户的之前输入的信息、和4)关于用户的历史信息,生成候选查询“好日子披萨饼”、“好日子披萨饼号码”,“好日子披萨饼位置”和“好日子披萨饼菜单”。

电子设备100可以根据1)用户之间的对话内容添加候选查询。

例如,在电子设备100监视用户之间的对话内容同时,电子设备100可以对用户之间的对话内容连续地执行自然语言处理,并且可以识别对话内容的含义。当电子设备100根据用户之间的对话内容识别出“披萨饼”是主要议题和用户想要订购“披萨饼”时,电子设备100可以预测用户需要披萨饼餐馆的电话号码。此外,如果用户之间的对话内容使用词“好日子披萨饼”,则电子设备100可以添加“好日子披萨饼”作为候选查询。

例如,当电子设备100根据用户之间的对话内容识别出“披萨饼”是主要议题并且用户想要订购“好日子披萨饼”时,电子设备100可以预测该用户需要有关披萨饼餐馆的信息。此外,当用户之间的对话内容包括用户想要吃的披萨饼种类的时候,电子设备100可以添加“好日子披萨饼菜单”为候选查询。

电子设备100可以根据2)用户的位置日志添加候选查询。

例如,电子设备100识别出用户想要找出当前位置附近的披萨饼餐馆,或想要当前位置附近的披萨饼餐馆的电话号码,而且在用户历史中用户支付“好日子披萨饼”餐馆的账单的记录频繁出现在付款明细接收消息中,电子设备100可以添加'好日子披萨饼“作为候选查询。

例如,如果电子设备100识别出用户想要找出当前位置附近的披萨饼餐馆,而且在用户位置的累计历史中频繁出现用户到访该“好日子披萨饼”餐馆的记录,则电子设备100可以添加“好日子披萨饼位置”作为查询。

例如,如果电子设备100识别出用户想要当前位置附近的披萨饼餐馆的电话号码,而且在用户的呼叫历史中频繁出现用户呼叫“好日子披萨饼”餐馆的记录,则电子设备100可以添加“好日子披萨饼号码”作为查询。

电子设备100可以通过分析3)用户之前输入的信息来添加候选查询。

例如,电子设备100可以分析用户的之前输入的信息,并可以识别“好日子披萨饼”餐馆是用户的喜爱的披萨饼餐馆。

用户可以直接将“好日子披萨饼”餐馆作为用户的喜欢的披萨饼餐馆记录到电子设备100。此外,如果用户将关于“好日子披萨饼”餐馆的多条信息记录到电子设备100,则电子设备100识别出“好日子披萨饼”是用户的喜爱的披萨饼餐馆。如果没有关于用户的喜爱的披萨饼餐馆的信息的直接记录,则电子设备100可以通过执行统计分析识别出“好日子披萨饼”餐馆是用户喜爱的披萨饼餐馆,并添加“好日子披萨饼号码”作为候选查询。

电子设备100可以从经由应用服务输入到服务器的信息,确定该“好日子披萨饼”餐馆是用户的喜爱的披萨饼餐馆。用户可以经由应用服务将“好日子披萨饼“餐馆作为用户的喜爱的比萨饼餐馆直接记录到服务器的数据库。此外,如果用户经由应用服务将有关“好日子披萨饼”餐馆的多条信息记录到服务器的数据库中,则电子设备100可以确定“好日子披萨饼”餐馆是用户的喜爱的披萨饼餐馆。如果服务器中没有关于用户的喜爱的餐馆的直接记录,则电子设备100可以通过执行统计分析识别出“好日子披萨饼”餐馆是用户的喜爱的披萨饼餐馆,并可以添加“好日子披萨饼号码”作为候选查询。

电子设备100可以根据4)关于用户的历史信息来添加候选查询。电子设备100可以检查用户的支付历史,以及发现多个在“好日子披萨饼”餐馆支付账单的记录,则电子设备100可以确定“好日子披萨饼”餐馆是用户的喜爱的披萨饼餐馆。当电子设备100检查用户的搜索历史并且检测到用户多次检索“好日子披萨饼”餐馆的菜单时,电子设备100可以添加“好日子披萨饼菜单”为候选查询。

图6b示出在输入框中显示查询的ui,该查询是作为默认值的提取的关键词(例如,“披萨饼”)。该关键词可以通过使用参考图2a至2c描述的各种方法来确定。例如,电子设备100可以生成与已确定的关键词相同的查询,且该查询可以经由电子设备100提供的输入接口进行编辑。

图6c示出在输入框中显示作为默认值的查询(例如,“好日子披萨饼”)的ui。

该查询可以通过使用参考图2a至图2c描述的各种方法来确定。例如,如参考图2c所述,可以基于关键词和位置信息来生成查询。例如,当关键词为“披萨饼”,在用户之间的消息中多次提到词“好日子披萨饼”时,电子设备100可以生成“好日子披萨饼”作为查询。

可以经由电子设备100提供的输入接口来编辑关键词。例如,用户可以将查询“好日子披萨饼”编辑为“好日子披萨饼位置”、“好日子披萨饼号码”、“好日子披萨饼菜单”等。电子设备100可以基于用户编辑的查询获取信息。

参考图7,电子设备100可以经由屏幕转换提供搜索结果。另外,电子设备100可以通过使用要参考图22至29描述的各种方法来提供搜索结果。电子设备100可以在用户名框中提供发消息服务按钮4,用于返回发消息服务。可选地,电子设备100可以提供返回按钮2,用于返回发消息服务。

【场景2:语音聊天服务】

图8至10示出在通信期间经由语音聊天服务提供的具体的ui环境。整个说明书中,语音聊天服务可以包括但不限于语音呼叫服务。进一步,语音聊天服务可以包括但不限于视频呼叫服务。

参考图8,在语音聊天服务(或视频呼叫服务)的示例800中,电子设备100可以显示经由语音聊天服务在用户之间的通信内容,如图3所示。

电子设备100的用户可以经由语音聊天服务与另一方对话。在用户与其他方对话期间,用户传递语音消息“我想要吃披萨饼”。该用户的语音消息可以通过使用语音到文本(stt)模块(或stt引擎)被转换成文本,并被显示在电子设备100的屏幕上。

电子设备100可以确定是否经由自然语言处理器1200从通过使用stt模块被转变成文本的每个消息中提取关键词(参照图36)。电子设备100可以识别每个消息的含义,并且可以确定是否从每个消息中提取的关键词。

另外,电子设备100可以通过执行统计分析和/或语义分析提取“披萨饼”作为关键词。提取关键词的方法可以包括参考图3描述的方法,该方法由电子设备100执行。

例如,电子设备100可以对1)用户之间的对话内容执行自然语言分析,及通过进一步考虑2)用户的位置日志、3)用户的之前输入的信息、和4)关于用户的历史信息,来提取“披萨饼”作为关键词。

类似图4,电子设备100可以连续监视用户的对话内容,并且可以以与图4类似的方式单独地指示或标记包括在作为关键词提取目标的消息中的关键词。

此外,类似图5,电子设备100可以接收与需要输入的指示或标记相对应的用户输入。用户可以通过使用参考图5描述的各种方法输入请求。

参考图9a和9b,电子设备100可以提供与关键词相关的查询。

图9a示出语音聊天服务的示例900,其中提供在输入框中显示作为默认值的关键词(例如“披萨饼”)。关键词可以通过使用在图2a的操作s110中描述的各种方法来确定。电子设备100可以生成与该关键词相同的查询,并且该查询可以经由电子设备100提供的输入接口来编辑。

图9b示出语音聊天服务的示例910,其中提供在输入框中显示作为默认值的查询(例如“好日子披萨饼”)。查询可以通过使用在图2a的操作s130中描述的各种方法来确定。该关键词可以经由电子设备100提供的输入接口来编辑。另外,除图9a和图9b中所示的方法外,电子设备100可以提供如图6a所示的候选查询。

参考图10,在语音聊天服务的示例1010中,电子设备100可以将电子设备100的屏幕分区为两个区域20和30,并且可以提供搜索结果到已分区的两个区域20和30的区域30。该电子设备100可以将屏幕分区成两个区域20和30,可以在屏幕上部分中的区域20上显示聊天应用屏幕,并且可以在屏幕下部分中的区域30上显示搜索引擎服务屏幕。此外,用户可以以通过触摸在上部分中的聊天应用屏幕而选择在屏幕的整个部分上显示聊天应用屏幕。

另外,电子设备100可以通过使用参考图22至29描述的各种方法来提供搜索结果。

【场景3:邮件服务】

图11至15示出在通信期间经由邮件服务提供的具体的ui环境。

参考图11,电子设备100可以显示经由邮件服务的用户之间的通信内容。

电子设备100的用户可通过送电子邮件与其他方通信。用户接收到的电子邮件包括有关约会的时间和地点的评论。

电子设备100可以确定是否经由自然语言处理器1200从消息中的每个句子提取关键词(参照图36)。电子设备100可以识别每个消息的含义,并且可以确定是否提取关键词。

此外,电子设备100可以通过执行统计分析和/或语义分析提取关键词。提取关键词的方法可包括参照图3所描述的方法,该方法由电子设备100执行。

例如,电子设备100可以对1)用户之间的对话内容执行自然语言分析,及通过进一步考虑2)用户的位置日志、3)用户的之前输入的信息、和4)关于用户的历史信息,来提取“shabumi”作为关键词。

类似图4,电子设备100可以以与图4相类似的方式连续监视用户的对话内容,并且可以单独地指示或标记包括在作为关键词提取目标的消息中的关键词。

参考图12,类似于图5,电子设备100可以接收与指示或标记相对应的用户输入。用户可以通过使用参考图5所描述的各种方法输入请求。

参考图13,电子设备100可以提供与该关键词相关的应用的列表130。例如,电子设备100可以检查关键词的类别,并且如果该关键词是与地点相关的词,则电子设备100可以识别该地点作为类别,并可以提供与地图相关的应用的列表130。

在另一示例性实施例中,电子设备100可以不提供与关键词相关的应用的列表,和可以通过使用预设应用获取信息。

图14示出在输入框中显示作为默认值的关键词(例如,“shabumi”)的ui。关键词可以通过在图2a的操作s110中所描述的各种方法来确定。例如,电子设备100可以生成与该关键词相同的查询。该查询可以通过在图2a的操作s130中描述的各种方法来确定。

可以经由输入接口编辑查询。例如,电子设备100可以提取“shabumi”作为关键词,和可以生成与关键词相同的查询为“shabumi”。用户可以经由输入接口编辑查询为“shabumidogok分公司”。另外,电子设备100可以自动生成查询为“shabumi餐馆”。电子设备100可以经由应用服务获取有关“shabumi餐馆”的位置的信息。

参考图15,电子设备100可以经由屏幕分区提供搜索结果。另外,电子设备100可以通过使用将要参考图22至29描述的各种方法来提供搜索结果。

【场景4:社交网络服务】

图16至19示出经由sns的通信期间提供的具体的ui环境。

参考图16,电子设备100可以显示经由sns的用户之间的通信。

电子设备100可以经由sns显示另一方的备忘录内容。如图16中所示,根据另一方(jung)的备忘录内容“在洛杉矶和sumin看蝙蝠侠”,诸如“蝙蝠侠”、“sumin”和“洛杉矶”的词可以被提取作为关键词。电子设备100可以确定是否经由自然语言处理器1200从包括在消息中的每个句子提取关键词(参考图36)。电子设备100可以识别每个消息的含义,和可以确定是否提取关键词。

此外,电子设备100可以通过执行统计分析和/或语义分析来提取“蝙蝠侠”、“sumin”和“洛杉矶”作为关键词。提取关键词的方法可以包括参考图3描述的方法,该方法由电子设备100执行。

例如,电子设备100可以对1)用户之间的对话内容执行自然语言分析,及通过进一步考虑2)用户的位置日志、3)用户的之前输入的信息、和4)关于用户的历史信息,来提取“蝙蝠侠”、“sumin”和“洛杉矶”作为关键词。

此外,类似图4,电子设备100可以以与图4相类似的方式连续监视用户的对话内容,并且可以单独地指示或标记包括在作为关键词提取目标的消息中的关键词。

参考图17,类似于图5,电子设备100可以接收与指示或标记相对应的用户输入。用户可以通过使用参考图5所描述的各种方法输入请求。用户可以从关键词中选择查询。当用户选择“蝙蝠侠”作为关键词时,电子设备100可以经由应用服务获取有关“蝙蝠侠”的信息。

参考图18,电子设备100可以提供与该关键词相关的应用列表。例如,电子设备100可以检查关键词的类别,并且如果该关键词是与电影相关的词,则电子设备100可以识别该电影作为类别,并可以提供与电影相关的应用的列表。

参考图19,电子设备100经由屏幕转换提供搜索结果。另外,电子设备100可以通过使用将要参考图22至29描述的各种方法来提供搜索结果。

【场景5:日程安排】

图20示出在使用日程安排服务的同时所提供的具体的ui环境。

参考图20,电子设备100可以是平板pc。电子设备100可以提供日程安排应用给用户。用户可以通过使用日程安排应用服务管理他/她的时间日程。

例如,假设用户在日程安排应用登记了有关2013年9月24日的日程。此外,假设经登记的日程指明用户与“kaur”游览景福宫)与“kaur”吃晚餐。

电子设备100可以从用户的呼叫历史识别到用户没有呼叫过景福宫附近的餐馆,并且可以从用户的因特网搜索历史识别到用户没有搜索景福宫附近的餐馆。此外,电子设备100可以通过包括在电子设备100中的gps模块识别到用户没有到访过景福宫。在这种情况下,电子设备100可以提取记录在日程安排应用服务上的“景福”作为关键词,或者用于景福宫的韩文作为关键词,电子设备100可以自动生成“景福宫附近的美味餐馆”作为查询,和可以对记录在日程安排应用服务上的“景福”提供指示或标记。

当用户选择已标记(例如,高亮)的文本“景福”时,电子设备100可以提供生成的查询“景福宫附近的美味餐馆”到搜索服务,可以实时获取关于查询的信息,及可以提供已获取的信息。此外,电子设备100可以检索有关所生成的查询“景福宫附近的美味餐馆”的信息,可以将所获取的信息储存在电子设备100中,及可以每当用户想要时提供已存储的信息到用户。

【场景6:词处理器】

图21示出在使用词处理器应用的同时所提供的具体的ui环境。

参考图21,电子设备100可以是膝上电脑。电子设备100可以提供词处理器应用服务到用户。用户可以通过使用词处理器应用生成并编辑文件。

例如,用户可以编辑以英文撰写的新闻文章。电子设备100可以考虑用户的信息来识别用户的英文词汇水平,可以指出或标记对用户而言可能难于理解的词。

图22a至27b示出经由输出接口提供所获取的信息给用户的方法,该方法由电子设备100执行。

电子设备100可以以参考表4描述的各种方式经由输出接口提供所获取的信息给用户。

图22a至22i示出这样的示例,其中当电子设备100是智能电话或平板pc并且用户通过使用智能电话或平板pc执行文本聊天时,经由输出接口提供由电子设备100获取的信息到用户。

图22a示出其中用户通过使用电子设备100和105执行文本聊天的情况。

参照图22a,电子设备100的第一用户与电子设备105的第二用户具有经由文本聊天的对话。在第一用户和第二用户之间的对话期间,第一用户传递消息“我想要吃披萨饼”到第二用户。

参考聊天消息7,在2013年8月6日上午8:28,电子设备105的第二用户克里斯询问电子设备100的第一用户hyunjin问题“你想要做什么?”。参考聊天消息8,在2013年8月6日上午8:30,电子设备100的第一用户hyunjin答复电子设备105的第二用户克里斯“我想要吃披萨饼”。因此,在2013年8月6日上午8:30时,对话正在进行。

当电子设备100监视第一和第二用户之间的对话时,电子设备100可以从需要额外信息的消息中提取关键词,并可以提供查询到第一用户。该第一用户可以编辑所提供的查询。电子设备100可以基于已编辑的查询和电子设备100的位置信息来获取信息。电子设备100可以经由输出接口以图22b至22i中所示的方式提供信息到第一用户。

图22b示出其中经由屏幕转换提供由图22a的电子设备100获取的信息到第一用户的示例。

如图22b中所示,电子设备100可以将在电子设备100的屏幕上显示的文本聊天界面屏幕转换成显示所获取的信息的屏幕。例如,电子设备100可以关闭在屏幕上显示的文本聊天界面屏幕,并可以显示所获取的信息和提供所获取的信息的搜索引擎的界面。第一用户可以返回到文本聊天界面屏幕。第一用户可以通过触摸或双敲屏幕上方的用户名框4返回到文本聊天界面屏幕。

图22c示出其中经由屏幕分区提供由图22a的电子设备100获取的信息到第一用户的示例。

如图22c中所示,电子设备100可以将在电子设备100的屏幕上显示的文本聊天界面的图像的一部分转换成显示所获取的信息的图像。例如,电子设备100可以关闭显示在电子设备100的屏幕上的文本聊天界面屏幕的一部分,并可以显示所获取的信息和提供所获取的信息的搜索引擎的界面。第一用户可以通过选择电子设备100的屏幕上方的返回按钮2返回到文本聊天界面屏幕。

图22d示出了通过使用语音提供由图22a的电子设备100获取的信息到第一用户的示例。

如图22d中所示,电子设备100可以连续显示在电子设备100的屏幕上显示的文本聊天界面的图像,和可以通过使用语音提供所获取的信息。例如,电子设备100可以连续显示在电子设备100的屏幕上显示的文本聊天界面的图像,可以归纳所获取的信息,和可以通过经由扬声器输出与发言数据“通过搜索查询“好日子披萨饼是a、b和c”获取的结果”相对应的语音而提供信息。

电子设备100所提供的语言类型可以变化,包括韩语、英语、法语、德语、西班牙语、日语、汉语等。例如,电子设备100提供的语言类型可以通过第一用户经由设置来设定。例如,电子设备100提供的语言类型可以由电子设备100来提供。

图22e示出其中经由语音和屏幕分区提供由图22a的电子设备100获取的信息到第一用户的示例。

如图22e中所示,电子设备100可以将在电子设备100的屏幕上显示的文本聊天界面的图像的一部分转换成显示所获取的信息的图像,以及可以通过使用语音提供所获取的信息。此外,例如,电子设备100可以将在电子设备100的屏幕上显示的文本聊天界面的图像的一部分转换成显示所获取的信息的图像,以及可以向第一用户显示询问是否归纳并通过使用语音提供所获取的信息的部分的消息。例如,电子设备100可以向第一用户显示问题“你想要看通过搜索查询“好日子披萨饼”所获取的图像结果吗?”

图22f示出经由发消息服务提供由图22a的电子设备100获取的信息到一个或多个用户的示例。

如图22f中所示,电子设备100可以在电子设备100的屏幕上连续显示文本聊天界面的图像,以及发消息服务服务器2200可以经由发消息服务提供所获取的信息到第一用户的电子设备100和/或第二用户的电子设备105。此外,例如,电子设备100可以在电子设备100的屏幕上连续显示文本聊天界面的图像,以允许第一用户和第二用户连续进行文本聊天,以及发消息服务服务器2200可以经由发消息服务传输所获取的信息到一个或多个第三用户的特定电话号码。例如,发消息服务服务器2200可以从发消息数据库2201检索该特定电话号码。

图22g示出经由电子邮件服务提供由图22a的电子设备100获取的信息到一个或多个用户的示例。

如图22g中所示,电子设备100可以在电子设备100的屏幕上连续显示文本聊天界面的图像,以及电子邮件服务器2210可以经由电子邮件服务提供所获取的信息到第一用户的电子邮件地址和/或第二用户的电子邮件地址。此外,例如,电子设备100可以在电子设备100的屏幕上连续显示文本聊天界面的图像,以允许第一用户和第二用户连续进行文本聊天,以及电子邮件服务器2210可以经由电子邮件服务传输所获取的信息到一个或多个第三用户的特定电子邮件账户。例如,电子邮件服务器2210可以从电子邮件数据库2211检索该特定电子邮件账户。

图22h示出经由sns提供由图22a的电子设备100获取的信息到一个或多个用户的示例。

如图22h中所示,电子设备100可以在电子设备100的屏幕上连续显示文本聊天界面的图像,以及sns服务器2220可以经由sns提供所获取的信息到第一用户的sns账户和/或第二用户的sns账户。此外,例如,电子设备100可以在电子设备100的屏幕上连续显示文本聊天界面的图像,以允许第一用户和第二用户连续进行文本聊天,以及sns服务器2220可以经由sns传输所获取的信息到一个或多个第三用户的特定sns账户的消息板。例如,sns服务器2220可以从sns数据库2221检索该特定sns账户。

图22i示出经由应用服务提供由图22a的电子设备100获取的信息到一个或多个用户的示例。

如图22i中所示,电子设备100可以在电子设备100的屏幕上连续显示文本聊天界面的图像,以及应用服务服务器2230可以经由应用服务提供所获取的信息到第一用户的应用账户和/或第二用户的应用账户。此外,例如,电子设备100可以在电子设备100的屏幕上连续显示文本聊天界面的图像,以允许第一用户和第二用户连续进行文本聊天,以及应用服务服务器2230可以经由应用服务传输所获取的信息到一个或多个第三用户的特定应用账户的消息板。例如,应用服务服务器2230可以从数据库2231检索该特定应用账户。

图23a至23e示出示例,其中当电子设备100是智能电话或平板pc并且用户通过使用该智能电话或平板pc执行语音聊天时,通过输出接口提供由该电子设备100获取的信息到用户。

图23a示出其中用户通过使用电子设备100和105执行语音聊天的情况。

参考图23a,电子设备100的第一用户和电子设备105的第二用户具有经由语音聊天的对话。在第一用户和第二用户之间的对话期间,第一用户传递语音消息“我想要吃披萨饼”。该第一用的语言消息可以通过使用stt模块转变成文本,并可以显示在电子设备100的屏幕上。

当电子设备100监视对话时,电子设备100可以从需要额外信息的消息中提取关键词,并可以提供查询到第一用户。该第一用户可以编辑所提供的查询。电子设备100可以基于已编辑的查询和电子设备100的位置信息来获取信息。电子设备100可以经由输出接口以图23b至23e中所示的方式提供信息到第一用户。

图23b示出其中经由屏幕转换提供由图23a的电子设备100获取的信息到第一用户的示例。

如图23b中所示,电子设备100可以将在电子设备100的屏幕上显示的语音聊天界面屏幕转换成显示所获取的信息的屏幕。例如,电子设备100可以关闭在屏幕上显示的语音聊天界面屏幕,并可以显示所获取的信息和提供所获取的信息的搜索引擎的界面。

图23c示出其中经由屏幕分区提供由图23a的电子设备100获取的信息到第一用户的示例。

如图23c中所示,电子设备100可以将在电子设备100的屏幕上显示的语音聊天界面屏幕的一部分转换成显示所获取的信息的屏幕。例如,电子设备100可以关闭显示在电子设备100的屏幕上的语音聊天界面屏幕的一部分,并可以显示所获取的信息和提供所获取的信息的搜索引擎的界面。

图23d示出其中通过使用语音提供由图23a的电子设备100获取的信息到第一用户的示例。

如图23d中所示,电子设备100可以在电子设备100的屏幕上连续显示语音聊天界面的屏幕,和可以通过使用语音提供所获取的信息。例如,电子设备100可以在电子设备100的屏幕上连续显示语音聊天界面的屏幕,可以归纳所获取的信息,和可以通过使用语音来提供信息。

图23e示出其中经由语音和屏幕分区提供由图23a的电子设备100获取的信息到第一用户的示例。

如图23e中所示,电子设备100可以将显示在电子设备100的屏幕上的语音聊天界面的屏幕的一部分转换成显示所获取的信息的图像,以及可以通过使用语音提供所获取的信息。此外,例如,电子设备100可以将显示在电子设备100的屏幕上的语音聊天界面的屏幕的一部分,转换成显示所获取的信息的图像,以及可以归纳所获取的信息的一部分并通过使用语音提供该信息。

此外,与上文就用户之间文本聊天所描述的示例性实施例相类似,在语音聊天期间,所获取的信息可以经由发消息服务、电子邮件服务、sns和/或应用服务,传输到第一用户、第二用户和/或一个或多个第三用户。

这里,依赖于该至少一个用户是否使用发消息服务、该至少一个用户是否使用电子邮件服务、该至少一个用户是否sns、和/或该至少一个用户是否使用应用服务,所获取的信息可以传输到第一用户、第二用户和/或一个或多个第三用户中的至少一个用户。

图24a至24f示出这样的示例,其中当电子设备100是智能手表并且用户通过使用该智能手表执行文本聊天时,经由输出接口提供通过电子设备100获取的信息到用户。

图24a示出其中用户通过使用作为电子设备100和105的智能手表执行文本聊天的情况。

参照图24a,电子设备100的第一用户与电子设备105的第二用户具有经由文本聊天的对话。在第一用户和第二用户之间的对话期间,第一用户传递消息“我想要吃披萨饼”。当电子设备100监视对话时,电子设备100可以从需要额外信息的消息中提取关键词,并可以提供查询到第一用户。该第一用户可以编辑所提供的查询。电子设备100可以基于已编辑的查询和电子设备100的位置信息来获取信息。根据示例性实施例,电子设备100可以经由输出接口以图24b至24f中所示的方式提供信息到第一用户。

图24b示出这样的示例,其中来自由图24a的电子设备100获取的多条信息中的主要信息被提供给第一用户。

如图24b所示,电子设备100可以将在电子设备100的屏幕上显示的文本聊天界面屏幕转换成显示来自多条所获取的信息中的主要信息的屏幕。例如,电子设备100可以显示来自多条所获取的信息中的多条主要信息中的一条(例如,图24c中所示的图像)。

图24c示出向用户提供来自由图24a的电子设备100获取的多条信息中的主要信息的方法,该方法由电子设备100执行。

如图24c所示,电子设备100可以显示来自多条所获取的信息中的多条主要信息中的一条(例如,在图24c的(a)、(b)、(c)、(d)和(e)中所示的图像)。例如,第一用户可以通过使用由电子设备100提供的换页按钮21来检查多条主要信息中的每一条。

图24d示出其中通过语音提供由图22a的电子设备100获取的信息到第一用户的示例。

如图24d中所示,电子设备100可以连续显示在电子设备100的屏幕上显示的文本聊天界面的图像,和可以通过使用语音提供所获取的信息。例如,电子设备100可以连续显示在电子设备100的屏幕上显示的文本聊天界面的图像,可以归纳所获取的信息,及可以通过使用语音提供信息。

图24e示出这样的示例,其中通过语音提供来自由图22a的电子设备100获取的图像信息中的主要图像信息到第一用户。

如图24e中所示,电子设备100可以将在电子设备100的屏幕上显示的文本聊天界面的屏幕转换成显示来自所获取的图像信息中的主要图像信息的屏幕,以及可以通过使用语音提供所获取的图像信息。此外,例如,电子设备100可以将在电子设备100的屏幕上显示的文本聊天界面屏幕的部分转换成显示所获取的图像信息的屏幕,可以归纳所获取的图像信息的部分,及可以通过使用语音提供该图像信息。

图24f示出这样的示例,其中通过语音提供来自由图22a的电子设备100获取的文本信息中的主要文本信息到第一用户。

如图24f所示,电子设备100可以将在电子设备100的屏幕上显示的文本聊天界面的屏幕转换成显示来自所获取的文本信息中的主要文本信息的屏幕,以及可以通过使用语音提供所获取的文本信息。此外,例如,电子设备100可以将在电子设备100的屏幕上显示的文本聊天界面屏幕的部分转换成显示所获取的文本信息的屏幕,可以归纳所获取的文本信息的部分,及可以通过使用语音提供该文本信息。

图25a和25b示出这样的示例,其中当电子设备100是智能手表并且用户通过使用智能手表100和智能电话(该智能电话是与该智能手表100互操作的电子设备101)执行文本聊天时,经由输出接口提供由该电子设备100获取的信息到用户。

参考图25a,智能手表100和智能电话101可以彼此互操作。例如,智能手表100可以经由短距离通信与智能电话101相连接。例如智能手表100和智能电话101可以共享部分显示器屏幕。例如,当智能电话101接收到来自服务器(未示出)的消息时,智能手表100可以以振动方式向用户通知接收到消息。例如,当智能电话101接收到来自服务器的语音呼叫时,智能手表100可以以振动方式通知用户接收到语音呼叫。

例如,由电子设备101接收的一些消息可以显示在电子设备100上。此外,在电子设备100和电子设备105之间连续交换的一些消息可以分别显示在电子设备101和电子设备106上。例如,电子设备106可以是智能电话,其与可以是智能手表的电子设备105互操作。电子设备101的第一用户可以经由触摸屏检查在第一用户和电子设备105和106的第二用户之间交换的消息。例如,电子设备101的第一用户可以通过执行诸如摇动(pan)或轻弹触摸屏的触摸输入,来垂直卷动在第一和第二用户之间交换的消息。

电子设备100和电子设备101的第一用户及电子设备105和电子设备106的第二用户具有通过文本聊天的对话。在第一用户和第二用户之间的对话期间,第一用户传递消息“我想要吃披萨饼”。在该情况中,电子设备100可以显示对话的相对小部分,和电子设备101可以显示对话的相对大部分。

当电子设备100监视对话时,电子设备100可以从需要额外信息的消息中提取关键词,并可以提供查询到第一用户。该第一用户可以编辑所提供的查询。电子设备100可以基于已编辑的查询和电子设备100的位置信息来获取信息。

电子设备100可以连续分析第一用户和第二用户之间的对话,及可以监视每个消息。另外,当电子设备100监视每个消息时,电子设备100可以确定每个消息是否是查询消息,及可以确定是否需要针对每个消息获取信息。另外,电子设备100可以从每个消息中提取关键词。另外,电子设备100可以连续及区别地标记每个消息的一部分和每个消息的其他部分,其中该部分对应于所提取的关键词。另外,电子设备100可以在预定时间段保持的每个消息的标记。此外,电子设备100可以经由设置调整要在预定时段保持并在预定时间段之后去标记的每个消息的标记(参考图30e)。

此外,电子设备100可以经由输出接口显示每个消息的标记,以允许第一用户经由例如滚动来检查标记。此外,当第一用户对每个消息的标记执行触摸输入时,电子设备100可以获取有关每个消息的标记的信息,并可以经由输出接口显示该信息。此外,当第一用户对每个消息的标记执行触摸输入时,电子设备100可以经由输出接口显示关于每个消息的标记在前获取的信息。

电子设备100可以以如图25所示的方式经由输出接口提供消息到第一用户。

图25b示出这样的示例,其中经由电子设备100和与电子设备100互操作的电子设备101来提供由图25a的电子设备100获取的信息到第一用户。

如图25b中所示,电子设备100可以将在电子设备100的屏幕上显示的文本聊天界面屏幕转换成显示来自所获取的信息中的主要信息的屏幕。此外,电子设备101可以将在电子设备101的屏幕上显示的文本聊天界面屏幕转换成显示所获取的信息的屏幕。例如,电子设备100可以显示来自所获取的信息中的多条主要信息(例如,如图24c中所示的(a)-(e)所示的每个图像)的一条。进一步,电子设备101可以关闭在屏幕上显示的文本聊天界面屏幕,并可以显示所获取的信息和提供所获取的信息的搜索引擎的界面。

图26a和26b示出这样的示例,其中当电子设备100是智能手表100并且用户通过使用该智能手表100执行语音聊天时,经由输出接口提供由该电子设备100获取的信息到用户。

参考图26a,电子设备100和与电子设备100互操作的电子设备101的第一用户、及电子设备105和与电子设备105互操作的电子设备106的第二用户具有经由语音聊天的对话。在第一用户和第二用户之间的对话期间,第一用户传递消息“我想要吃披萨饼”。在该情况中,电子设备100可以显示呼叫图像,和电子设备101可以经由stt转换将语音消息转换为文本消息并可以显示该文本消息。

当电子设备100监视对话时,电子设备100可以从需要额外信息的消息中提取关键词,并可以提供查询到第一用户。该第一用户可以编辑所提供的查询。电子设备100可以基于已编辑的查询和电子设备100的位置信息来获取信息。电子设备100可以经由输出接口以图26b中所示的方式提供信息到第一用户。

图26b示出这样的示例,其中经由电子设备100和与电子设备100互操作的电子设备101,提供由图26a的电子设备100获取的信息到第一用户。

如图26b中所示,电子设备100可以将在电子设备100的屏幕上显示的语音聊天界面屏幕2600转换成显示来自所获取的信息中的主要信息的屏幕2601。此外,电子设备101可以将在电子设备101的屏幕上显示的文本聊天界面屏幕转换成显示所获取的信息的屏幕2603。例如,电子设备100可以显示来自所获取的信息中的多条主要信息(例如,如图24c中所示的图像(a)-(e)的每个)的一条。进一步,电子设备101可以关闭在屏幕上显示的文本聊天界面屏幕,并可以显示所获取的信息和提供所获取的信息的搜索引擎的界面。

图27a和27b示出这样的示例,其中当电子设备100是智能眼镜并且用户通过使用该智能眼镜执行文本聊天时,经由输出接口提供由该电子设备100获取的信息到用户。

参考图27a,电子设备100的第一用户和电子设备105的第二用户具有通过文本聊天的对话。在第一用户和第二用户之间的对话期间,第一用户传递消息“我想要吃披萨饼”。

第一用户和第二用户可以分别通过使用电子设备100的输入接口和电子设备105的输入接口执行文本聊天。例如,输入接口可以包括虚拟键盘、虚拟触摸屏等。

此外,第一用户和第二用户可以分别通过使用电子设备100的输出接口和电子设备105的输出接口执行文本聊天。例如,该输出接口可以包括微型投影仪和棱镜等。

当电子设备100监视对话时,电子设备100可以从需要额外信息的消息中提取关键词,并可以提供查询到第一用户。该第一用户可以编辑所提供的查询。电子设备100可以基于已编辑的查询和电子设备100的位置信息来获取信息。电子设备100可以经由输出接口以图27b中所示的方式提供信息到第一用户。

图27b示出这样的示例,其中经由电子设备100提供由图27a的电子设备100获取的信息到第一用户。

如图27b所示,电子设备100可以将在电子设备100的屏幕上显示的文本聊天界面屏幕转换成显示所获取的信息的屏幕。

图28a和28b示出这样的示例,其中当电子设备100是智能眼镜并且用户通过使用该智能眼镜执行语音聊天时,经由输出接口提供由该电子设备100获取的信息到用户。

参考图28a,电子设备100的第一用户和电子设备105的第二用户具有经由语音聊天的对话。在第一用户和第二用户之间的对话期间,第一用户传递消息“我想要吃披萨饼”。

此外,第一用户和第二用户可以分别通过使用电子设备100的输出接口和电子设备105的输出接口执行语音聊天。例如,该输出接口可以包括微型投影仪和棱镜等。电子设备100可以经由该输出接口以图28b中所示的方式提供信息到第一用户。

图28b示出这样的示例,其中经由电子设备100提供由图28a的电子设备100获取的信息到第一用户。

如图28b所示,电子设备100可以将在电子设备100的屏幕上显示的语音聊天界面屏幕转换成显示所获取的信息的屏幕。

图29a和29b示出这样的示例,其中当电子设备100包括包含智能眼镜的各种电子设备,及用户通过使用该电子设备经语音聊天和文本聊天中的至少一个与另一用户通信时,经由输出接口提供由电子设备100获取的信息到用户。

如图29a中所示,多个用户可以经由上面参考图22至28描述的多种类型的聊天来通信,及如图29b中所示,多个用户可以经由上面参考图22至28所描述的多种类型的聊天接收由电子设备100获取的信息。

例如,第一用户可以通过使用智能手表以参考图25描述的方式执行文本聊天,和第二用户可以通过使用智能眼镜以参考图27描述的方式执行文本聊天。

例如,该第一用户可以通过使用智能手表以参考图25描述的方式执行文本聊天,和该第二用户可以通过使用智能眼镜以参考图28描述的方式执行语音聊天。在该情况下,由该第二用户输入的语音消息可以经由stt转换来转换成文本消息并可以被传递到该第一用户。此外,在另一示例性实施例中,该第一用户输入的文本消息可以被转换成语音消息并可以被传递到该第二用户。

例如,可以在诸如至少三个用户间的视频会议的通信中使用以前述结合方式的聊天。

此外,例如,前述结合方式的聊天可以被应用到诸如经由应用提供的sns的各种通信服务、及诸如经由服务器提供的电子邮件服务的各种通信服务。

电子设备100可以以参考图22至29描述的各种方式提供信息到用户。

图30a至31b示出根据示例性实施例的通过电子设备100提供的设置ui。

参考图30a,电子设备100可以向用户提供有关信息提供操作的打开/关闭的设置ui。根据示例性实施例,用户可以经由设置ui选择是否接收根据信息提供方法的信息。用户可以根据示例性实施例设置信息提供操作的打开/关闭。

电子设备100的设置可以包括呈现用以接收用户的设置输入的电子设备100的操作,以基于该设置输入提供电子设备100的使用环境。

当图30a示出呈现查询生成的操作时,该查询生成操作可以根据所应用的产品而被称为不同的名称,诸如例如自动搜索引擎、自动信息搜索等,操作的名称因此不限于本发明构思的范围。

电子设备100可以提供更具体的设置ui到用户。例如,当信息提供操作被设置为开启时,电子设备100可以允许用户选择获取信息的方法。

例如,电子设备100可以允许用户选择是否通过执行应用搜索或因特网搜索获取信息。此外,电子设备100可以通过同时执行应用搜索和因特网搜索来获取信息。

参考图30b,当电子设备100为用户提供有关信息提供操作的打开/关闭的设置ui时,该电子设备100可以将不同的具体设置ui不同地提供到用户。

例如,当信息提供操作被设置为打开时,电子设备100可以允许用户选择如何提供信息。例如,电子设备100可以允许用户选择是否以文本、语音或图像来提供信息。

例如,当信息提供操作设置为打开时,电子设备100可以允许用户选择如何接收已编辑的查询。例如,电子设备100可以允许用户选择是否以文本或语音来接收已编辑的查询。

参考图30c,当电子设备100为用户提供有关信息提供操作的打开/关闭的设置ui时,该电子设备100可以将具体设置ui不同地提供到用户。

例如,当信息提供操作被设置为打开时,电子设备100可以允许用户选择要提供谁的消息信息。例如,电子设备100可以被设置以仅从第一用户user1的消息中提取关键词,并提供关于关键词的信息。

可选地,例如,当信息提供操作被设置为打开时,电子设备100可以允许用户选择要将信息提供给谁。例如,电子设备100可以被设置为提供信息到第一用户user1和第二用户user2。

参考图30d,当电子设备100为用户提供有关信息提供操作的打开/关闭的设置ui时,该电子设备100可以将具体设置ui不同地提供到用户。

例如,当信息提供操作被设置为打开时,电子设备100可以允许用户选择在提取关键词中涉及哪个信息。可选地,例如,当信息提供操作被设置为打开时,电子设备100可以允许用户选择在生成查询中涉及哪个信息。可选地,例如,当信息提供操作被设置为打开时,电子设备100可以允许用户选择在基于已编辑的查询和电子设备100的位置信息获取信息中涉及哪个信息。

参考图30e,当电子设备100为用户提供有关信息提供操作的打开/关闭的设置ui时,该电子设备100可以将具体的设置ui不同地提供到用户。

例如,当信息提供操作被设置为打开时,电子设备100可以允许用户选择关键词显示持续时间。例如,用户可以将关键词显示持续时间设置为1分钟,以及接着,当显示高亮的关键词时过去一分钟之后,电子设备100可以停止高亮该关键词。

参考图30f,当电子设备100基于已编辑的查询和电子设备100的位置信息获取信息时,电子设备100可以允许用户选择要使用的搜索引擎。例如,当电子设备100基于已编辑的查询和电子设备100的位置信息获取信息时,电子设备100可以被设置为选择商业化的因特网搜索引擎,诸如谷歌、必应、雅虎或naver。

参考图30g,电子设备100可以为用户提供有关设置感兴趣领域的设置ui。此外,当电子设备100为用户提供有关设置感兴趣领域的设置ui时,电子设备100可以将具体的设置ui不同地提供到用户。

例如,当提取关键词时,电子设备100可以允许用户选择关键词的类别。可选地,例如,当信息提供操作被设置为打开时,当基于已编辑的查询和电子设备100的位置信息获取信息时,电子设备100可以允许用户选择信息的类别。

参考图31a,在通信期间,电子设备100可以通过使用该通信接口为用户提供有关信息提供操作的打开/关闭的设置开关10。该用户可以通过使用设置开关10确定是否激活信息提供操作。用户可以将设置开关10设置为打开,并因此可以设置电子设备100为执行根据本发明构思的信息提供操作。用户可以将设置开关10设置为关闭,并因此可以设置电子设备100为不执行本发明构思的信息提供操作。

参考图31b,在通信期间,电子设备100可以通过使用通信接口为用户提供有关用户输入(文本、图像和语音)的设置条10_a。用户可以通过使用该设置条10_a选择如何接收用户输入。

例如,用户可以将设置条10_a设置为“文本”,并因此可以设置电子设备100为经由文本搜索查询。此外,用户可以将设置条10_a设置为“文本+图像”,并因此可以设置电子设备100为通过文本和图像中的至少一个搜索查询。此外,用户可以将设置条10_a设置为“全部”,并因此可以设置电子设备100为通过文本、图像和语音中的至少一个搜索查询。

例如,如果用户将设置条10_a设置为“文本”时,电子设备100可以基于由用户生成的文本或经由电子设备100的屏幕提供到用户的文本生成查询。例如,如果用户将设置条10_a设置为“文本+图像”时,电子设备100可以基于由用户生成的文本和图像和/或经由屏幕提供到用户的文本和图像生成查询。可以通过设置来设定用户输入,而非通信接口。

图32至35为流程图,其示出根据示例性实施例的提供信息的方法,该方法由电子设备执行。

参考图32,电子设备100的处理器可以从经由通信服务在电子设备100的屏幕上显示的至少一个消息中提取多个关键词(s210)。该处理器可以确定关键词的优先级顺序(s220)。处理器可以基于关键词的优先级顺序生成查询,并可以提供该查询(s230)。电子设备100的输入接口可以接收来自用户的已编辑的查询(s240)。处理器可以基于已编辑的查询和电子设备100的位置信息获取信息(s250)。电子设备100的输出接口可以提供通过处理器获取的信息(s260)。

根据示例性实施例的由电子设备100执行的提供信息的方法可以确定关键词的优先级顺序,并可以基于该优先级顺序生成查询。

例如,如图17所示,可以提取诸如“蝙蝠侠”、“sumin”和“洛杉矶”的多个关键词。例如,电子设备100可以基于(1)用户之间的对话内容、(2)用户的位置日志、(3)用户的之前输入的信息、和(4)关于用户的历史信息中的至少一个来确定关键词的优先级顺序。例如,关键词中具有最高优先级顺序的关键词可以被生成为查询。

根据另一示例性实施例的由电子设备100执行的提供信息的方法可以通过使用在操作s230中生成的查询来获取信息。另外,根据另一示例性实施例的由电子设备100执行的提供信息的方法可以通过使用在操作s240中接收的已编辑的查询来获取信息。此外,根据另一示例性实施例的由电子设备100执行的提供信息的方法可以通过使用在操作s230中生成的查询和在操作s240中接收的已编辑的查询来获取信息,并可以显示该信息。此外,根据另一示例性实施例的由电子设备100执行的提供信息的方法可以通过使用在操作s230中生成的查询和在操作s240中接收的已编辑的查询来获取信息,并可以显示在操作s250中获取的信息。

参考图33,处理器可以从经由通信服务在屏幕上显示的至少一个消息中提取关键词(s310)。该处理器可以基于用户相关信息来生成与关键词相关的查询,并且提供该查询(s320)。输入接口可以接收来自用户的已编辑的查询(s330)。处理器可以基于已编辑的查询和电子设备100的位置信息来获取信息(s340)。输出接口可以提供由处理器获取的信息(s350)。

根据示例性实施例的由电子设备100执行的提供信息的方法可以基于用户相关信息来提取关键词或生成查询。例如,用户相关信息可以包括用户的位置日志、用户的之前输入的信息、和关于用户的历史信息中的至少一个。

参考图34,处理器可以从通过通信服务而在屏幕上显示的至少一个消息中提取多个关键词(s410)。该处理器可以生成并提供与该关键词相关的查询(s420)。输入接口可以接收来自用户的已编辑的查询(s430)。处理器可以基于已编辑的查询获取多条信息(s440)。输出接口可以提供通过处理器获取的多条信息(s450)。

依照根据示例性实施例的由电子设备100执行的提供信息的方法,处理器可以基于已编辑的查询获取多条信息,并可以通过考虑该多条信息的优先级顺序来提供该多条信息。例如,电子设备100可以基于用户相关信息来确定该多条信息的优先级顺序。例如,用户相关信息可以包括用户的位置日志、用户的之前输入的信息、和关于用户的历史信息中的至少一个。

参考图35,处理器可以从经由通信服务在屏幕上显示的至少一个消息中提取多个关键词(s510)。该处理器可以生成并提供与该关键词相关的查询(s520)。输入接口可以接收来自用户的已编辑的查询(s530)。处理器可以基于已编辑的查询和当前时间获取多条信息(s540)。输出接口可以提供通过处理器获取的多条信息(s550)。

根据另一示例性实施例的由电子设备100执行的提供信息的方法可以基于已编辑的查询和当前时间来获取信息。例如,如果当前时间是用户的午餐时间,则电子设备100可以通过优先化与餐馆有关的关键词来获取信息。

图36示出根据示例性实施例的电子设备1000。

参考图36,电子设备1000可以提供通信服务应用app1、app2、app3、app4和app5(也称为应用)到电子设备1000的用户。该用户可以与另一电子设备(未示出)的用户通过使用由通信服务应用app1至app5中的一个所提供的服务进行通信。

例如,通信服务应用app1至app5可以包括发消息服务应用、邮件服务应用、和sns应用。发消息服务应用可以包括,例如,微软网络(msn)、信使(messenger)、雅虎通(yahoomessenger)、nateon、buddybuddy、kakaotalk、kakaostory、skype等。例如,通信服务应用app1至app5包括书脸(facebook)、推特(twitter)、kakaotalk、skype等。

例如,通信服务应用app1至app5中的每一个可以提供一对一通信服务、一对多通信服务和多对多通信服务中的至少一个。例如,通信服务应用app1至app5中的每一个可以提供一对一通信类型信使服务或一对一通信类型视频呼叫服务。例如,通信服务应用app1至app5中的每一个可以提供一对多通信类型视频讲授服务。例如,通信服务应用app1至app5中的每一个可以提供多对多通信类型视频会议服务。

例如,通信服务应用app1至app5中的每一个可以提供语音或视频通信服务。例如,通信服务应用app1至app5中的每一个可以通过使用3d图像来提供通信服务。例如,通信服务应用app1至app5中的每一个可以通过使用3d全息照相来提供通信服务。

电子设备1000可以包括查询生成框架1100。查询生成框架1100可以经由应用程序接口(api)与通信服务应用app1至app5交换信息。

电子设备100可以通过使用查询生成框架1100生成查询,而不考虑用户所使用的应用的类型。例如,电子设备1000可以生成查询,而无论安装在电子设备1000中的应用是否是邮件服务应用、聊天服务应用或sns应用。根据示例性实施例的电子设备1000可以通过使用查询生成框架1100安装在其中的任何应用来生成查询。

查询生成框架1100可以从经由通信服务在电子设备1000的屏幕上显示的消息中提取至少一个关键词。查询生成框架1100可以通过使用自然语言处理器1200从消息中提取至少一个关键词。

查询生成框架1100可以提供与该至少一个关键词相关的查询。例如,查询生成框架1100可以通过执行统计分析和/或语义分析生成与该至少一个关键词相关的查询。

例如,查询生成框架1100可以通过执行统计分析和/或语义分析,基于该至少一个关键词生成“好日子披萨饼”作为查询。例如,该查询生成框架1100可以基于(1)用户之间的对话内容、(2)用户的位置日志、(3)用户的之前输入的信息、和(4)关于用户的历史信息来生成“好日子披萨饼”作为查询。

查询生成框架1100可以包括自然语言处理器1200。自然语言处理器1200可以通过考虑与消息相关的情景元素来识别该消息的含义。例如,电子设备1000的自然语言处理器1200可以基于包括在该消息中的词的类型、词之间的关系以及词的含义来识别该消息的含义。自然语言处理器1200可以基于识别的含义确定搜索的类别。

电子设备1000可以向用户提供通过使用查询生成框架1100生成的查询。例如,电子设备100可以经由屏幕向用户提供作为查询的图像,该查询通过使用查询生成框架1100生成。例如,电子设备1000可以经由扬声器向用户提供作为查询的语音,该查询通过使用查询生成框架1100生成。

电子设备1000可以接收来自用户的已编辑的查询。例如,电子设备1000可以提供所生成的查询到用户,并可以经由接口接收由用户编辑的查询。

电子设备1000可以基于由用户编辑的查询和该用户的位置信息来获取信息。电子设备100可以获取来自外部搜索服务器2000的信息。例如,电子设备1000可以通过应用服务获取来自外部服务器2000的信息。例如,电子设备1000可以经由因特网网站提供的搜索服务获取来自外部搜索服务器2000的信息。

因此,根据示例性实施例的电子设备1000可以允许用户在使用通信服务的同时,方便地接收与正在进行的通信有关的信息。

图37是示出根据另一实施例的电子设备1000的框图。

参考图37,电子设备1000可以提供通信服务应用app1、app2、app3、app4和app5到电子设备1000的用户。该用户可以与另一电子设备(未示出)的用户通过使用由通信服务应用app1至app5中的一个所提供的服务进行通信。

电子设备1000可以包括查询生成框架1100。查询生成框架1100可以经由api与通信服务应用app1至app5交换信息。查询生成框架1100可以从经由通信服务在电子设备1000的屏幕上显示的消息中提取至少一个关键词。

查询生成框架1100可以通过使用包括在云服务器3000中的自然语言处理器3200从消息中提取至少一个关键词。

查询生成框架1100可以提供与该至少一个关键词相关的查询。例如,查询生成框架1100可以通过执行统计分析和/或语义分析生成与该至少一个关键词相关的该查询。

查询生成框架1100可以通过与包括在云服务器3000中的自然语言处理器3200交换信息来识别消息的含义。自然语言处理器3200可以根据与该消息相关的情况识别该消息的含义。自然语言处理器3200可以基于已识别的含义来确定搜索的类别。电子设备1000可以将通过使用查询生成框架1100生成的查询提供给用户。电子设备1000可以基于由用户编辑的查询和用户的位置信息来获取信息。

因此,通过使用外部自然语言处理器3200,根据示例性实施例的电子设备1000可以在用户使用通信服务的同时允许用户方便地接收与正在进行的通信相关的信息。

图38示出图36所示的自然语言处理器1200和图37所示的自然语言处理器3200的配置。

自然语言处理器1200或3200可以包括命名实体识别器1210和类别分类器1230。命名实体识别器1210可以识别在通信中的消息中所使用的每个词的含义。此外,命名实体识别器1210可以识别每个消息的含义。类别分类器1230可以分别地分类消息的类别。也就是说,类别分类器1230可以通过分析每个消息的内容检查每个消息的关键词和分别地分类消息的类别。

图39是示出根据另一示例性实施例的电子设备1000的框图。

参考图39,电子设备1000可以提供通信服务应用app1、app2、app3、app4和app5到电子设备1000的用户。该用户可以与另一电子设备(未示出)的用户通过使用由通信服务应用app1至app5中的一个所提供的服务进行通信。

电子设备1000可以包括查询生成框架1100。查询生成框架1100可以经由api与通信服务应用app1至app5交换信息。查询生成框架1100可以从经由通信服务在电子设备1000的屏幕上显示的消息中提取至少一个关键词。

电子设备1000可以进一步包括gps数据库1400。gps模块(或gps处理器)1100-1可以通过使用包括在电子设备1000中的位置追踪引擎来连续地追踪电子设备1000的位置。gps数据库1400可以连续地累计通过gps模块1100-1追踪的位置的数据,并可以连续存储关于电子设备1000的位置的信息。

gps模块1100-1可以接收来自gps卫星的gps信号,可以确定电子设备1000的位置,并且可以生成位置信息。要做到这一点,gps模块1100-1可以包括gps天线和gps接收器。gps模块1100-1分析包含在该gps信号的导航数据,并提取电子设备1000的纬度和经度数据、时间信息等。gps信号包括gps卫星的识别(id)码、轨道位置和时间信息,并且gps模块1100-1通过计算从多个gps卫星发送的电磁波的速度之间的差来计算该电子设备1000的位置的坐标。上述操作可以由嵌入在gps模块1100-1中的gps定位程序来执行。

这里,gps定位程序可以通过使用常规gps(c-gps)的定位、差分gps(dgps)定位、辅助gps(a-gps)定位和双差分gps定位中的一个或多个来确定电子设备1000的位置。此外,对于根据a-gps定位、dgps定位、双差分gps定位等的更精确的定位,该gps定位程序可以从外部基站等接收与误差校正相关的信号,并可以校正经定位的位置。

如果电子设备1000是不包括在gps模块1100-1中的终端,则电子设备1000可以连接单独的gps套件到电子设备1000,并可以接收关于由gps套件定位的位置的信息,gps套件包括gps天线、gps接收机等。

因此,根据示例性实施例的电子设备1000可以连续追踪电子设备1000的位置,可以连续地存储位置数据,并且因此可以在用户使用通信服务的同时允许用户方便地接收与正在进行的通信相关的信息。

图40是示出根据示例性实施例的识别实体的操作的框图,该操作由电子设备1000执行。

参考图40,包括在电子设备1000中的自然语言处理器1200可以包括命名实体识别器1210和频率测量器1250。

频率测量器1250可以测量在对话中识别的实体的使用频率。例如,命名实体识别器1210可以识别<彼得·希格斯>作为句子[谁是彼得·希格斯?]中的实体。频率测量器1250可以计数被命名实体识别器1210识别为实体的<彼得·希格斯>在用户之间的对话中使用的次数。

频率测量器1250可以计算在用户之间的对话中实体<彼得·希格斯>的使用频率的比率。例如,命名实体识别器1210也可识别<诺贝尔奖>作为一个实体。当实体<诺贝尔奖>在对话中使用7次,而实体<彼得·希格斯>在对话中使用14次,频率测量器1250可以计算实体<彼得·希格斯>的频率为0.67。该频率测量器1250可以通过将<特定实体被使用的次数>除以<所有实体被使用的总次数>计算使用频率。

命名实体识别器1210可以从云服务器3000接收每个实体的信息。

云服务器3000可以包括数据计算机3400。数据计算机3400可以包括文本提取器3410和数据存储3430。数据存储3430可以包括诸如云命名实体识别数据库(云nerdb)3431和知识数据库3433的各种类型的数据库。

文本提取器3410可以从存储在数据存储3430中的知识数据库3433挖掘文本。文本提取器3410可以将挖掘的数据存储在云服务器3000的云nerdb3431。数据计算机3400可以根据图41中所示的表图安排关于云nerdb3431的信息,并可以将该信息存储在数据存储3430中。

根据示例性实施例的电子设备1000可以包括命名实体识别器1210,可以识别用户之间对话的一个或多个消息所包括的每个实体,并可以计数每个实体被使用的频率。因此,电子设备1000可以通过使用诸如每个实体在对话中被使用的频率的实体信息来提取关键词,生成查询,或限制关键词的提取或查询。

图41示出根据示例性实施例的命名实体识别器1210识别实体之后由命名实体识别器1210生成的表图。

参考图41,图40的命名实体识别器1210可以识别<彼得·希格斯>、<欧洲核研究中心>、<美国>和<瑞士>作为实体。命名实体识别器1210可以从包括在云服务器3000中的数据存储3430提取有关每个实体的信息(下文称为实体信息)。例如,该实体信息可以包括相关度、情感、类型和已链接数据。

电子设备1000可以通过使用实体信息来提取关键词或生成查询。因而,电子设备1000在自然语言分析中使用该实体信息,从而电子设备1000可以进一步清楚地识别包括在消息中的用户的意图。

图42是示出根据示例性实施例的由电子设备1000执行的获取用户输入的操作的框图。

参考图42,包括在电子设备1000中的用户上下文认知框架1500可以包括文本辅助部件1510、图像辅助部件1520、和语音辅助部件1530。此外,用户上下文认知框架1500可以包括服务捆绑器1550。文本辅助部件1510可以包括上下文认知文本提取器1513和查询生成器1515。

服务捆绑器1550可以接收用户输入,并可以根据输入类型来传递该用户输入到文本辅助部件1510、图像辅助部件1520和语音辅助部件1530中的一个。另外,服务捆绑器1550可以接收来自文本辅助部件1510的生成的查询,并且传送生成的查询到用户。

文本辅助部件1510可以生成关于经由服务捆绑器1550接收的文本类型用户输入的查询。文本辅助部件1510可以通过使用上下文认知文本提取器1513连续挖掘文本,并可以通过使用查询生成器1515生成查询。生成的查询可以被连接到搜索服务器2000或云服务器3000,并因此可以被连接到搜索引擎3500、图像分析引擎3600或语音辅助引擎3700。

图像辅助部件1520可以接收图像并可以生成对应于该接收到的图像的文本。生成的文本可以被传输到查询生成器1515,进而查询生成器1515可以以与文本类型用户输入相同的方式生成查询。

语音辅助部分1530可以接收语音并可以生成对应于该接收到的语音的文本。生成的文本可以被传输到查询生成器1515,进而查询生成器1515可以以与文本类型用户输入相同的方式生成查询。

文本辅助部件1510、图像辅助部件1520和语音辅助部件1530可以经由如图31b所示的接口被激活或禁止。例如,当用户通过使用图31b的接口将设置条10_a设置为“文本”时,图像辅助部件1520和语音辅助部件1530可以被禁用,并且即使电子设备1000接收图像输入或语音输入,电子设备1000也不产生对应于该图像输入或语音输入的查询。

图43是示出根据另一示例性实施例的由电子设备1000执行的获取用户输入的操作的框图。

参考图43,电子设备1000可以包括搜索引擎1850、图像分析引擎1860、和/或语音辅助引擎1870。也就是说,与图42的示例性实施例不同,搜索引擎1850、图像分析引擎1860、和/或语音辅助引擎1870可以被包括在电子设备1000中。电子设备1000可以使用搜索引擎1850、图像分析引擎1860、或语音辅助引擎1870以接收查询并获取信息。

图44是示出根据示例性实施例的用户终端设备1000的配置的框图。图44中所示的用户终端设备1000可以与图1的电子设备100相对应。

如图44中所示,用户终端设备1000的配置可以被应用到多种类型的设备,包括移动电话、平板pc、pda、mp3播放器、资讯站(kiosk)、电子相框、导航设备、数字电视(tv)、或包括手表、hmd的可穿戴设备等。

参考图44,用户终端设备1000可以包括显示器1100-2、控制器1700、存储器1200、gps芯片1250、通信器1300、视频处理器1350、音频处理器1400、用户输入设备1450、麦克风1500、图像捕获器1550、扬声器1600和运动检测器1650中的至少一个。

显示器1100-2可以包括显示面板1110和控制显示面板1110的控制器(未示出)。显示面板1110可以实现为各种显示器,包括液晶显示器(lcd)、有机发光二极管(oled)显示器、有源矩阵oled(amoled)显示器、等离子体显示面板(pdp)等。显示面板1110可以被构成为灵活的、透明的、和/或可穿戴的。显示面板1110可以与用户输入设备1450的触摸面板1470相结合,并因此可以提供为触摸屏(未示出)。例如,触摸屏可以包括集成模块,该集成模块具有包含显示面板1110和触摸面板1470的堆叠结构。

存储器1200包括内部存储器(未示出)和外部存储器(未示出)中的至少一个。

外部存储器可以包括易失性存储器(例如,动态随机存取存储器(dram)、静态随机存取存储器(sram)、同步动态随机存取存储器(sdram)等)、非易失性存储器(例如,一次性可编程只读存储器(otprom)、可编程只读存储器(prom)、可擦除和可编程只读存储器(eprom),电可擦除和可编程只读存储器(eeprom)、掩模只读存储器(rom)、闪速rom等)、硬盘驱动器(hdd)、和固态驱动器(ssd)中的至少一个。根据示例性实施例,控制器1700可以将从非易失性存储器和另一元件中的至少一个接收的命令或数据加载到易失性存储器,并且可以处理该命令或数据。另外,控制器1700可在非易失性存储器中存储从另一元件接收到的或由其生成的数据。

该外部存储器可以包括压缩闪速(cf)存储器、安全数字(sd)存储器、微型安全数字(micro-sd)存储器、迷你安全数字(mini-sd)存储器、极限数字(xd)存储器、和存储棒中的至少一个

存储器1200可以存储在用户终端设备1000的操作中使用的各种程序和数据。例如,存储器1200可以暂时或半永久地存储要在锁定屏幕上显示的一部分内容。

控制器1700可以控制显示器1100-2,以显示存储在存储器1200中的一部分内容。换言之,控制器1700可以在显示器1100-2上显示存储在存储器1200中的一部分内容。可选地,当用户的手势在显示器1100-2的区域被执行时,则控制器1700可以执行对应于用户的手势控制操作。

控制器1700可以包括随机存取存储器(ram)1701、rom1720、中央处理单元(cpu)1730、图形处理器单元(gpu)1740、和总线1750中的至少一个。ram1710、rom1720、cpu1730和gpu1740可以经由总线1750彼此连接。

cpu1730可以访问存储器1200,并通过使用存储在存储器1200的操作系统(os)执行引导操作。此外,cpu1730通过使用存储在存储器1200中的各种程序、多个内容、多条数据等执行各种操作。

rom1720存储用于启动系统的命令集。例如,当接通命令被输入到用户终端设备1000中,且提供电力给用户终端装置1000时,cpu1730可以根据存储在rom1720的命令将存储在存储器1200的os复制到ram1710,可以执行该os,并且因此可以引导系统。当引导操作完成时,cpu1730将存储在存储器1200中的各种程序复制到ram1710,并通过执行被复制到ram1710的程序执行各种操作。当用户终端设备1000被引导时,gpu1740在显示器1100-2的区域显示用户界面屏幕。更详细地说,gpu1740可以生成显示电子文档的屏幕,该电子文档包括诸如内容、图标、菜单等各种对象。gpu1740根据用户界面屏幕的布局来计算要显示的对象的坐标值,并计算该坐标是根据所述用户界面屏幕的布局来显示的对象的值,并计算对象的形状、尺寸或颜色的属性值。接着,gpu1740可以基于所计算的属性值,生成包括该对象的具有各种布局的用户界面屏幕。由gpu1740生成的用户界面屏幕可以被提供到显示器1100-2,并因此可以被显示在显示器1100-2的区域中。

gps芯片1250可以接收来自gps卫星的gps信号,并且可以计算出用户终端设备1000的当前位置。在使用导航程序或需要用户的当前位置的情况中,控制器1700可以通过使用gps芯片1250计算用户的位置。

通信器1300可以根据各种类型的通信方法执行与各种外部设备的通信。通信器1300可以包括从wi-fi芯片1310、蓝牙芯片1320、无线通信芯片1330、和近场通信(nfc)芯片1340中选择的至少一个。控制器1700可以通过使用通信器1300执行与各种外部设备的通信。

wi-fi芯片1310和蓝牙芯片1320可以分别通过使用wi-fi和蓝牙执行通信。如果使用wi-fi芯片1310或蓝牙芯片1320,则wi-fi芯片1310或蓝牙芯片1320可以首先发送和接收包括服务集标识(ssid)、会话密钥等的各种类型的连接信息,可以通过使用该连接信息来建立用于通信的连接,然后可以发送和接收各种类型的信息。无线通信芯片1330可以指根据各种通信标准,诸如电气和电子工程师协会(ieee)、紫蜂(zigbee)、第三代(3g)、第三代合作伙伴计划(3gpp)、长期演进(lte)等执行通信的芯片。nfc芯片1340指通过使用来自诸如135khz、13.56mhz、433mhz、2.45ghz等的各种射频识别(rf-id)频段中的13.56mhz频带来在使用nfc中操作的芯片。

视频处理器1350可以处理包含在通过使用通信器1300接收的内容中的视频数据,或可以处理包含在存储在存储器1200中的内容的视频数据。视频处理器1350可以对该视频数据执行各种图像处理,如解码、缩放、噪声滤波、帧速率转换、分辨率转换等。

音频处理器1400可以处理包含在使用通信器1300接收的内容中的音频数据,或可以处理包含在存储在存储器1200的内容中的音频数据。音频处理器1400可以对音频数据执行各种处理,如解码、放大、噪声滤波等。

当执行多媒体内容的再现程序时,控制器1700可通过驱动视频处理器1350和音频处理器1400再现该多媒体内容。扬声器1600可以输出在音频处理器1400中生成的音频数据。

用户输入设备1450可以接收来自用户的各种指令的输入。用户输入设备1450可以包括从键1460、触摸面板1470和笔识别板1480中选择的至少一个。

键1460可以是各种类型的,诸如机械按钮、滚轮等,其可以形成于用户终端设备1000的主体的外表面的前部、侧部、后部等。

触摸面板1470可以感测用户的触摸输入,并且可以输出对应于由该感测到的触摸输入生成的信号的触摸事件的值。当触摸面板1470与显示面板1110结合并由此形成为触摸屏时,触摸屏可以通过使用各种类型的触摸传感器,被配置为例如电容式触摸屏、电阻式触摸屏、或压电触摸屏。电容式触摸屏可以通过感测当用户的身体部分接触电容式触摸屏的表面(其上涂有介电材料)时生成的少量电力,来计算触摸坐标。电阻式触摸屏可包括两个嵌入的电极板,并且可以通过感测当用户触摸电阻式触摸屏(其导致触摸点的上板和下板彼此接触)是出现的电流,来计算触摸坐标。发生在触摸屏上的触摸事件可以主要通过人的手指生成,但也可以由能够改变电容的导电材料形成的物体来生成。

笔识别板1480可以感测由用户执行的触摸笔(例如,记录笔或数字化笔)的接近输入或触摸输入,并且可以输出感测到的笔接近事件或感测到的笔触摸事件。笔识别板1480可以包括,例如,电磁谐振(emr)型笔识别板,并且可以根据电磁场的强度变化(当触摸笔接近或触摸触摸面板时发生)感测触摸输入或接近输入。更详细地说,笔识别板1480可以包括具有网格结构的电磁感应线圈传感器(未示出),以及电信号处理器(未示出),用于顺序地提供具有预先确定的频率的交流电(ac)信号到电磁感应线圈传感器的每个环型线圈。当具有内部谐振电路的笔位于笔识别板1480的环形线卷附近时,从环型线圈传输的磁场基于相互静电感应在笔的谐振电路中生成电流。由于该电流,从形成笔中的谐振电路的线圈生成感应场,并且笔识别板1480从能够接收信号的环型线圈的检测感应场,并因此感测到通过笔的触摸输入或接近输入。笔识别板1480可以被安排占据显示面板1110下面的预先设定的区域,例如,可以具有能够覆盖显示面板1110的显示区域的尺寸。

麦克风1500可以接收用户的语音或其他声音的输入,并可以将用户的语音或其它声音转换成音频数据。控制器1700可以在呼叫相关操作中使用经由麦克风1500输入的用户的语音,或者可以将用户的语音转换成音频数据并可以将该音频数据存储在存储器1200中。

图像捕获器1550可以根据用户的控制来捕获静止图像或运动图像。图像捕获器1550可以是多个且包括前置相机、后置相机等。

如果提供图像捕获器1550和麦克风1500,则控制器1700可以根据经由麦克风1500输入的用户的声音或由该图像捕获器1550识别到的用户的运动来执行控制操作。例如,用户终端设备1000可以以运动控制模式或语音控制模式操作。如果用户终端设备1000以运动控制模式操作,则控制器1700可以激活图像捕获器1550并可以捕获用户的图像,及可以追踪用户运动中的变化,及可以执行与其相对应的控制操作。如果用户终端设备1000以语音控制模式(即,语音识别模式)操作,则控制器1700可以分析经由麦克风1500输入的用户的语音,及可以根据分析的用户的语音来执行控制操作。

运动检测器1650可以检测用户终端设备1000的主体的移动。用户终端设备1000可以在各个方向上旋转或倾斜。这里,运动检测器1650可以通过使用磁传感器、陀螺仪传感器、加速度传感器等中的至少一个来检测移动特性,诸如旋转方向、旋转角度、倾斜角度等。

此外,示例性实施例可以进一步包括用于连接用户终端设备1000和usb连接器的通用串行总线(usb)端口、用于与各种外部终端连接的各种外部输入端口(包括耳机、鼠标、一局域网(lan)等)、用于接收和处理数字多媒体广播(dmb)信号的dmb芯片、各种传感器等。

用户终端装置1000的元件名称可以改变。此外,根据示例性实施例的用户终端装置1000可以包括来自前述的元件的至少一个,或者可以用比前述元件更多或更少的元件来体现。

图45a是示出根据示例性实施例的用户终端设备1000的软件配置的框图。

参考图45a,存储器1200可以存储用于控制用户终端设备1000的资源的os、用于应用操作的应用程序程序等。该os可以包括内核12100、中间件12200和api12300等。os的示例可以包括安卓、ios、windows、symbian、tizen、bada等。

内核12100可以包括能够管理资源的设备驱动器1210-1和系统资源管理器1210-2中的至少一个。设备驱动器1210-1可以允许通过使用软件来访问和控制用户终端设备1000的硬件。要做到这一点,设备驱动器1210-1可以被分成接口和由分离的硬件公司提供的分离的驱动器模块。例如,设备驱动器1210-1可以包括显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、usb驱动器、键盘驱动、wi-fi驱动器、音频驱动器、和进程间通信(ipc)驱动器中的至少一个。系统资源管理器1210-1可以包括进程管理器、存储器管理器和文件系统管理器中的至少一个。系统资源管理器1210-2可以执行系统资源的控制、分配、或收回。

中间件1220可以包括多个模块,该多个模块预先实施以提供通常是由各种应用所请求的功能。中间件1220可以经由api12300提供功能以控制应用1240有效地利用用户终端装置1000的资源。中间件1220可以包括多个模块中的至少一个,该多个模块包括:应用管理器1220-1、窗口管理器1220-2、多媒体管理器1220-3、资源管理器1220-4,电源管理器1220-5、db管理器1220-6、包管理器1220-7、连接管理器1220-8、通知管理器1220-9、位置管理器1220-10、图形管理器1220-11、和安全管理器1220-12。

应用管理器1220-1可以管理应用1240中的至少一个的生命周期。窗口管理器1220-2可以管理在屏幕中使用的gui资源。多媒体管理器1220-3可以检测用于再现各种多媒体文件类型的格式,并可以通过使用适于媒体文件格式的编解码器来编码或解码媒体文件。资源管理器1220-4可以管理资源,诸如源代码、存储器、或应用1240中的至少一个的存储空间。电源管理器1220-5可以与基本输入/输出系统(bios)互操作,从而管理电池或电源供应并对操作提供电源信息。db管理器1220-6可以管理数据库,该数据库将在应用1240中的至少一个中使用、将被生成、被搜索或被改变。包管理器1220-7可以管理以包文件形式被发布的应用的安装或更新。连接管理器1220-8可以管理无线连接,诸如wi-fi、蓝牙等。通知管理器1220-9可以在用户不被事件打扰的同时显示或通知事件,诸如接收到的消息、约会、接近通知等。位置管理器1220-10可以管理用户终端设备1000的位置信息。图形管理器1220-11可以管理要提供到用户的图形效果、和与图形效果相关的ui。安全管理器1220-12可以提供系统安全或用户认证所要求的一般安全功能。如果用户终端设备1000具有电话功能,则中间件1220可以进一步包括呼叫管理器(未示出),用于管理用户终端设备1000的语音或视频呼叫功能。

中间件1220可以进一步包括运行时间库1220-13或其他库模块(未示出)。运行间时库1220-13可以是由编译器使用的库模块,以在执行应用的同时通过使用编程语言来添加新功能。例如,运行间时库1220-13可以执行输入/输出、存储器管理、或用于执行数学功能的运算。中间件1220可以通过结合前述内部配置元件模块的各种功能来生成并使用新的中间件模块。中间件1220可以提供根据os的每种类型而专门化的模块,以提供区别的功能。中间件1220可以动态地删除一些现有的配置元件,或可以动态地添加新的配置元件。可以忽略示例性实施例中的一些配置元件,也可以进一步包括其他配置元件,或可以用具有不同名称但执行相似功能的其他配置元件替代该配置元件中的一些。

api12300是api编程功能集,并且可以根据os的每种类型提供予不同的配置。android或ios可以为每个平台提供一个api集,而tizen可以为每个平台提供至少两个api集。

应用1240可以包括至少一个作为默认安装的预先加载的应用,或者当用户使用用户终端设备1000时由用户安装和使用的第三方应用。例如,应用1240可以包括以下的至少一个:用于返回到主屏幕的主页应用1240-1,用于建立与其它方的呼叫的拨号器应用1240-2,用于从基于电话号码标识的其它方接收消息的文本消息应用1240-3,即时消息(im)应用1240-4,浏览器应用1240-5,相机应用1240-6,闹钟应用1240-7,用于管理其它方的电话号码或地址的电话薄应用1240-8,用于管理用户的呼叫日志、文本消息的接收/传输或未接听呼叫日志的呼叫日志应用1240-9,用于从基于电子邮件账户标识的另一方接收电子邮件的电子邮件应用1240-10,日历应用1240-11,媒体播放器应用1240-12,相册应用1240-13,以及时钟应用1240-14。根据示例性实施例的软件的前述元件名称可以根据os的每种类型改变。此外,根据示例性实施例的软件可以包括或省略前述元件中的至少一个,或者可以进一步包括至少一个附加的元件。

应用1240可以经由中间件1220和api12300接收查询。当在执行应用的同时通过执行自然语言分析提取关键词时,用户终端设备1000可以经由api12300和中间件1220确定与关键词相对应的查询。例如,当用户执行文本消息应用1240-3的同时提取关键词“某月的6号”时,用户终端设备1000可以经由api12300和中间件1220搜索日历应用1240-11中生成的日程数据,并可以在文本消息应用1240-3的执行窗口上显示搜索结果。

此外,当在用户执行文本消息应用1240-3的同时提取关键词“执行xx”时,用户终端设备1000可以经由api12300和中间件1220在日历应用1240-11、电话簿应用1240-8和电子邮件应用1240-10中搜索与“执行xx”相对应的数据,并可以在文本消息应用1240-3的执行窗口上显示搜索结果。

用户终端设备1000可以经由专用api传递提取的关键词到中间件1220,可以经由db管理器1220-6访问在另一应用中生成的数据,并可以通过参考该数据提供搜索结果。

应用1240中生成的多条数据可以存储在db(未示出)中,及当在执行应用的同时提取关键词时,用户终端设备1000可以经由api12300和中间件1220访问该db,并可以通过参考存储在该db中的数据提供搜索结果。

图45b示出根据示例性实施例的由电子设备100提供的用户设置屏幕。

参考图45b,电子设备100可以为用户提供有关信息提供操作的设置屏幕4501。用户可以经由该设置屏幕4501选择信息提供方法。尽管图45b示出“查询生成”的操作,但该操作可以根据产品而被不同地表达,因此操作的表达并不限制本发明构思的范围。

查询生成可以提供三种类型,即“应用4503”、“设备4505”、及“全部4507”。当用户选择显示在设置屏幕4501上的“应用4503”时,电子设备100可以通过仅考虑已执行的应用来生成查询,并可以提供通过使用该查询而执行的搜索结果。例如,当用户从设置屏幕4501中选择“应用4503”并执行文本消息应用1240-3时,电子设备100可以通过执行自然语言分析提取关键词,可以通过仅考虑文本消息应用1240-3确定查询,并可以执行搜索操作。

当用户从设置屏幕4501选择“设备4505”时,电子设备100可以通过考虑在已执行的应用和存储在db(未示出)中的另一应用中生成的数据来确定查询,并可以执行搜索操作。例如,当用户从设置屏幕4501选择“设备4505”并执行文本消息应用1240-3时,电子设备100通过执行自然语言分析提取关键词,可以经由api12300和中间件1220,通过考虑日历应用1240-11、电话薄应用1240-8和电子邮件应用1240-10来确定与该关键词相对应的查询,并可以在文本消息应用1240-3的执行窗口上显示搜索结果。

电子设备100可以经由专用api将提取的关键词传递到中间件1220,可以经由db管理器1220-6访问在另一应用中生成的数据,并可以通过参考该数据提供搜索结果。

应用1240中生成的多条数据可以存储在db中,及当在执行应用的同时提取关键词时,电子设备100可以经由api12300和中间件1220访问该db,并可以通过参考存储在该db中的数据提供搜索结果。

当用户从设置屏幕4501选择“全部4507”时,电子设备100可以选择“应用4503”和“设备4505”的全部,并可以执行搜索操作。

图46示出根据另一示例性实施例的电子设备20000的ui。该电子设备20000可以与图1的电子设备100相对应。

电子设备20000可以包括处理器2700、输入接口2400和输出接口2100。

处理器2700可以包括移动应用处理器或cpu。处理器2700可以被称作为控制器等。此外,处理器2700可以进一步包括内核、显示器控制器和图像信号处理器(isp)。

根据示例性实施例的处理器2700可以从经由通信服务在电子设备20000的屏幕上显示的消息中提取至少一个关键词。此外,根据示例性实施例的处理器2700可以生成与该关键词相关的查询。此外,根据示例性实施例的处理器2700可以基于已编辑的查询和电子设备20000的位置信息来获取信息。

输入接口2400可以是由用户使用的单元用以输入数据来控制电子设备20000。例如,输入接口2400可以是键盘、圆顶(dome)开关、触摸板(例如,触摸电容型触摸板、压力电阻型触摸板、红外光束检测型触摸板、表面声波型触摸板、积分应变计式触摸垫、压电效应型触摸板等)、滚轮(jogwheel)、微动开关(jogswitch)等。此外,输入接口2400可以包括触摸屏、触摸面板、麦克风和/或键盘。

此外,输入接口2400可以包括至少一个模块,用以接收来自用户的数据的输入。例如,输入接口2400可以包括运动识别模块、触摸识别模块、语音识别模块等。

触摸识别模块可以感测用户在触摸屏幕上的触摸手势,并可以传递有关触摸手势的信息到处理器2700。语音识别模块可以通过使用语音识别引擎识别用户的语音,并可以传递识别的语音到处理器2700。运动识别模块可以识别物体的运动,并可以传递有关物体的运动的信息到处理器2700。

在整个说明书中,经由电子设备20000的输入接口2400的用户输入可以包括但不限于从触摸输入、弯折输入(bendinginput)、语音输入、键输入和多模输入(multimodalinput)中选择的至少一个。

触摸输入指用户的手势,其在触摸屏幕上执行以控制电子设备20000。例如,根据一个或多个示例性实施例的触摸输入可以包括点击手势、触摸&保持手势、双击手势、拖曳手势、平移手势、轻弹手势、拖放手势等。

“点击”是通过使用手指或触摸工具(例如,电子笔)触摸屏幕然后立即从屏幕拿起手指或触摸工具的用户运动。

“触摸&保持”是通过使用手指或触摸工具(例如,电子笔)触摸屏幕然后在触摸屏幕之后保持上述触摸运动预定时间(2秒或更久)的用户运动。例如,触入时间和触出时间之间的时间差大于或等于预定时间(例如,2秒)。当触摸输入持续多于预定时间时,为了告知用户触摸输入是否为点击或触摸&保持,可以以视觉、听觉或触觉方式来提供反馈信号。在其它示例性实施例中,预定时间可以变化。

“双击”是通过使用手指或触摸工具(如记录笔)迅速触摸屏幕两次的用户动作。

“拖曳”是通过手指或触摸工具触摸屏幕并在保持触摸运动的同时移动该手指或触摸工具到屏幕上的另一位置的用户运动。拖曳运动可以实现对象的移动或平移运动。

“平移”是执行拖曳运动但不选择对象的用户运动。因为平移运动中不选择对象,所以没有对象在页面中移动而是页面本身在屏幕上移动,或者一组对象可以在页面内移动。

“轻弹”是通过使用手指或触摸工具以超过预定速度(例如,100像素/秒)迅速执行拖曳运动的用户运动。拖曳(平移)运动或轻弹运动可以基于手指或触摸工具的移动速度是否超过预定速度(例如,100像素/秒)来彼此相区别。

“拖放”是用手指或触摸工具拖曳对象到屏幕上的预设位置然后在该位置放下对象的用户运动。

“捏夹”是在相反方向上移动触摸屏幕的两个手指的用户运动。捏夹运动是放大(捏开)或缩小(捏合)对象或页面的手势。可以根据两个手指之间的距离来确定放大值或缩小值。

“挥动”是用手指或触摸工具触摸屏幕上的对象并同时水平或垂直移动对象预定距离的用户运动。对角方向上的挥动运动可以不被识别为挥动事件。

“运动输入”指用户使用设备作出的用以控制电子设备20000的运动。例如,运动输入可以包括这样的用户的输入,该用户旋转电子设备20000,倾斜电子设备20000,在上、下、右/或左的方向上移动电子设备20000。电子设备20000可以通过使用加速度传感器、倾斜传感器、陀螺仪传感器、3轴磁传感器等,感测由用户预设的运动输入。

在整个说明书中,“弯折输入”表示这样的用户的输入,该用户弯折整个电子设备20000或其部分区域以控制电子设备20000,并且在这里,电子设备20000可以是柔性显示装置。根据示例性实施例,电子设备20000可以感测弯折位置(坐标值)、弯折方向、弯折角度、弯折速度,执行弯折运动的次数、弯折运动出现的时间、弯折运动的保持时间等。

在整个说明书中,“键输入”表示这样的用户的输入,该用户通过使用形成在电子设备20000上的物理键或通过使用电子设备20000提供的虚拟键来控制电子设备20000。

在整个说明书中,“多模输入”表示至少两种输入方法的组合。例如,电子设备20000可以接收用户的触摸输入和运动输入,或者可以接收用户的触摸输入和语音输入。此外,电子设备20000可以接收用户的触摸输入和眼输入。眼输入表示这样的输入,用户调整他或她的眼睛的眨眼运动、凝视位置、他或她的眼睛的移动速度等,以控制该电子设备20000。

根据示例性实施例的输入接口2400可以接受来自用户的已编辑的查询。

输出接口2100可以输出音频信号、视频信号或警报信号,并可以包括显示模块、声音输出模块等。此外,输出接口2100可以包括能够显示2d图像的平板显示器和能够显示3d图像的平板显示器。输出接口2100可以包括能够输出3d全息图的设备。

根据示例性实施例的输出接口2100可以提供由处理器2700生成的查询。根据示例性实施例的输出接口2100可以提供由处理器2700获取的信息。

电子设备20000可以经由与搜索服务器的通信来与该搜索服务器(未示出)交换信息。例如,电子设备20000可以通过使用至少一个协议与搜索服务器通信。例如,通过使用以下中的至少一个:简单文件传输协议(tftp)、简单网络管理协议(snmp)、简单邮件传输协议(smtp)、邮局协议(pop)、因特网控制消息协议(icmp)、串行线路接口协议(slip)、点对点协议(ppp)、态主机配置协议(dhcp)、网络基本输入/输出系统(netbios)、因特网络包交换/顺序分组交换(ipx/spx)、因特网控制消息协议(icmp)、因特网协议(ip)、地址解析协议(arp)、传输控制协议(tcp)、用户数据报协议(udp)、winsock、动态主机配置协议(dhcp)和路由信息协议(rip),电子设备20000可以与搜索服务器通信,但一个或多个示例性实施例不限于此。

电子设备20000可以通过使用短距离通信模块进行短距离通信。短距离通信的示例可以包括无线lan(例如,无线网络(wi-fi))、蓝牙、紫峰、直接wi-fi(wfd)、uwb或红外光数据传输协议(irda),但有一个或多个示例性实施例不限于此。

图47至50示出了用于经由发消息服务的通信的由电子设备100提供的ui的例子。

参考图47,电子设备100可以在显示器4701上时间顺序地显示从另一电子设备接收到的消息、和传输到其它电子设备的消息。图47中的附图标记4703表示虚拟屏幕,其示出显示在显示器4701上的消息的放大和扩展视图。仅虚拟屏幕4703的一部分显示在显示器4701上。也就是说,当电子设备100时间顺序地显示消息时,电子设备100可以在显示器4701的上部区域中显示之前显示的消息,并且在滚动的同时可以在显示器4701上示出时间顺序显示的消息。

当电子设备100连续监视用户之间的对话内容时,电子设备100可以单独指示或可以单独标记包括在消息中的关键词,并可以保持该指示或标记预设时间段。电子设备100可以从消息中提取至少一个关键词,并可以基于提取的至少一个关键词和用户的上下文信息确定搜索服务的查询。电子设备100可以通过对消息的内容执行自然语言分析来提取该至少一个关键词。电子设备100可以通过使用之前的消息和显示在显示器4701上的当前消息来提取关键词。此外,电子设备100可以使用提取的关键词作为搜索服务的查询,或可以从提取的关键词中推断另一关键词,并可以使用推断的关键词作为搜索服务的查询。

显示器4701可以不同地标记关键词以与显示的消息的其它内容可区分,其中在确定查询中使用该关键词。

在图47的虚拟屏幕4703上,通信消息的关键词4711、4713、4715、4717和4719被标记为与通信消息的其它内容可区分。关键词可以在预设时间段与其它内容不同地(或可区分地)标记,例如,1小时。也就是说,预设时间段过去之后,不同地标记的关键词可以返回到它的原始显示状态。关键词可以在1小时后返回到它的原始显示状态,并可以和其它内容同样地显示。可替代地,可以根据用户的输入来确定期间该关键词被不同于其它内容地标记的时间段。例如,如果用户设置2小时为期间关键词被不同于通信消息的其它内容地标记的时间段,则关键字可以被与其他内容不同地标记两个小时。

参考图48,电子设备100可以在显示器4801上时间顺序地显示从另一电子设备接收到的消息、和传输到其它电子设备的消息。图48中的附图标记4803表示虚拟屏幕,其示出显示在显示器4801上的消息的放大和扩展视图。仅虚拟屏幕4803的一部分显示在显示器4801上。也就是说,当电子设备100时间顺序地显示消息时,电子设备100可以在显示器4801的上部区域中显示之前显示的消息,并且当滚动的同时可以在显示器4801上示出时间顺序显示的消息。

当电子设备100连续监视用户之间的对话内容时,电子设备100可以在显示器4801上单独指示或可以单独标记包括在消息中的关键词,并可以保持该指示或标记预设时间时期。电子设备100可以通过使用包含在消息中的一个或多个关键词提取至少一个关键词,并可以基于已提取的至少一个关键词和用户的上下文信息确定搜索服务的查询。电子设备100可以通过对消息的内容执行自然语言分析来提取该至少一个关键词。电子设备100可以通过使用之前的消息和显示在显示器4801上的当前消息来提取关键词。此外,电子设备100可以使用提取的关键词作为搜索服务的查询,或可以从提取的关键词中推断另一关键词和使用该推断的关键词作为搜索服务的查询。

显示器4801可以不同地标记关键词以与显示的消息的其它内容可区分,其中在确定查询中使用该关键词。

在图48的虚拟屏幕4803上,通信消息的关键词4811、4813、4815、4817和4819与通信消息的其它内容不同地标记。关键词可以在预设时间段与其它内容不同地标记,例如,1小时。关键词可以在1小时后返回到它的原始显示状态,并可以和其它内容同样地显示。关键词4805(对应于图47中的关键词4711)可以与图47中的其它内容不同地标记,但1个小时之后,关键词4805返回到其原始显示状态并因此与其他内容同等地显示。另一方面,对比图47,新添加的关键词4817和4819可以与其他内容不同地标记。

参考图49,电子设备100可以在显示器4901上时间顺序地显示从另一电子设备接收到的消息、和传输到其它电子设备的消息。图49中的附图标记4903表示虚拟屏幕,其示出显示在显示器4901上的消息的放大和扩展视图。仅虚拟屏幕4903的一部分显示在显示器4901上。也就是说,当电子设备100时间顺序地显示消息时,电子设备100可以在显示器4901的上部区域中显示之前显示的消息,和当滚动的同时可以在显示器4901上示出时间顺序显示的消息。

当电子设备100连续监视用户之间的对话内容时,电子设备100可以在显示器4901上单独指示或可以单独标记包括在消息中的关键词,并可以保持该指示或标记预设时间时期。电子设备100可以通过使用包含在消息中的一个或多个关键词提取至少一个关键词,并可以基于提取的至少一个关键词和用户的上下文信息确定搜索服务的查询。电子设备100可以通过对消息的内容执行自然语言分析来提取该至少一个关键词。电子设备100可以通过使用之前的消息和显示在显示器4901上的当前消息来提取关键词。此外,电子设备100可以使用提取的关键词作为搜索服务的查询,或可以从提取的关键词中推断另一关键词和使用经推断的关键词作为搜索服务的查询。

显示器4901可以不同地标记关键词以以区别关键词与显示的消息的其它内容,其中在确定查询中使用该关键词。

在图49的虚拟屏幕4903上,通信消息的关键词4911、4913、4915、4917和4919被与通信消息的其它内容不同地标记。关键词可以与其它内容不同地标记预设时间段,例如,1小时。关键词可以在1小时后返回到它的原始显示状态,并可以与其他内容同样地显示。

电子设备100可以通过使用提取或推断的关键词和用户的上下文信息来确定查询,并可以执行搜索操作。用户的上下文信息可以包括用户的位置信息、用户的通信历史信息、和用户的搜索日志信息。此外,用户的上下文信息可以包括但不限于以下至少一个:用户的电子设备100的周边环境信息、用户的电子设备100的状态信息、用户的状态信息、和用户的日程信息。

电子设备100的外围环境信息表示有关电子设备100的预设半径内的环境的信息,并可以包括但不限于天气信息、温度信息、湿度信息、亮度信息、噪声信息和声音信息。

电子设备100的状态信息可以包括但不限于:关于电子设备100的模式(例如,声音模式、振动模式、静音模式、节电模式、阻挡模式、多窗口模式、自动旋转模式等)的信息、电子设备100的位置信息、电子设备100的时间信息、通信模块激活信息(例如,wi-fi开启/蓝牙关闭/gps开启/nfc关闭等)、电子设备100的网络接入状态信息、和关于在电子设备100中执行的至少一个应用的信息(如该应用的id信息、应用的类型、应用的使用时间、应用的使用时段等)。

用户的状态信息可以包括有关用户的移动、用户的生活模式等的信息,和可以包括但不限于有关用户的行走状态的信息、用户的锻炼状态的信息、用户驾驶状态的信息、用户的睡眠状态的信息和用户的情绪的信息。

当确定查询时,电子设备100可以在没有用户输入的情况下执行搜索操作,和可以将搜索结果暂时或永久存储在电子设备100的存储器中。搜索结果可以根据用户的请求显示在显示器4901上,或可以不管用户的请求显示在显示器4901的预设区域上。

电子设备100可以提取关键词4911、4913、4915、4917和4919,并可以通过使用提取的关键词4911、4913、4915、4917和4919与用户的上下文信息执行搜索操作,和可以将搜索结果4921、4923、4925、4927和4929暂时或永久地存储在存储器中。例如,电子设备100可以基于提取的关键词4911和用户位置信息执行搜索操作,并可以将搜索结果4921存储在存储器中。这里,可以不在显示器4901上显示搜索结果4921。可选地,可以根据用户输入而在显示器4901上显示搜索结果4921。可选地,搜索结果4921可以在显示器4901的预设区域上显示而不管用户输入。

电子设备100可以基于提取的关键词4911和用户的位置信息来执行搜索操作,并可以将搜索结果4921存储在存储器中。这里,可以不在显示器4901上显示搜索结果4921。可选地,可以根据用户请求在显示器4901上显示搜索结果4921。可选地,可以不管用户请求在显示器4901的预设区域上显示搜索结果4921。

电子设备100可以基于提取的关键词4913、用户的位置信息和时间信息来执行搜索操作,并可以将搜索结果4923存储在存储器中。可以考虑接近用户当前位置的位置和当前时间来过滤搜索结果4923。这里,可以不在显示器4901上显示搜索结果4923。可选地,可以根据用户请求在显示器4901上显示搜索结果4923。可选地,可以不管用户请求在显示器4901的预设区域上显示搜索结果4923。

电子设备100可以基于提取的关键词4915、4917和4919。用户的位置和用户的历史信息来执行搜索操作,并将搜索结果4925、4927和4929存储在存储器中。可以考虑接近用户当前位置的位置和历史信息(例如,经常访问的餐馆、购物中心、地铁站等)来过滤搜索结果4925、4927和4929。这里,可以不在显示器4901上显示搜索结果4925、4927和4929。可选地,可选地,可以根据用户请求在显示器4901上显示搜索结果4925、4927和4929。可选地,可以不管用户请求在显示器4901的预设区域上显示搜索结果4925、4927和4929。

参考图50,电子设备100可以在显示器5001上时间顺序地显示从另一电子设备接收的消息和传输到其它电子设备的消息。此外,电子设备100可以在显示消息的同时在显示器5001上显示搜索结果5005。

当电子设备100时间顺序地显示消息时,电子设备100可以通过向上滚动先前显示的消息来显示的消息。

当电子设备100连续监视用户之间的对话内容时,电子设备100可以单独指示或可以单独标记包括在消息中的关键词,并可以保持该指示或标记预设时间段。电子设备100可以通过使用消息提取至少一个关键词5003,并可以基于关键词5003和用户的上下文信息确定搜索服务的查询。用户的上下文信息可以包括用户的位置信息、用户的通信历史信息、和用户的搜索日志信息。

电子设备100可以通过对消息的内容执行自然语言分析来提取关键词5003。电子设备100可以通过使用之前的消息和在显示器5001上显示的当前消息来提取关键词5003。

显示器5001可以不同地标记关键词5003以将关键词5003和显示的消息的其它内容相区分,其中在确定查询中使用关键词5003。

关键词500可以与其它内容不同地标记预设时间段,例如,1小时。关键词可以在1小时后返回到它的原始显示状态,并可以和其它内容同样地显示。

电子设备100可以通过使用关键词5003和用户的上下文信息来确定查询,并可以执行搜索操作。用户的上下文信息可以包括用户的位置信息、用户的通信历史信息、用户的搜索日志信息、和电子设备100的感测信息。

当确定查询时,电子设备100可以在没有用户输入的情况下执行搜索,和可以将搜索结果暂时或永久存储在存储器中。搜索结果可以根据用户的请求在显示器5001的预设区域5005上显示,或可以不管用户的请求在显示器5001的预设区域5005上显示。

搜索结果可以包括距离用户当前位置的距离和推荐等级。

电子设备100可以接收用户选择关键词的用户输入,可以执行搜索操作,并可以在显示器5001的预设区域5005上显示搜索结果。

根据示例性实施例,如以上图表中所示的由块表示的部件、元件或单元中的至少一个可以实现为各种数目的硬件、软件和/或执行如上所述的各自功能的固件结构。例如,这些部件、元件或单元中的至少一个可以使用直接电路结构,诸如存储器、处理、逻辑、查找表等,其可以通过控制一个或多个微处理器或其他控制装置执行各自功能。此外,这些部件、元件或单元中的至少一个可以通过模块、程序、或代码的一部分来具体地实现,该代码包含用于执行指定逻辑功能的一个或多个可执行指令。此外,这些部件、元件或单元中的至少一个可以进一步包括诸如执行各自功能的中央处理单元(cpu)处理器、微处理器等的处理器。上述示例性实施例的功能方面可以在算法中实现,该算法由一个或多个处理器执行并存储在计算机可读记录介质中。进一步,通过方框代表的部件、元件或单元或处理步骤可以采用任意数目的电子配置的相关技术、信号处理和/或控制、数据处理等。

应当理解的是,这里所描述的示例性实施例应被认为仅具描述意义,而不是用于限制的目的。每个示范性实施例中的特征或方面的描述通常应被认为对其他示例性实施例中的其它类似特征或方面是可用的。

尽管参考附图已经描述了一个或多个示例性实施例,但本领域普通技术人员将理解:可以作出形式和细节上的各种变化,而不脱离权利要求书所限定的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1