显示设备、用于控制显示设备的方法和交互系统的制作方法

显示设备、用于控制显示设备的方法和交互系统的制作方法
【专利摘要】提供了一种图像处理设备、控制图像处理设备的方法和交互系统。所述图像处理设备包括：输出单元，输出语音和文本中的至少一个；语音收集单元，收集用户语音；第一通信单元，将用户语音发送到第一服务器，并从第一服务器接收对应于用户语音的文本信息；第二通信单元，将接收的文本信息发送到第二服务器；以及控制单元，如果从第二服务器接收到对应于文本信息的响应信息，则基于响应信息控制输出单元输出响应于用户语音的响应消息。
【专利说明】显示设备、用于控制显示设备的方法和交互系统
[0001]本申请要求于2012年6月27日向韩国知识产权局提交的第10-2012-0069310号韩国专利申请和于2012年12月14日向韩国知识产权局提交的第10-2012-0146343号韩国专利申请的优先权，这些申请的公开内容整个地通过引用并入本文。
【技术领域】
[0002]与示例性实施例一致的设备和方法涉及一种显示设备、用于控制显示设备的方法和交互系统，更具体地讲，涉及一种由用户语音控制的显示设备、用于控制显示设备的方法和交互系统。
【背景技术】
[0003]随着电子技术的发展，开发并发布了各种类型的显示设备，相应地，为显示设备配备了多种功能来满足用户的需求。具体地讲，最近的电视与互联网连接以支持互联网服务，并且用户可以能够在电视上观看多个数字广播频道。
[0004]最近，为了使得用户可更方便地、更直观地控制显示设备，开发了语音识别技术。具体地讲，电视已变得能够识别用户语音并且响应于用户语音执行对应的功能(比如，调整音量或改变频道)。
[0005]然而，相关领域的使用语音识别技术的显示设备仅提供对应于识别的语音的功能，而不提供通过与用户的会话的交互信息。

【发明内容】

[0006]一个或多个示例性实施例提供一种能够通过与外部服务器连接来与用户通信的显示设备、用于控制显示设备的方法和交互系统。
[0007]根据示例性实施例的一方面，提供一种显示设备，该显示设备包括:输出单元，输出语音和文本中的至少一个；语音收集单元，收集用户语音；第一通信单元，将用户语音发送到第一服务器，并从第一服务器接收对应于用户语音的文本信息；第二通信单元，将接收的文本信息发送到第二服务器；以及控制单元，如果从第二服务器接收到对应于文本信息的响应信息，则基于该响应信息控制输出单元输出响应于用户语音的响应消息。
[0008]响应信息可包括从显示设备输出响应消息的响应消息信息，并且控制单元可基于该响应消息信息通过输出单元将对应于用户语音的响应消息产生并输出为语音和文本中的至少一个。
[0009]响应信息还可包括控制显示设备的操作的控制命令。
[0010]第二服务器可基于接收的文本信息来确定用户语音的意图，如果不可能根据确定的意图产生响应信息，则可使用从外部服务器接收的搜索信息来产生响应信息。
[0011]根据另一个例性实施例的一方面,提供一种用于控制显设备的方法,该方法包括:收集用户语音；将用户语音发送到第一服务器，并从第一服务器接收对应于用户语音的文本信息；将接收的文本信息发送到第二服务器；如果从第二服务器接收到对应于文本信息的响应信息，则基于该响应信息输出响应于用户语音的响应消息。
[0012]响应信息可包括从显示设备输出响应消息的响应消息信息，并且输出的步骤可包括基于该响应消息信息将对应于用户语音的响应消息产生并输出为语音和文本中的至少一个。
[0013]响应信息还可包括控制显示设备的操作的控制命令。
[0014]第二服务器可基于接收的文本信息来确定用户语音的意图，如果不可能根据确定的意图产生响应信息，则可使用从外部服务器接收的搜索信息来产生响应信息。
[0015]根据另一个不例性实施例的一方面，提供一种包括第一服务器、第二服务器和与第一服务器和第二服务器连接的显示设备的交互系统，该交互系统包括:第一服务器，如果从显示设备接收到用户语音，则将对应于用户语音的文本信息发送到显示设备；第二服务器，如果从显示设备接收到文本信息，则将对应于文本信息的响应信息发送到显示设备；以及显示设备，如果从第二服务器接收到响应信息，则基于该响应信息输出对应于用户语音的响应消息。
[0016]响应信息可包括在显示设备中输出响应消息的响应消息信息，并且显示设备可基于该响应消息信息将对应于用户语音的响应消息输出为语音和文本中的至少一个。
[0017]根据另一个示例性实施例的一方面，提供一种用于控制图像处理设备的方法，该方法包括:将收集的用户语音发送到第一服务器，并从第一服务器接收对应于收集的用户语音的文本信息；并且响应于从第二服务器接收到对应于发送的用户语音的响应信息，则基于接收的响应信息输出响应于收集的用户语音的响应消息，其中，第一服务器和第二服务器是同一个服务器或者不同的服务器。
[0018]根据各种示例性实施例，提供一种能够与用户通信的显示设备，因此，可改进用户便利性。
【专利附图】

【附图说明】
[0019]通过参照附图描述示例性实施例，以上方面和/或其他方面将更清楚，在附图中:
[0020]图1是解释根据示例性实施例的交互系统的视图；
[0021]图2是解释图1中所示的交互系统的每个操作的时序图；
[0022]图3是解释根据示例性实施例的显示设备的构造的框图；
[0023]图4是解释图3中所示的显示设备的具体构造的框图；
[0024]图5是解释根据示例性实施例的第一服务器的构造的框图；
[0025]图6是解释根据示例性实施例的第二服务器的构造的框图；
[0026]图7是解释根据另一个示例性实施例的交互系统的视图；
[0027]图8是解释图7中所示的交互系统的每个操作的时序图；
[0028]图9至图11是解释根据示例性实施例的交互系统的操作的视图；和
[0029]图12是解释根据示例性实施例的用于控制显示设备的方法的流程图。
【具体实施方式】
[0030]以下参照附图更详细地描述某些示例性实施例。
[0031]在以下描述中，即使在不同的图中，相似的图标号也用于相似的元件。提供描述中定义的内容(比如，详细构造和元件)来帮助对示例性实施例的全面理解。然而，没有这些具体定义的内容，也可实施示例性实施例。此外，因为众所周知的功能或构造将在不必要的细节上使本申请变得模糊，所以不对它们进行详细描述。
[0032]图1是解释根据示例性实施例的交互系统1000的视图。如图1所示，交互系统包括显示设备100、第一服务器200、第二服务器300和外部装置400。例如，显示设备100可以是如图1所示的电视，但是要理解这仅仅是示例。显示设备100可被实现为各种电子设备，比如，移动电话、智能电话、台式个人电脑(PC)、笔记本PC、导航仪、便携式多媒体播放器、游戏装置、平板电脑等。此外，要理解，示例性实施例不限于在其上显示图像的显示设备100，而是还可应用于对图像进行处理并将经过处理的图像输出到显示装置进行显示的图像处理设备。
[0033]显示设备100可使用遥控器(未显示)来控制。例如，如果显示设备100可以是TV，则可根据从遥控器(未显示)接收的控制信号来执行比如打开或关闭TV、改变频道和调整音量的操作。
[0034]另外，外部装置400可用各种电子装置来实现。例如，外部装置400可以是如图1所示的数字通用光盘(DVD)播放器，但是这仅仅是示例。也就是说，外部装置400可用与显示设备100连接并且执行操作的各种电子装置(比如，机顶盒、音响系统、游戏机等)来实现。
[0035]显示设备100可根据用户语音执行各种功能。
[0036]具体地讲,显不设备100输出对应于用户语音的响应消息,执行对应于用户语音的操作，或者控制外部装置400以执行对应于用户语音的操作。
[0037]显示设备100为此将收集的(例如，捕捉的)用户语音发送到第一服务器200。一旦第一服务器200从显示设备100接收到用户语音，第一服务器200就将接收到的用户语音转换为文本信息(或文本)，并将该文本信息发送到显示设备100。
[0038]随后，显示设备100将从第一服务器200接收到的文本信息发送到第二服务器300。一旦第二服务器300从显示设备100接收到文本信息，第二服务器300就产生关于接收到的文本信息的响应信息，并将该响应信息发送到显示设备100。
[0039]显示设备100可基于从第二服务器300接收到的响应信息来执行各种操作。具体地讲，显示设备100可输出对应于(S卩，响应于)收集的用户语音的响应消息。本文中，响应消息可被输出为语音和文本中的至少一个。例如，如果询问特定节目的广播时间的用户语音被输入，则显示设备100可将对应节目的广播时间输出为语音、文本或者这二者的组合。
[0040]另外，显示设备100可执行对应于用户语音的功能。也就是说，显示设备100执行显示设备100的各种功能之中的对应于用户语音的功能。例如，如果改变频道的用户语音被输入，则显示设备100可选择并显示对应的频道。在这种情况下，显示设备100还可提供关于对应功能的响应消息。也就是说，显示设备100可以以语音或文本的形式或者这二者组合的形式输出关于响应于用户语音而执行的功能的信息。在上述示例性实施例中，显示设备100可将关于改变的频道的信息或者通知频道的改变已完成的消息输出为语音和文本中的至少一个。
[0041]另外，显示设备100可控制外部装置400执行对应于用户语音的功能。也就是说，显示设备100可控制外部装置400执行外部装置400的功能之中的对应于用户语音的功能。显示设备100为此可将执行对应于用户语音的功能的控制命令发送到外部装置400。[0042]例如，如果外部装置400是如图1所示的DVD播放器，则显示设备100可将打开或关闭DVD播放器的控制命令、回放DVD的控制命令、或者暂停回放的控制命令发送到DVD播放器。
[0043]然而，这仅仅是外部装置400是DVD播放器的情况的示例。显示设备100可根据外部装置400的类型不同地将执行对应于用户语音的功能的控制命令发送到外部装置400。例如，如果外部装置400是机顶盒，则显示设备100可基于改变频道的用户语音将改变频道的控制命令发送到机顶盒。
[0044]图1示出包括外部装置400的交互系统1000，但是这仅仅是示例。交互系统1000可以不包括外部装置400。
[0045]然而，如果显示设备100没有与外部装置400连接并且接收到控制外部装置400的用户语音，则显示设备100可输出通知对应于该用户语音的操作不能被执行的消息。例如，假设在图1中所示的交互系统1000中，DVD播放器未连接。如果显示设备100接收到关闭DVD播放器的用户语音，则显示设备100可将通知“DVD播放器未连接”或者“请检查DVD播放器是否连接”的消息用语音和文本中的至少一个输出。
[0046]图2是解释图1中所示的交互系统的每个操作的时序图。
[0047]根据图2，显示设备100收集(例如，捕捉或记录)用户语音(操作S10)，并将收集的用户语音发送到第一服务器200 (操作S20)。具体地讲，如果收集用户语音的模式被开启，则显示设备100可收集预定距离内的用户说出的语音，并将收集的语音发送到第一服务器200。
[0048]为了这样做，显示设备100可包括接收用户说出的语音的麦克风。在这种情况下，麦克风可一体地形成在显示设备100的内部，或者可与显示设备100分开实现。如果麦克风与显示设备100分开实现，则麦克风可被实现为使得用户可用手握住麦克风或者麦克风可被放置在桌子上的形式，并且麦克风可通过线缆或无线网络与显示设备100连接。此外，麦克风可被集成到另一个装置中。
[0049]第一服务器200将从显示设备100接收的用户语音转换为文本信息(操作S30)。具体地讲，第一服务器200可使用语音转文本(STT)算法来将从显示设备100接收的用户语音转换为文本信息。随后，第一服务器200将文本信息发送到显示设备100 (操作S40)。
[0050]显示设备100将从第一服务器200接收的文本信息发送到第二服务器300 (操作S50)。如果从显示设备100接收到文本信息，则第二服务器300产生对应于该文本信息的响应信息(操作S60)，并将产生的响应信息发送到显示设备100 (操作S70)。
[0051]本文中，响应信息包括从显示设备100输出响应消息的响应消息信息。响应消息是对应于从显示设备100收集的用户语音的响应，响应消息信息可以是文本信息，根据该文本信息，显示设备100响应于收集的用户语音输出的响应消息被产生。因此，显示设备100可基于响应消息信息将对应于用户语音的响应消息输出为语音和文本中的至少一个。
[0052]另外，响应信息还可包括在显示设备100中执行对应于用户语音的功能的控制命令。控制命令可包括控制显示设备100执行对应于用户语音的功能的控制命令、以及控制外部装置400执行对应于用户语音的功能的控制命令。因此，显示设备100可执行对应于用户语音的功能，或者控制外部装置400执行对应于用户语音的功能。
[0053]显示设备100基于接收的响应信息执行对应于用户语音的操作(操作S80)。[0054]具体地讲，显示设备100可基于响应信息中包括的响应消息信息来输出对应于用户语音的响应消息。也就是说，如果从第二服务器300接收到文本形式的响应消息信息，则显示设备可使用文本转语音(TTS)算法将该文本转换为语音并输出该语音，或者可组成包括构成响应消息信息的文本的用户界面(UI)屏幕并输出该Π屏幕。
[0055]例如，如果用户语音“〇〇〇(广播节目的名称)何时开始？ ”被收集，则第二服务器300可将文本形式的响应消息信息“它将于星期六7点开始”发送到显示设备100。因此，显示设备100可将响应消息“它将于星期六7点开始”输出为语音和文本中的至少一个。
[0056]另外，显示设备100可被控制为根据响应信息中包括的控制命令执行对应于用户语音的功能。例如，如果用户语音“请将〇〇〇(广播节目的名称)录制在显示设备100中”被收集，则第二服务器300可将录制“〇〇〇”的控制命令发送到显示设备100。因此，显示设备100可执行对应广播节目的预约录制。
[0057]另举一例，假设外部装置400被实现为DVD播放器。在这种情况下，如果用户语音“请打开DVD播放器”被收集，则第二服务器300可将打开DVD播放器的控制命令发送到显示设备100。因此，显示设备100可将打开DVD播放器的控制命令发送到DVD播放器，以使得DVD播放器可被打开。
[0058]在这种情况下，响应信息还可包括对应于在显示设备100中执行的功能的响应消息信息。也就是说，在上述示例性实施例中，第二服务器300可将文本形式的响应消息信息“〇〇〇的录制被预约”与控制命令一起发送到显示设备100，并且显示设备100可在执行预约录制的同时将响应消息“〇〇〇的录制被预约”输出为语音和文本中的至少一个。
[0059]另外，响应信息还可包括对应于外部装置400执行的功能的响应消息信息。也就是说，在上述示例中，第二服务器300可将文本形式的响应消息信息“DVD播放器已被打开”与控制命令一起发送到显示设备100，并且显示设备100可在打开DVD的同时将响应消息“DVD播放器已被打开”用语音和文本中的至少一个输出。
[0060]图3是解释根据示例性实施例的显示设备100的构造的框图。参照图3，显示设备100包括输出单元110 (例如，输出器)、语音收集单元120 (例如，语音收集器)、第一通信单元130 (例如，第一通信器)、第二通信单元140 (例如，第二通信器)和控制单元150 (例如，控制器)。具体地讲，图3是解释当在没有外部装置400的情况下实现交互系统1000时显示设备100的构造的框图。因此，如果在有外部装置400的情况下实现交互系统1000，则显示设备100还可包括与外部装置400通信的组件。
[0061]输出单元110输出语音和图像中的至少一个。具体地讲，输出单元110可以以语音和文本中的至少一个的形式输出对应于通过语音收集单元120收集的用户语音的响应消息。
[0062]为了这样做，输出单元110可包括显示单元(例如，显示器)和音频输出单元(例如，音频输出器)。
[0063]具体地讲，显示单元(未显示)可被实现为液晶显示器(IXD)、有机发光显示器(0LED)、等离子体显示面板(PDP)等，并且提供可通过显示设备100提供的各种显示屏幕。具体地讲，显示单元(未显示)可以以文本或图像的形式显示对应于用户语音的响应消息。
[0064]本文中，显示单元(未显示)可被实现为形成具有触控板的层间结构的触摸屏，并且该触摸屏可被构造为检测触摸输入的压力。[0065]音频输出单元(未显示)可被实现为输出端口(比如，插座或扬声器)，并以语音的形式输出对应于用户语音的响应消息。
[0066]输出单元110可输出各种图像和音频。图像和音频可以是构成广播内容或多媒体内容的图像和音频。
[0067]语音收集单元120收集用户语音。例如，语音收集单元120可被实现为收集用户语音的麦克风，并且可一体地形成在显示设备100的内部，或者可与显示设备100分开实现。如果麦克风与显示设备100分开实现，则麦克风可被实现为使得用户可用手握住麦克风或者麦克风可被放置在桌子上的形式，并且麦克风可通过电缆或无线网络与显示设备100连接，以便将收集的用户语音发送到显示设备100。此外，麦克风可被集成到另一个装置中。语音收集单元120可确定收集的用户语音是否是用户说出的语音，并且滤除用户语音中的噪声(例如，空调的声音、清洁的声音、音乐声等)。举例说明，当用户语音(例如，模拟用户语音)被输入时，语音收集单元120对模拟用户语音进行采样，并将该用户语音转换为数字信号。在这种情况下，语音收集单元120计算转换的数字信号的能量，并确定该数字信号的能量是否等于或大于预设值。
[0068]当确定数字信号的能量等于或大于预设值时，语音收集单元120移除噪声，并发送移除噪声的语音。噪声分量可以是在家庭环境下可能发生的突发噪声，比如，空调的声音、清洁的声音或音乐声。当确定数字信号的能量小于预设值时，语音收集单元120对该数字信号不执行处理，而等待另一个输入。因此，音频处理过程不被除用户语音之外的其他声音激活，以使得可防止不必要的功耗。
[0069]第一通信单元130与第一服务器(图1中的200)通信。具体地讲，第一通信单元130可将用户语音发送到第一服务器200，并从第一服务器200接收对应于用户语音的文本信息。
[0070]第二通信单元140与第二服务器(图1中的300)通信。具体地讲，第二通信单元140可将接收到的文本信息发送到第二服务器300，并从第二服务器300接收对应于该文本信息的响应信息。
[0071]为了这样做，第一通信单元130和第二通信单元140可包括分别执行与第一服务器200和第二服务器300的通信的通信模块。例如，通信模块可包括通过网络执行与第一服务器200和第二服务器300的通信的网络接口卡。要理解，在另一个示例性实施例中，第一通信单元130和第二通信单元140可作为单个通信单元提供。
[0072]另外，第一通信单元130和第二通信单元140可使用各种通信方法与第一服务器200和第二服务器300通信。例如，第一通信单元130和第二通信单元140可使用有线或无线局域网(LAN)、广域网(WAN)、以太网、蓝牙、Zigbee、通用串行总线(USB)、IEEE1394、WiFi等与第一服务器200和第二服务器300通信。为了这样做，第一通信单元130和第二通信单元140可包括对应于每种通信方法的芯片或输入端口。例如，如果使用有线LAN执行通信，则第一通信单元130和第二通信单元140可包括有线LAN卡(未显示)和输入端口(未显示)。
[0073]在上述示例性实施例中，显示设备100分别包括第一通信单元130和第二通信单元140，以便执行与第一服务器200和第二服务器300的通信，但是这仅仅是示例。也就是说，显示设备100可通过单个通信模块与第一服务器200和第二服务器300通信。[0074]控制单元150控制显示设备100的总体操作。具体地讲，控制单元150可通过语音收集单元120收集用户语音，并控制第一通信单元130将收集的用户语音发送到第一服务器300。另外，控制单元150可控制第一通信单元130接收对应于用户语音的文本信息。
[0075]同时，如果从第二服务器300接收到对应于文本信息的响应信息，则控制单元150可基于该响应信息控制输出单元110输出对应于用户语音的响应消息。
[0076]本文中，响应信息可包括输出响应消息的响应消息信息。响应消息信息是从显示设备输出的文本形式的响应消息，并且控制单元150可基于该响应消息信息来通过输出单元110以语音和文本中的至少一个的形式输出对应于用户语音的响应消息。
[0077]具体地讲，控制单元150可使用TTS引擎将文本形式的响应消息信息转换为语音，并通过输出单元110输出该语音。本文中，TTS引擎是将文本转换为语音的模块，并且可使用各种相关领域的TTS算法将文本转换为语音。另外，控制单元150可组成包括构成响应消息信息的文本的用户界面(UI)屏幕，并通过输出单元110输出该Π屏幕。
[0078]例如，如果显示设备100是TV并且收集到用户语音“最近，最受欢迎的节目是什么？ ”，则第二服务器300可以以文本形式表达响应消息“最受欢迎的节目是〇〇〇(广播节目的名称)”，并将该响应消息发送到显示设备100。在这种情况下，控制单元150可将响应消息转换为语音，并通过输出单元110输出该语音，或者可构成包括文本形式的响应消息的用户界面(UI)屏幕 ，并通过输出单元110输出该UI屏幕。
[0079]另外，响应信息可包括控制显示设备100的功能的控制命令。控制命令可包括执行显示设备100可执行的功能之中的对应于用户语音的功能。因此，控制单元150可基于从第二服务器300接收的控制命令来控制显示设备100的每个组件执行对应于用户语音的功能。
[0080]例如，如果显示设备100是TV并且收集到用户语音“请开大音量”，则第二服务器300可将增大显示设备100的音量的控制命令发送到显示设备100。在这种情况下，控制单元150可基于该控制命令增大通过输出单元110输出的音频的音量。然而，这仅仅是示例。控制单元150可根据收集的控制命令来控制显示设备100的每个组件执行各种操作，比如，打开/关闭电源、改变频道等。
[0081]另外，响应信息可包括关于根据控制命令而执行的功能的响应消息信息。在这种情况下，控制单元150可根据控制命令执行功能，并基于响应消息信息来以语音和文本中的至少一个的形式输出关于执行的功能的响应消息。
[0082]例如，如果显示设备100是TV并且收集到用户语音“请将频道改变为频道11”，则第二服务器300可将把显示设备100的频道改变为频道11的控制命令和以文本形式表达的响应消息“频道已改变为频道11”发送到显示设备100。在这种情况下，控制单元150基于该控制命令通过输出单元110将频道改变为频道11。另外，控制单元150可将响应消息“频道已改变为频道11”转换为语音，并通过输出单元110输出该语音，或者可构成包括文本“频道已改变为频道11”的UI屏幕，并通过输出单元110输出该UI屏幕。
[0083]如上所述，控制单元150可输出对应于用户语音的响应消息或者执行对应于用户语音的功能。
[0084]另外，当用户语音指示不能在显示设备100中执行的功能时，控制单元150可输出对应于用户语音的响应消息，而在显示设备100中不执行特定功能。[0085]例如，假设显示设备100被实现为不支持视频电话功能的TV。在这种情况下，如果显示设备100收集到用户语音“请打电话给XXX”，则第二服务器300可将执行视频电话功能的控制命令发送到显示设备100。然而，因为显示设备100不支持对应于该控制命令的视频电话功能，所以控制单元150不能识别从第二服务器300接收的该控制命令。在这种情况下，控制单元150可通过输出单元110以语音和文本中的至少一个的形式输出响应消息“该功能不被支持”。
[0086]在上述示例性实施例中，从第二服务器300发送的响应消息信息是文本形式的响应消息，但是这仅仅是示例。也就是说，响应消息信息可以是构成对应的响应消息的语音数据本身，或者可以是使用预先存储在显示设备100中的语音或文本输出对应的响应消息的控制信号。
[0087]因此，控制单元150可考虑响应消息信息的形式来输出响应消息。具体地讲，如果构成响应消息的语音数据被接收到，则控制单元150可对对应数据进行处理以使得该数据可通过输出单元110输出，然后以语音和文本中的至少一个的形式输出该数据。
[0088]可替换地，如果输出响应消息的控制信号被接收到，则控制单元150可在预先存储在显示设备100中的数据之中搜索与该控制信号匹配的语音或文本数据，对搜索的语音或文本进行处理以使得该数据可通过输出单元110输出，然后输出该数据。为了这样做，显示设备100可存储提供关于执行显示设备100的功能的响应消息的语音或文本数据、或者关于对信息的请求的语音或文本数据。例如，显示设备100可以以完整句子(比如，“频道的改变已完成”)或者构成句子的部分数据(比如，“频道已改变为…”)的形式存储数据。在这种情况下，可从第二服务器300接收完成对应句子的频道名称。
[0089]图4是解释图3中所示的显示设备100的具体构造的框图。参照图4，除了图3中所示的组件之外，显示设备100还可包括接口单元160 (例如，接口)、输入单元170 (例如，输入器)、存储单元180 (例如，存储器)、接收单元190 (例如，接收器)和信号处理单元195(例如，信号处理器)。图4中与图3中的组件重复的组件执行与图3中的那些组件相同或类似的功能，因此，将不提供详细描述。
[0090]接口单元160与外部装`置(图1的400)通信。具体地讲，接口单元160可使用有线通信方法(比如，HDM1、USB等)或者使用无线通信方法(比如，蓝牙、Zigbee等)与外部装置400通信。为了这样做，接口单元160可包括对应于每种通信方法的芯片或输入端口。例如，如果接口单元160可使用HDMI通信方法与外部装置400通信，则接口单元160可包括HDMI 端口。
[0091]以上已参照图3描述了显示设备100从第二服务器300接收响应信息，从而，执行各种功能。
[0092]在这种情况下，响应信息可包括控制外部装置400的功能的控制命令。控制命令可包括执行外部装置400中可执行的功能之中的对应于用户语音的功能的命令。因此，控制单元150可通过接口单元160将从第二服务器300接收的控制命令发送到外部装置400，以使得外部装置400可执行对应于用户语音的功能。
[0093]例如，假设外部装置400被实现为DVD播放器。如果显示设备100收集到用户语音“请打开DVD播放器”，则第二服务器300可将打开DVD播放器的控制命令发送到显示设备100。在这种情况下，控制单元150可将从第二服务器300接收的控制命令发送到DVD播放器。因此，DVD播放器可基于从显示设备100接收的控制命令被打开。然而，这仅仅是示例。外部装置400可基于根据用户语音而接收的控制命令执行各种功能。
[0094]如果控制单元150不能基于从第二服务器300接收的控制命令控制外部装置400，则控制单元150可以以语音和文本中的至少一个的形式输出通知外部装置400不能根据用户语音进行控制的消息。当作为从第二服务器300接收的控制命令的对象的装置不与显示设备100连接时，外部装置400不能基于该控制命令被控制。
[0095]也就是说，控制单元150可确定与接口单元160连接的外部装置400的类型。随后，如果作为从第二服务器300接收的控制命令的对象的装置不与接口单元160连接，则控制单元150可以以语音和文本中的至少一个的形式输出通知这样的情形的消息。
[0096]例如，假设与显示设备100连接的外部装置400是DVD播放器。如果显示设备100收集到用户语音“请打开游戏机”，则第二服务器300可将打开游戏机的控制命令发送到显示设备100。因为作为该控制命令的对象的游戏机不与接口单元160连接，所以控制单元150可以以语音和文本中的至少一个的形式输出比如“请检查游戏机的连接”或者“这个用户语音不被支持”的消息。
[0097]输入单元170是接收各种用户操纵并将这些用户操纵发送到控制单元150的输入装置，并且可被实现为输入面板。本文中，输入面板可被实现为键区或者包括各种功能键、数字键、特设键、文本键等的触摸屏。另外，输入单元170可被实现为接收从遥控器发送以控制显示设备100的远程控制的红外(IR)接收单元(未显示)。
[0098]输入单元170可接收控制显示设备100的功能的各种用户操纵。例如，如果显示设备100被实现为智能电视，则控制智能电视的功能的用户操纵(比如，打开/关闭电源、改变频道、改变音量等的操纵)可被输入以控制智能电视的功能。在这种情况下，控制单元150可控制其他组成元件执行对应于通过输入单元170输入的用户操纵的各种功能。例如，如果关闭电源的命令被输入，则控制单元150可切断提供给显示设备100的每个组件的电源，如果改变频道的命令被输入，则控制单元150可控制接收单元190根据用户操纵选择频道。
[0099]具体地讲，输入单元170接收发起收集用户语音的语音识别模式的用户操纵。例如，输入单元170可与显示单元一起被实现为触摸屏的形式，并且显示在语音识别模式接收输入的物体(比如，图标)。可替换地，输入单元170可以是在语音识别模式下接收输入的单独的按钮。如果通过输入单元170接收到发起语音识别模式的用户操纵，则控制单元150可通过激活语音收集单元120来收集预定距离内说出的用户语音。随后，控制单元150可通过与第一服务器200和第二服务器300的通信来接收对应于收集的用户语音的响应信息，以便控制输出响应消息或者执行特定功能。
[0100]存储单元180是存储操作显示设备100的各种程序的存储介质，并且可被实现为存储器、硬盘驱动器(HDD)等。例如，存储单元180可包括用于存储执行控制单元150的操作的程序的ROM、用于临时存储关于控制单元150的操作的执行的数据的RAM、等等。另外，存储单元180还可包括用于存储各种参考数据的电可擦除和可编程ROM (EEPROM)ο
[0101]具体地讲，存储单元180可预先将对应于用户语音的各种响应消息存储为语音数据或文本数据。因此，控制单元150可从存储单元180读出对应于从第二服务器300接收的语音消息信息(具体地讲，控制信号)的语音或文本数据，并通过音频输出单元112或显示单元111输出该数据。在这种情况下，控制单元150可通过对该语音数据执行信号处理(t匕如，解码)并放大解码的语音数据来通过音频输出单元112输出该数据，并且可通过组成包括构成文本数据的文本的UI屏幕来通过显示单元111输出该数据。在上述示例性实施例中，控制单元150对从存储单元180读出的语音和文本数据执行信号处理，但是这仅仅是示例。控制单元150可控制信号处理单元195对语音和文本数据执行信号处理。
[0102]接收单元190接收各种内容。具体地讲，接收单元190从使用广播网络发送广播节目内容的广播站或者从使用互联网发送内容的web服务器接收内容。另外，接收单元190可从形成在显示设备100中的或者与显示设备连接的各种记录介质再现设备接收内容。记录介质再现设备是指再现存储在各种类型的记录介质(比如，CD、DVD、硬盘、蓝光盘、存储卡、USB存储器等)中的内容的设备。此外，接收单元190可从图像处理装置、接收器装置等接收内容。
[0103]如果从广播站接收到内容，则控制单元190可被构造为包括比如调谐器、解调器、均衡器等组件。如果从比如web服务器的源接收到内容，则接收单元190可被实现为网络接口卡。可替换地，如果从各种记录介质再现设备接收到内容，则接收单元190可被实现为与记录介质再现设备连接的接口单元。就这点而论，根据各种示例性实施例，接收单元190可被实现为各种形式。
[0104]信号处理单元195对内容执行信号处理，以使得通过接收单元190接收的内容可通过输出单元110输出。
[0105]具体地讲，信号处理单元195对内容中包括的视频信号执行比如解码、缩放、帧率转换等操作，以便将该视频信号转换为可在显示设备111中输出的形式。另外，信号处理单元195可对内容中包括的音频信号执行比如解码的信号处理，以便将该音频信号转换为可被音频输出单元112输出的形式。
[0106]图5是解释根据示例性实施例的第一服务器200的构造的框图。如图5所示，第一服务器200包括通信单元210 (例如，通信器)和控制单元220 (例如，控制器)。
[0107]通信单元210与显示设备100通信。具体地讲,通信单元210可从显示设备100接收用户语音，并将对应于该用户语音的文本信息发送到显示设备100。为了这样做，通信单元210可包括各种通信模块。
[0108]控制单元220控制第一服务器200的总体操作。具体地讲，如果从显示设备100接收到用户语音，则控制单元220控制通信单元210产生对应于该用户语音的文本信息，并将产生的文本信息发送到通信单元210。
[0109]具体地讲，控制单元220可使用STT引擎来产生对应于用户语音的文本信息。本文中，STT引擎是指将语音信息转换为文本的模块，并且控制单元200可使用各种相关领域的STT算法来将语音信号转换为文本。
[0110]例如，控制单元220通过在接收的用户语音内检测用户发出的语音的起始点和结束点来确定语音部分。具体地讲，控制单元220可通过以下方式的动态编程来检测语音部分:计算接收的语音信号的能量，并基于计算的能量对语音信号的能级进行分类。另外，控制单元220可通过在检测的语音部分内基于声学模型检测作为语音的最小单位的音素来产生音素数据，并通过将隐马尔可夫模型(HMM)概率模型应用于产生的音素数据来将用户语音转换为文本。
[0111]图6是解释根据示例性实施例的第二服务器300的构造的框图。如图6所示，第二服务器300包括通信单元310 (例如，通信器)、存储单元320 (例如，存储器)和控制单元330 (例如，控制器)。
[0112]通信单元310执行与显示设备100的通信。具体地讲，通信单元310可从显示设备100接收文本信息，并将对应于该文本信息的响应信息发送到显示设备100。为了这样做，通信单元310可包括各种通信模块。
[0113]存储单元320存储产生对应于从显示设备100接收的文本信息的响应信息的各种信息。
[0114]具体地讲，存储单元320存储每个服务范畴的会话模式。服务范畴可根据用户语音所属的主题而分为“广播”、“ V0D”、“应用程序管理”、“装置控制”、“信息提供(天气、股票、新闻等)”等。然而，这仅仅是示例。服务范畴还可根据其他多种主题来划分。
[0115]更具体地讲，存储单元320可包括每个服务范畴的语料数据库。本文中，语料数据库可存储例句及其响应。
[0116]也就是说,存储单元320可为每个服务范畴存储多个例句及其响应。另外,存储单元320可存储用于通过对每个例句进行标注来解释例句和对该例句的响应的信息。
[0117]例如，假设例句“OOO (广播节目的名称)何时开始？ ”被存储在广播服务范畴中。
[0118]在这种情况下，存储单元320可用用于解释该例句的信息标注该例句，并将该例句与该信息一起存储。具体地讲，存储单元320可用通知“〇〇〇(广播节目的名称)”指示广播节目、“…何时开始？ ”指示关于广播时间的查询、以及“何时”指示例句的类型是问题的信息标注该例句，并将该例句与该信息一起存储。另外，存储单元320可用与广播节目相关的术语位于具有比如“~何时开始？ ”的形式的例句中的信息标注该例句，并将该例句与该信息一起存储。与广播节目相关的术语可包括广播节目的名称、演员阵容、导演等。
[0119]另外，存储单元320可用对例句“〇〇〇(广播节目的名称)何时开始？ ”的响应标注该例句，并将该例句与该响应一起存储。具体地讲，存储单元320可用响应“〈广播节目的名称 > 于〈广播时间 > 开始”标注该例句，并将该例句与该响应一起存储。
[0120]另举一例，假设例句“请将频道变为频道〇”被存储在广播服务范畴中。
[0121]在这种情况下，存储单元320可用用于解释该例句的信息标注该例句，并将该例句与该信息一起存储。具体地讲，存储单元320可用通知“频道〇”指示频道号、“改变”指示用于改变频道的命令、以及“请”指示例句的类型是请求的信息标注该例句，并将该例句与该信息一起存储。另外，存储单元320可用与广播节目相关的术语位于具有比如“请将频道改变为~”的形式的例句中的信息标注该例句，并将该例句与该信息一起存储。与广播节目相关的术语可包括频道号、广播站的名称、广播节目的名称、演员阵容、导演等。
[0122]另外，存储单元320可用对例句“请将频道改变为频道〇”的响应标注该例句，并将该例句与该响应一起存储。具体地讲，存储单元320可用“频道已改变为〈频道号 >”的响应标注该例句，并将该例句与该响应一起存储。
[0123]又举一例，假设例句“请关闭〇〇(装置的名称)”被存储在装置控制范畴中。
[0124]在这种情况下，存储单元320可用用于解释该例句的信息标注该例句，并将该例句与该信息一起存储。具体地讲，存储单元320可用通知“〇〇”指示装置的名称、“关闭”指示用于关闭的命令、以及“请”指示例句的类型是请求的信息标注该例句，并将该例句与该信息一起存储。另外，存储单元320可用与装置相关的术语位于具有比如“请关闭~”的形式的例句中的信息标注该例句，并将该例句与该信息一起存储。与装置相关的术语可包括装置的名称、制造商等。
[0125]另外，存储单元320可用对例句“请关闭〇〇(装置的名称)”的响应标注该例句，并将该例句与该响应一起存储。具体地讲，存储单元320可用响应“〈装置的名称〉已被关闭”标注该例句，并将该例句与该响应一起存储。
[0126]另外，存储单元320可用控制显示设备100或外部装置400的控制命令标注该例句，并将该例句与该控制命令一起存储。具体地讲，存储单元320可用控制显示设备100或外部装置400的控制命令标注对应于用户语音以控制显示设备100或外部装置400的例句，并将该例句与该控制命令一起存储。
[0127]例如，存储单元320可用将显示设备100的频道改变为频道〇的控制命令标注例句“请将频道改变为频道〇”，并将该例句与该控制命令一起存储。另举一例，存储单元320可用关闭其装置名称为〇〇的外部装置400的控制命令标注例句“请关闭〇〇(装置的名称)”，并将该例句与该控制命令一起存储。
[0128]以上解释了存储在存储单元320中的例句及其响应。然而，这仅仅是示例。可存储关于每个服务范畴的多种例句和响应。
[0129]控制单元330控制第二服务器300的总体操作。具体地讲，如果从显示设备100接收到对应于用户语音的文本信息，则控制单元330可控制产生对应于接收的文本信息的响应信息并通过通信单元310将产生的响应信息发送到显示设备100。具体地讲，控制单元330可通过分析文本信息来确定用户语音的意图，并控制通信单元310以产生对应于确定的意图的响应信息并将该响应信息发送到显示设备100。
[0130]为了这样做，控制单元330可通过检测与接收的文本信息匹配的会话模式存在于其中的语料数据库来确定用户语音所属的服务范畴。
[0131]具体地讲，控制单元330可将接收的文本信息与为每个服务范畴存储的例句进行比较，并确定与接收的文本信息匹配的例句所属的服务范畴是用户语音所属的服务范畴。
[0132]例如，如果从显示设备100接收到文本“〇〇〇(广播节目的名称)何时开始？ ”或者“请将频道改变为频道〇”，则控制单元330可确定从显示设备100收集的用户语音属于广播服务范畴，如果接收到文本“请关闭〇〇(装置的名称)”，则控制单元330可确定从显示设备100收集的用户语音属于装置控制范畴。
[0133]如果不存在与接收的文本信息匹配的例句，则控制单元330可从统计上确定用户语音所属的范畴。
[0134]例如，假设显示设备100收集到用户语音“请将频道改变为频道〇”，并且对应于收集的用户语音的文本被发送到第二服务器300。在这种情况下，控制单元330可使用分类模型(比如，隐马尔可夫模型(HMM)、条件随机场(CRF)、支持向量机(SVM)等)来确定用户语音在统计上类似于“将频道改变为频道〇”，并且可确定用户语音“请将频道变改为频道〇”属于广播服务范畴。
[0135]另外，控制单元330可存储在统计上类似于预先存储的例句的文本信息。在这种情况下，控制单元330可将该文本信息存储为类似例句所属的服务范畴的另一个例句。
[0136]在以上情况下，控制单元330可用参照预先存储的例句解释新存储的文本信息的信息和对该新存储的文本信息的响应标注该新存储的文本信息，并将该新存储的文本信息与该信息和该响应一起存储。
[0137]例如，假设文本“请将频道改变为频道〇”被存储为新存储的例句。
[0138]在这种情况下，控制单元330可用用于参照预先存储的例句“将频道改变为频道O”来解释“请将频道改变为频道〇”的信息标注该新存储的例句“请将频道改变为频道O ”，并将该新存储的例句与该信息一起存储。具体地讲，控制单元330可用通知“频道〇”指示频道号、“改变”指示用于改变频道的命令、以及“请”指示例句的类型是请求的信息标注该新存储的例句，并将该新存储的例句与该信息一起存储。另外，存储单元320可用与广播节目相关的术语位于具有比如“请将频道改变为~”的形式的例句中的信息标注该新存储的例句，并将该新存储的例句与该信息一起存储。与广播节目相关的术语可包括频道号、广播站的名称、广播节目的名称、演员阵容、导演等。
[0139]另外，存储单元320可用对新存储的例句“请将频道改变为频道〇”的响应标注该新存储的例句，并将该新存储的例句与该响应一起存储。具体地讲，存储单元320可用响应“频道已改变为〈频道号 >”标注该新存储的例句，并将该新存储的例句与该响应一起存储。
[0140]例如，如果存在与从显示设备100接收的文本信息匹配的多个例句，并且这些多个例句属于不同的服务范畴，则控制单元330可使用统计分析来确定用户语音所属的服务范畴。
[0141]具体地讲，控制单元330可基于构成从显示设备100接收的文本信息的、存在于每个服务范畴中的术语(或词素)的频率来将加权值给予每个术语(或词素)，并可考虑给予的加权值来确定用户语音所属的服务范畴。
[0142]例如，假设例句“请显示〇〇〇(广播节目的名称)”被存储在广播服务范畴和VOD服务范畴中，并且从显示设备100接收到文本“请显示〇〇〇(广播节目的名称)”。
[0143]在这种情况下，控制单元330可确定与文本“请显示〇〇〇(广播节目的名称)”匹配的例句存在于广播服务范畴和VOD服务范畴中。然后，基于构成该文本的术语(或词素)“请”和“显示”在每个服务范畴中的使用频率，控制单元330可根据每个服务范畴来将加权值给予“请”和“显示”。
[0144]例如，在存储在广播服务域中的全部例句之中，包括“请”的例句的比例可被计算为“请”在广播服务范畴中的加权值，包括“显示”的例句的比例可被计算为“显示”在广播服务范畴中的加权值。
[0145]同样地，在存储在VOD服务范畴中的全部例句之中，包括“请”的例句的比例可被计算为“请”在VOD服务范畴中的加权值，包括“显示”的例句的比例可被计算为“显示”在VOD服务范畴中的加权值。
[0146]随后，控制单元330可通过计算给予每个术语的加权值来确定用户语音所属的服务范畴。在上述示例中，控制单元330可将乘以给予广播服务范畴中的“请”和“显示”的加权值的结果值与乘以给予VOD服务范畴中的“请”和“显示”的加权值的结果值进行比较，并确定用户语音属于具有较大结果值的服务范畴。
[0147]也就是说，如果基于广播服务范畴中给予的加权值而计算的结果值大于基于VOD服务范畴中给予的加权值而计算的结果值，则控制单元330可确定文本“请显示〇〇〇(广播节目的名称)”属于广播服务范畴。相反，如果基于VOD服务范畴中给予的加权值而计算的结果值大于基于广播服务域中给予的加权值而计算的结果值，则控制单元330可确定文本“请显示〇〇〇(广播节目的名称)”属于VOD服务范畴。
[0148]然而，这仅仅是示例。控制单元330可使用各种方法来从统计上确定用户语音所属的服务范畴。
[0149]随后，控制单元330基于用户语音所属的服务范畴来从用户语音提取对话行为、主要动作和组件要素(或个体名称)。本文中，对话行为是关于句子的形式的分类标准，并且指示对应的句子是陈述、请求，还是问题。
[0150]主要动作是表示通过会话的用户语音在特定范畴中的意图动作的语义信息。例如，在广播服务范畴中，主要动作可包括打开/关闭TV、搜索广播节目、搜索广播节目时间、预约录制广播节目等等。另举一例，在装置控制范畴中，主要动作可包括打开/关闭装置、播放装置、暂停装置、等等。
[0151]组件要素是关于用户语音中表示的特定范畴的个体信息，也就是说，指定特定范畴中意图的动作的意义的增加信息。例如，广播服务范畴中的组件要素可包括风格、节目名称、广播时间、频道名称、演员姓名等。装置控制服务范畴中的组件要素可包括装置名称、制造商等。
[0152]另外，控制单元330可使用提取的对话行为、主要动作和组件要素来确定用户语音的意图，产生对应于确定的意图的响应信息，并将产生的响应信息发送到显示设备100。
[0153]本文中，响应信息包括在显示设备100中输出响应消息的响应消息信息。响应消息信息是从显示设备100以文本形式输出的关于用户语音的响应消息，并且显示设备100可基于从第二服务器300接收的响应消息信息来输出对应于用户语音的响应消息。
[0154]为了这样做，控制单元330可从存储单元320提取对确定的语音意图的响应，并通过将提取的响应转换为文本来产生响应消息信息。
[0155]另外，响应信息还可包`括执行对应于用户语音的功能的控制命令。控制命令可包括控制显示设备100执行对应于用户语音的功能的控制命令、以及控制外部装置400执行对应于用户语音的功能的控制命令。
[0156]为了这样做，控制单元330可从存储单元320提取对应于确定的用户语音意图的控制命令，并将该控制命令发送到显示设备100。
[0157]这里更详细地解释控制单元330产生对应于用户语音的响应信息的示例。
[0158]首先，控制单元330可使用对与用户语音匹配的例句或者在统计上被确定为类似于用户语音的例句标注的信息来从用户语音提取对话行为、主要动作和组件要素，产生对应于用户语音的响应信息，并将产生的响应信息发送到显示设备100。
[0159]例如，假设从显示设备100接收到文本“〇〇〇(广播节目的名称)何时开始？ ”。
[0160]在这种情况下，控制单元330可确定接收的文本属于广播服务范畴，使用对广播服务范畴中与接收的文本匹配的例句“〇〇〇(广播节目的名称)何时开始？ ”标注的信息来从用户语音提取对话行为、主要动作和组件要素，并产生对应于用户语音的响应信息。
[0161 ] 也就是说，存储在广播服务范畴中的例句“〇〇〇(广播节目的名称)何时开始？ ”被标注有用于解释该例句的信息，即，通知“〇〇〇(广播节目的名称)”指示广播节目、“…何时开始”指示关于广播时间的查询、以及“何时”指示例句的类型是问题的信息。因此，基于该信息，控制单元330可确定，文本“〇〇〇(广播节目的名称)何时开始？ ”的对话行为是问题，主要动作是关于广播时间的查询，组件要素是〇〇〇(广播节目的名称)。因此，控制单元330可确定用户语音意图“询问” “〇〇〇”的“广播时间”。
[0162]另外，控制单元330可在存储单元320中搜索对存储在广播服务范畴中的例句“〇〇〇(广播节目的名称)何时开始？ ”标注的响应，并使用标注的响应来产生响应消息信
肩、O
[0163]也就是说，控制单元330找到对例句“〇〇〇(广播节目的名称)何时开始？ ”标注的响应“〈广播节目的名称 > 将于〈广播时间 > 开始”，作为对用户语音的响应。
[0164]在这种情况下，控制单元330可完成找到的响应中的空白，并产生完整的句子。
[0165]例如，在“〈广播节目的名称 > 将于〈广播时间 > 开始”的响应中，控制单元330可将广播节目的名称“〇〇〇”放到空白“〈广播节目的名称〉”中。另外，控制单元330可使用电子节目指南(EPG)信息来搜索“〇〇〇”的广播时间，并将找到的广播时间放到空白“〈广播时间 >”中。因此，控制单元330可将完整的句子“〇〇〇将于星期六7点开始”产生为对应于用户语音的响应消息信息，并将产生的响应消息信息发送到显示设备100。
[0166]结果，基于接收到的响应消息信息，显示设备100可以以语音和文本中的至少一个的形式输出“〇〇〇将于星期六7点开始”。
[0167]另举一例，假设从显示设备100接收到文本“请将频道改变为频道〇”。
[0168]在这种情况下，控制单元330可确定接收的文本属于广播服务范畴，使用对广播服务范畴中与接收的文本匹配的例句“请将频道改变为频道〇”标注的信息来从用户语音提取对话行为、主要动作和组件要素，并产生对应于该用户语音的响应信息。
[0169]也就是说，存储在广播服务范畴中的例句“请将频道改变为频道〇”被标注有用于解释该例句的信息，即，通知“ 频道〇”指示频道号、“改变”指示改变频道的命令、以及“请”指示该例句的类型是请求的信息。因此，基于该信息，控制单元330可确定文本“请将频道改变为频道〇”的对话行为是请求，主要动作是改变频道的命令，组件要素是频道〇。因此，控制单元330可确定用户语音意图“请求” “将频道改变为” “频道〇”。
[0170]另外，控制单元330可在存储单元320中搜索对存储在广播服务范畴中的例句“请将频道改变为频道〇”标注的响应，并使用标注的响应来产生响应消息信息。
[0171]也就是说，控制单元330找到对例句“请将频道改变为频道〇”标注的响应“频道已改变为〈频道号 >”，作为对用户语音的响应。
[0172]在这种情况下，控制单元330可完成找到的响应中的空白，并产生完整的句子。
[0173]例如，在响应“频道已改变为〈频道号 >”中，控制单元330可将频道号“频道〇”放到空白“〈频道号 >”中。因此，控制单元330可将完整的句子“频道已改变为频道〇”产生为对应于用户语音的响应消息信息，并将产生的响应消息信息发送到显示设备100。
[0174]另外，控制单元330可在存储单元320中搜索对存储在广播服务范畴中的例句“请将频道改变为频道〇”标注的控制命令，并将标注的控制命令发送到显示设备100。也就是说，控制单元330可将把显示设备100的频道改变为频道〇的控制命令发送到显示设备100,其中，该控制命令被标注给所述例句。
[0175]结果，显示设备100可基于从第二服务器300接收的控制命令来将频道改变为频道〇，并基于从第二服务器300接收的响应消息信息来以语音和文本中的至少一个的形式输出“频道已改变为频道〇”。
[0176]又举一例，假设从显示设备100接收到文本“请关闭〇〇(装置的名称)”。[0177]在这种情况下，控制单元330可确定接收到的文本属于装置控制范畴，使用对装置控制范畴中与接收的文本匹配的例句“请关闭〇〇(装置的名称)”标注的信息来从用户语音提取对话行为、主要动作和组件要素，并产生对应于该用户语音的响应信息。
[0178]也就是说，存储在装置控制范畴中的例句“请关闭〇〇(装置的名称)”被标注有用于解释该例句的信息，即，通知“〇〇(装置的名称)”指示装置的名称、“关闭”指示关闭电源的命令、以及“请”指示例句的类型是请求的信息。因此，基于这个信息，控制单元330可确定文本“请关闭〇〇(装置的名称)”的对话行为是请求，主要动作是关闭电源的命令，组件要素是〇〇(装置的名称)。因此，控制单元330可确定用户语音意图“请求” “关闭”“〇〇(装置的名称)”。
[0179]另外，控制单元330可在存储单元320中搜索对存储在装置控制范畴中的例句“请关闭〇〇(装置的名称)”标注的响应，并使用标注的响应来产生响应消息信息。
[0180]也就是说，控制单元330找到对例句“请关闭〇〇(装置的名称)”标注的响应“〈装置的名称〉已被关闭”，作为对用户语音的响应。
[0181]在这种情况下，控制单元330可完成找到的响应中的空白，并产生完整的句子。
[0182]例如，在响应“〈装置的名称〉已被关闭”中，控制单元330可将装置的名称“〇〇”放到空白“〈装置的名称〉”中。因此，控制单元330可将完整的句子“〇〇已被关闭”产生为对应于用户语音的响应消息信息，并将产生的响应消息信息发送到显示设备100。
[0183]另外，控制单元330可在存储单元320中搜索对存储在装置控制范畴中的例句“请关闭〇〇(装置的名称)”标注的控制命令，并将标注的控制命令发送到显示设备100。也就是说，控制单元330可将关闭〇〇 的控制命令发送到显示设备100，其中，该控制命令被标注给所述例句。
[0184]结果，显示设备100可基于从第二服务器300接收的控制命令来关闭外部装置400 “〇〇”，并基于从第二服务器300接收的响应消息信息来以语音和文本中的至少一个的形式输出“〇〇已被关闭”。
[0185]控制单元330可使用对在统计上类似于用户语音的例句标注的信息来从用户语音提取对话行为、主要动作和组件要素，并产生响应信息。
[0186]例如，假设从显示设备100接收到文本“ΛΛΛ(广播节目的名称)何时开始？ ”。
[0187]在这种情况下，控制单元330确定文本“ΛΛΛ (广播节目的名称)何时开始？ ”在统计上类似于存储在广播服务范畴中的例句“〇〇〇(广播节目的名称)何时开始？ ”。因此，控制单元330可使用对例句“〇〇〇(广播节目的名称)何时开始？ ”标注的信息来从用户语音提取对话行为、主要动作和组件要素，并产生响应信息。
[0188]也就是说，该例句被标注有与广播节目相关的术语位于比如“~何时开始？ ”的句子中的信息，以便解释该例句。因此，控制单元330从与广播节目相关的术语(比如，广播节目的名称、演员阵容、导演等)之中搜索“ΛΛΛ (广播节目的名称)”具有什么含义。
[0189]为了这样做，存储单元330可包括存储关于每个服务范畴的组件要素的信息的命名实体词典、TIMEX词典等。
[0190]也就是说，控制单元330可参照命名实体词典或--ΜΕΧ词典来搜索“ΛΛΛ (广播节目的名称)”具有什么含义，并确定“ΛΛΛ (广播节目的名称)”指示广播节目的名称。
[0191]然而,这仅仅是示例。控制单元330可使用EPG信息或者预先存储的例句和CRF来搜索“ΛΛΛ (广播节目的名称)”具有什么含义。
[0192]因此，控制单元330可确定文本“ΛΛΛ (广播节目的名称)何时开始？ ”的对话行为是问题，主要动作是关于广播时间的查询，组件要素是ΛΛΛ (广播节目的名称)。另外，控制单元330可确定用户语音意图“询问” “ΛΛΛ”的“广播时间”。
[0193]此外，控制单元330可使用对广播服务范畴中存储的例句标注的响应来产生关于"ΔΔΔ (广播节目的名称)何时开始？ ”的响应消息信息，并将产生的响应消息信息发送到显示设备100。
[0194]也就是说，控制单元330找到对例句“〇〇〇(广播节目的名称)何时开始？ ”标注的响应“〈广播节目的名称〉将于〈广播时间〉开始”，作为对用户语音的响应。另外，控制单元330可将完整的句子“ΛΛΛ将于星期三11点开始”产生为对应于用户语音的响应消息信息，并将产生的响应消息信息发送到显示设备100。
[0195]另一方面，如果显示设备100预先存储响应消息句子的一部分的数据，则控制单元330可仅将完成该句子的文本的一部分发送到显示设备100。
[0196]例如，如果显示设备100预先存储了响应“〈广播节目的名称 > 将于〈广播时间>开始”，则控制单元330可以以文本形式将广播节目的名称和广播时间发送到显示设备100，以便完成预先存储的响应。在这种情况下，控制单元330可将输出预先存储的响应的控制信号发送到显示设备100。
[0197]因此，显示设备100可将从第二服务器300接收的文本放到预先存储的响应中，并将完整句子“〇〇〇将于星期六7点开始”作为响应消息输出。
[0198]在上述示例中，控制单元330使用对例句标注的信息来从用户语音提取对话行为、主要动作和组件要素，但是这仅仅是示例。也就是说，控制单元330可使用最大熵分类器(Maximum Entropy Classifier)来提取对话行为和主要动作，并且使用CRF来提取组件`要素。
[0199]然而，本发明不限于此。控制单元330可使用多种已知方法来从用户语音提取对话行为、主要动作和组件要素。
[0200]如果不可能确定当前接收的用户语音的意图，则控制单元330可参照之前接收的用户语音来确定用户语音的意图。也就是说，控制单元330可通过将当前接收的用户语音与存储在语料数据库中的会话模式进行比较来确定当前接收的用户语音是否是会话模式中的第一个用户语音，如果确定当前接收的用户语音不是第一个用户语音，则可参照之前接收的用户语音来确定用户语音的意图。
[0201]例如，假设在用户语音“〇〇〇(广播节目的名称)何时开始？ ”被输入之后用户语音“它何时开始？ ”被输入。在这种情况下，如果确定用户语音“它何时开始？ ”不是广播服务范畴中的第一个用户语音，则控制单元330可基于之前接收的用户语音“〇〇〇(广播节目的名称)何时开始？ ”来确定用户语音“它何时开始？ ”的意图。
[0202]也就是说，控制单元330可使用之前接收的用户语音中包括的“〇〇〇(广播节目的名称)”来确定用户语音“它何时开始？ ”的意图是“查询”名为“〇〇〇”的“节目的起始时间”，以便确定其组件要素能被提取的用户语音“它何时开始？ ”的意图。
[0203]在图1至图4中，显示设备100输出对应于用户语音的响应消息或者基于从第二服务器300接收的响应信息执行特定功能，但是这仅仅是示例。显示设备100可输出对应于用户语音的响应消息或者使用从第一服务器200接收的文本信息执行特定功能。[0204]参照图4对这进行更详细的描述。
[0205]存储单元180可存储产生对应于从第一服务器200接收的文本信息的响应信息的多种信息。也就是说，像第二服务器300的存储单元320那样，存储单元180可为每个服务范畴存储多个例句及其响应。存储单元180可用解释例句的信息、对应的响应和控制命令标注该例句，并将该例句与该信息、该响应和该控制命令一起存储。
[0206]控制单元150可使用存储的例句和标注的信息来产生对应于用户语音的响应信息，并基于产生的响应信息来输出对应于用户语音的响应消息，或者控制显不设备100或外部装置400执行根据用户语音的对应功能。在这种情况下，控制单元150可使用与第二服务器300中相同的方法。
[0207]图7是解释根据另一个示例性实施例的交互系统的视图。如图7所示，交互系统1000’包括显示设备100、第一服务器200、第二服务器300、外部装置400和外部服务器500。图7中的交互系统与图1中的交互系统的不同之处在于，图7中的交互系统还包括外部服务器500。为了方便描述，本文将省略与图1至图6重复的描述。然而，参照图6的框图描述第二服务器300的操作。
[0208]第二服务器300基于从显示设备100接收的文本信息来确定用户语音的意图，基于确定的意图来产生响应信息，并将产生的响应信息发送到显示设备100。在这种情况下，第二服务器300可使用从外部服务器500接收的搜索信息来产生响应信息。
[0209]本文中，不可能产生响应信息的情况是找到的响应中的空白不能被完成的情况。
[0210]在这种情况下，第二服务器300可通过将从显示设备100接收的文本信息发送到外部服务器500来收集对应于文本信息的搜索信息，并基于该搜索信息来产生响应信息。[0211 ] 另外，第二服务器300可从自显示设备100接收的文本信息提取某关键字，并将该关键字发送到外部服务器500。例如，在文本“首尔的天气怎么样？ ”中，关键字可以是“首尔”和“天气”，并且第二服务器300可针对每个服务范畴存储某些关键字。
[0212]外部服务器500基于从第二服务器300接收的文本信息或者从文本信息提取的关键字来产生搜索信息，并将产生的搜索信息发送到第二服务器300。具体地讲，外部服务器500可被实现为这样的web服务器，该web服务器存储对文本信息或者从文本信息提取的关键字执行web搜索的各种信息，并将搜索结果发送到第二服务器300。
[0213]因此，第二服务器300可通过使用从外部服务器500接收的搜索结果完成找到的响应中的空白来产生响应信息，并将产生的响应信息发送到显示设备100。
[0214]例如，如果从显示设备100接收到文本“〇〇(地区名称)的天气怎么样？ ”，则控制单元330可确定用户语音意图“询问” “〇〇(地区名称)”的“天气”，并找到“〈地区名称>的天气是〈天气信息 >”作为响应。
[0215]在这种情况下，控制单元330可将“ O O (地区名称)”放到找到的响应中的空白〈地区名称 > 中。然而，为了完成另一个空白〈天气信息 >，控制单元330可将接收的文本信息或者从该文本信息提取的关键字发送到外部服务器500。此处，关键字可以是“〇〇(地区名称)”和“天气”。因此，外部服务器500可搜索关于〇〇(地区名称)的天气信息。
[0216]另外，如果控制单元330从外部服务器500接收到搜索结果，则控制单元330可使用接收的搜索结果来产生对应于用户语音的响应消息信息，并将产生的响应消息信息发送到显示设备100。在这个示例中，如果从外部服务器500接收到〇〇(地区名称)的天气是
25。C的搜索结果，则控制单元330可将“〇〇(地区名称)的天气是25° C”的完整句子产生为对应于用户语音的响应消息信息，并将产生的响应消息信息发送到显示设备100。
[0217]结果，显示设备100可基于从第二服务器300接收的响应消息信息来以语音和文本中的至少一个的形式输出“〇〇(地区名称)的天气是25° C”。
[0218]图8是解释图7中所示的交互系统的每个操作的时序图。第二服务器300的具体构造与图6的构造相同或类似，将参照图6中所示的框图来解释第二服务器300的操作。另外，图8中的操作S510至S514与图2中的操作SlO至S50相同或类似，为了方便描述，此处将省略重复解释。
[0219]第二服务器300基于从显示设备100接收到的文本信息来确定用户语音的意图，并确定是否可根据确定的用户语音的意图来产生响应信息(操作S515)。
[0220]具体地讲，控制单元330基于从显示设备100接收到的文本信息来确定用户语音所属的服务范畴，并基于该服务范畴来确定用户语音的意图。随后，控制单元330从存储单元310中的语料数据库提取对应于确定的用户语音的意图的响应，以上已参照图1至图6对这进行了解释。
[0221]此外，控制单元330使用提取的响应来产生响应消息信息。
[0222]如果提取的响应不是完整的句子并且不可能使用预先存储的信息来完成该句子，则控制单元330确定不可能根据用户语音的意图来产生响应信息。
[0223]例如，假设确定收集的用户语音“〇〇〇(广播节目的名称)何时开始？ ”的意图是“查询”名为“〇〇〇”的节目的起始时间，并且“〈节目的名称 > 的广播时间是〈广播时间>”被提取为响应。在这种情况下， 控制单元330使用EPG信息来产生响应消息信息“〇〇〇(节目的名称)的广播时间是星期六7点”。
[0224]另举一例，假设确定收集的用户语音“〇〇(地区名称)的天气怎么样？ ”的意图是“查询” “〇〇(地区名称)”的“天气”，并且“〈地区名称〉的天气是〈天气信息〉”被提取为响应。在这种情况下，如果关于〇〇(地区名称)的当前天气的信息未被预先存储在第二服务器300中，则不可能使用预先存储的信息来完成提取的句子。就这点而论，如果不可能使用预先存储的信息来产生完整句子的形式的响应消息信息，则控制单元330确定不可能根据用户语音的意图来产生响应信息。
[0225]在这种情况下，第二服务器330将从显示设备100接收的文本信息发送到外部服务器500 (操作S516)。为了这样做，通信单元310可执行与外部服务器500的通信。
[0226]具体地讲，如果不可能根据用户语音的意图来产生响应信息，也就是说，如果不可能使用预先存储的信息来完成提取的句子，则控制单元330控制通信单元310将从显示设备100接收的文本信息发送到外部服务器500。也就是说，在本示例性实施例中，控制单元330控制将文本信息“〇〇(地区名称)的天气怎么样？ ”发送到外部服务器500。
[0227]另外或者可替换地，控制单元330可从自显示设备100接收的文本信息提取关键字，并通过通信单元310将提取的关键字发送到外部服务器500。
[0228]为了这样做，存储单元320可存储关于从文本信息提取的各个关键字的信息。具体地讲，存储单元320可存储每个服务范畴的预定义关键字。例如，存储单元320可将天气相关关键字(比如，地区名称、温度、下雪、概率等)与信息提供服务范畴匹配，并且将广播相关关键字(比如，节目名称、主要演员、歌手、歌曲名等)与广播服务范畴匹配，并存储那些关键字。
[0229]例如，因为用户语音“〇〇(地区名称)的天气怎么样？ ”属于信息提供服务范畴，所以控制单元330可控制检测文本信息中的关键字(比如，“〇〇(地区名称)”和“天气”)并将该关键字发送到外部服务器500。
[0230]外部服务器500产生搜索信息(操作S517)，并将产生的搜索信息发送到第二服务器300 (操作S518)。具体地讲，外部服务器500可被实现为web服务器，并且可对从第二服务器300接收的文本信息或关键字执行web搜索，并将web搜索的结果产生为搜索信息。
[0231]如上所述，如果从第二服务器300接收到文本“〇〇(地区名称)的天气怎么样？ ”或者关键字(比如，“〇〇(地区名称)”和“天气”)，则外部服务器500可使用对应的信息来执行web搜索，并将关于搜索的〇〇(地区名称)的当前天气的信息发送到第二服务器300。
[0232]如果从外部服务器500接收到搜索信息，则第二服务器300可产生响应信息(操作S519)，并将产生的响应信息发送到显示设备100 (操作S520)。
[0233]具体地讲，控制单元330可使用搜索信息来产生对应于用户语音的响应信息。也就是说，控制单元330可通过使用搜索信息将提取的响应重新构造为完整的句子来产生响应消息信息，并将产生的响应消息信息发送到显示设备100。
[0234]也就是说，在本示例性实施例中，如果从外部服务器500接收到〇〇(地区名称)的天气是25°C的搜索信息，则控制单元330可控制基于搜索信息来产生“〇〇(地区名称)的天气是25°C”的响应消息信息并将产生的响应消息信息发送到显示设备100。
[0235]显示设备100基于从 第二服务器300接收到的响应信息来执行对应于用户语音的操作(操作S521)。在上述示例性实施例中，显示设备100可基于从第二服务器300接收到的响应消息信息来以语音和文本中的至少一个的形式输出响应消息“〇〇(地区名称)的天气是25°C ”，以上已参照图1至图6对这进行了解释。
[0236]在图1和图8中，包括第一服务器200和第二服务器300的单个服务器可被称为交互服务器。在图1和图8中，第一服务器200和第二服务器300被示为单独的组件，但是这仅仅是示例。也就是说，第一服务器200和第二服务器300可被实现为单个服务器，在这种情况下，该单个服务器可被称为交互服务器。
[0237]在这种情况下，显示设备100不接收对应于用户语音的文本信息，并且单个服务器可将用户语音转换为文本，基于转换的文本来产生对应于用户语音的响应信息，并将产生的响应信息发送到显示设备100。
[0238]图9至图11是解释根据示例性实施例的交互系统的操作的视图。
[0239]例如，假设如图9A和图9B所示，正在观看特定广播节目的用户600说出“〇〇〇(广播节目的名称)何时开始？ ”。在这种情况下，显示设备100可基于从第二服务器300接收的响应信息来输出对应于“〇〇〇(广播节目的名称)何时开始？ ”的响应消息。也就是说，显示设备100可基于从第二服务器200接收的响应信息来在屏幕上将“〇〇〇(广播节目的名称)的广播时间为星期六7点”输出为语音或文本。
[0240]同时，假设如图1OA所示，正在观看特定广播节目的用户600说出“请将频道改变为频道〇？”。
[0241]在这种情况下，如图1OB和图1OC所示，显示设备100可基于从第二服务器300接收的响应信息来输出对应于“请将频道改变为频道〇”的响应消息，并且改变频道。
[0242]具体地讲，显示设备100可在屏幕上将响应消息“频道已改变为频道〇”输出为语音或文本。另外，显示设备100可基于从第二服务器300接收的控制命令来将频道改变为频道〇。
[0243]例如，假设如图1lA所示，正在观看DVD的用户600说出“请关闭DVD播放器”。
[0244]在这种情况下，如图1IB和图1lC所示，显示设备100可基于从第二服务器300接收的响应信息来输出对应于“请关闭DVD播放器”的响应消息，并关闭DVD播放器。
[0245]具体地讲，显示设备100可在屏幕上将响应消息“DVD播放器已被关闭”输出为语音或文本。另外，显示设备100可基于从第二服务器300接收的控制命令来关闭DVD播放器。
[0246]图12是解释根据示例性实施例的用于控制显示设备100的方法的流程图。
[0247]参照图12，收集用户语音(操作S710)。具体地讲，可通过与显示设备100—体地形成的或者分开提供的麦克风来收集用户语音。
[0248]随后，将用户语音发送到第一服务器200 (操作S720)，并且从第一服务器200接收对应于该用户语音的文本信息(操作S730)。具体地讲，可从第一服务器200接收到通过STT算法被转换为文本形式的用户语音。
[0249]随后，将接收的文本信息发送到第二服务器300 (操作S740)，并且从第二服务器300接收对应于该文本信息的响应信息(操作S750)。本文中，响应信息包括在显示设备100中输出响应消息的响应消息信息。也就是说，可从第二服务器300接收响应消息信息，响应消息信息是文本形式的对应于用户语音的响应消息。
[0250]之后,基于响应信息输`出对应于用户语音的响应消息(操作S760 )。具体地讲,可基于响应文本信息将对应于用户语音的响应消息输出为语音和文本中的至少一个。
[0251]响应信息还可包括控制显示设备100的功能的控制命令。因此，显示设备100可以不仅输出对应于用户语音的响应消息，而且还可执行对应于用户语音的特定功能。
[0252]第二服务器300基于接收的文本信息来确定用户语音的意图，如果不可能根据用户语音的意图产生响应信息，则可使用从外部服务器500接收的搜索信息来产生响应信息。也就是说，如果不可能根据确定的用户语音的意图产生响应信息，则第二服务器300将文本信息发送到外部服务器500。因此，外部服务器500基于该文本信息来产生搜索信息并将产生的搜索信息发送到第二服务器300，第二服务器300可使用该搜索信息来产生响应信息并将产生的响应信息发送到显示设备100。
[0253]一种在其中可提供依次执行根据示例性实施例的各种控制方法的程序的非时间性可记录介质。
[0254]所述非时间性可记录介质是指可半永久性地存储数据的介质，而不是短时间内存储数据的介质(比如，寄存器、高速缓存和存储器)，并且可被设备读取。具体地讲，以上提及的各种应用程序或程序可被存储在非时间性可记录介质(比如，⑶、DVD、硬盘、蓝光盘、USB、存储卡和ROM)中，并且在其中被提供。
[0255]在以上示出显示设备和服务器的框图中，示出了总线，并且显示设备中的每个组成元件与服务器之间的通信可通过该总线来执行。另外，每个装置还可包括执行以上提及的各个步骤的处理器(比如，CPU)和微处理器等。而且，要理解，在示例性实施例中，上述设备的一个或多个单元可包括电路、处理器、微处理器等，并且可执行存储在计算机可读介质中的计算机程序。
[0256]尽管已显示和描述了几个示例性实施例，但是本领域技术人员将认识到，在不脱离本发明构思的原理和精神的情况下，可在这些示例性实施例中进行改变，本发明构思的范围在权利要求及其等同形式中被限定。
【权利要求】
1.一种图像处理设备，包括: 输出器，输出语音和文本中的至少一个； 语音收集器，收集用户语音； 第一通信器，将收集的用户语音发送到第一服务器，并从第一服务器接收对应于所述收集的用户语音的文本信息； 第二通信器，将接收的文本信息发送到第二服务器；和 控制器，响应于从第二服务器接收到对应于发送的文本信息的响应信息，控制输出器基于接收的响应信息输出响应于所述收集的用户语音的响应消息。
2.根据权利要求1所述的设备，其中: 所述接收的响应信息包括从所述图像处理设备输出所述响应消息的响应消息信息；并且 所述控制器基于所述响应消息信息通过输出器将响应于所述收集的用户语音的响应消息产生并输出为语音和文本中的至少一个。
3.根据权利要求2所述的设备，其中，所述接收的响应信息还包括控制命令，所述控制命令控制所述图像处理设备响应于所述收集的用户语音的操作。
4.根据权利要求1所述的设备，其中，所述第二服务器基于所述发送的文本信息确定所述收集的用户语音的意图，并且，如果不可能根据确定的意图产生所述响应信息，则使用从外部服务器接收的搜索信息来根 据所述确定的意图产生所述响应信息。
5.根据权利要求1所述的设备，其中，所述接收的响应信息包括控制命令，所述控制命令控制所述显示设备响应于所述收集的用户语音的操作。
6.根据权利要求1所述的设备，还包括存储预定响应消息的存储器，其中，所述控制器响应于从第二服务器接收到所述响应信息，控制输出器基于接收的响应信息输出响应于所述收集的用户语音的预定响应消息。
7.根据权利要求6所述的设备，其中，所述接收的响应信息包括控制信号，所述控制信号控制所述控制器通过输出器输出响应于所述收集的用户语音的预定响应消息。
8.根据权利要求6所述的设备，其中，所述控制器响应于从第二服务器接收到所述响应信息并且接收的响应信息包括响应于所述收集的用户语音的部分文本，控制输出器输出所述部分文本和响应于所述收集的用户语音的预定响应消息的组合。
9.根据权利要求6所述的设备，其中，所述预定响应消息包括语音和文本中的至少一个。
10.一种用于控制图像处理设备的方法，所述方法包括: 收集用户语音； 将收集的用户语音发送到第一服务器，并从第一服务器接收对应于所述收集的用户语音的文本信息； 将接收的文本信息发送到第二服务器；和 响应于从第二服务器接收到对应于发送的文本信息的响应信息，基于接收到的响应信息输出响应于所述收集的用户语音的响应消息。
11.根据权利要求10所述的方法，其中: 所述接收的响应信息包括从所述图像处理设备输出所述响应消息的响应消息信息；并且 所述输出的步骤包括:基于所述响应消息信息将响应于所述收集的用户语音的响应消息产生并输出为语音和文本中的至少一个。
12.根据权利要求11所述的方法，其中，所述响应信息还包括控制命令，所述控制命令控制所述图像处理设备响应于所述收集的用户语音的操作。
13.根据权利要求10所述的方法，其中，所述第二服务器基于所述发送的文本信息确定所述收集的用户语音的意图，并且如果第二服务器确定不可能根据确定的意图产生所述响应信息，则使用从外部服务器接收的搜索信息来根据所述确定的意图产生所述响应信肩、O
14.一种交互系统,包括: 图像处理设备，发送收集的用户语音； 第一服务器，响应于从图像处理设备接收到发送的用户语音，将对应于接收的用户语音的文本信息发送到图像处理设备；和 第二服务器，响应于从图像处理设备接收到发送的文本信息，将对应于所述文本信息的响应信息发送到图像处理设备， 其中，所述图像处理设备响应于从第二服务器接收到发送的响应信息，基于接收的响应信息输出响应于所述收集的用户语音的响应消息。
15.根据权利要求14所述的系统，其中: 所述接收的响应信息包括`从图像处理设备输出所述响应消息的响应消息信息；并且 所述图像处理设备基于所述响应消息信息将响应于所述收集的用户语音的响应消息产生并输出为语音和文本中的至少一个。
【文档编号】G10L15/26GK103516711SQ201310213869
【公开日】2014年1月15日 申请日期:2013年5月31日 优先权日:2012年6月27日
【发明者】尹胜一, 金相姬, 金裁徹, 李相权, 李天成, 李蕙汀, 郑宰旭, 车泰焕 申请人:三星电子株式会社