显示装置、电子设备、交互式系统及其控制方法与流程

相关申请的交叉引用

本申请要求向韩国知识产权局于2012年6月29日提交的韩国专利申请no.10-2012-0071361的优先权，其全部公开通过引用合并于此。

根据示例性实施例的装置、系统和方法总体上涉及显示装置、电子设备、交互式系统及其控制方法，更具体地，涉及根据用户的语音控制的显示装置、电子设备、交互式系统及其控制方法。

背景技术：

随着电子技术的发展，开发和分布了多种类型的显示装置。特别是在家庭中使用包括tv的多种显示装置。这些显示装置根据用户的需求逐渐具备多种功能。具体地，tv连接到因特网以支持因特网服务。同时，用户可以通过tv观看大量数字广播频道。

因此，需要用于高效使用显示装置的多种功能的多种输入方法。例如，利用遥控器的输入方法、利用鼠标的输入方法、利用触摸板的输入方法等，已应用到显示装置。

然而，仅使用这些简单输入方法难以有效使用显示装置的多种功能。例如，如果显示装置的所有功能实现为仅由一个遥控器控制，就有必要增加遥控器的按钮的数量。在这种情况下，对于用户而言学习如何使用所述遥控器就不容易。同时，在屏幕上显示多种菜单以便允许用户搜索及选择相应菜单的方法中，为了选择想要的菜单，用户要逐个检查复杂的菜单树。

多种外围设备(例如，机顶盒、数字万能盘(dvd)播放器、家庭影院等)连接到显示装置上以使用。为了控制外围设备，要单独地控制与外围设备一同操作的遥控器。因此，开发了通用遥控器等以能够单独或同时控制多种类型的外围设备。然而，为了使用通用遥控器，用户必须直接搜索外围设备的制造公司和型号名称，并在通用遥控器中注册制造公司和型号名称。

因此，需要一种用于控制显示装置和多种类型的外围设备的高效输入方法。

技术实现要素：

示例性实施例针对至少上述问题和/或缺点以及其它以上未论述的缺点。同时，示例性实施例并不要求克服上述缺点，且示例性实施例可以不克服任何上述问题。

示例性实施例提供一种与外部服务器一同操作以执行与用户的语音相对应的操作的显示装置，一种通过用户的语音控制外围设备的电子设备，一种交互式系统及其控制方法。

根据示例性实施例的一个方面，提供了一种与显示装置通信的电子设备。所述电子设备可以包括：存储外围设备控制信息的存储器，所述外围设备控制信息与用于控制显示装置的外围设备的遥控信号有关，所述遥控信号和与用户语音相对应的控制信号相匹配；收集用户语音的语音收集器；向显示装置发送所收集的用户语音并从显示装置接收与用户语音相对应的控制信号的通信器；发送用于控制外围设备的遥控信号的红外线(ir)发送机；以及控制器，如果从显示装置接收到控制信号，控制ir发送机向外围设备发送在存储单元内存储的遥控信号之中与所接收的控制信号相对应的遥控信号。

电子设备还可以包括从遥控器接收遥控信号的ir接收机，所述遥控器控制显示装置的外围设备。控制器可以响应于所接收的遥控信号向显示装置发送所收集的用户语音，并从显示装置接收与用户语音相对应的控制信号，以产生外围设备控制信息。

外围设备控制信息还可以包括关于所接收的外部输入模式的信息。通信器可以接收控制信号和关于显示装置的外部输入模式的信息。如果从显示装置接收到控制信号和关于外部输入模式的信息，控制器可以控制ir发送机向外围设备发送与所接收的控制信号和外部输入模式相对应的遥控信号。

电子设备还可以包括从遥控器接收遥控信号的ir接收机，所述遥控器控制显示装置的外围设备。控制器可以响应于遥控信号向显示装置发送所收集的用户语音，并从显示装置接收与用户语音相对应的控制信号和关于显示装置的外部输入模式的信息，以产生外围控制信息。

电子设备可以是ir增强器(irblaster)和多波段遥控器(mbr)中的一种。

根据示例性实施例的另一方面，提供一种与控制第二设备的第一设备通信的显示装置。所述显示装置可以包括：与第一设备通信的第一通信器；与执行语音识别功能的服务器通信的第二通信器；以及控制器，如果从第一设备接收到用户语音，向服务器发送所接收的语音，从服务器接收与用户语音相对应的控制信号，并向第一设备发送控制信号。控制信号可以是与电子设备中用于控制第二设备的遥控信号相对应的信号。

如果接收到用户语音，控制器可以控制确定外部输入模式，向服务器发送关于所确定的外部输入模式的信息和用户语音，从服务器接收关于外部输入模式的信息和与用户语音相对应的控制信号，并向第一设备发送关于外部输入模式的信息和控制信号。

如果接收到用户语音，控制器可以控制确定外部输入模式，并向另一服务器发送从服务器接收的关于所确定的外部输入模式的信息和控制信号。

根据示例性实施例的另一方面，提供一种控制第一设备的方法。所述方法可以包括：存储第二设备控制信息，其中用于控制显示装置的第二设备的遥控信号和与用户语音相对应的控制信号相匹配；收集用户语音；向显示装置发送所收集的用户语音；从显示装置接收与用户语音相对应的控制信号；以及向第二设备发送预存的遥控信号之中与所接收的控制信号相对应的遥控信号。

第二设备控制信息的存储可以包括：从控制显示装置的第二设备的遥控器接收遥控信号；响应于遥控信号，收集用户语音；向显示装置发送所收集的用户语音；从显示装置接收与用户语音相对应的控制信号；以及产生并存储第二设备控制信息，其中所接收的遥控信号和控制信号彼此匹配。

第二设备控制信息还可以包括关于外部输入模式的信息。控制信号的接收可以包括接收控制信号和关于显示装置的外部输入模式的信息。向第二设备的发送遥控信号之中的所述遥控信号可以包括向第二设备发送所接收的控制信号和与关于外部输入模式的信息相对应的遥控信号。

第二设备控制信息的存储可以包括：从遥控器接收遥控信号，所述遥控器控制显示装置的第二设备；响应于遥控信号收集用户语音；向显示装置发送所收集的用户语音；从显示装置接收与用户语音相对应的控制信号和关于显示装置的外部输入模式的信息；以及产生并存储第二设备控制信息，其中所接收的遥控信号、控制信号以及关于外部输入模式的信息彼此匹配。

电子设备可以是ir增强器和mbr中的一种。

根据示例性实施例的另一方面，提供一种控制显示装置的方法，所述显示装置与控制第二设备的第一设备通信。所述方法可以包括：从第一设备接收用户语音；向执行语音识别功能的服务器发送所接收的用户语音；从所述服务器接收与用户语音相对应的控制信号；以及向第一设备发送所接收的控制信号。所述控制信号可以是与控制第二设备的遥控信号相对应的信号。

所述方法还可以包括：如果接收到用户语音，确定外部输入模式；以及发送关于外部输入模式的信息。控制信号的接收可以包括从服务器接收与外部输入模式有关的信息和与用户语音相对应的控制信号。

所述方法还可以包括：如果接收到用户语音，确定外部输入模式；且向第一设备发送关于所确定的外部输入模式的信息。

根据示例性实施例的另一方面，提供一种包括显示装置和第一设备的交互式系统，所述第一设备用于控制显示装置的第二设备。第一设备可以向显示装置发送所收集的用户语音，接收与用户语音相对应的控制信号，以及向第二设备发送预存的遥控信号之中与所接收的控制信号相对应的遥控信号。如果显示装置从第一设备接收到用户语音，显示装置可以向执行语音识别功能的服务器发送用户语音，从服务器接收与用户语音相对应的控制信号，以及向第一设备发送所述控制信号。

第一设备可以是电子设备，第二设备可以是显示装置的外围设备。

如上所述，根据本发明总体构思的多种示例性实施例，用户语音可以用作控制显示装置和显示装置的外围设备的手段。因此，提高了用户的便利性。

此外，用户可以使用电子设备来直接搜索外围设备的制造公司和型号名称，并注册与用户语音相对应的遥控信号，而无需在遥控器中注册制造公司和型号名称，以便控制外围设备。因此，提高了用户的便利性。

附图说明

结合附图，通过描述特定示例性实施例，以上和/或其它方面将更为明显，附图中：

图1示出了根据示例性实施例的交互式系统的示意图；

图2和3示出了图1的交互式系统的各个操作的时序图；

图4示出了图1的显示装置的结构框图；

图5示出了图4的显示装置的具体结构的框图；

图6示出了图1的电子设备的结构框图；

图7示出了图6的电子设备的具体结构的框图；

图8示出了图1的第一服务器的结构框图；

图9示出了图1的第二服务器的结构框图；

图10示出了根据示例性实施例的控制电子设备的方法的流程图；以及

图11示出了根据本发明总体构思的示例性实施例的控制显示装置的方法的流程图。

具体实施方式

结合附图，详细描述示例性实施例。

在以下描述中，即便在不同的附图中相同的附图标记也用于表示相同的部件。提供了在以下描述中定义的事物，例如具体结构和部件，来帮助本领域技术人员对示例性实施例的全面理解。因此，显而易见的是，在没有这些特定事物的前提下可以执行示例性实施例。并且，未详细描述公知功能或结构，因为它们将以不必要的细节模糊示例性实施例。

图1示出了根据示例性实施例的交互式系统的视图。参考图1，交互式系统包括显示装置100、电子设备200、第一服务器300以及第二服务器400。如图1所示，显示装置100可以是智能tv，仅作为示例性的。因此，显示装置100可以实现为多种类型的装置，例如，蜂窝电话(例如智能电话)、台式pc、笔记本pc、导航系统等。电子设备200可以实现为例如红外线(ir)增强器、多波段遥控器(mbr)等设备。

根据本示例性实施例，交互式系统可以操作在语音识别模式。语音识别模式可以包括设置模式和工作模式。交互式系统可以根据设置和工作模式而不同地操作，因此根据设置和工作模式描述交互式系统。当交互式系统操作时，用户可以通过显示装置100改变设置和工作模式。

<设置模式>

设置模式是指用于设置外围设备控制信息的模式，所述外围设备控制信息用于控制显示装置100的外围设备。根据每个示例性实施例，描述了设置模式的操作。交互式系统根据是否向第二服务器400或电子设备200发送关于显示装置100的外部输入模式的信息而不同地操作。

<第一示例性实施例>

根据第一示例性实施例，在设置模式中，电子设备200从控制外围设备的遥控器(未示出)接收控制信号。电子设备200收集与遥控信号相对应的用户语音，并向显示装置100发送用户语音。如果显示装置100接收到用户语音，显示装置100确定它的当前外部输入模式，并向第一服务器300发送所接收的用户语音。如果第一服务器300从显示装置200接收到用户语音，第一服务器300将用户语音转换为文本信息，并向显示装置100发送所述文本信息。

显示装置100向第二服务器400发送从第一服务器300接收到的文本信息、以及关于所确定的外部输入模式的信息。如果第二服务器400从显示装置100接收到文本信息，第二服务器400产生与所接收的文本信息和关于外部输入模式的信息相对应的控制信号，并向显示装置100发送所述控制信号。

显示装置100向电子设备200发送控制信号。此外，电子设备200将从显示装置100接收的控制信号与从遥控器接收的控制信号相匹配，以产生及存储外围设备控制信息。

<第二示例性实施例>

根据第二示例性实施例，在设置模式中，电子设备200从控制外围设备的遥控器接收控制信号。电子设备200也收集与遥控信号相对应的用户语音，并向显示装置100发送用户语音。如果显示装置100接收到用户语音，显示装置100确定它的当前外部输入模式，并向第一服务器300发送用户语音。如果第一服务器300从显示装置100接收到用户语音，第一服务器300将用户语音转换为文本信息，并向显示装置100发送所述文本信息。

显示装置100还向第二服务器400发送从第一服务器300接收到的文本信息。如果第二服务器400从显示装置100接收到文本信息，第二服务器400产生与所述文本信息相对应的控制信号，并向显示装置100发送所述控制信号。

显示装置100向电子设备200发送控制信号和关于所确定的外部输入模式的信息。此外，电子设备200将从遥控器接收的遥控信号、从显示装置100接收的控制信号以及关于外部输入模式的信息彼此匹配，以产生并存储外围设备控制信息。

<工作模式>

工作模式是指用于向外围设备发送与用户语音相对应的遥控信号以控制显示装置100的外围设备的模式。根据示例性实施例，将描述工作模式的操作。

<第一示例性实施例>

根据第一示例性实施例，在工作模式中，电子设备200收集用于控制外围设备的用户语音，并向显示装置100发送所述用户语音。如果显示装置100接收到用户语音，显示装置100确定它的当前外部输入模式，并向第一服务器300发送所述用户语音。如果第一服务器300从显示装置100接收到用户语音，第一服务器300将用户语音转换为文本信息，并向显示装置100发送所述文本信息。

显示装置100向第二服务器400发送从第一服务器300接收到的文本信息、以及关于所确定的外部输入模式的信息。如果第二服务器400从显示装置100接收到文本信息，第二服务器400产生与文本信息和关于外部输入模式的信息相对应的控制信号，并向显示装置100发送所述控制信号。

显示装置100向电子设备200发送控制信号。此外，电子设备200将从显示装置100接收的预存控制信号与外围设备控制信息的控制信号作比较，以向外围设备发送相应的遥控信号。

<第二示例性实施例>

根据第二示例性实施例，在工作模式中，电子设备200收集用于控制外围设备的用户语音，并向显示装置100发送所述用户语音。如果显示装置100接收到用户语音，显示装置100确定当前外部输入模式，并向第一服务器300发送所述用户语音。如果第一服务器300从显示装置100接收到用户语音，第一服务器300将用户语音转换为文本信息，并向显示装置100发送所述文本信息。

显示装置100还向第二服务器400发送从第一服务器300接收到的文本信息。如果第二服务器400从显示装置100接收到文本信息，第二服务器400产生与文本信息相对应的控制信号，并向显示装置100发送所述控制信号。

显示装置100向电子设备200发送控制信号和关于所确定的外部输入模式的信息。此外，电子设备200将从显示装置100接收的控制信号和关于外部输入模式的信息与预存储的外围设备控制信息的控制信号和关于外部输入模式的信息作比较，以向外围设备发送相应的遥控信号。

在上述示例性实施例中，第一和第二服务器300和400是各自执行不同功能的分离的服务器。然而，根据示例性实施例，第一和第二服务器300和400可以实现为一个服务器。

图2和3是阐述图1的交互式系统的各个操作的时序图。详细地，图2是阐述根据第一示例性实施例的交互式系统的操作的时序图。图3是阐述根据第二示例性实施例的交互式系统的操作的时序图。

<第一示例性实施例>

参考图2，如果设置模式开始，电子设备200从控制显示装置100的外围设备的遥控器(未示出)接收遥控信号(s1)。换言之，如果在设置模式中用户对用于控制外围设备的遥控器的特定按钮进行输入，遥控器向电子设备200发送与所输入按钮相对应的遥控信号。

如果用户发出与遥控器的特定按钮相对应的语音或语句，电子设备200收集用户的语音(s2)。电子设备200向显示装置100发送用户的语音(s3)。详细地，电子设备200可以收集在预设距离内的用户发出的语音，并向显示装置100发送所述语音。

为此，电子设备200可以包括麦克风等，通过所述麦克风输入用户发出的语音。在这种情况下，麦克风可以安装在电子设备200中以形成一体，或可以与电子设备200分离地安装。如果麦克风与电子设备200分离，麦克风可以实现为用户手持的形状或置于桌上的形状，且可以与电子设备200通过有线或无线网络连接。

如果显示装置100从电子设备200接收到用户的语音，显示装置100确定它的外部输入模式(s4)。外部输入模式是指用于在显示装置100和外部设备之间输入和输出信号的模式，可以根据外部设备支持的信号传输标准而改变。显示装置100向第一服务器300发送从电子设备200接收的用户的语音(s5)。

第一服务器300将从显示装置100接收的用户的语音转化为文本信息(s6)。第一服务器300向显示装置100发送所述文本信息(s7)。详细地，第一服务器300可以使用语音到文本(stt)算法转换从显示装置100接收的用户的语音。

显示装置100向第二服务器400发送从第一服务器300接收的文本信息、和在s4中所确定的关于外部输入模式的信息(s8)。

如果第二服务器400从显示装置100接收到文本信息和关于外部输入模式的信息，第二服务器400产生与之相应的控制信号(s9)。第二服务器400向显示装置100发送所述控制信号(s10)。

显示装置100向电子设备200发送从第二服务器400接收的控制信号(s11)。电子设备200将从显示装置100接收的控制信号和从遥控器接收的遥控信号相匹配，以产生并存储外围设备控制信息(s12)。

对于控制外围设备的遥控器的多个按钮，电子设备200可以重复上述处理，以存储对于遥控器的多个按钮中每一个的外围设备控制信息。如果具有多个用于控制外围设备的遥控器，电子设备200可以存储对于多个遥控器的外围设备控制信息。如果对于遥控器完全设置了外围设备控制信息，在工作模式中，电子设备200可以通过用户的语音控制显示装置100的外围设备。

换言之，如果在工作模式下用户发出语音来控制显示装置100的外围设备，电子设备200收集用户的语音(s13)。电子设备200向显示装置100发送用户的语音(s14)。

如果显示装置100从电子设备200接收到用户的语音，显示装置100确定它的外部输入模式(s15)。显示装置100向第一服务器300发送从电子设备200接收的用户的语音(s16)。

第一服务器300将从显示装置100接收的用户的语音转化为文本信息(s17)。第一服务器300向显示装置100发送所述文本信息(s18)。显示装置100向第二服务器400发送从第一服务器300接收的文本信息和在s15中确定的关于外部输入模式的信息(s19)。

如果第二服务器400从显示装置100接收到文本信息和关于外部输入模式的信息，第二服务器400产生与之对应的控制信号(s20)。第二服务器400向显示装置100发送所述控制信号(s21)。

显示装置100向电子设备200发送从第二服务器400接收的控制信号(s22)。电子设备200向外围设备发送预存的外围设备控制信息的遥控信号之中与从显示装置100接收的控制信号相对应的遥控信号(s23)。如果有多个外围设备，电子设备200可以根据组播方法，向多个外围设备发送遥控信号。此外，多个外围设备中只有能够识别所发送的遥控信号的那个外围设备可以受到遥控信号的控制。

<第二示例性实施例>

参考图3，如果设置模式开始，电子设备200从控制显示装置100的外围设备的遥控器(未示出)接收遥控信号(s51)。换言之，如果在设置模式中用户对控制外围设备的遥控器的具体按钮进行输入，遥控器向电子设备200发送与输入按钮相对应的遥控信号。如果用户发出与遥控器的具体按钮相对应的语音，电子设备200收集用户的语音(s52)。电子设备200向显示装置100发送用户的语音(s53)。

如果显示装置100从电子设备200接收到用户的语音，显示装置100确定它的外部输入模式(s54)。显示装置100向第一服务器300发送从电子设备200接收的用户的语音(s55)。

第一服务器300将从显示装置100接收的用户语音转化为文本信息(s56)。第一服务器300向显示装置100发送文本信息(s57)。

显示装置100向第二服务器400发送从第一服务器300接收的文本信息(s58)。

如果第二服务器400从显示装置100接收到文本信息，第二服务器400产生与文本信息相对应的控制信号(s59)。第二服务器400向显示装置100发送所述控制信号(s60)。

显示装置100向电子设备200发送从第二服务器400接收的控制信号和在s54中所确定的关于外部输入模式的信息(s61)。电子设备200将从显示装置100接收的控制信号及关于外部输入模式的信息与从遥控器接收的遥控信号相匹配，以产生并存储外围设备控制信息(s62)。

对于控制外围设备的遥控器的多个按钮，电子设备200可以重复上述处理，以对于遥控器的多个按钮中的每一个存储外围设备控制信息。如果具有多个用于控制外围设备的遥控器，电子设备200可以对于多个遥控器存储外围设备控制信息。如果对于遥控器完全设置了外围设备控制信息，在工作模式中，电子设备200可以通过用户的语音控制显示装置100的外围设备。

换言之，如果在工作模式下用户发出用于控制显示装置100的外围设备的语音，电子设备200收集用户的语音(s63)。电子设备200向显示装置100发送用户的语音(s64)。

如果显示装置100从电子设备200接收到用户的语音，显示装置100确定它的外部输入模式(s65)。显示装置100向第一服务器300发送从电子设备200接收的用户语音(s66)。

第一服务器300将从显示装置100接收的用户语音转化为文本信息(s67)。第一服务器300向显示装置100发送文本信息(s68)。显示装置100向第二服务器400发送从第一服务器300接收的文本信息(s69)。

如果第二服务器400从显示装置100接收到文本信息，第二服务器400产生与文本信息相对应的控制信号(s70)。第二服务器400向显示装置100发送所述控制信号(s71)。

显示装置100向电子设备200发送从第二服务器400接收的控制信号和在s65中确定的关于外部输入模式的信息(s72)。电子设备200向外围设备发送预存的外围设备控制信息的遥控信号之中与从显示装置100接收的控制信号和关于外部输入模式的信息相对应的遥控信号(s73)。如果有多个外围设备，电子设备200可以根据组播方法，向多个外围设备发送遥控信号，并且只有能够识别所发送的遥控信号的外围设备可以受到遥控信号的控制。

在图2和3中，如果显示装置100接收到用户的语音，显示装置100确定外部输入模式。然而，可以省略确定显示装置100的外部输入模式的处理。换言之，如果所收集的用户语音不是与控制外围设备有关的命令，或者如果确定了虽然没有确定外部输入模式然而遥控信号的识别并不困难，则可以省略确定显示装置的外部输入模式的处理。

图4是阐述了图1的显示装置100的结构的框图。参考图4，显示装置100包括第一通信器110、第二通信器120以及控制器130。

第一通信器110与电子设备200通信。详细地，第一通信器110从电子设备200接收用户语音，并向电子设备200发送与用户语音相对应的控制信号。根据示例性实施例，第一通信器110可以向电子设备200发送关于显示装置100的外部输入模式的信息。

第一通信器110可以使用无线通信技术(例如，wifi、蓝牙、红外数据协会(irda)、射频(rf)、ieee802.11、无线局域网(wlan)、高速无线个域网(hrwpan)、超宽带(uwb)、低速无线个域网(lrwpan)、ieee1394等)与电子设备200通信。

第二通信器120与服务器通信。详细地，第二通信器120向第一服务器300发送通过第一通信器110接收的用户语音，并从第一服务器300接收与用户语音相对应的文本信息。第二通信器120向第二服务器400发送从第一服务器300接收的文本信息，并从第二服务器400接收与文本信息相对应的控制信号。第二通信器120可以通过网络(例如，因特网等)连接到第一和第二服务器300和400。

第二通信器120向第二服务器400发送从第一服务器300接收的文本信息和关于显示装置100的外部输入模式的信息，并从第二服务器400接收与文本信息和关于外部输入模式的信息相对应的控制信号。

如上所述，第二通信器120实现为与第一和第二服务器300和400通信的一个部件。然而，显示装置100可以包括两个第二通信器，以便分别与第一和第二服务器300和400通信。

由第二通信器120从第二服务器400接收的控制信号可以与遥控信号相匹配，所述遥控信号与控制显示装置100的外围设备有关。

控制器130控制显示装置100的总体操作。换言之，控制器130控制显示装置100的部件，以分别控制与部件相对应的操作。具体地，如果通过第一通信器110接收到用户语音，控制器130通过第二通信器120向第一和第二服务器300和400发送用户语音，并且接收与用户语音相对应的控制信号。并且，控制器130向电子设备200发送所接收的控制信号。

如果从电子设备200接收到用户语音，控制器130确定显示装置100的外部输入模式。根据示例性实施例，控制器130可以控制向电子设备200或第二服务器400发送关于所确定的外部输入模式的信息。

在工作模式中，如果从第二服务器400接收的控制信号是用于控制显示装置100的控制信号，即，不使用外部输入模式，则控制器130根据从第二服务器400接收到的控制信号控制显示装置100的操作。

图5是阐述图4的显示装置100的具体结构的框图。参考图5，显示装置100包括第一通信器110、第二通信器120、控制器130、语音收集器140、输入单元150、输出单元160、存储单元170、接收机180以及信号处理器190。将省略与图4的部件重复的图5中部件的描述。

第二通信器120与服务器通信。在图4中第二通信器120仅从第二服务器400接收控制信号，但是可以从第二服务器400接收与用户语音相对应的响应消息信息。换言之，第二服务器400可以包括与所接收的文本信息相对应的控制信号、以及与根据所述控制信号执行的具体功能相关的响应消息信息。

例如，如果当使用机顶盒观看有线广播时用户发出语音“改变到频道25”，电子设备200可以收集用户语音并向显示装置100发送用户语音。可以向第一服务器300发送用户语音以转换为文本信息，之后向第二服务器400发送。此处，第二服务器400可以向显示装置100发送与频道改变命令相对应的控制信号、以及与所述控制信号相对应的响应消息信息。显示装置100可以作为文本或语音输出响应消息，例如“频道已改变到25”或者“频道已改变完成”。

语音收集器140收集用户的语音。例如，语音收集器140可以实现为收集用户语音的麦克风，所述麦克风安装在显示装置100中以形成一体的，或实现为和显示装置100分离的。

语音收集器140处理所收集的用户语音以产生语音信号。换言之，语音收集器140从所收集的用户语音中去除噪声(例如，空调声音、真空吸尘器声音、音乐声音等)以产生语音信号。详细地，如果输入模拟用户语音，语音收集器140对模拟用户语音采样以将模拟用户语音转换为数字信号。语音收集器140还计算数字信号的能量，以确定数字信号的能量是否大于或等于预设值。

如果数字信号的能量大于或等于预设值，语音收集器140可以从数字信号中去除噪声分量，而后向第一通信器110发送数字信号。此处，噪声分量可以是意外的噪声，并可以包括空调声音、真空吸尘器声音、音乐声音等。如果数字信号的能量小于预设值，语音收集器140可以不执行关于数字信号的特定处理，而等待另一输入。因此，由于除了用户发出的语音之外的其他声音不会激活整个音频处理，所以节省了不必要的功耗。

显示装置100的语音收集器140可以执行与图6电子设备200的语音收集器220相同的功能。如果同时向显示装置100的语音收集器140和电子设备200的语音收集器220中输入用户语音，可以选择由语音收集器140和220各自收集的用户语音之中具有较高音量和较少噪声的用户语音。根据示例性实施例，可以省略显示装置100的语音收集器140。

输入单元150是接收多种用户控制且向控制器130传送多种用户控制的输入装置，可以实现为输入面板。此处，输入面板可以由触摸板、具有多种类型的功能键、数字键、专用键、字符键等的键盘、或者触摸屏形成。输入单元150也可以实现为用于从控制显示装置100的遥控器接收遥控信号的ir接收机(未示出)。

输入单元150可以接收多种类型的用于控制显示装置100的功能的用户控制。例如，如果显示装置100实现为智能tv，输入单元150可以接收用于控制智能tv的功能(例如，电源开/关、频道改变、音量改变等)的用户控制。在这种情况下，控制器130可以控制其他部件执行与通过输入单元150输入的用户控制相对应的多种类型的功能。例如，如果输入电源关命令，控制器130可以控制接收机180中断向显示装置100的部件的供电，以及如果输入频道改变，则根据用户控制来选择频道。

具体地，输入单元150可以接收用于启动语音识别模式的用户控制，以便收集用户语音。如果通过输入单元150输入用于启动语音识别模式的用户控制，控制器130激活语音收集器140收集用户语音。如果语音识别模式启动，控制器130向电子设备200发送语音识别模式启动信号，以激活电子设备200的语音收集器220。

输出单元160输出图像和语音中的至少一种。详细地，输出单元160可以将与用户语音相对应的响应消息输出为语音或文本。

为此，输出单元160可以包括显示单元和音频输出单元。详细地，显示单元可以实现为液晶显示器(lcd)、有机发光显示器(oled)或者等离子体显示面板(pdp)等，以提供通过显示装置100可提供的多种显示屏幕。具体地，显示单元可以以文本形式或者图像形式显示与用户语音相对应的响应消息。

音频输出单元可以实现为扬声器或输出端口，用于以语音形式输出与用户语音相对应的响应消息。

存储单元170是存储多种类型的程序等的存储介质，所述程序对操作显示装置100是必要的，且存储单元170可以实现为存储器、硬盘驱动(hdd)等。例如，存储单元170可以包括对用于执行控制器130的操作的程序加以存储的只读存储器(rom)、用于临时存储根据控制器130的操作执行的数据的随机存取存储器(ram)等。存储单元170还可以包括用于存储多种类型的参考数据的电可擦除可编程rom(eeprom)等。

具体地，存储单元170可以将多种类型的与用户语音相对应的响应消息预存为语音或文本数据。因此，控制器130可以从存储单元170读取与从第二服务器400接收的响应消息信息(具体地，控制信号)相对应的语音或文本数据，并向音频输出单元或显示单元输出所述语音或文本数据。在这种情况下，控制器130可以执行对于语音数据的信号处理，例如解码等，放大解码后的语音数据，向音频输出单元输出放大的语音数据。此外，控制器130可以构造ui屏幕以便ui屏幕包括包括文本数据的文本，且通过显示单元输出ui屏幕。在上述示例性实施例中，控制器130对于从存储单元170读取的语音和文本数据执行信号处理。然而，控制器130可以控制信号处理器190执行与对于语音和文本数据的信号处理。

接收机180接收多种类型的内容。详细地，接收机180利用广播网从发送广播节目内容的广播站，或利用因特网从发送内容文件的web服务器接收内容。接收机180也可以从多种类型的记录介质播放器接收内容，所述记录介质播放器安装在或连接到显示装置100上。记录介质播放器是指播放存储在多种类型的记录介质(例如，cd、dvd、硬盘、蓝光盘、存储卡、通用串行总线(usb)存储器等)中的内容的装置。

在从广播站接收内容的示例性实施例中，接收机180可以实现为包括例如调谐器(未示出)、解调器(未示出)、均衡器(未示出)等部件的形式。在从例如web服务器等源接收内容的示例性实施例中，接收机180可以实现为网络接口卡(未示出)。在从多种类型的记录介质播放器接收内容的示例性实施例中，接收机180可以实现为连接到记录介质播放器的接口单元(未示出)。如上所述，根据示例性实施例，接收机180可以实现为多种形式。

信号处理器190执行对于从接收机180接收的内容的信号处理，以便通过输入单元160输出内容。

详细地，信号处理器190执行对于内容的视频信号的操作，例如解码、缩放、帧速率转换等，以便将视频信号转换为通过显示单元输出的形式。信号处理器190也执行对于内容的音频信号的信号处理，例如解码等，以便将音频信号转换为通过音频输出单元输出的形式。

图6是阐述图1的电子设备200的结构的框图。参考图6，电子设备200包括存储单元210、语音收集器220、通信器230、ir发送机240以及控制器250。

存储单元210存储外围设备控制信息。外围设备控制信息是指如下信息：其中用于控制显示装置100的外围设备的遥控信号和与用户语音相对应的控制信号相匹配。根据另一示例性实施例，外围设备控制信息还可以包括关于显示装置100的外部输入模式的信息。

存储单元210可以实现为多种类型的存储单元，有可能像在ram上一样地在存储单元210上进行读取/写入，且可以在设置模式中执行写入操作以及在工作模式中执行读取操作。

语音收集器220收集用户语音。如上所述，电子设备200的语音收集器220与显示装置100的语音收集器140执行一样的功能，因此省略它的详细描述。

通信器230与显示装置100通信。详细地，通信器230连接到显示装置100的第一通信器110上，以便与显示装置100通信。

具体地，通信器230向显示装置100发送通过语音收集器230所收集的用户语音，且从显示装置100接收与用户语音相对应的控制信号。根据另一示例性实施例，通信器230还可以与控制信号一起接收关于显示装置100的外部输入模式的信息。

ir发送机240发送遥控信号来控制外围设备。详细地，ir发送机240在控制器250的控制下，向外围设备发送与通信器230所接收的控制信号相对应的遥控信号。

控制器250控制电子设备200的整体操作。详细地，控制器250控制电子设备200的部件以执行与部件分别相对应的操作。尤其是，在工作模式中，如果通过通信器230接收到与用户语音相对应的控制信号，控制器250控制ir发送机240比较所接收的控制信号与存储单元210中外围设备控制信息的控制信号，并向外围设备发送与匹配的控制信号相对应的遥控信号。

根据另一示例性实施例，在工作模式中，如果通信器230与控制信号一起接收到关于显示装置100的外部输入模式，控制器250可以控制ir发送机240将所接收的控制信号和关于外部输入模式的信息与包括在存储单元210内的外围设备控制信息中的控制信号和关于外部输入模式的信息作比较，以向外围设备发送对应的遥控信号。

ir发送机240可以根据广播方法向显示装置100的外围设备发送遥控信号，只有外围设备中识别所发送的遥控信号的那个外围设备可以执行与遥控信号相对应的操作。

图7是阐述图6的电子设备200的具体结构的框图。参考图7，电子设备200除了图6的部件外，还可以包括ir接收机260。除了ir接收机260，图7的部件具有和图6的部件相同的功能，因此将省略它们的详细描述。

ir接收机260从遥控器接收遥控信号。详细地，在设置模式中，ir接收机260从控制显示装置100的外围设备的遥控器接收遥控信号。

控制器250控制通信器230向显示装置100发送响应于所接收的遥控信号而收集的用户语音，并从显示装置100接收与用户语音相对应的控制信号。控制器250将所接收的遥控信号与控制信号相匹配，以产生外围设备控制信息并在存储单元210中存储外围设备控制信息。

根据另一示例性实施例，如果通信器230从显示装置100接收到控制信号连同关于显示装置100的外部输入模式的信息，控制器250可以将遥控信号、控制信号以及关于外部输入模式的信息彼此匹配，以产生外围设备控制信息。

图8是阐述图1的第一服务器300的结构的框图。参考图8，第一服务器300包括通信器310和控制器320。

通信器310与显示装置100通信。详细地，通信器310从显示装置100接收用户语音，并向显示装置100发送与用户语音相对应的文本信息。为此，通信器310可以包括多种类型的通信模块，例如，近场通信(nfc)模块(未示出)、无线通信模块(未示出)、网络接口(未示出)等。

控制器320控制第一服务器300的整体操作。具体地，如果从显示装置100接收到用户语音，控制器320控制通信器310，以便将用户语音产生为文本信息并向显示装置100发送所述文本信息。

详细地，控制器320可以使用语音到文本(stt)引擎将用户语音产生为文本信息。此处stt引擎是用于将语音信号转换为文本的模块，可以利用传统公开的多种stt算法将语音信号转换为文本。

例如，控制器320在所接收的语音信号中检测用户发出的语音的开始和结束，以确定语音片段。详细地，控制器320通过动态规划计算所接收的语音信号的能量，并将能量分类到语音信号的能量等级，来检测语音片段。控制器320还基于声学模型，在所检测的语音片段中检测音素(音素是语音的最小单位)以产生音素数据，并将隐马尔可夫模型(hmm)概率模型应用到所产生的音素数据上以产生文本信息。

图9是阐述图1的第二服务器400的结构的框图。参考图9，第二服务器400包括通信器410、存储单元420和控制器430。

通信器410与显示装置100通信。详细地，通信器410从显示装置100接收文本信息，并向显示装置100发送与文本信息相对应的响应消息信息。为此，通信器410可以包括多种类型的通信模块，例如，nfc模块(未示出)、无线通信模块(未示出)等。

存储单元420存储用于产生与从显示装置100接收的文本信息相对应的控制信号和响应消息信息的多种类型信息。

详细地，存储单元420可以在每个具体服务域中存储说话行为、首要行为以及核心元素，这些是预存的。例如，在广播域的情况中，说话行为可以包括陈述、请求、为什么问题、是否问题等。首要行为可以包括tv开/关、节目搜索、节目时间搜索、节目预约等。核心元素可以包括类别、节目名称、开始时间、频道名称、演员名称等。

存储单元420也可以包括在每个域中存储与用户的话语意图相对应的响应的语料数据库(db)。例如，在广播服务域中，存储单元420可以将存储“...节目的类别是...”作为与询问关于具体节目的类别的用户话语意图相对应的响应，以及存储“...节目的开始时间是...”作为与询问关于节目开始时间的用户话语意图相对应的响应。

存储单元420可以存储分别与用户话语意图相匹配的控制信号。例如，如果用户话语意图是频道改变，存储单元420可以将用于频道改变的控制信号与话语意图相匹配，并存储所述控制信号。如果用户的话语意图是预约记录，存储单元420可以将用于执行具体节目的预约记录功能的控制命令与话语意图相匹配，并存储所述控制信号。

控制器430控制第二服务器400的整体操作。具体地，如果通过通信器410从显示装置100接收到与用户语音相对应的文本信息，控制器430可以控制产生与所接收的文本信息相对应的控制信号和响应消息中的至少一个，并通过通信器410向显示装置100发送控制信号和响应消息。

详细地，控制器430使用存储在存储单元420中的说话行为、首要行为以及核心元素，检查与从显示装置100接收的文本信息相对应的用户的话语意图，并产生与用户的话语意图相对应的控制命令和作为响应信息的响应。

例如，如果从显示装置100接收到文本“预约○○○(广播节目)”，控制器430通过说话行为确定所接收的文本是与“请求”相关的语句形式，并通过首要行为和核心元素确定想要进行对于“○○○”的节目预约。因此，控制器430可以确定与所接收的文本信息相对应的用户的话语意图是针对关于“○○○”的“节目预约”的请求。

因此，对于请求关于“○○○”的节目预约的用户的话语意图，控制器430可以产生控制信号，以便在显示装置100中执行“○○○”的预约记录功能。在这种情况下，控制器430使用语料数据库附加地以文本形式产生响应消息信息“已预约○○○的记录”，并向显示装置100发送控制信号和文本。

如果通信器410从显示装置100接收到文本信息和关于显示装置100的外部输入模式的信息，控制器430考虑到文本信息和关于外部输入模式的信息来产生控制信号。详细地，如果相对于相同的文本信息，显示装置100的外部输入模式不同，则控制器430控制向显示装置100发送不同的控制信号。

因此，即使存在多个外围设备，电子设备200也可以根据显示装置100的当前外部输入模式，发送用户想要控制的具体外围设备的遥控信号。

图10是阐述根据本发明实施例的控制电子设备的方法的流程图。

参考图10，在操作s1010中，电子设备存储外围设备控制信息。详细地，电子设备可以存储外围设备控制信息，其中控制显示装置的外围设备的遥控信号和与用户语音对应的控制信号相匹配。

此处，操作s1010可以包括：从控制显示装置的外围设备的遥控器接收遥控信号；响应于所接收的遥控信号，收集用户语音；向显示装置发送所收集的用户语音；从显示装置接收与用户语音相对应的控制信号；以及产生并存储外围设备控制信息，其中所接收的遥控信号与控制信号相匹配。

根据另一示例性实施例，操作s1010可以包括：从控制显示装置的外围设备的遥控器接收遥控信号；响应于所接收的遥控信号，收集用户语音；向显示装置发送所收集的用户语音；从显示装置接收与用户语音相对应的控制信号和关于显示装置的外部输入模式的信息；以及产生并存储外围设备控制信息，其中所接收的遥控信号、控制信号与关于外部输入模式的信息彼此匹配。

在操作s1020中，电子设备收集用户语音。在操作s1030中，电子设备向显示装置发送所收集的用户语音。

在操作s1040中，电子设备从显示装置接收与用户语音相对应的控制信号。在操作s1050中，电子设备向外围设备发送与所接收的控制信号相对应的遥控信号。详细地，电子设备可以将在操作s1010中存储的外围设备控制信息的控制信号和所接收的控制信号作比较，以便向外围设备发送对应的遥控信号。

根据另一示例性实施例，在操作s1040中，电子设备可以从显示装置接收控制信号和关于显示装置的外部输入模式的信息。在操作s1050中，电子设备可以向外围设备发送与所接收的控制信号和关于外部输入模式的信息相对应的遥控信号。

图11是阐述根据本发明实施例的控制显示装置100的方法的流程图。

在操作s1110中，显示装置100从电子设备接收用户语音。在操作s1120中，显示装置100向执行语音识别功能的服务器发送所接收的用户语音。在操作s1130中，显示装置100从服务器接收与用户语音相对应的控制信号。在操作s1140中，显示装置100向电子设备发送所接收的控制信号。

图11的方法还可以包括：如果接收到用户语音，确定外部输入模式；以及向服务器发送关于所确定的外部输入模式的信息。因此，在操作s1130中，显示装置100可以接收与用户语音相对应的控制信号和与关于外部输入模式的信息相对应的控制信号。

所述方法还可以包括：如果接收到用户语音，确定外部输入模式；以及向电子设备发送关于所确定的外部输入模式的信息。

根据上述多种示例性实施例的用于控制电子设备和显示装置的方法可以实现为在电子设备和显示装置中可执行的程序。所述程序可以在多种类型的记录介质上存储及使用。

详细地，用于执行所述方法的代码可以存储在多种类型的非易失记录介质上，例如，闪存、rom、可擦除可编程rom(eprom)、eeprom、硬盘、可移动盘、存储卡、usb存储器、cd-rom等。

并且，在上述阐述显示装置、电子设备和服务器的框图中并未示出总线。然而，显示装置、电子设备以及服务器的部件之间的通信可以通过总线执行。此外，每个设备还可以包括处理器，例如中央处理单元(cpu)、微处理器等执行上述多种操作。

前述示例性实施例仅是示例性的，不应理解为限制性的。本教义可以轻易地应用到其它类型的装置中。同时，示例性实施例的描述是用于说明，而不用于限制权利要求的范围，并且对本领域技术人员而言，多种替换、修改和改变将是显而易见的。