用于在家庭网络系统中远程控制家庭设备的方法和设备与流程

本公开概括而言涉及家庭网络系统，并且更具体地，涉及用于远程控制家庭设备的操作的方法和装置。

背景技术：

家庭网络系统是指安装在家庭中的各种家庭设备通过有线或无线网络连接以使能家庭设备之间的通信的系统。高级家庭网络系统通过家庭网关(hgw或h-gw)整合家庭设备以将它们连接到例如互联网协议(ip)网络(也就是说，互联网)的外部公用数据网上，从而提供与互联网相关联的更广泛的各种服务。家庭网络系统可以根据用户的需求控制家庭设备来提供用户所期望的服务。

随着家庭设备的类型已经多样化并且用户的需求也已相应地多样化，已出现对于接受各种用户需求并提供最佳服务的大量努力的需要。

技术实现要素：

技术问题

因此，本公开的一方面将提供用于在家庭网络系统中远程控制家庭设备的操作的方法和装置。

本公开的另一方面将提供用于在家庭网络系统中通过使用语音命令来远程控制家庭设备的操作的方法和装置。

本公开的又一方面将提供用于在家庭网络系统中以房间为基础来远程控制家庭设备的操作的方法和装置。

本公开的又一方面将提供用于在家庭网络系统中基于用户简档来控制家庭设备的操作的方法和装置。

依照本公开的一方面，提供一种包括多个家庭设备的家庭网络系统中的远程控制方法，该远程控制方法包括：从多个家庭设备的各个接收操作状态信息，从用户设备接收用于多个家庭设备中的至少一个的操作控制的控制命令，基于控制命令确定控制目标家庭设备，向所确定的控制目标家庭设备发送控制命令，从控制目标家庭设备接收与控制命令的运行相对应的处理结果信息，以及向用户设备发送处理结果信息。

依照本公开的另一方面，提供一种用于在包括多个家庭设备的家庭网络系统中的远程控制的网关装置，该网关装置包括：至少一个通信模块，被配置为以有线/无线方式与多个家庭设备和用户设备通信；以及控制器，被配置为控制如下操作：从多个家庭设备的各个接收操作状态信息，从用户设备接收用于多个家庭设备中的至少一个的操作控制的控制命令，基于控制命令确定控制目标家庭设备，向所确定的控制目标家庭设备发送控制命令，从控制目标家庭设备接收与控制命令的运行相对应的处理结果信息，并且向用户设备发送处理结果信息。

依照本公开的又一方面，提供一种包括多个家庭设备的家庭网络系统中的远程控制方法，该远程控制方法包括向收集多个家庭设备的操作状态信息并控制多个家庭设备的操作的家庭网关(hgw)发送用于多个家庭设备中的至少一个的操作控制的控制命令，并且响应于控制命令的发送从hgw接收与控制命令的运行相对应的处理结果信息，其中通过识别用户的语音命令来生成控制命令。

依照本公开的又一方面，提供一种用于与至少一个设备连接的第一设备的方法，所述方法包括：获得语音命令；标识对应于与所述语音命令有关的用户的用户简档；基于通过使用所述用户简档的用户特定的语音识别来识别所述语音命令；基于所述语音命令的识别来从所述至少一个设备当中标识第二设备；基于所述语音命令的识别来获得控制命令，所述控制命令指示关于所述第二设备和关于所述第二设备的操作的信息；以及向所述第二设备发送所述控制命令，其中，所述至少一个设备包括家庭设备。

依照本公开的又一方面，提供一种与至少一个设备连接的第一设备，所述第一设备包括：存储器；收发器；以及耦合到所述存储器和所述收发器的至少一个处理器，其中，所述至少一个处理器被配置为：获得语音命令；标识对应于与所述语音命令有关的用户的用户简档；基于通过使用所述用户简档的用户特定的语音识别来识别所述语音命令；基于所述语音命令的识别来从所述至少一个设备当中标识第二设备；基于所述语音命令的识别来获得控制命令，所述控制命令指示第二设备和第二设备的操作；以及向所述第二设备发送所述控制命令，其中，所述至少一个设备包括家庭设备。

依照本公开的又一方面，提供一种用于与第一设备连接的用户设备的方法，所述方法包括：获得关于与所述第一设备连接的至少一个设备的信息；获得语音命令；标识对应于与所述语音命令有关的用户的用户简档；基于通过使用所述用户简档的用户特定的语音识别来识别所述语音命令；基于所述语音命令的识别来从所述至少一个设备当中识别第二设备；基于所述语音命令的识别来获得控制命令，所述控制命令指示关于所述第二设备和关于所述第二设备的操作的信息；以及向所述第一设备发送用于所述第一设备将控制命令转发到所述第二设备以用于所述第二设备的操作的控制命令，其中，所述至少一个设备包括家庭设备。

依照本公开的又一方面，提供一种与第一设备连接的用户设备，所述用户设备包括：收发器；存储装置，被配置为存储包括语音识别功能的应用；以及耦合到所述收发器和所述存储装置的至少一个处理器，其中，所述至少一个处理器被配置为：获得关于与所述第一设备连接的至少一个设备的信息；获得语音命令；标识对应于与所述语音命令有关的用户的用户简档；基于通过使用所述用户简档的用户特定的语音识别来识别所述语音命令；基于所述语音命令的识别来从所述至少一个设备当中标识第二设备；基于所述语音命令的识别来获得控制命令，所述控制命令指示关于所述第二设备和关于所述第二设备的操作的信息；以及向所述第一设备发送用于所述第一设备将控制命令转发到所述第二设备以用于所述第二设备的操作的控制命令，其中，所述至少一个设备包括家庭设备。

技术方案

依照本公开的又一方面，提供一种用于在包括多个家庭设备的家庭网络系统中的远程控制的用户设备，该用户设备包括：至少一个通信模块，被配置为与控制多个家庭设备的操作的网络实体通信；以及控制器，被配置为控制如下操作：向收集多个家庭设备的操作状态信息并控制多个家庭设备的操作的家庭网关(hgw)发送用于多个家庭设备中的至少一个的操作控制的控制命令，并且响应于控制命令的发送从hgw接收与控制命令的运行相对应的处理结果信息，其中通过识别用户的语音命令来生成控制命令。

附图说明

图1是图示根据本公开的实施例的家庭网络系统的结构的示意图；

图2a是图示根据本公开的实施例的可与移动终端连接的家庭网络系统的结构的示意图；

图2b是图示根据本公开的实施例的通过识别语音命令的移动终端远程控制的家庭网络系统的结构的示意图；

图3是图示根据本公开的实施例的家庭网关(hgw)的结构的框图；

图4是图示根据本公开的实施例的移动终端的结构的框图；

图5是图示根据本公开的实施例的远程控制家庭设备的操作的家庭网络系统的结构的框图；

图6是图示根据本公开的实施例的识别语音命令以远程控制家庭设备的操作的家庭网络系统的结构的框图；

图7是图示根据本公开的实施例的用于登记家庭设备的过程的梯形图；

图8是图示根据本公开的实施例的用于登记移动终端的过程的梯形图；

图9是图示根据本公开的实施例确定在家庭网络系统中运行的远程控制过程的示意图；

图10a到图12是图示根据本公开的实施例的在运行远程控制时在移动终端上显示的用户界面(ui)屏幕的各种示例的示图；

图13是图示根据本公开的实施例的在家庭网络系统中运行的远程控制过程的梯形图；

图14是图示根据本公开的实施例的用于在家庭网络系统中在运行远程控制时以视频信息形式提供家庭设备的操作状态的过程的梯形图；

图15是图示根据本公开的实施例的在家庭网络系统中运行的远程控制过程的梯形图；以及

图16是图示根据本公开的实施例的在家庭网络系统中基于用户简档的远程控制过程的梯形图。

具体实施方式

在本公开的下列描述中，当合并于此的已知功能和配置的详细描述可能模糊本公开的主题内容时，将省略它。在下文中，本公开的各种实施例将参考附图来进行描述。

图1是图示根据本公开的实施例的家庭网络系统的结构的示意图。

参照图1，家庭网络系统可以包括家庭设备110和具有控制和通信功能的家庭网关(hgw)120。家庭设备110可以包括位于家中的智能用具112、安全设备114、照明设备116和能量设备118。例如，智能器具112可以包括冰箱、洗衣机、机器人真空吸尘器等等。安全设备114可以包括门禁系统、安全摄像头、安全传感器等等。照明设备116可以包括荧光灯、发光二极管(led)照明设备等。能量设备118可以包括电表、电源插座、电源引出线(outlet)、多插头等等。家庭设备110还可以包括个人计算机(pc)、互联网协议(ip)摄像头、互联网电话、有线/无线电话和移动电话。

家庭设备110可以按有线或无线方式与hgw120通信，并且可以从hgw120接收控制命令并且向hgw120发送请求信息。hgw120可以包括用于基于有线通信或无线通信与家庭设备110通信的通信模块、用于登记和存储家庭设备110的信息的存储单元以及控制器，该控制器用于控制家庭设备110的操作和状态，从家庭设备110收集需要的信息，并且管理所收集的信息。尤其，hgw120允许通过通信网络130的来自外部通信终端(未图示)的连接，并且通过hgw120向相应家庭设备发送从外部通信终端接收到的控制信号。通信网络130可以包括诸如互联网的互联网协议(ip)网络和移动终端可连接到的无线网络中的至少一个。

如图1中所图示的家庭网络系统可以提供家庭娱乐服务，诸如使用通信网络130的互联网tv(iptv)和视频点播(vod)；家庭数据通信服务，诸如数据共享、ip语音(voip)和视频通信；以及家庭自动化服务，诸如电子用具的远程控制和远程仪表检查、犯罪预防和灾难预防。也就是说，图1中图示的家庭网络系统通过单个网络连接用在家庭内部和外部的大部分家庭设备110以控制它们。因此，在说明书中，表述“家庭中”可以被理解为“在家庭内部/外部”。

用户可以在远程地区通过使用例如像移动终端那样的无线通信装备的外部通信终端来连接到包括在家庭网络系统中的hgw120并且通过hgw120连接到每个家庭设备110。例如，移动终端可以是具有通信功能的个人数字助理(pda)、智能电话、蜂窝式电话、平板计算机、膝上型计算机等等，并且可以通过公共载波网和互联网连接到家庭网络系统。

图2a是图示根据本公开的实施例的可与移动终端连接的家庭网络系统的结构的示意图。

参照图2a，家庭网络系统中的家庭设备110-1到110-n(110)基于有线或无线通信连接到hgw120。hgw120连接到诸如互联网的有线网络130a。

登记的移动终端200连接到包括无线接入网络和载波核心网的无线网络130b，并且通过与无线网络130b连接的有线网络130a接入hgw120。无线网络130b可以遵循第2代(2g)或第3代(3g)蜂窝式通信系统、第3代合作伙伴计划(3gpp)、第4代(4g)通信系统、长期演进(lte)和全球微波接入互操作性(wimax)等等。在移动终端200中，安装远程控制应用来个别地或共同地控制与hgw120连接的家庭设备140的操作，并指定和控制家庭设备140的一些操作。一旦远程控制应用被运行，用于根据用户的按键输入、触摸输入或手势输入控制相应家庭设备140的操作的控制命令被从移动终端200经由无线网络130b和有线网络130a传递给hgw120，并且hgw120根据该控制命令控制相应家庭设备140的操作。

图2b是图示根据本公开的实施例的通过识别声音命令的移动终端远程控制的家庭网络系统的结构的示意图。

参照图2b，识别用户的语音命令用于通过语音控制家庭设备110的操作的至少一个语音识别传感器115-1到115-m(115)以无线或有线方式连接到图2a中图示的hgw120。

语音识别传感器115可以被安装在家中以耦合到家庭设备110(其中语音识别传感器115被装配在家庭设备110上)或与家庭设备110分离。在另一实施例中，语音识别传感器115可以以房间为基础被安装在家中。通过语音识别传感器115识别的用户的语音命令被传递给hgw120，hgw120随后使用语音识别算法识别该语音命令以控制相应家庭设备110的操作。语音识别算法可以使用各种公知的语音识别算法。

移动终端200可以通过如图2a中所图示的无线网络130b和有线网络130a接入hgw120。移动终端200识别通过麦克风(未图示)输入的用户10的语音命令，将该语音命令转换成hgw120可识别的控制命令，并且向hgw120传递该控制命令。该控制命令可以按包括家庭设备110的标识信息和控制细节的分组的形式来配置。控制细节可以包括用于详细操作以及通电/断电的控制命令。携带该控制命令的分组可以包括移动终端200的用户验证信息。

图3是图示根据本公开的实施例的hgw的结构的框图。图3中图示的hgw120可以包括所图示的组件中的至少一个。

参照图3，hgw120通过使用至少一个通信模块122到126和132与多个家庭设备110-1到110-n连接。通信模块122到126和132包括各种基于无线或有线通信协议的模块中的至少一个，所述模块诸如无线局域网(wlan)模块122(诸如wifi、紫蜂模块123、模块124、近场通信(nfc)模块125、z-wave模块132)以及有线通信模块126。z-wave模块132采用广泛用于像家庭自动化那样的设备控制的射频(rf)技术之一。hgw120可以包括控制器121、网络接口模块127、用户接口(ui)128和存储装置129。

控制器121可以包括中央处理单元(cpu)121-1、已经在其中存储有用于控制hgw120的控制程序的只读存储器(rom)121-2和用作用于在hgw120中执行的任务的存储区域的随机存取存储器(ram)121-3。控制器121通过运行存储在rom121-2或ram121-3中的程序或可存储在存储装置129中的应用程序经由通信模块122到126与家庭设备110-1到110-n通信，并且生成控制命令以向家庭设备110-1到110-n发送该控制命令，或者将从家庭设备110-1到110-n收集的信息存储在存储装置129中。

ui128可以包括输出模块，诸如显示器、扬声器、指示灯等等；以及输入模块(未图示)，诸如触摸屏、键盘、麦克风等等。ui128可以被用户用来直接控制hgw120，在hgw120中登记家庭设备110-1到110-n或从hgw120中删除家庭设备110-1到110-n，或者通过hgw120控制家庭设备110-1到110-n。

网络接口127可以例如是互联网通信模块并且将hgw120连接到外部网络。

存储装置129被配置为在控制器121的控制下存储hgw120的操作所需要的程序代码、数据或信息，并且必要时还可以存储从外部设备或家庭设备110-1到110-n传递的大量数据。

hgw120可以包括语音识别模块131，该语音识别模块131解释从图2b中图示的语音识别传感器115传递的语音命令并且将该语音命令传递给控制器121。例如，如果语音命令是“清扫起居室”，则语音识别模块131识别出“清扫”和“起居室”，并且将“清扫”解释为要传递到家庭设备110当中的真空吸尘器(未图示)的命令以及将“起居室”解释为清扫位置。控制器121通过通信模块122到126向家庭设备110当中的真空吸尘器发送指令真空吸尘器“清扫”“起居室”的控制命令。

在另一实施例中，如果用户的语音命令被通过移动终端200而非在家中的语音识别传感器115传递给hgw120，则移动终端200生成以图2b的实施例中所述的分组的形式配置的控制命令，并且向hgw120传递所生成的控制命令，以使得可以省略图3的语音识别模块131。

在又一实施例中，如果存在多个用户，则hgw120可以存储关于多个用户的用户简档并且通过语音识别模块131执行用户特定的语音识别以基于相应的识别出的用户的用户简档来控制家庭设备110-1到110-n。用户简档可以包括用于识别每个用户的语音的用户特定的语音信息以及用于在每个用户的预定权限范围内执行控制的权限信息。可以通过具有语音识别功能的移动终端200或包括语音识别模块131的hgw120来登记或存储用户特定的语音信息以识别每个用户。

就用户简档而言，假定用户a和b具有不同权限，则用户简档可以被登记并存储以使得用户a可具有对于家中的家庭设备110-1到110-n中的全部的控制权限，而用户b可具有对于家中家庭设备110-1到110-n中的一些的控制权限。用户简档可以通过hgw120或移动终端200来登记和存储。具有管理员权限的用户可以调整另一用户的控制权限。用户简档特定的控制可以通过hgw120或移动终端200来执行。在移动终端200中，可以安装用于登记和存储用户简档的管理程序。

图4是图示根据本公开的实施例的移动终端的结构的框图。移动终端可以包括图4中所图示的组件中的至少一个。

参照图4，移动终端200可以包括控制器210、蜂窝式移动通信模块220、子通信模块222、多媒体模块228、摄像头模块236、全球定位系统(gps)模块238、输入/输出模块244、传感器模块242、存储装置258、电源单元240和至少一个显示模块260。摄像头模块236和gps模块238被选择性地包括。子通信模块130可以包括wlan模块224和短距离通信模块226中的至少一个，并且多媒体模块228可以包括广播通信模块230、音频重放模块232和视频重放模块234中的至少一个。摄像头模块236可以包括至少一个摄像头，并且输入/输出模块244可以包括按钮组246、麦克风248、扬声器250、振动电机252、连接器254和键盘256中的至少一个。

控制器210可以包括cpu210-1、已经在其中存储有用于控制移动终端200的控制程序的rom210-2和记忆从移动终端200的外部输入的信号或数据或者被用作用于在移动终端200中执行的任务的存储区域的ram210-3，并且控制器210控制移动终端200的其它组件。

蜂窝式通信模块220在控制器210的控制之下使用基于蜂窝式通信协议的无线接入技术，以允许移动终端200经由至少一个或多个天线(未图示)连接到外部设备(尤其是蜂窝式系统的基站)。蜂窝式通信模块220向/从能够执行通信的其它设备发送/接收无线信号，包括语音通信、视频通信、短消息服务(sms)消息或者多媒体信使服务(mms)消息。蜂窝式通信模块220发送/接收包括用于控制应用的短数据等等的无线信号。wlan模块224在控制器210的控制之下在安装了无线接入点(ap，未图示)的地方连接到互联网。短距离通信模块226在控制器210的控制之下无线地执行移动终端200和外部设备之间的短距离通信。短距离通信可以包括紫蜂、红外线数据协会(irda)、z-wave等等。

显示模块260可以包括触摸屏，该触摸屏显示控制器210可运行的各种应用(例如，呼叫、数据传输、广播、摄像头等等)的信息并且提供相应配置的ui。控制器210允许在触摸屏260上显示的软键被选择或者响应于在触摸屏上感测到的用户手势来运行与软键相对应的应用或功能。用户手势可以包括通过手指或工具的触摸，对人体动作的识别等等。

在图4中所图示的移动终端中，图2a中所图示的实施例中描述的远程控制应用被安装在rom210-2或存储装置258中，并且在运行远程控制应用后，生成用于根据用户的按键输入或触摸输入或者使用加速度传感器或陀螺传感器的用户的手势输入控制相应家庭设备140的操作的控制命令，并将其传递给hgw120。控制命令可以通过通信网络130或诸如电力线通信(plc)、wifi、紫蜂等等之类的通信手段发送给hgw120。

存储装置258存储供用户设备使用的各种应用、内容和数据，并且存储根据本发明的远程控制从hgw120提供的家庭设备140的操作状态信息和与该操作状态信息相关联的处理结果信息。

当如在图2b中所图示的实施例中使用语音识别时，远程控制应用包括语音识别功能，并且在运行远程控制应用之后通过麦克风250输入的用户的语音命令被发送给控制器210。控制器210随后执行远程控制应用的功能，将语音命令转换成hgw120可识别的控制命令，并且向hgw120发送该控制命令。控制命令可以按包括相应家庭设备110的标识信息和内容数据的分组的形式配置。

在图2a和图2b中所图示的实施例中，在运行与控制命令相对应的操作之后，家庭设备140将指示处理结果的信息反馈到hgw120。随后，hgw120向移动终端200发送指示处理结果的信息(在下文中，称为处理结果信息)，并且移动终端200的远程控制应用提供示出处理结果的ui。ui可以以诸如音频效果、语音消息、文本消息、图标指示、动画等等之类的各种形式提供。

在如前述实施例中那样实施的家庭网络系统中，处于外部的用户可以通过移动终端200监视家中的家庭设备110的情形。在此情况下，用户通过使用用户所携带的移动终端200或计算设备来连接到hgw120，并且通过hgw120控制登记的家庭设备110-1到110-n中的至少一个以监视家中情形。为此，家庭设备110-1到110-n中的至少一个包括能够捕捉静止或动作图像形式的家中情形的数字摄像头。

在前述示例中，用于控制家庭设备140的用户的控制命令被通过移动终端200发送给hgw120，但是相同功能也可以使用其中可安装远程控制应用的各种智能设备(在下文中，称为“用户设备”)来执行，诸如用户的平板pc、基于ip的有线/无线电话、多功能远程控制器、智能tv等等以及移动终端200。如果远程控制应用以例如窗口小部件的形式来提供，则可以通过窗口小部件以实时为基础、周期性地或以请求为基础来指示家庭设备140的操作状态。

图5是图示根据本公开的实施例的远程控制家庭设备的操作的家庭网络系统的结构的示意图。将不详细描述已在图1和图4中描述的同样的组件。

在图5中所图示的实施例中，hgw120登记多个设备140的信息并且周期性地或以请求为基础收集与家庭设备140的操作相对应的操作状态信息以识别每个家庭设备140的操作状态。多个家庭设备140的位置以家中房间为基础来登记。在图5中，参考标记140-1到140-n表示与所指示的房间相对应的至少一个家庭设备。图5的多个家庭设备140对应于图1的家庭设备110。

hgw120与诸如移动终端200、平板pc或智能tv之类的用户设备通信以向用户设备提供家庭设备140的操作状态信息。在本公开的以下实施例中，为了方便，假设移动终端200被用作用户设备。

被从每个家庭设备140发送到hgw120的操作状态信息以及与控制命令的运行相对应的处理结果信息可以通过使用例如plc、wifi、紫蜂等等的通信手段被从家庭设备140发送到hgw120。hgw120可变地设定收集从家庭设备140发送的操作状态信息的间隔。hgw120存储示出家中房间特定的位置的楼层平面图信息，并且以房间为基础登记和管理家庭设备140的位置。这里，楼层平面图信息可以从建立家庭网络系统的经营者的服务器(未示出)提供给hgw120或者可以由用户使用pc210直接输入到hgw120。如果通过经营者所提供的门户网站输入用户的家庭地址，则楼层平面图信息可以被提供为包括楼层平面图的可选或可编辑的各种设计。在此情况下，用户可以依据用户的品味来选择或编辑楼层平面图设计。例如，移动终端200提供用于根据用户的需求来修改室内楼层平面图(例如，移除房间之间的墙壁或增加房间的尺寸)的ui。用户所期望的楼层平面图设计可以使用门户网站或通过与hgw120通信连接的诸如移动终端200之类的各种用户设备来选择。

每个家庭设备140的当前位置可以在hgw120中直接登记或者可以使用在每个家庭设备140中所提供的rf标签、传感器来检测。每个家庭设备140的位置信息被映射到放置家庭设备140的房间的名称，例如，对于冰箱是厨房，对于tv是起居室等等。位置信息可以将其中通常安装每个家庭设备140的位置作为缺省值。通过使用在移动终端200上显示的关于家中楼层平面图的ui，用户还可以使用像触摸那样的手势或语音命令来在楼层平面图上将每个家庭设备140的图标从一个房间拖放到另一房间或者改变家庭设备140的房间特定的或房间中的位置。

移动终端200可以从hgw120接收家庭设备140的房间特定的位置信息和楼层平面图信息，并且提供如下ui：其视觉上显示家庭楼层平面图上的家庭设备140的家中操作状态或控制命令处理结果、房间特定的操作状态或控制命令处理结果或者家庭设备特定的操作状态或控制命令处理结果。操作状态或控制命令处理结果可以由ui上随操作状态变化的图标来指示。

图5中的语音识别传感器115可以被安装为对应于例如每个房间的家庭设备140。安装在特定房间中的语音识别传感器115所识别的用户的语音命令可以被限制为作为用于通过hgw120控制在房间内的家庭设备140的操作的控制命令来施加。在另一实施例中，当语音识别传感器115和家庭设备140位于不同的房间时，与语音命令相对应的控制命令可以被施加到家庭设备140。

hgw120基于家庭设备140的电力消耗和电力单位价格信息来计算消耗费用以提供消耗费用信息。hgw120在从移动终端200接收到消耗费用信息请求后向移动终端200发送所计算的消耗费用信息。在接收到消耗费用信息后，移动终端200配置例如帐单布局(layout)，并以所配置的帐单布局显示消耗费用。

在图5中所图示的家庭网络系统中，hgw120登记在家中安装的家庭设备140的信息，并且控制和管理所登记的家庭设备140。例如，如果安装了新的家庭设备，则hgw120收集和存储关于新的家庭设备的信息，例如，家庭设备的标识符、能力信息和操作状态信息。关于家庭设备的信息可以通过hgw120和家庭设备之间的服务发现过程直接从家庭设备获得，可以基于从家庭设备提供的标识信息由hgw120从互联网上的服务器接收，或者可以由用户或系统管理员直接输入到hgw120。如果用户购买并安装新的家庭设备，并且将从家庭设备或其手册提供的标识信息(例如，序号、型号或者快速响应(qr)码)输入到hgw120中，则hgw120可以基于家庭设备的标识信息连接到互联网上的制造商服务器，并且获得关于家庭设备的信息。

图6是图示根据本公开的实施例的识别语音命令并远程控制家庭设备的操作的家庭网络系统的结构的框图，其中语音命令通过移动终端200输入来控制位于房间(例如，洗衣间)的洗衣机的操作并且控制位于另一房间(例如，起居室)的机器人真空吸尘器的操作。

在图6中，假定洗衣机141、闭路tv(cctv)143和电灯145作为固定家庭设备140a被安装在房间(例如，洗衣间)内。固定家庭设备140a可以通过有线接口与hgw120连接或者可以通过无线接口与hgw120连接。还假定具有移动功能的机器人真空吸尘器147作为移动家庭设备位于另一房间(例如，起居室)中。机器人真空吸尘器147可以通过无线接口与hgw120连接。

在图6的示例中，用于控制洗衣机141的操作的用户10的语音命令被生成为控制命令并被通过移动终端200传递到hgw120，并且hgw120根据该控制命令控制洗衣机141的操作。同样地，机器人真空机器147的操作也可以被控制。

在图6的示例中，如果用户10期望通过移动终端200检查洗衣机141的操作状态，则用户10可以按相同方式一起开启cctv143和灯145，并且可以通过移动终端200接收通过cctv143输出的包括洗衣机141的操作状态的图像信息。

图7是图示根据本公开的实施例的用于登记家庭设备的过程的梯形图。

参照图7，在步骤701中，安装家庭设备140并供应操作电力。用户确定在hgw120中登记已安装的家庭设备140。在步骤703中，hgw120执行针对家庭设备140的发现过程。例如，如果家庭设备140通过wifi连接到hgw120，则hgw120周期性地或应用户的请求执行针对邻近的新的家庭设备的发现过程。如果通过发现过程发现家庭设备140，则hgw120从家庭设备140接收家庭设备信息。家庭设备信息可以包括家庭设备140的标识信息和能力信息中的至少一个。在可选实施例中，标识信息可以包括指示家庭设备140的产品类型(空调、冰箱、发光二极管(led)灯等等)的产品码。

在可选实施例中，在步骤705中，hgw120通过hgw120的ui、由外部接口连接的控制台或互联网上的计算机从用户接收对于要登记的家庭设备140的登记请求，并且从用户接收关于家庭设备140的信息。在另一实施例中，hgw120从家庭设备140或用户获得家庭设备140的标识信息，并且基于标识信息连接到家庭设备140的制造商服务器以获得家庭设备140的能力信息。

在步骤707中，hgw120存储关于该家庭设备140的信息并且管理作为登记的家庭设备140的家庭设备140。在可选实施例中，hgw120可以通过互联网或wifi从远程终端或从用户接收关于家庭设备140的附加信息。附加信息可以包括例如家庭设备140的名称或别名以及家庭设备140被安装的位置中的至少一个。

在可选实施例中，hgw120可以直接从用户或通过互联网或wifi从远程终端接收关于家庭设备140的操作模式和/或权限的附加信息。附加信息可以包括例如对于家庭设备140的访问权限的级别。访问权限的级别可以包括例如许可通过hgw120访问，许可通过登记的远程终端访问，或者许可通过登记的远程终端访问hgw120。

在步骤709中，hgw120设定与家庭设备140的连接。取决于hgw120和家庭设备140之间的通信方法，用基于wifi、紫蜂、nfc或有线通信所确定的过程来执行设定连接。一旦在hgw120和家庭设备140之间设定连接，家庭设备140就在步骤711中通过所设定的连接向hgw120发送数据。在实施例中，家庭设备140周期性地或应hgw120的请求向hgw120发送操作状态信息。

在步骤713中，hgw120向家庭设备140发送控制命令。该控制命令可以像本公开的实施例中那样被从移动终端200通过hgw120传递给家庭设备140。在可选实施例中，考虑到家庭设备140的产品类型，控制命令可以被设定为适合于每个产品的特性。控制命令可以设定要保持当前操作状况或逐步改变操作状况。控制命令可以对多个家庭设备140共同设定，或者对于多个家庭设备140可以设定不同的控制命令。控制命令从用户设备通过用户的按键输入或像手势那样的触摸输入或者用户的语音命令被发送到hgw120，并且hgw120向家庭设备140发送所接收到的控制命令。

图8是图示根据本公开的实施例的用于登记移动终端的过程的梯形图。

参照图8，在步骤801中，移动终端200安装支持对hgw120的远程控制的远程控制应用。在可选实施例中，远程控制应用可以仅安装在已通过预定验证程序的用户的移动终端200中。在实施例中，hgw120提供验证数字，并且hgw120、管理hgw120的制造商的服务器或提供远程控制应用的外部服务器仅许可通过输入该验证数字的用户的移动终端200下载远程控制应用。

在可选实施例中，远程控制应用可以根据移动终端200的被许可的权限级别来提供受限的功能。例如，远程控制应用可以依据被许可的权限级别来选择性地提供通过hgw120的信息查询、对来自hgw120的警报信息的接收以及对家庭设备140的部分或全部控制中的至少一个。被许可的权限级别可以通过hgw120、管理hgw120的制造商的服务器或提供远程控制应用的外部服务器来设定。

在步骤803中，移动终端200运行远程控制应用并且通过远程控制应用向hgw120发送登记请求消息。远程控制应用可以被通过互联网传递给hgw120，或者通过wifi传递给hgw120。登记请求消息可以包括移动终端200的标识符(例如，ms标识符(msid)或国际移动用户身份(imsi))、登陆id和密码、权限信息和操作模式信息中的至少一个。

在可选实施例中，在步骤805中，hgw120通过hgw120的ui、由外部接口连接的控制台或互联网上的计算机从用户接收对于要登记的移动终端200的登记请求，并且从用户接收关于该移动终端200的信息，例如权限信息和/或操作模式信息。

在可选实施例中，在步骤809中，hgw120基于从移动终端200获得的标识信息或从用户获得的移动终端200的标识信息来连接到管理移动通信系统的用户信息的服务器以验证移动终端200。如果移动终端200的权限信息未被输入到hgw120，则hgw120可以基于验证的结果来生成移动终端200的权限信息。

在步骤811中，hgw120存储关于移动终端200的信息，并且管理作为登记的移动终端200的移动终端200。在步骤813中，hgw120向移动终端200发送指示已成功登记关于移动终端200的信息的登记确认消息。在步骤813中，hgw120还可以向移动终端200发送对家庭设备140的远程控制所需的数据。所需的数据可以包括例如家庭设备140的操作状态信息。

在步骤815中，已接收到操作状态信息的移动终端200的用户可以通过使用通过远程控制应用提供的ui向hgw120发送用于控制家庭设备140的操作的控制命令。与节能模式相对应的控制命令被从图4中所图示的移动终端200通过用户的按键输入或诸如手势之类的触摸输入或者用户的语音命令发送给hgw120，并且hgw120向家庭设备140传递所接收到的控制命令。虽然未示出，但已根据控制命令执行相应操作的家庭设备140的处理结果信息可以作为反馈信息提供给移动终端200。

图9是图示根据本公开的实施例的在家庭网络系统中运行的远程控制过程的示图。

在图9中所图示的实施例中，假设移动终端200被用作用户设备并且家庭设备当中位于洗衣间的家庭设备140a的操作和位于起居室的机器人真空吸尘器147的操作像在图6的示例中那样通过语音命令来控制。

参照图9，在步骤901中，如果用户10期望从远程地方操作家中洗衣机141，则在移动终端200中运行用于家庭设备的远程控制的远程控制应用。为此，如图10a中所图示的，移动终端200提供用于运行所安装的远程控制应用的图标1001，并且如果感测到用户手势1003，例如，图标1001上的触摸，则运行远程控制应用。在另一示例中，远程控制应用还可以通过语音来运行。

在运行远程控制应用后，移动终端200提供引导消息1005和用于语音命令的输入的图标1007，如图10b中所图示，并且如果输入了例如“操作洗衣机”或“开始洗衣”的用户的语音命令，则用户10的语音命令通过移动终端200被生成为分组形式的控制命令，并被通过通信网络130传递到hgw120，所述分组包括洗衣机141的标识信息、与洗衣机操作命令相对应的控制细节以及用户验证信息。

在步骤903中，已接收到控制命令的hgw120基于用户验证信息确定用户10是被授权的用户，并且基于标识信息确定控制目标家庭设备是洗衣机141。hgw120随后向洗衣机141发送用于开始洗衣的控制命令。如果洗衣机141处于断电状态，则hgw120发送用于首先开启洗衣机141并随后开始洗衣的控制命令。洗衣机141的操作状态信息可以周期性地或应请求被传递给hgw120，并且在步骤909中，操作状态信息可以被提供给移动终端200。因此，洗衣过程，诸如开始洗衣＝>洗衣周期期间＝>脱水周期期间＝>干燥周期期间等等，可以通过移动终端200实时检查。如上，已接收到控制命令的hgw120可以检查相应家庭设备的通电/断电状态和操作状态。

在另一实施例中，如果确定家庭设备处于不能执行用户的控制命令的状态或者处于故障状态，则hgw120停止控制命令的运行并且向移动终端200发送指示家庭设备的不能状态或故障状态的消息。

如果用户10在步骤901中在洗衣机141的操作期间通过远程控制应用输入语音命令，例如，“操作洗衣机”或“清扫”，则用户10的语音命令通过移动终端200被生成为分组形式的控制命令，并且被通过通信网络130传递给hgw120，所述分组包括机器人真空吸尘器147的标识、与吸尘器操作命令相对应的控制细节和用户验证信息。

在步骤905中，hgw120发送用于以与步骤903的洗衣机操作的控制相同的方式指令位于另一房间(例如，起居室)的机器人真空吸尘器147开始清扫的控制命令。同样地，机器人真空吸尘器147的操作状态信息可以周期性地或应请求被传递给hgw120，并且在步骤909中，操作状态信息可以被提供给移动终端200。在完成控制命令的运行后，洗衣机141和机器人真空吸尘器147向hgw120发送各自的处理结果信息，hgw120随后向移动终端200发送所接收的处理结果信息。

在另一实施例中，当在步骤901中期望选择控制目标家庭设备或检查在家中的家庭设备的整体操作状态时，用户10可以请求hgw120发送包括家庭设备的操作状态信息的家中楼层平面图信息。

图11是图示根据本公开的实施例的在家庭网络系统中被发送到移动终端的楼层平面图信息的示例的示图，并且在图11中，假定家中家庭设备当中的机器人真空吸尘器根据图9中所图示的过程操作。

参照图11，在移动终端200上显示的家中楼层平面图1100可以包括以房间为基础指示家庭设备是否处于操作中的图标1101a和1101b。如在图11中所图示的示例中，如果机器人真空吸尘器111处于操作中，则用不同形式或不同颜色指示相应房间(起居室)中的图标1101b和其它房间(房间1、房间2、房间3、厨房等等)中的图标1101a。如果用户触摸该房间(起居室)的区域或输入诸如“向我展示起居室的操作状态”之类的语音命令，则位于相应房间(起居室)的多个家庭设备(例如，真空吸尘器、灯、空调和tv)的操作状态被用不同形式或不同颜色显示，如在显示窗口1110上所示的。在图11中，机器人真空吸尘器1111处于操作中，以使得“真空吸尘器”在显示窗口1110上被与其它家庭设备(灯、空调和tv)不同地显示。在另一显示窗口1130上，显示从hgw120接收到的机器人真空吸尘器1111的操作状态信息。虽然在前述实施例中，为了方便已作为示例描述家庭设备的操作，但是也可以通过对控制命令的详细指定来进行详细/逐步的操作控制或移动(对于移动家庭设备)。

在另一实施例中，用户的移动终端200可以向hgw120发送请求以通过安装在家中的至少一个cctv(在下文中，称为摄像头)例如以房间为基础接收视频或静止图像形式的家庭设备的操作状态。在此情况下，移动终端200向hgw120发送家庭监视请求消息。响应于该请求消息，hgw120控制包括摄像头的至少一个家庭设备以收集图像数据并且向移动终端200发送以房间为基础收集的视频信息。在图12的示例中，假设摄像头被安装在每个房间中。以房间为基础的图像示出房间名称1201和房间内捕捉的图像1203，如图12中所图示的。

在下文中，将参照图13到图15来描述根据本公开的实施例的用于远程控制家庭设备的过程。

在图13到图16中，为了方便，图示一个家庭设备140，但是实际上，多个家庭设备140与hgw120连接。另外，将使用作为用于远程控制的智能设备的用户设备的移动终端200的示例来进行描述。

图13是图示根据本公开的实施例确定在家庭网络系统中运行的远程控制过程的梯形图。虽然未图示，但是hgw120可以周期性地或应请求地从家中的家庭设备140接收操作状态信息，并且hgw120被假定为基于接收到的操作状态信息来确认家庭设备140的操作状态。

在图13中所图示的步骤1301中，当用户期望从远程地方操作家庭设备140时，用户通过触摸输入、手势或语音命令在移动终端200中运行用于家庭设备的远程控制的远程控制应用。一旦远程控制应用被运行，在步骤1303中，移动终端200就以图10a和图10b中所图示的实施例中所述的方式向hgw120发送控制命令。在步骤1303中的控制命令可以是例如用于控制家庭设备140的操作的控制命令或用于请求楼层平面图信息的传输的控制命令。

在步骤1305中，hgw120确定从移动终端200接收到的控制命令是用于请求楼层平面图信息的控制命令还是用于控制家庭设备140的操作的控制命令。如果确定接收到的控制命令是用于请求楼层平面图信息的控制命令，则hgw120在步骤1307中向移动终端200发送如图11中所示的用于以房间为基础控制家庭设备的楼层平面图信息。在步骤1309中，如果已确认楼层平面图信息的用户通过移动终端200输入/选择控制目标家庭设备140和控制细节，则移动终端200生成包括控制细节、控制目标家庭设备140的标识信息和用户验证信息的控制命令，并且向hgw120发送该控制命令。

如果在步骤1305中确定接收到的控制命令是用于控制家庭设备140的操作的控制命令，则hgw120跳过步骤1307。接收到的控制命令的信息配置与在步骤1309中接收到的控制命令相同。在步骤1311中，hgw120识别包括在控制命令中的标识信息以确定目标控制家庭设备140，并且hgw120在步骤1313中向家庭设备140发送包括控制细节的控制命令。当选择了控制目标家庭设备140时，处于不能状态或故障状态的家庭设备(例如，因为使用超过参考值的额定功率或具有超过参考值的操作温度而具有故障可能性的家庭设备，即，具有超过参考值的指示操作状态的值的家庭设备)可以被从目标控制家庭设备140中排除，即使从移动终端200接收到用于控制操作的控制命令。已接收到控制命令的家庭设备140运行与控制细节相对应的操作，并且在步骤1315中向hgw120发送与操作的运行相对应的处理结果信息。

在步骤1317中，hgw120向移动终端200发送处理结果信息，移动终端200随后通过在远程控制应用中提供的ui提供处理结果。

<表1>和<表2>示出根据本公开的实施例的通过控制命令可在hgw120中运行的各种控制模式和控制方案的示例。

[表1]

[表2]

在步骤1315中从家庭设备140传递到hgw120的处理结果信息的信息配置如<表3>中所示。

[表3]

在步骤1317中从hgw120发送到移动终端200的信息配置可以与<表3>中所示的相同，或者标识信息可以被用作例如hgw120所确定的唯一标识信息。唯一标识信息可以包括识别hgw120和家庭设备140中的至少一个的信息。移动终端200可以例如以<表4>中所示的方式显示步骤1317中的处理结果信息。

[表4]

图14是图示根据本公开的实施例的用于在家庭网络系统中在运行远程控制时以视频信息形式提供家庭设备的操作状态的过程的梯形图。

在图14中，假定在步骤1401中的操作与图13的远程控制过程相同。然而，在图14的实施例中，图13的步骤1317的处理结果信息传输可以选择性地执行。

参照图14，在步骤1403中，移动终端200向hgw120发送请求对控制目标家庭设备140或相应的家庭设备140位于的房间的图像信息的传输的消息。随后，hgw120在步骤1405中响应于该请求消息发送用于控制包括摄像头的至少一个家庭设备140的摄像头操作命令，在步骤1407中收集目标家庭设备140或相应的家庭设备140位于的房间的图像数据，并且在步骤1409中发送包括以家庭设备为基础或以房间为基础收集的图像数据的图像信息。

在步骤1411中，移动终端200显示接收到的图像信息，例如，如在图12的示例中那样。

图15是图示根据本公开的实施例的在家庭网络系统中运行的远程控制过程的梯形图，其中使用如在图2b和图5的实施例中的在家中安装的语音识别传感器115运行远程控制过程。

参照图15，家中语音识别传感器115在步骤1501中识别用户的语音命令并且在步骤1503中将语音命令传递到hgw120。hgw120在步骤1505中使用语音识别算法解释语音命令，并且在步骤1507中基于经解释的语音命令确定控制目标家庭设备。例如，如果语音命令是“开始洗衣”，则hgw120识别出词语“洗衣”并确定控制目标家庭设备是洗衣机，并且将词语“开始”识别为控制细节并且确定开启洗衣机并开始洗衣机的操作。

在步骤1509中，hgw120基于步骤1507的确定将控制命令传递到家庭设备140，并且已运行控制命令的家庭设备140将处理结果信息反馈到hgw120。随后，在步骤1513中，hgw120将处理结果信息发送给预设的用户设备(例如，智能tv、移动终端、平板pc等等)。步骤1513可以被选择性地执行。

图16是图示根据本公开的实施例的家庭网络系统中基于用户简档的远程控制过程的梯形图，其中使用如在图2b和图5的实施例中的在家中安装的语音识别传感器115运行远程控制过程。

参照图16，在步骤1601中，hgw120接收、登记和存储用于每个用户的语音识别的用户特定的语音信息以及在用于每个用户的预定权限范围内对家庭设备的操作控制的权限信息。对用户简档的输入可以通过每个用户的移动终端200或hgw120来执行。用户特定的语音信息可以通过使用语音识别传感器115来被登记或存储在hgw120中。当登记用户特定的语音信息时，hgw120运行登记的用户的语音命令(也就是说，控制命令)，而不运行未登记的用户的语音命令。

在步骤1601中登记并存储用于至少一个用户的用户简档之后，家中语音识别传感器115如果在步骤1603中识别出用户的语音命令则在步骤1605中向hgw120传递所识别的语音命令。hgw120在步骤1607中使用语音识别算法解释语音命令，并且hgw120在步骤1609中基于用户简档来确定输入语音命令的用户是否是登记的用户。如果hgw120在步骤1609中确定用户不是登记的用户，则hgw120在步骤1611中指示/发送指示用户不是登记的用户的通知消息。通知消息可以是通过hgw120的ui128输出的文本或语音信息的形式。通知消息可以被发送给登记用户的移动终端200以指示未登记的用户尝试使用语音命令控制。

如果在步骤1609中确定用户是登记用户，则hgw120在步骤1613中基于用户简档确定相应(语音)命令是否在用户权限的范围内，也就是说，对于相应(语音)命令是否给予用户权限。如果确定未给予用户权限，则hgw120去到步骤1611以指示/发送指示对于相应(语音)命令未给予用户权限的通知消息。在此情况下，同样地，通知消息可以是通过hgw120的ui128输出的文本或语音消息的形式。如果用户通过移动终端200发送语音命令，则通知消息可以被发送给移动终端200。如果在步骤1613中确定对于相应(语音)命令给予了用户权限，则在步骤1615中基于经解释的语音命令确定控制目标家庭设备。例如，如果语音命令是“开始洗衣”，则识别词语“洗衣”来确定控制目标家庭设备是洗衣机并且词语“开始”被识别为开启洗衣机并开始洗衣机的操作的控制细节。步骤1613和1615可以一起执行。

在步骤1619中，hgw120基于步骤1615的确定将控制命令传递到相应家庭设备140，并且已运行控制命令的家庭设备140将处理结果信息反馈到hgw120。在步骤1621中，hgw120将处理结果信息发送给预设的用户设备(例如，智能tv、移动终端、平板pc等等)。步骤1621可以被选择性地执行。