用于使用运动姿势控制电器的系统和方法与流程

相关申请的交叉引用

本申请要求2018年10月9日提交的申请号为16/155,698的美国专利申请的优先权，该申请的公开内容通过引用被整体并入本文。

本发明涉及电器控制领域，并且特别是涉及一种用于使用运动姿势控制家用电器的系统和方法。

背景技术：

家用电器向家庭用户提供各种专用功能。每个电器具有自己的控制用户界面，该控制用户界面通过各种输入模态操作，并且每个电器通过各种输出模态向用户提供反馈。当与家用电器交互时，用于家用电器的用户界面设计在影响使用效率和用户体验方面是至关重要的。

传统的家用电器由旋钮和触摸面板控制。然而，基于触摸的输入界面要求用户实际出现在他/她想要控制的家用电器处，并且要求用户部分的具有一定程度的强度和灵活性以精确地控制电器。移动有障碍的用户(例如，卧床不起的患者、受轮椅约束的用户、老年人用户等)可能不能容易地到达电器的控制面板(例如，在厨房或其它小空间中)。有时，坐着的用户(例如，坐在轮椅上的用户)或身材矮小的用户(例如，儿童)可能具有到达电器的控制面板的麻烦。即使遥控器在某些情况下可能会有所帮助，但如果遥控器不在用户附近或者在需要时不能找到，则用户将不能根据需要控制电器。

最近，例如苹果的siri、亚马逊的echo、谷歌的谷歌助理和微软的cortana等基于语音的数字助理已经被引入市场以处理例如家用电器控制、网页搜索、日程安排、提醒等各种任务。这种基于语音的数字助理的一个优点是用户能够以免提方式与设备交互，而不需要处理或甚至看该设备。然而，有时，例如对于语音受损的用户或在噪声环境中，基于语音的输入界面是无用的。另外，语音用户界面需要复杂的自然语言处理能力，鉴于用户的口音和说话习惯不同，这很难完善。

因此，提供一种以改进电器的控制方式的替代系统将是有益的。

技术实现要素：

因此，需要一种使用运动姿势来控制家用电器的方法。运动姿势是用户的身体(例如，手，手臂，头部等)的运动姿势，而不与任何输入表面接触。用户能够在不非常靠近电器的情况下做出姿势。例如，用户可以在房间的中间或者在床上执行运动姿势以控制远离用户的电器。这对于行动不便的用户特别有益，并且使得他们能够在房间中的同一位置处控制多个电器。这也有助于控制敏感或危险的电器。例如，用户可以用运动姿势控制炉而不接触炉的任何部分，因此避免接触炉上的任何热表面。这在以下情况下也有帮助：电器对由接触引起的干扰敏感(例如，用于敏感或危险宠物的智能鱼缸)，并且用户可以控制电器(例如，设置内部环境，并且将食物或水释放给宠物等)而不与电器直接接触。这在以下情况下也有帮助：因为用户的手被污染(例如，用户的手是湿的)而用户不想触摸电器的控制面板，并且用户可以使用运动姿势来控制电器。

在一些实施例中，一种通过运动姿势来控制家用电器的方法包括：在具有一个或多个处理器和存储器的计算系统中：接收来自多个家用电器中的第一家用电器的开始视频图像处理以用于检测用户的运动姿势的第一请求；响应于接收到开始视频图像处理以用于检测用户的运动姿势的第一请求，处理由对应于第一家用电器的摄像机捕获的图像帧序列，以基于从图像帧序列中提取的空间时间特征来识别第一运动姿势；根据一个或多个目标选择标准从多个家用电器中选择第二家用电器作为用于第一运动姿势的目标家用电器，所述目标选择标准包括基于用户相对于第一家用电器的位置的第一目标选择标准和基于第一运动姿势与对应于第二家用电器的第一控制姿势之间的匹配水平的第二目标选择标准；以及根据对应于第二家用电器的第一控制姿势生成控制第二家用电器的第一控制命令。

根据一些实施例，提供了一种计算机可读存储介质(例如，非暂时性计算机可读存储介质)，该计算机可读存储介质存储由电子设备的一个或多个处理器执行的一个或多个程序，一个或多个程序包括用于执行本文所述的任何方法的指令。

根据一些实施例，提供了一种电子设备(例如，便携式电子设备)，该电子设备包括用于执行本文所述的任何方法的装置。

根据一些实施例，提供了一种电子设备(例如，便携式电子设备)，该电子设备包括一个或多个处理器和存储器，该存储器存储由一个或多个处理器执行的一个或多个程序，一个或多个程序包括用于执行本文所述的任何方法的指令。

根据一些实施例，提供了一种用于在电子设备中使用的信息处理装置，该信息处理装置包括用于执行本文所述的任何方法的装置。

附图说明

下文中结合附图对优选实施例进行了详细描述，以便更清楚地理解所公开技术的上述特征和优点以及其附加特征和优点。

为了更清楚地描述本发明所公开技术的实施例中或现有技术中的技术方案，下面简要介绍了描述实施例或现有技术的附图。显然，以下描述中的附图仅示出了本发明所公开技术的一些实施例，并且本领域的普通技术人员仍可以在不付出创造性劳动的情况下从这些附图中推导出其它附图。

图1是示出根据一些实施例的一个或多个家用电器的操作环境的框图。

图2是根据一些实施例的示例性家用电器的框图。

图3示出了根据一些实施例的用于根据图像的序列的图像分析来确定运动姿势的处理流水线。

图4是根据一些实施例的通过运动姿势控制家用电器的方法的流程图。

图5是根据一些实施例的计算系统的框图。

对于附图中的多个视图，相同的附图标记指代相应的部分。

具体实施方式

本文所述的功能的方法和配置解决了以上概述的传统方法的问题和缺点，并提供了以下所述的至少一些优点。根据本文提供的公开内容，其它优点将显而易见。

如在背景技术部分中所讨论的，在许多情况下，用于家用电器的传统的基于触摸的控制不是用户友好的，因为这要求用户非常靠近电器(例如，在大多数情况下，用户的手与电器的控制面板接触)。当电器是热风炉时，这对用户是危险的。而且，有时，当用户的手是湿的或被某些物质(例如，生的小鸡、污垢、粘液、油等)污染时，使用电器或遥控器上的基于触摸的控制面板(例如，按击触摸面板或遥控器上的控制按钮)可能是不卫生的，并在以后导致对电器进行额外清洁。

另外，基于触摸的遥控器在需要时可能会丢失或够不到。因此，在不需要遥控器上的基于触摸的输入的情况下，实现控制电器的方式是有利的。

通常，基于语音的用户界面可以用作基于触摸的控制用户界面的非触摸替代。然而，基于语音的用户界面在噪声环境中(例如，当在房子中进行聚会时)不能很好地工作。另外，基于语音的用户界面不能快速地适应具有不同口音的新用户(例如，房屋的访客)，或者不能说出由基于语音的用户界面所接受的语言。此外，对于语音受损的用户(例如，讲话口齿不清的中风患者、或说话不清楚的学步儿童、或哑巴)，基于语音的用户界面将根本不工作。

如本文所公开的，中等的动态姿势界面是基于语音的用户界面和基于触摸的用户界面的替代。运动姿势用户界面提供以下优点。首先，运动姿势对于所有语言和口音的用户是通用的。运动姿势在噪声环境中能很好地工作。运动姿势对于不说话的人(例如，可以使用手语的聋人或哑巴)也能很好地工作。

此外，本发明公开了与静态姿势或触摸姿势相对的运动姿势的用户。使用动态姿势代替静态姿势使得用户界面能够更加真实和交互。运动姿势不仅基于静态外观，而且基于达到静态外观所需的运动来确定。在一些实施例中，运动姿势可以基于真实的手语来实现，使得系统容易地适用于由聋人和哑巴用户使用。

如本文所公开的，使用摄像机使得不仅用手而且用肢体语言来控制电器成为可能。该摄像机还使得不仅用手而且用面部和头部运动和表情来控制电器成为可能。该摄像机使得不能移动他们的手的人用由头部运动或面部运动(例如，微笑或做出生气的面部)提供的运动姿势来控制电器。

在合理的距离内检测运动姿势，中等的摄像机使得用户能够站立足够远以控制电器，这使得用户更安全并且消除了用户靠近电器的需要。

在一些实施例中，当训练图像分析模型时，收集预定的姿势类别的姿势视频数据，并且使用姿势视频训练三维卷积深度模型。三维卷积已经示出了现有技术的性能，以编码用于动作识别和场景分类以及姿势识别的空间时间信息。与因果卷积深度网络不同，三维卷积可以同时学习空间和时间信息。滤波器核的深度小于输入体积的深度。结果，输出特征图具有三个维度并且在空间和时间域中包含特征，这意味着从在连续帧中编码的外观和运动中学习。

如本文所公开的，在一些实施例中，模型结构是增强的三维卷积(conv3d)模型，该增强的三维卷积模型被用于执行用于运动姿势识别的图像分析，如图3所示。增强的三维卷积深度结构包括6个卷积层、4个最大池化层、2个全连接层和1个归一化多分类函数(softmax)损失层。所有卷积核都是3×3×3，在空间和时间维度上均具有步幅1。输入大小是8×56×56帧，其中8是结果帧的数量。这些层的顺序是：卷积层1、最大池化层1、卷积层2、最大池化层2、卷积层3a、卷积层3b、最大池化层3、卷积层4a、卷积层4b、最大池化层4、全连接层6、全连接层6和归一化多分类函数损失层。

一旦使用已训练的三维卷积模型从视频图像的序列中识别运动姿势，则对应的控制命令被识别并发送到目标电器。使用电器中的内置摄像机，增强的三维卷积模型确定用户的姿势是否对应于任何预定的控制姿势。一旦控制姿势被识别，则会将对应的控制信号发送到目标电器。

在一些实施例中，可以利用其它姿势识别技术来识别由用户执行的运动姿势。例如，飞行时间技术是用于通过计算光的传播时间来测量距离的技术。根据不同的距离确定不同手指的特定位置，以确定特定姿势，然后确定对应的控制命令。在一些实施例中，三维(3d)摄像机模块被用于发射脉冲光，并且内置传感器被用于接收从用户的手反射的光。然后，根据发射脉冲光和接收反射光之间的时间差，处理芯片可以构想手的当前位置和姿势。

另一种技术是基于结构光技术。结构光技术的基本原理与飞行时间技术的基本原理相似，但是区别在于该结构光技术使用具有诸如点、线或表面的图案的光。以英特尔公司的集成的前端真实摄像机为示例，该集成的前端真实摄像机包括红外激光发射器、红外传感器、彩色传感器和图像处理芯片。基本原理如下：首先，激光发射器将结构光投射在人体的前表面上，然后使用红外传感器接收来自人体的结构光的反射图案。然后，处理芯片根据接收的图案在摄像机上的位置和变形程度计算对象体的空间信息。结合三角测距和深度计算的原理，可以识别三维对象。摄像机将所收集的信息发送到软件开发工具包(softwaredevelopmentkit，sdk)，该软件开发工具包结合加速度计算器以提供姿势识别和其它功能。

另一种技术利用毫米波雷达。除了用于测量从光到无线电波的变化的介质之外，毫米波雷达的原理与飞行时间技术的原理相同。项目soli使用内置毫米波发生器以发射无线电波(雷达波)，然后使用接收器接收回波。此时，内置处理芯片将根据收发器之间的时间差实时计算目标的位置数据。

如本文所公开的，利用内置摄像机来捕获用户的视频以控制对应的电器是有用的。然而，有时，用户对应多个电器，并且多个电器可以同时捕获用户做出运动姿势的视频。有时，即使用户希望用运动姿势控制所有电器，但并非所有电器都具有捕获运动姿势的内置摄像机。在本公开中，电器的视频捕获功能在多个电器(例如，具有摄像机的电器和不具有摄像机的电器)之间共享，并且用于运动姿势的目标电器不一定是捕获运动姿势的视频的电器。还讨论了为检测到的运动姿势确定合适的目标电器的精心设计的方法，使得运动姿势可应用于更多电器，而不需要所有电器都具有摄像机和视频处理能力，并且不需要用户面对特定电器或移动到特定位置以控制所需的电器。

根据本文提供的公开内容，本文描述的方法和系统的其它优点和益处对于本领域技术人员而言是显而易见的。

现在将详细参照实施例，实施例的示例在附图中示出。在以下详细描述中，阐述了许多特定的细节，以提供对本文提出的主题的彻底理解。但是对于本领域技术人员而言显而易见的是，可以在没有这些特定细节的情况下实践本主题。在其它实例中，并未详细描述公知的方法、过程、组件、和电路以避免不必要地造成当前实施例的各方面含糊不清。

下面参照本申请的实施例中的附图，清楚和完整地描述本申请的实施例中的技术方案。显然，所描述的实施例仅仅是本申请的实施例的一部分而不是全部。基本领域普通技术人员基于本申请的实施例所获得的所有其它实施例都不需要创造性的劳动就落入本申请的保护范围内。

图1是示出根据一些实施例的一个或多个家用电器的操作环境100的框图。

可选地，操作环境100根据客户端-服务器模型来实现。操作环境100包括智能家居环境122(例如，智能家居环境的智能厨房如图1所示)和通过云网络110与智能家居环境122进行通信的服务器系统108。在一些实施例中，智能家居环境122包括一个或多个智能家用电器124。智能家用电器124的示例包括冰箱124(c)、微波炉124(b)、智能炉124(d)、智能储藏柜124(e)、智能空调124(a)、智能娱乐中心等。在一些实施例中，客户端环境100进一步包括用户设备104(例如，智能手机、平板电脑、个人计算机或中央通信集线器)。

作为一个示例，智能家居环境包括第一家用电器，例如位于天花板附近的厨房的墙壁上的智能空调124(a)。智能家居环境进一步包括第二家用电器，例如位于两个其它智能家用电器之间的冰箱124(c)，所述两个其它智能家用电器例如为智能烤炉124(d)和智能微波炉124(b)，所有这三个电器被布置成紧靠与空调124(a)相对的厨房的墙壁。

在一些实施例中，一个或多个电器124中的相应的电器包括输入/输出用户界面。可选地，输入/输出用户界面包括能够呈现媒体内容的一个或多个输出设备，所述输出设备包括一个或多个扬声器和/或一个或多个视觉显示器。可选地，输入/输出用户界面还包括一个或多个输入设备，所述输入设备包括便于用户输入的用户界面组件，例如小键盘、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、姿势捕获摄像机或其它输入按钮或控件。

在一些实施例中，一个或多个电器124中的相应的电器进一步包括感测相应电器的环境信息的传感器。传感器包括但不限于一个或多个光传感器、摄像机(也称为图像传感器)、湿度传感器、温度传感器、运动传感器、重量传感器、光谱仪和其它传感器。在一些实施例中，与各种电器相关联的传感器被用于提供用户存在信息(例如，用户在房间中的位置以及用户当前正在与哪个电器进行交互等)。在一些实施例中，传感器还提供室内环境的信息，例如温度、一天中的时间、照明、噪声水平、房间的活动水平。除了识别在电器前面执行的用户的运动姿势之外，该环境信息可进一步被用于为电器选择合适的用户界面配置。

在一些实施例中，厨房区域中的一个或多个设备和/或电器包括相应的摄像机和相应的运动传感器，以检测用户的存在并捕获用户的图像。用户可以在智能厨房环境周围移动，并且位于用户附近的多个设备124可以捕获用户的图像，并且通过设备自己的到服务器的通信信道将图像独立地发送到服务器系统108。

在一些实施例中，服务器系统108包括一个或多个处理模块114、数据和模型116、到客户端的输入/输出(i/o)接口112和到外部服务的i/o接口118。面向客户端的i/o接口112有助于用于服务器系统108的面向客户端的输入和输出处理。例如，可选地，服务器基于由电器所提交的图像来为特定电器提供图像处理服务。数据库和模型116包括用于每个用户和/或用户家庭的各种用户数据，例如个人用户的账户数据(例如，图像、年龄、性别、特征等)、用户界面配置偏好和限制等。一个或多个处理模块114利用数据和模型116来监视用户的存在和由用户执行的运动姿势，以确定合适的控制命令和用于控制命令的合适的目标电器。

在一些实施例中，服务器系统108还通过网络110与外部服务120(例如，导航服务、消息服务、信息服务、日历服务、家用电器控制服务、社交网络服务等)进行通信，以用于完成任务或获取信息。到外部服务的i/o接口118有助于这种通信。

在一些实施例中，服务器系统108可以在至少一个数据处理装置和/或计算机的分布式网络上实现。在一些实施例中，服务器系统108还使用第三方服务提供商(例如，第三方云服务提供商)的各种虚拟设备和/或服务来提供服务器系统108的底层计算资源和/或基础结构资源。

通信网络110的示例包括局域网(localareanetworks，lan)和广域网(wideareanetworks，wan)，例如因特网。通信网络110可以使用任何已知的网络协议来实现，该网络协议包括各种有线或无线协议(例如以太网、通用串行总线(universalserialbus，usb)、火线(firewire)、全球移动通信系统(globalsystemformobilecommunications，gsm)、增强型数据全球移动通信系统环境(enhanceddatagsmenvironment，edge)、码分多址(codedivisionmultipleaccess，cdma)、时分多址(timedivisionmultipleaccess，tdma)、蓝牙、无线网(wi-fi)、因特网协议语音(voiceoverinternetprotocol，voip)、全球微波互联接入(wi-max))或任何其它合适的通信协议。

在一些实施例中，本文所公开的图像处理功能和用户界面配置调整功能由服务器108远程提供、或由智能电器本地提供、和/或通过服务器和电器之间的协作共同提供，如本文所描述的。

如图2所示，示例性的智能电器124(例如，智能空调124(a)、智能冰箱124(c)、智能烤炉124(d)或智能微波炉124(b))包括一个或多个存在传感器、电器控制单元107和电器操作单元106，所述一个或多个存在传感器例如为一个或多个运动检测器101和一个或多个机载摄像机102。在一些实施例中，电器124进一步包括网络通信单元105，该网络通信单元经由一个或多个网络110(例如，局域网(lan)、广域网(wan)和/或因特网)与远程服务器108进行通信。在一些实施例中，电器控制单元107进一步包括存在检测单元113，该存在检测单元用于控制一个或多个运动检测器101和一个或多个摄像机102，以检测用户在电器124附近的存在并且在检测到用户的存在满足预设标准时捕获用户的图像。在一些实施例中，电器控制单元107进一步包括电器功能控制单元117，该电器功能控制单元用于控制电器操作单元106。在一些实施例中，电器控制单元107进一步包括命令生成单元119，该命令生成单元用于基于从用户图像的图像分析推导出的运动姿势来生成用于目标电器的对应的控制命令。在一些实施例中，电器控制单元107进一步包括协调单元121，该协调单元协调彼此相关联或物理上彼此靠近的电器的存在检测、图像捕获、控制命令生成和传递功能，使得在与同一房间中的多个电器同时进行交互时，可以共享和协调多个电器的检测、图像捕获、分析和结论的结果，以减少电力使用、提高分析精度、减少响应时间和改善总体用户体验。

在一些实施例中，电器控制单元107进一步包括图像处理单元115，该图像处理单元包括一个或多个机器学习模型，所述机器学习模型用于分析来自一个或多个摄像机102的图像的序列(例如，视频的连续图像帧)，并提供从对图像执行的图像分析中推导出的运动姿势。在一些实施例中，可选地，图像处理单元115包括在电器124本地处的一些组件和在服务器108远程处的一些组件。在一些实施例中，图像处理单元115完全位于服务器108上。

在一些实施例中，电器124包括用于在检测到用户的存在之后将摄像机移动并聚焦在用户的面部上的机构。例如，电器包括用于摄像机的安装支架，该安装支架由一个或多个马达和致动器控制，并且可以改变摄像机相对于检测到的用户的取向(例如，摄像机的倾斜和偏摆)。这可以由将依赖面部运动来控制电器(例如，由于不能移动身体的其它部分或移动身体的其它部分的能力减弱)的用户实现。

在一些实施例中，单个摄像机被布置在电器的前侧上(例如，靠近电器的外壳的前侧的上边缘或下边缘的中心)。在一些实施例中，摄像机被安装在具有一个或多个致动器的平台上，该致动器被控制(例如，通过由用户操作的遥控器进行控制，或者由电器控制单元104自动进行控制)以改变摄像机(例如，通过使摄像机的前侧的平面的倾斜和偏摆发生改变，或改变摄像机的锚定位置)相对于参考点(例如，电器的前侧的固定点)的取向和/或位置，从而为电器124提供立体成像能力。在一些实施例中，两个摄像机被布置在电器的两个相对的边角处(例如，靠近电器的外壳的前侧的两个上边角，靠近沿着外壳的前侧的对角线的两个相对的边角等)，从而为电器提供立体成像能力。在一些实施例中，并排布置的两个电器的摄像机被用于为电器提供立体成像能力。

在一些实施例中，包括在电器上的摄像机102包括用于不同波长和/或强度的图像传感器，例如红外传感器、可见光传感器、夜视传感器、和/或运动传感器等。在一些实施例中，摄像机在连续的基础上运行并产生连续的图像帧流。在一些实施例中，当在其它摄像机(例如，可见光摄像机等)所捕获的图像中检测到一个或多个预定的事件时，一些摄像机(例如，红外摄像机或弱光摄像机)被激活以捕获图像。例如，在一些实施例中，当周围环境是低光(例如，夜晚)时，夜视摄像机仅在由红外摄像机在超过预定时间的阈值量(例如，超过5分钟)的时间内检测到发热对象(例如，人)的预定运动事件(例如，超过运动(例如，x分钟间隔内的运动)的阈值量)时被激活以捕获图像。

在一些实施例中，电器124包括用户界面123，该用户界面包括各种模态的输入设备(例如，键盘、触摸屏、麦克风、控制杆、旋钮、按钮、用于捕获运动姿势的摄像机、触觉界面等)和各种模态的输出设备(例如，显示器、扬声器、触觉输出生成器、警报器、灯光、指示器等)。

在一些实施例中，电器操作单元107包括用于执行电器的本机功能的各种硬件机构和组件(例如，对于空调，组件包括压缩机、制冷剂、蒸发器、冷凝器、膨胀阀、风扇、空气过滤器、一个或多个传感器(例如，恒温器、湿度传感器、空气流量传感器、阀压力传感器、计时器等))。

在一些实施例中，电器控制单元107包括一个或多个处理器和存储器。存储器存储有指令，当指令被一个或多个处理器执行时，指令使处理器执行本文所描述的功能以向电器的本机功能提供控制，检测用户在电器附近的存在和意图，基于在电器附近捕获的用户的视频图像确定用户的运动姿势，以识别目标电器，生成用于目标电器的控制命令，以及在相同附近的多个电器之间协调上述功能。

在一些实施例中，电器控制单元107包括存在检测单元113。存在检测单元113接收来自运动检测器101的输入，并基于运动检测器101的输出确定由运动检测器检测到的用户的距离以及用户的运动是朝向电器还是远离电器。例如，如果运动检测器101继续检测运动，并且该运动在运动检测器的检测范围内持续至少时间(例如，20秒)的阈值量，则存在检测单元113激活摄像机(102)以开始捕获电器124附近的图像。在一些实施例中，用于触发摄像机的用户的阈值距离与运动检测器101的运动检测范围相同。在一些实施例中，使用被布置在电器124上的不同位置处的两个运动检测器，或由两个或更多个电器共享并且分别位于两个或更多个电器上的运动检测器，以确定在运动检测器的检测范围内检测到的用户的距离和前进方向。在一些实施例中，一旦检测到用户的存在，并且开始由摄像机102捕获图像，则电器控制单元107将捕获的图像或捕获的图像的一部分发送到图像处理单元115以用于运动姿势分析。

在一些实施例中，最初可以在服务器上执行模型的训练，并且在一段时间之后已训练的模型被发送到电器124，使得图像处理单元115对新捕获的图像在本地执行图像分析。这可以减少服务器负载，并改善用户的隐私保护。

在一些实施例中，基于图像分析的结果，命令生成单元119确定运动姿势是否已经被识别，并确定用于运动姿势的合适的目标电器。命令生成单元119还生成用于目标电器的对应的控制信号。在一些实施例中，命令生成单元119基于预设的目标选择标准(例如，基于电器、用户和其它附近电器的相对位置；和基于从用户的图像中识别的运动姿势的类型)来确定用于识别的运动姿势的合适的目标电器。

在一些实施例中，电器控制单元107包括协调单元121。协调单元121被配置为基于来自分布在多个电器中的多个运动检测器的输入来协调运动检测。例如，智能空调的运动检测器输出、智能烤炉的运动检测器输出和智能冰箱的运动检测器输出等在多个电器之间共享，使得当多个设备中的一个检测到运动时，多个电器中的每一个上的协调单元121通知本地的存在检测单元113，并且该存在检测单元可以根据运动是否足够接近自身来决定是否触发本地摄像机的图像捕获(例如，不同运动检测器的布局在多个电器之间共享)。在一些实施例中，通过利用不同电器上的多个运动检测器，可以足够早地执行运动检测，使得减小图像捕获和用户界面重新配置中的延迟，以改善用户体验。在一些实施例中，协调单元121被配置为协调来自分布在多个电器中的多个摄像机的图像捕获。使用多个设备以不同角度捕获的图像，提高了捕获脸部的正面的机会，这有利于姿势识别。在一些实施例中，图像捕获的定时被编码在图像中，使得基于在一段时间内(例如，当用户在厨房周围移动时)位于房间中的不同位置处的多个电器所捕获的图像来确定用户的运动以及用户的观看方式。

提供以上示例仅出于说明性目的。下面参照图4所示的流程图来阐述电器124的功能的更多细节。

图3示出了根据一些实施例的用于处理图像帧序列和从图像帧中识别运动姿势的示例性处理流水线。

如图3所示，当在智能电器附近检测到用户时，会触发视频摄像机(例如，智能炉的内置摄像机)以在用户正在执行运动姿势时捕获用户的图像。可替代地，视频摄像机连续地捕获图像，并且对用户的存在和运动的检测使得新捕获的图像被分析以用于运动姿势检测和识别。图像的序列被发送到图像处理单元115作为基于三维卷积深度学习模型的姿势分析器的输入，该三维卷积深度学习模型在对应于不同类型的电器的各种类型的运动姿势上被训练。姿势分析器提取图像的序列中的空间-时间特征并执行运动姿势识别。姿势分析器的输出用于识别用于一个或多个目标电器的对应的控制姿势。一旦基于各种目标选择标准识别出合适的目标电器，则控制信号(例如，根据目标电器的控制协议被格式化的控制命令)被生成并发送到目标电器。

在一些实施例中，用于针对从与第一电器并置的摄像机(例如，对应于第一电器或内置在第一电器中的摄像机)所捕获的视频中识别的运动姿势选择目标电器的示例性过程。首先，确定从第一电器接收到的运动姿势分析的请求是否指定了目标电器。根据确定请求包括目标标识(例如，请求指定目标电器(例如，基于用户的话语或其它输入))，则验证已经被识别的运动姿势是否在对应于指定的目标电器的一组控制姿势内。如果不是，则产生错误警报，并且将错误反馈提供给用户(例如，由第一电器输出)。如果所识别的运动姿势是在对应于指定的目标电器的一组控制姿势内，则根据指定的目标电器的控制协议为指定的目标电器生成控制命令。根据确定请求不包括目标标识，则确定第一电器是否为在用户的相同附近的多个电器中最靠近用户的电器。根据确定第一电器是多个电器中最靠近用户的电器，然后验证所识别的运动姿势是否在对应于第一电器的一组控制姿势内。如果所识别的运动姿势是在对应于第一电器的一组控制姿势内，则根据第一电器的控制协议为第一电器生成控制命令。根据确定第一电器不是多个电器中最靠近用户的电器，然后确定所识别的运动姿势是否在对应于在用户的相同附近的任何其它电器的一组控制姿势内。如果所识别的运动姿势是在对应于多个电器中的一个或多个其它电器的一组控制姿势内，则选择一个或多个电器中的最靠近用户的相应的一个电器作为目标电器，并且根据所选择的电器的控制协议为第一电器生成控制命令。如果所识别的运动姿势不是在对应于多个电器中的任何一个的一组控制姿势内，则产生错误并且由第一电器输出错误警报。

上述目标选择过程仅仅是说明性的，并且可以在各种实施例中基于实际使用场景来调整操作的顺序。

图4是根据一些实施例的通过运动姿势控制家用电器的方法400的流程图。方法400由具有一个或多个处理器和存储器的计算系统执行。例如，在一些实施例中，计算系统是第一家用电器的控制单元。在一些实施例中，计算系统是与第一家用电器进行通信的服务器(例如，由第一家用电器的制造商或第三方服务提供商提供的远程服务器或智能家居环境的服务器)。

在方法400中，计算系统接收(402)来自多个家用电器(例如，智能家居中的许多不同的智能电器)中的第一家用电器(例如，配备有视频捕获能力的智能冰箱或炉)的开始视频图像处理以用于检测用户的运动姿势的第一请求。例如，运动姿势是基于用户的身体或身体的某些部分(例如，用户的手、手臂、头部等)的运动的姿势，而与接触表面(例如，触摸板、触摸屏、鼠标、操纵杆等)、无触摸姿势，手语姿势等无关。在一些实施例中，第一请求由用户在第一家用电器处通过输入(例如，语音输入或专门指定的“唤醒”姿势(例如，从左到右并返回到左的挥动的手)或声音(例如，三次拍手))来触发。在一些实施例中，当第一家用电器检测到用户存在于第一家用电器的阈值范围内或第一家用电器的预定部分内时，第一请求由第一家用电器发起。

在方法400中，响应于接收到开始视频图像处理以用于检测用户的运动姿势的第一请求，计算系统处理(404)由对应于第一家用电器的摄像机捕获的图像帧序列，以基于从图像帧序列中提取的空间时间特征来识别第一运动姿势。在一些实施例中，在计算系统确认开始视频图像处理的第一请求之后，图像立即被流传输到计算系统。在一些实施例中，使用三维卷积图像处理神经网络来处理图像的序列。

在方法400中，计算系统根据一个或多个目标选择标准从多个家用电器中选择(406)第二家用电器作为用于第一运动姿势的目标家用电器，所述目标选择标准包括基于用户相对于第一家用电器的位置的第一目标选择标准和基于第一运动姿势与对应于第二家用电器的第一控制姿势之间的匹配水平的第二目标选择标准。在一些实施例中，可选地，第二家用电器和第一家用电器是同一电器设备，或者第二家用电器和第一家用电器是不同的家用电器设备，这取决于满足哪个目标选择标准。在一些实施例中，如果用户位于第一家用电器的第一阈值范围(例如，近距离范围)内并且比多个家用电器中的其它家用电器更靠近用户，则第一目标选择标准被用于触发选择第一请求家用电器(例如，捕获图像并发送第一请求的第一家用电器)作为默认目标家用电器。在一些实施例中，如果满足多个例外条件中的至少一个，则第一目标选择标准被用于触发选择另一个家用设备(例如，不是捕获图像并发送第一请求的家用电器的第二家用电器)作为目标家用电器。在一些实施例中，从图像的序列中识别的运动姿势可以与相应的置信度值相关联，并且具有最高置信度值的运动姿势被用作第一运动姿势。每个家用电器与由三维卷积图像处理神经网络所识别的一组控制姿势相关联。多个家用电器可以与用于特定于电器的不同电器功能的相同控制姿势相关联。如果已经从图像的序列中识别的运动姿势是用于多个不同电器的控制姿势，则使用各种技术来确定哪个电器是目标电器。

在方法400中，计算系统根据对应于第二家用电器的第一控制姿势生成(408)控制第二家用电器的第一控制命令。例如，每个电器具有一组控制命令，所述控制命令可以由对应的控制姿势触发，并且如果从图像的序列识别的第一运动姿势与对应于第二家用电器的第一控制姿势相匹配，则用于对应于第一控制姿势的第二家用电器的一组控制命令中的控制命令是用于控制第二电器设备的控制命令。

在一些实施例中，响应于由第一家用电器检测到的预定的声音输入，由第一家用电器生成开始视频图像处理以用于检测用户的运动姿势的第一请求。例如，第一家用电器是配备有摄像机和麦克风的智能烤炉或智能冰箱，并且当麦克风被设置为检测音频触发(例如，三次拍手或其它音频信号)时，默认摄像机被关闭或处于暂停状态(例如，以节省能量并保护用户的隐私需求)。在一些实施例中，由麦克风捕获的声音信号不被处理为语音，并且仅被处理以确定该声音信号是否满足预定的触发信号模式(例如，对应于三次拍手的波形模式)，以用于触发由摄像机进行视频记录的激活以及发送由第一电器设备进行视频图像处理的第一请求。在一些实施例中，第一家用电器配备有一些有限的自然语言处理能力，以识别例如“姿势就绪”的唤醒词或唤醒词后跟家用电器的名称或别名，例如“姿势就绪，烤炉”或“姿势就绪，炉”、“姿势就绪微波”、“姿势就绪，空调(ac)”、“姿势就绪，洗涤器”等。不需要语义自然语言处理的音频触发确保了用户的隐私得到保护，并且不需要将用户语音的记录上传到服务器并在服务器上进行处理。而且，不需要实现复杂的自然语言处理模型，并且不需要用户具有清楚地讲话或给出复杂的语音命令的能力。在一些实施例中，该电器使得用户能够基于他/她自己的需要来设置触发声音信号，例如，具有特殊节奏的撞击轮椅扶手的声音、或特殊的哨音、或语音受损的用户说出关键词的特定方式。在一些实施例中，在第一家用电器检测到来自用户的所需声音输入之后，第一家用电器激活摄像机，并且摄像机开始记录摄像机前面的用户的视频。用户将他/她的手臂或手在摄像机的前面移动，以提供他/她希望发送到特定电器(例如，第一家用电器或另一个电器)的控制命令的运动姿势。第一家用电器还将第一请求发送到服务器(例如，房屋中(例如，局域网中)的中央处理单元或远程服务器(例如，通过广域网))。在一些实施例中，如果在预定的声音输入中提供目标电器的标识，则第一家用电器从声音输入中提取标识，并且该标识与第一请求被发送到服务器。在一些实施例中，如果从预定的声音输入中省略目标电器的标识，则默认目标电器是捕获声音输入的第一家用电器。在一些实施例中，如果从预定的声音输入中省略目标电器的标识，则基于其它标准来确定目标电器。在一些实施例中，如果第一家用电器确定在声音输入中没有指定目标电器，则第一家用电器从第一请求中省略目标电器的标识。在一些实施例中，如果用户从声音输入中省略目标电器的标识，则第一家用电器还请求服务器处理图像的序列，以根据从图像的序列中识别的运动姿势来确定目标电器的标识。

在一些实施例中，响应于由第一家用电器检测到的预定的唤醒运动姿势，由第一家用电器生成开始视频图像处理以用于检测用户的运动姿势的第一请求。在一些实施例中，第一家用电器配备有摄像机和有限的视频处理能力，以识别视频输入中的“唤醒”运动姿势。在一些实施例中，小型运动姿势识别器(例如，仅在唤醒姿势下经过专门训练可识别出专门的三维卷积姿势，并且没有用于电器特定控制命令的实际运动姿势)内置在第一家用电器中，使得即使视频记录正在进行，也要到第一家用电器识别出视频包括唤醒运动姿势时，该视频才会上传到服务器。在一些实施例中，在第一家用电器检测到来自用户的所需唤醒运动姿势后，第一家用电器开始将视频流传输到服务器并请求服务器处理视频流以用于电器控制的附加运动姿势。用户将他/她的手臂或手在摄像机的前面移动，以提供他/她希望发送到特定电器(例如，第一家用电器或另一个电器)的控制命令的运动姿势。在一些实施例中，第一家用电器继续流传输图像，直到服务器将停止信号发送到该第一家用电器为止，因为服务器已经在流传输图像中识别出停止运动姿势。在一些实施例中，除了唤醒运动姿势之外，第一家用电器包括识别停止运动姿势的能力，并且继续处理流传输图像，直到检测到预定的停止运动姿势为止。一旦检测到停止运动姿势，第一电器停止将图像流传输到服务器，并开始再次处理唤醒姿势的后续记录的图像。

在一些实施例中，响应于在第一家用电器的预定阈值范围内检测到用户，由第一家用电器生成开始视频图像处理以用于检测用户的运动姿势的第一请求。例如，第一家用电器配备有运动检测器和摄像机。默认情况下，摄像机是不活动的，但是当运动检测器检测到第一家用电器的阈值范围内的运动时，该摄像机由运动检测器激活。例如，运动检测器被安装在智能烤炉的门上的上角部，并且具有10厘米的小运动检测范围。用户必须在10厘米内使他/她的手在运动检测器的前面挥动，以便触发运动检测器并使该运动检测器激活视频摄像机。一旦视频摄像机被激活，用户就可以在视频摄像机的前面执行对应于所需的电器标识和/或控制命令的运动姿势，并且第一家用电器也开始将第一请求发送到服务器并且开始流传输由视频摄像机捕获的视频图像，使得服务器可以处理流传输图像以确定用户提供了什么运动姿势。所有上述方法使得用户能够通过一些有意的动作触发摄像机的激活和/或将视频图像发送到服务器用于运动姿势识别，这些动作不涉及触摸或复杂的自然语言处理，使得能够用运动姿势使用电器，并且不需要触摸任何特定的表面或特殊的手眼协调来选择用户界面控制或用自然语言清晰表达语音命令。这适用于特殊情况下的用户，这些特殊情况是用户不能到达触摸输入设备，或者不希望触摸任何表面以污染表面，并且不想说出所需的语音命令(例如，由于需要保持安静的环境或者一些语音损伤)。在一些实施例中，可选地，提供触摸输入界面和语音输入界面，但是在某些条件下(例如，当用户被识别(例如，通过面部识别或特殊标记设备)为语音受损或不具有足够的灵活性来操作触摸屏用户界面设备时，或者当用户提供所需的唤醒姿势或声音输入时，或者当检测到用户距离任何基于触摸的输入设备足够远时)选择性地禁用。

在一些实施例中，响应于接收到开始视频图像处理以用于检测用户的运动姿势的第一请求，计算系统处理由对应于第一家用电器的摄像机捕获的图像帧序列，以基于从图像帧序列中提取的空间时间特征来识别第二运动姿势，其中第二运动姿势在第一运动姿势之前被识别，并且第二运动姿势对应于第二家用电器的识别码。例如，在一些实施例中，从第一家用电器流传输的图像的序列被连续反馈到三维卷积神经网络，并且图像的第一子序列对应于与电器标识“ac”相对应的运动姿势，结果，空调被识别为后续检测到的运动姿势的目标。如果后续检测到的运动姿势对应于用于空调的控制命令“关闭”以及用于烤炉的控制命令“关闭”，则计算系统选择空调作为目标电器并生成用于空调的控制命令“关闭”。相反，如果最初识别的运动姿势对应于电器标识“烤炉”，然后计算系统选择烤炉作为目标电器，并生成用于烤炉的控制命令“关闭”。在一些实施例中，如果在从图像的序列检测到的运动姿势中指定目标电器的标识，则使用由运动姿势指定的目标电器，而不是基于其它目标选择标准选择的目标电器。

在一些实施例中，一个或多个目标选择标准包括基于用户对目标家用电器的明确标识的第三选择标准(例如，在控制运动姿势之前提供的运动姿势中)，并且第三选择标准基于用户位置覆盖第一选择标准。在一些实施例中，如果在第二选择标准和第三选择标准的结果之间存在冲突(例如，当用户已经将目标电器的标识指定为空调时(例如，使用第二运动姿势)，但是从图像的序列中识别的第一运动姿势与对应于烤炉的任何控制姿势不匹配(例如，第一运动姿势与用于空调的控制姿势匹配，或者与任何电器的控制姿势不匹配)，计算系统生成故障反馈(例如，摄像机上的闪光灯或蜂鸣声)并将该故障反馈发送回第一家用电器以呈现给用户)。故障反馈提示用户重新启动运动姿势序列。

在一些实施例中，除了接收来自第一家用电器的开始视频图像处理以用于检测用户的运动姿势的第一请求之外，计算系统接收来自多个家用电器(例如，智能家居中的许多不同的智能电器)中的第三家用电器(例如，配备有视频捕获能力的智能冰箱或炉)的开始视频图像处理以用于检测用户的运动姿势的第二请求。例如，运动姿势是基于用户的身体或身体的某些部分(例如，用户的手、手臂、头部等)的运动的姿势，而与接触表面(例如，触摸板、触摸屏、鼠标、操纵杆等)、无触摸姿势，手语姿势等无关。在一些实施例中，请求由用户在第三家用电器处通过输入(例如，语音输入或专门指定的“唤醒”姿势(例如，从左到右并返回到左的挥动的手)或声音(例如，三次拍手))来触发，或当第一家用电器检测到用户存在于第三家用电器的阈值范围内或第三家用电器的预定部分内时，第二请求由第三家用电器发起。在一些实施例中，第一请求和第二请求基本上同时被接收(例如，用户通过相同的动作或存在同时满足用于在第一家用电器和第三家用电器处开始运动姿势控制过程的触发条件)。例如，当第一家用电器和第三家用电器都捕获唤醒声音信号，或者都在其阈值范围内检测到用户的存在等时，可能会发生这种情况。在一些实施例中，为了确定用户实际上打算使用哪个家用电器来捕获和发送运动姿势，计算系统需要第一家用电器和第三家用电器将它们捕获的触发信号(例如，连同它们发送的请求)发送到计算系统，以用于计算系统评估。在一些实施例中，计算系统分析由第一家用电器和第三家用电器检测到的声音输入，并选择具有最佳质量声音输入的家用电器，从该家用电器中接受后续的视频流传输。在一些实施例中，计算系统要求第一家用电器和第三家用电器将它们捕获的视频的第一帧(例如，连同它们发送的请求)发送到计算系统，以用于计算系统评估。在一些实施例中，计算系统分析由第一家用电器和第三家用电器发送的视频的第一帧，并选择已经捕获用户的正面图像的家用电器，从该家用电器中接受后续的视频流传输。例如，计算系统分析连同第一请求和第二请求发送的相应的第一图像帧，并检测由第一家用电器发送的第一图像帧中的正面用户图像和由第三家用电器发送的第一图像帧中的正面用户图像，结果，计算系统接受第一请求并开始接收来自第一家用电器的后续的图像帧，并且计算系统拒绝第二请求并且不接收来自第三家用电器的后续的图像帧。以这种方式，计算系统确保图像流正确地捕获用户的运动姿势，并且避免不必要地从用户不打算用作运动姿势处理的图像捕获设备的其他设备中传输用户图像。

在一些实施例中，第一请求包括在第一家用电器处捕获的第一视频的相应的图像帧(例如，初始图像帧)，并且第二请求包括在第三家用电器处捕获的第二视频的相应的图像帧(例如，初始图像帧)。在方法400中，响应于接收到第一请求和第二请求，计算系统处理在第一请求和第二请求中接收到的相应的图像帧。计算系统接受第一请求，并根据确定在第一请求中接收到的相应的图像帧包括正面用户图像而接受作为图像帧序列的第一视频的传输。例如，计算系统对接收到的初始图像帧执行面部图像处理，以确定图像帧包含在图像帧的中心的正面用户图像。计算系统拒绝第二请求，并根据确定在第二请求中接收到的图像帧不包括正面用户图像而拒绝来自第二家用电器的第二视频的传输。例如，计算系统对接收到的初始图像帧执行面部图像处理，以确定图像帧不包含在图像帧的中心的正面用户图像(例如，不包含面部图像或侧面或背面用户图像)。在一些实施例中，计算系统将拒绝信号发送到第三家用电器，并且第三家用电器停止视频记录并且将视频摄像机返回到休眠状态以等待下一个触发输入。

在一些实施例中，第二家用电器和第一家用电器是同一家用电器。例如，用户可以在智能烤炉处触发运动姿势控制过程，并且在智能烤炉的摄像机前面执行运动姿势，并且智能烤炉是捕获视频、发送请求、接收控制指令并且执行控制功能的电器。

在一些实施例中，第二家用电器和第一家用电器是两个不同的家用电器。例如，用户可以在智能烤炉处触发运动姿势控制过程，并且在智能烤炉的摄像机前面执行运动姿势，并且智能烤炉是捕获视频、发送请求的电器。但是，控制姿势用于控制空调，并且该空调是接收控制指令并且执行控制功能的电器。在一些实施例中，计算系统假定默认情况下目标电器是第一家用电器，并且计算系统响应于接收到的特殊用户输入(例如，包括在第一请求中的特殊开始运动姿势或预定的声音输入)而将开始用于确定替代目标电器的过程。

在一些实施例中，为了根据一个或多个目标选择标准而从多个家用电器中选择第二家用电器作为用于第一运动姿势的目标家用电器，计算系统响应于接收到的第一请求，确定第一请求是否包括目标电器的识别数据，并且计算系统根据确定包括在第一请求中的目标电器的识别数据对应于第二家用电器，从多个家用电器中选择第二家用电器作为用于第一运动姿势的目标家用电器。例如，识别数据包括声音信号或语音信号，或从多个家用电器中唯一识别第二家用电器的电器识别码。在一些实施例中，计算系统处理识别数据(例如，自然语言处理或信息的其它解码)以确定识别数据对应于多个电器中的哪个电器。

在一些实施例中，为了根据一个或多个目标选择标准而从多个家用电器中选择第二家用电器作为用于第一运动姿势的目标家用电器，计算系统确定(例如，在目标家用电器的识别数据不包括在第一请求中的情况下)多个电器中具有与从图像帧序列中识别的第一控制姿势相匹配(例如，根据姿势识别结果的置信度值的第一阈值水平(例如，用于精确匹配的高阈值＝90％的置信度)进行匹配)的有效控制姿势的家用电器的子集。计算系统根据确定第二家用电器在具有与第一控制姿势相匹配的有效控制姿势的家用电器的子集中，结合确定第二家用电器位于家用电器的子集中最靠近用户的位置，从多个家用电器中选择第二家用电器作为用于第一运动姿势的目标家用电器。例如，当第一家用电器位于可以由第一运动姿势有效控制的两个或更多个电器中最靠近用户的位置时，则选择第一家用电器作为用于第一运动姿势的目标电器。如果另一个家用电器位于可以由第一运动姿势有效控制的两个或更多个电器中最靠近用户的位置，尽管事实上第一家用电器是捕获视频的家用电器，并且尽管事实上第一家用电器可能最靠近用户(例如，因为第一家用电器不在可以由第一运动姿势有效控制的家用电器中)，并且尽管事实上第一家用电器可能在可以由第一运动姿势有效控制的电器的子集中(例如，因为第一家用电器不是电器的子集中最靠近用户的电器)，然后选择另一个家用电器作为用于第一运动姿势的目标电器。

在一些实施例中，为了根据一个或多个目标选择标准而从多个家用电器中选择第二家用电器作为用于第一运动姿势的目标家用电器，计算系统确定(例如，在目标家用电器的识别数据不包括在第一请求中的情况下)多个电器中具有与从图像帧序列中识别的第一控制姿势相匹配(例如，根据姿势识别结果的置信度值的第二阈值水平(例如，用于粗略匹配的低阈值＝70％的置信度)进行匹配)的有效控制姿势的家用电器的子集。计算系统根据确定第二家用电器在具有与第一控制姿势相匹配的有效控制姿势的家用电器的子集中，结合确定第二家用电器与家用电器的子集中的其它家用电器相比具有更高的匹配置信度，从多个家用电器中选择第二家用电器作为用于第一运动姿势的目标家用电器。例如，如果第一运动姿势以80％的置信度被识别为用于空调的“关闭”控制姿势，并且还以75％的置信度被识别为用于烤炉的“关机”控制姿势，则两者都高于设置为包含在电器的子集中的70％的阈值，并且空调将被选择为目标电器，并且“关闭”命令将被发送到空调。

在一些实施例中，为了根据一个或多个目标选择标准而从多个家用电器中选择第二家用电器作为用于第一运动姿势的目标家用电器，计算系统确定(例如，在目标家用电器的识别数据不包括在第一请求中的情况下)多个电器中具有与从图像帧序列中识别的第一控制姿势相匹配(例如，根据姿势识别结果的置信度值的第三阈值水平(例如，用于匹配的中等阈值＝80％)进行匹配)的有效控制姿势的家用电器的子集。计算系统根据确定第二家用电器在具有与第一控制姿势相匹配的有效控制姿势的家用电器的子集中，结合确定第二家用电器与家用电器的子集中的其它家用电器相比，基于匹配置信度和远离用户的距离具有更高的综合得分，从多个家用电器中选择第二家用电器作为用于第一运动姿势的目标家用电器。例如，如果第一运动姿势以80％的置信度被识别为用于空调的“关闭”控制姿势，并且还以89％的置信度被识别为用于烤炉的“关机”控制姿势，则两者都满足设置为包含在电器的子集中的阈值，并且空调或烤炉可以根据用户相对于烤炉和空调站立的位置来选择作为目标电器。如果用户站在与靠近烤炉相比更靠近空调的位置，则即使空调的置信度值较低，基于较短的距离，空调的总体得分将可能会更高。

在一些实施例中，为了根据对应于第二家用电器的第一控制姿势生成控制第二家用电器的第一控制命令，计算系统从第二家用电器的一组控制命令中选择第一控制命令，其中该组控制命令中的每一个具有对应的控制姿势，并且第一控制命令对应于第一控制姿势。计算系统基于第二家用电器的控制协议来生成第一控制命令。例如，用于不同型号或类型的智能烤炉的控制命令可能具有不同的控制协议，并且相同的“关闭烤炉”的控制命令将根据特定于烤炉型号和制造的不同的控制协议来生成，使得控制命令将由第二家用电器正确地执行。在一些实施例中，控制协议、控制命令和对应的控制姿势在设置阶段期间由计算系统存储，其中用户指定哪个姿势应该对应于特定电器的哪个命令，并且计算系统将下载用于这些指定的控制命令的对应的机器命令。在一些实施例中，用户将仅想要使用姿势来控制用于每个电器的少数频繁使用的控制功能，而不是其它更复杂的功能或所有功能。

在一些实施例中，计算系统经由局域网将第一控制命令发送到第二家用电器，其中第二家用电器执行第一控制命令。例如，用户可以提供用于关闭冰箱前面的烤炉的控制姿势，并且将控制命令“关闭”发送到烤炉，并且烤炉将通过执行控制命令来关闭自身。在一些实施例中，一些功能的性能对于用户而言并不明显可见，并且控制命令的执行还使得第二家用电器将反馈确认信号或错误信号发送回计算系统。可选地，计算系统将反馈确认和错误信号发送到第一家用电器，并且使第一家用电器将该反馈确认和错误信号输出给用户。在一些实施例中，代替将反馈确认和错误信号发送到第一家用电器，可选地，计算系统生成ar或vr体验，以供用户使用足智多谋的谷歌体验。例如，通过虚拟现实或增强现实护目镜向用户示出用户的虚拟手关闭烤炉。

图5是示出代表性电器124的框图。电器124包括一个或多个处理单元(cpus)502、一个或多个网络接口504、存储器506和用于互连这些组件(有时称为芯片组)的一个或多个通信总线508。电器124还包括用户界面510。用户界面510包括使得能够呈现媒体内容的一个或多个输出设备512，所述输出设备包括一个或多个扬声器和/或一个或多个视觉显示器。用户界面510还包括一个或多个输入设备514，所述输入设备包括便于用户输入的用户界面组件，例如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、姿势捕获摄像机或其它输入按钮或控件。在一些实施例中，电器124进一步包括感测电器124的操作环境信息的传感器。传感器包括但不限于一个或多个麦克风、一个或多个摄像机、环境光传感器、一个或多个加速度计、一个或多个陀螺仪、全球定位系统(gps)、蓝牙或低功耗蓝牙(ble)系统、温度传感器、湿度传感器、一个或多个运动传感器、一个或多个生物传感器(例如，皮肤电阻传感器、脉搏血氧计等)和其他传感器。此外，电器124包括电器操作单元106。存储器506包括高速随机存取存储器，例如dram、sram、ddrram或其它随机存取固态存储器设备；以及可选地包括非易失性存储器，例如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其它非易失性固态存储设备。可选地，存储器506包括远离一个或多个处理单元502的一个或多个存储设备。存储器506或可替代地存储器506内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器506或存储器506的非暂时性计算机可读存储介质存储以下程序、模块和数据结构、或其子集或超集：

·操作系统516，所述操作系统包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

·网络通信模块518，所述网络通信模块用于将电器124连接到其它计算设备(例如，服务器系统108)或通过一个或多个网络接口504(有线或无线)连接到一个或多个网络的移动控制设备(例如，智能手机或平板电脑)；

·呈现模块520，所述呈现模块用于实现信息的呈现；

·输入处理模块522，所述输入处理模块用于从一个或多个输入设备514中的一个中检测一个或多个用户输入或交互，并解读检测到的输入或交互；

·控制电器124的电器控制单元107，其包括但不限于存在检测单元113、电器功能控制单元117、图像处理单元115、命令生成单元119、协调单元121和用于执行本文所述的其它功能的其它模块。

上文所识别的元件中的每一个可以被存储在先前所述的存储器设备中的一个或多个中，并对应于用于执行上述功能的一组指令。上文所识别的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程、模块或数据结构，并且因此这些模块的各子集可以在各种实施方式中被组合或以其他方式重新排列。在一些实施方式中，可选地，存储器506存储上文所识别的模块和数据结构的子集。此外，可选地，存储器506存储上文没有描述的附加模块和数据结构。

尽管上述描述了特定的实施例，但是应当理解，这不意味着将本申请限于这些特定的实施例。相反，本申请包括在所附权利要求的精神和范围内的替代、修改和等同物。阐述了许多特定的细节，以提供对本文提出的主题的彻底理解。但是对于本领域技术人员而言显而易见的是，可以在没有这些特定细节的情况下实践本主题。在其他实例中，并未详细描述公知的方法、过程、组件和电路以避免不必要地造成当前实施例的各方面含糊不清。