一种基于人脸动态信息控制空调的方法和系统与流程

本发明涉及一种控制空调的方法和系统，具体涉及一种基于人脸动态信息控制空调的方法和系统。

背景技术：

目前随着人工智能领域的迅速发展以及人们对智能监控、智能家居及新型人机交互的需求日益提升。目前，语音交互技术已经较为成熟，语音交互应用于家电产品也逐渐增多，如语音空调。基于图像无感交互技术在家电行业的应用也渐渐地出现，图像技术结合语音的控制迎来新的机遇。通常我们的智能家居产品都是语音控制或手势控制，用户对更人性化的智能控制产品的需求更强烈，希望空调根据自己的身体所需自动调节空调，无需人为去控制。另外，现有产品中用户对房间环境的需求变化每次需要调节，空调无法自身智能调节。

技术实现要素：

鉴于此，本发明提供了一种基于人脸动态信息控制空调的方法，包括：

s1，采集空调用户的人脸的实时动态图像，获取人脸动态信息并上传至云端；

s2，通过云端的深度学习循环神经网络模型对所述人脸动态信息进行匹配识别，识别出所述空调用户的身体状态信息并生成相应的控制指令；

s3，将所述识别出所述空调用户的身体状态信息及相应的控制指令反馈至空调主控器；

s4，所述空调主控器将所述相应的控制指令发送给所述空调用户请求所述空调用户确认是否执行相应的控制指令；

s5，所述空调主控器根据所述空调用户的反馈信息进行智能自动调节。

作为本发明进一步的改进，s1包括：

s11，空调配置双目摄像头，并控制所述双目摄像头在空调区域内转动；

s12，当监测到所述空调用户移动到空调区域内时，采集所述空调用户的人脸的实时动态图像；

s13,对采集到的实时动态图像提取人脸动态信息并上传至云端。

作为本发明进一步的改进，s2中，根据预先建立的人脸动态信息与身体状态信息之间的分类模型，识别出所述空调用户的身体状态信息，并生成相应的控制指令。

作为本发明进一步的改进，s2包括：

s21，预先采集包含多幅人脸图像的视频数据，并分别提取每时刻的人脸动态信息，并将所有的人脸动态信息上传至云端；

s22，在云端将所有的人脸动态信息和身体状态信息送入深度学习循环神经网络模型，进行训练，得到分类模型；

s23，在云端将身体状态信息与控制指令之间形成映射关系；

s24，在云端将当前时刻所对应的人脸动态信息输入训练好的分类模型，识别出该人脸动态信息所对应的身体状态信息，并根据身体状态信息与控制指令的映射关系，生成相应的控制指令。

作为本发明进一步的改进，人脸动态信息通过空调内置的wifi模块上传至云端。

作为本发明进一步的改进，所述空调主控器对反馈的身体状态信息和控制指令进行逻辑处理，并与所述空调用户进行通讯，将信息传递至所述空调用户确认是否执行相应的控制指令。

作为本发明进一步的改进，所述空调主控器在进行逻辑处理时，采用的方法为：所述空调采集当前时刻所述空调用户的人脸动态图像，识别出所述空调用户的人脸表情，所述空调主控器根据所述空调用户反馈的人脸表情确定是否执行所述控制指令。

作为本发明进一步的改进，所述空调主控器在进行逻辑处理时，采用的方法为：所述空调主控器通过内置在所述空调内的语音模块控制内置在所述空调内的扬声器播报所述空调用户的身体状态信息，并播报给所述空调用户是否执行相应的控制指令，所述空调用户用语音确定是否执行所述控制指令。

作为本发明进一步的改进，所述空调主控器在进行逻辑处理时，采用的方法为：所述空调主控器将所述空调用户的身体状态信息和所述控制指令发送至app客户端，所述空调用户操作所述app客户端确定是否执行所述控制指令。

本发明还提供了一种基于人脸动态信息控制空调的系统，包括：

数据采集模块，其用于采集空调用户的人脸的实时动态图像，获取人脸动态信息并上传至云端；

数据匹配模块，其用于通过云端的深度学习循环神经网络模型对所述人脸动态信息进行匹配识别，识别出所述空调用户的身体状态信息并生成相应的控制指令；

数据反馈模块，其用于将所述识别出空调用户的身体状态信息及相应的控制指令反馈至空调主控器；

指令确认模块，其用于所述空调主控器将所述相应的控制指令发送给所述空调用户请求所述空调用户确认是否执行相应的控制指令；

智能调节模块，其用于所述空调主控器根据所述空调用户的反馈信息进行智能自动调节。

本发明的有益效果：

空调通过配置双目摄像头，可以检测出人脸周期性变化，通过脸部变化识别出人体行为状态等对环境的需求，空调根据用户需求智能地进行自动舒适性调节。空调无需用户设置，即可满足用户当前身体状况所需的环境温度，实现更人性化的空调智能调节。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中一种基于人脸动态信息控制空调的方法的流程示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。

虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员以使得本发明所属技术领域的技术人员能够容易实施。正如本发明所属技术领域的技术人员能够容易理解，将在后面描述的实施例在不脱离本发明的概念和范围的基础上可变形为多种形式。在附图中尽量将相同或相似的部分用相同的附图标记表示。

在此使用的专业术语只是用来说明特定实施例而提供的，并不是用来限制本发明。在此使用的单数形式在没有表示明确的相反含义的情况下也包含复数形式。在说明书中使用的“包含”的具体化了特定的特性、领域、常数、步骤、动作、要素及/或成分，并不排除其他特定的特性、领域、常数、步骤、动作、要素、成分及/或组的存在或附加。

将下面使用的技术用语及科学用语包括在内的所有用语具有与本发明所属技术领域的技术人员一般理解的含义相同的含义。在词典中所定义的用语被补充解释为与相关技术文献和当前公开的内容相符的含义，在没有定义的情况下，不能被解释为具有非常正式的含义。

本发明的一种基于人脸动态信息控制空调的方法，包括：

s1，采集空调用户的人脸的实时动态图像，获取人脸动态信息并上传至云端。具体的，s1包括：

s11，空调配置双目摄像头，并控制双目摄像头在空调区域内转动。

s12，当监测到空调用户移动到空调区域内时，采集空调用户的人脸的实时动态图像。当采集实时动态图像失败时，双目摄像头会继续转动直至成功采集到人脸的实时动态图像。

s13,对采集到的实时动态图像提取人脸动态信息并上传至云端。可选的，采用mobilenetv3实现人脸动态信息的提取。

s2，通过云端的深度学习循环神经网络模型对人脸动态信息进行匹配识别，识别出空调用户的身体状态信息并生成相应的控制指令。此步骤需要根据预先建立的人脸动态信息与身体状态信息之间的分类模型，识别出空调用户的身体状态信息，并生成相应的控制指令。具体的，s2包括：

s21，预先采集包含多幅人脸图像的视频数据，并分别提取每时刻的人脸动态信息，并将所有的人脸动态信息上传至云端。可选的，人脸动态信息通过空调内置的wifi模块上传至云端。

s22，在云端将所有的人脸动态信息和身体状态信息送入深度学习循环神经网络模型，进行训练，得到分类模型。

其中，身体状态信息例如为人脸细微的血管、脸色、心跳等信息。例如，可以通过人脸的视频序列前后帧之间的关系来测算心跳等信息。

深度学习循环神经网络模型是已经过大量的样本训练是较佳的模型，能够准确地识别人脸动态信息所对应的身体状态信息。

s23，在云端将身体状态信息与控制指令之间形成映射关系。

其中，控制指令已经预先存储在云端，在后续识别过程中可以直接调用。例如，可以将人体心跳与制冷量调节的控制指令形成映射关系，根据心跳来调节合适温度和风向，如心跳快，运动量大，提高空调制冷量。又如，可以将人脸细微血管与温度调节的控制指令形成映射关系，可以将人脸脸色与温度调节的控制指令形成映射关系等。

s24，在云端将当前时刻所对应的人脸动态信息输入训练好的分类模型，识别出该人脸动态信息所对应的身体状态信息，并根据身体状态信息与控制指令的映射关系，生成相应的控制指令。

s3，将识别出空调用户的身体状态信息及相应的控制指令反馈至空调主控器。

s4，空调主控器将相应的控制指令发送给空调用户请求空调用户确认是否执行相应的控制指令。

s5，空调主控器根据空调用户的反馈信息进行智能自动调节。

进一步的，空调主控器对反馈的身体状态信息和控制指令进行逻辑处理，并与空调用户进行通讯，将信息传递至空调用户确认是否执行相应的控制指令。

可选的，空调主控器在进行逻辑处理时，采用的方法为：空调采集当前时刻空调用户的人脸动态图像，识别出空调用户的人脸表情，空调主控器根据空调用户反馈的人脸表情确定是否执行控制指令。

可选的，空调主控器在进行逻辑处理时，采用的方法为：空调主控器通过内置在空调内的语音模块控制内置在空调内的扬声器播报空调用户的身体状态信息，并播报给空调用户是否执行相应的控制指令，空调用户用语音确定是否执行控制指令。

可选的，空调主控器在进行逻辑处理时，采用的方法为：空调主控器将空调用户的身体状态信息和控制指令发送至app客户端，空调用户操作app客户端确定是否执行控制指令。

在断网的情况下，双目摄像头控制空调服务关闭。

本发明的一种基于人脸动态信息控制空调的系统，包括：数据采集模块、数据匹配模块、数据反馈模块、指令确认模块和智能调节模块。

数据采集模块用于采集空调用户的人脸的实时动态图像，获取人脸动态信息并上传至云端。具体的，数据采集模块执行前述一种基于人脸动态信息控制空调的方法中s1的流程。

数据匹配模块用于通过云端的深度学习循环神经网络模型对人脸动态信息进行匹配识别，识别出空调用户的身体状态信息并生成相应的控制指令。具体的，数据采集模块执行前述一种基于人脸动态信息控制空调的方法中s2的流程。

数据反馈模块用于将所述识别出空调用户的身体状态信息及相应的控制指令反馈至空调主控器。具体的，数据采集模块执行前述一种基于人脸动态信息控制空调的方法中s3的流程。

指令确认模块用于空调主控器将相应的控制指令发送给空调用户请求空调用户确认是否执行相应的控制指令。具体的，指令确认模块执行前述一种基于人脸动态信息控制空调的方法中s4的流程。

智能调节模块用于空调主控器根据空调用户的反馈信息进行智能自动调节。具体的，智能调节模块执行前述一种基于人脸动态信息控制空调的方法中s5的流程。

下面将通过两个具体实施例对本发明做进一步说明。

实施例1，空调配置双目摄像头，用户在家使用空调，用户面对双目摄像头时，双目摄像头获取用户人脸的实时动态图像，通过图像识别技术提取每个时刻的人脸动态信息并将数据上传云端，在云端通过深度学习循环神经网络模型对人脸动态信息进行匹配识别，识别出用户的身体状态信息并生成相应的控制指令，将结果反馈给空调主控器，空调主控器根据用户的反馈信息进行智能送风调节。例如，夏天用户在室内运动了之后，空调检测到用户心跳快，身体出汗，这时候空调根据用户的身体状态对环境需求调整为最适宜的空调制冷模式，制冷量增大。

实施例2，空调配置双目摄像头，用户在家使用空调，用户面对双目摄像头时，双目摄像头获取用户人脸的实时动态图像，通过图像识别技术提取每个时刻的人脸动态信息并将数据上传云端，在云端通过深度学习循环神经网络模型对人脸动态信息进行匹配识别，识别出用户的身体状态信息并生成相应的控制指令，将结果反馈给空调主控器，空调主控器对反馈的身体状态信息和控制指令进行逻辑处理，并通过串口通讯协议与空调内的语音模块通讯将信息反馈给语音模块，语音模块控制扬声器播报用户的身体状态信息，并播报给用户是否执行相应的控制指令，用户语音确定控制指令的执行，此时空调调整较为舒适的环境温度。例如空调检测到用户身体受凉，空调进行语音播报“您身体感受到丝丝的凉意，是否调整空调的制冷量(或送风方向或送风大小)”，用户根据自身的判断执行是否即可。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。