一种空调的控制方法与流程

1.本发明涉及空调领域，尤其涉及一种空调的控制方法。


背景技术：

2.随着科技的发展，人工智能的应用也越来越广泛。而空调依旧使用传统的遥控调节温度与工作模式，无法智能感知用户的感受从而自动调整合适的温度，既感知不到用户对冷、热的动作表现，也听不懂用户对冷、热的话语反馈，完全不具备感知能力。


技术实现要素：

3.本发明的目的在于提供一种空调的控制方法，该方法赋予了空调对用户冷热感受的感知，尤其在用户对冷热的动作表现的感知和话语反馈的感知，并自动调节到舒适温度的能力。
4.根据本发明的第一方面，提供了一种空调的控制方法，所述控制方法包括：
5.采集用户的深度数据和/或语音数据；
6.基于所述用户的深度数据和/或语音数据，利用特定动作识别神经网络模型和/或语音识别模型，识别所述用户与空调控制感受关联的特定动作和/或语音特征；
7.基于已识别的所述与空调控制感受关联的特定动作和/或语音特征对空调运行状态进行调整和/或对所述用户进行信息提示。
8.可选地，所述基于所述用户的深度数据和/或语音数据，利用特定动作识别神经网络模型和/或语音识别模型，识别所述用户与空调控制感受关联的特定动作和/或语音特征之前还包括：
9.建立与空调控制感受关联的特定动作的深度数据和/或语音数据的样本数据；
10.建立所述特定动作识别神经网络和/或语音识别神经网络；
11.基于所述样本数据和所述特定动作识别神经网络和/或语音识别神经网络训练与空调控制感受关联的人体特定动作识别神经网络模型和/或语音识别神经网络模型；
12.构建已训练的所述与空调控制感受关联的人体特定动作和空调控制感受关联的语音特征与空调的控制命令的调节映射表。
13.可选地，所述建立与空调控制感受关联的特定动作的深度数据和/或语音数据的样本数据包括：
14.通过深度传感器采集深度数据并滤波保存用户做出的与空调控制感受关联的特定动作的深度数据；
15.和/或通过声音采集器采集用户发出的与空调控制感受关联的声音数据；
16.对所述与空调控制感受关联的特定动作的深度数据和/或与空调控制感受关联的声音数据做标注。
17.可选地，所述通过深度传感器采集深度数据并滤波保存用户做出的与空调控制感受关联的特定动作的深度数据包括：
18.通过深度传感器采集人体做出的与空调控制感受关联的肢体动作反应的三维数据序列。
19.可选地，所述对所述与空调控制感受关联的特定动作的深度数据和/或与空调控制感受关联的声音数据做标注包括：
20.标注采集的所述与空调控制感受关联的特定动作的深度数据的标签为相应的空调控制感受名称；
21.标注采集的所述与空调控制感受关联的语音数据的标签为相应的空调控制感受名称。
22.可选地，所述基于用户的深度数据和/或语音数据，利用特定动作识别神经网络模型和/或语音识别模型，识别用户与空调控制感受关联的特定动作和/或语音特征包括：
23.所述基于所述用户的深度数据，利用特定动作识别神经网络模型识别与空调控制感受关联的特定动作；
24.所述基于所述用户的语音数据，利用语音识别模型识别与空调控制感受关联的语音特征。
25.可选地，所述基于所述用户的深度数据，利用特定动作识别神经网络模型识别与空调控制感受关联的特定动作包括向已训练的所述特定动作识别神经网络模型输入所述用户的三维数据序列，提取所述人体的特定动作的特征，在所述特定动作识别神经网络模型中的动作特征中匹配相似度最高的动作，如果所述相似度超过预设相似度阈值，则所述人体的特定动作被识别成功。
26.可选地，所述基于所述用户的语音数据，利用语音识别模型识别与空调控制感受关联的语音特征包括向语音识别模型输入所述用户的语音数据，得到对应的语音特征。
27.可选地，所述基于已识别的所述与空调控制感受关联的特定动作和/或语音特征对空调运行状态进行调整和/或对用户进行信息提示包括：
28.利用识别到的特定动作信息和/或语音特征信息，从所述调节映射表中索引出空调控制命令，然后执行空调控制命令；
29.根据当前识别到的特定动作和/或语音特征生成建议文本信息并语音播报，收集用户的语音反馈。
30.可选地，所述采集的用户的深度数据与所述识别到的特定动作均可用优化与温度感受关联的人体特定动作识别神经网络模型的性能。
31.可选地，所述空调控制感受包括温度感受、风向感受、风档感受、湿度感受、气味感受、空气净化度感受中的一种或多种。
32.根据本发明的第二方面，提供了一种空调控制装置，其包括一个或多个处理器以及存储有程序指令的非暂时性计算机可读存储介质，当所述一个或多个处理器执行所述程序指令时，所述一个或多个处理器用于实现根据权利要求1-8任意一项所述的方法。
33.根据本发明的第三方面，提供了一种非暂时性计算机可读存储介质，其上存储有程序指令，当所述程序指令被一个或多个处理器执行时，所述一个或多个处理器用于实现根据权利要求1-11中任一项所述的方法。
34.根据本发明的第四方面，提供了一种空调控制系统，其特征在于，包含：
35.空调控制模块、深度数据获取模块和/或语音采集模块、数据存储模块、数据收集
分析模块、数据处理分析模块、信息提示模块；其中
36.所述空调控制模块用于执行空调控制命令，控制空调运行；
37.所述深度数据获取模块，用于采集用户的深度数据；
38.所述语音采集模块，用于采集用户的语音数据；
39.所述数据存储模块，用于存储各种传感器采集的数据以及数据分析的结果；
40.所述数据处理分析模块，用于将深度数据获取模块和/或语音采集模块采集到的数据和/或所述数据存储模块储存的数据进行处理并分析；
41.所述信息提示模块，用于根据分析到的用户的特定动作和/或语音特征，生成对应的提示信息；
42.数据收集分析模块收集所述空调控制模块提供的空调当前状态参数、深度数据获取模块提供的深度数据、语音监测模块提供的语音数据，并通过特定动作识别神经网络模型识别所述深度数据中用户的特定动作、通过语音识别模型识别所述语音数据中与空调控制感觉关联的语音特征；
43.所述数据收集分析模块收集并分析的数据存储在所述数据存储模块中。
44.根据本发明的第五方面，提供了一种空调器，其特征在于，包括：
45.所述空调器采用第一方面任一项所述的方法；
46.所述空调器包含如第二方面所述的控制装置；
47.所述空调器包含如第三方面所述的非暂时性计算机可读存储介质；
48.所述空调器包含如第四方面所述的空调控制系统。
49.本发明提供的基于深度数据和/或语音数据的ai空调的控制方法、控制装置、非暂时性计算机可读存储介质、空调控制系统和空调器，解决了现有空调无法智能感知用户的感受从而自动调整合适的温度，既感知不到用户对冷、热的动作表现，也听不懂用户对冷、热的话语反馈的问题，能够从用户的动作和话语反馈上智能感知用户对冷、热的感受，从而自动调节到舒适的温度。
附图说明
50.通过参照附图详细描述其示例实施例，本发明公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本发明公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
51.图1示出了本发明实施例的流程示意图；
52.图2示出了本发明实施例的特征学习控制图；
53.图3示出了本发明实施例的特征匹配控制图。
具体实施方式
54.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
55.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制
本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
56.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
57.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
58.本发明提供了一种基于tof及语音技术的ai空调。tof是time of flight的简写，直译为飞行时间的意思。飞行时间技术在广义上可理解为通过测量物体、粒子或波在固定介质中飞越一定距离所耗费时间(介质/距离/时间均为已知或可测量)，从而进一步理解离子或媒介某些性质的技术。利用tof原理的相机可以采集物体距离相机的深度数据，基于tof相机、语音识别技术获取并学习用户在使用空调前的身体形态的深度数据与声音数据。提取这些深度数据特征及声音特征信息进行归类保存，并与空调控制后的稳定状态信息进行绑定。经过长时间的学习、分析、绑定后，在用户的后续使用中，当空调在监测区域内发现用户当前的基于深度数据的特定动作特征状态及语音信息与后台归类保存的信息相似时，则通过语音提醒建议用户是否开启与之对应的空调状态或者直接智能控制，保障提供的空调状态为用户当前实际最需要的状态。
59.为进一步阐述本发明中的技术方案，提供了如下具体实施例。
60.实施例1
61.根据本发明的一个或多个实施例，本发明实施例提供了一种空调的控制方法，如图1所示，本发明实施例的空调的控制方法至少可以包括如下s1,s2,s3三个步骤：
62.s1，采集用户的深度数据和/或语音数据。
63.s2，基于用户的深度数据和/或语音数据，利用特定动作识别神经网络模型和/或语音识别模型，识别用户与空调控制感受关联的特定动作和/或语音特征。
64.s3，基于已识别的所述与空调控制感受关联的特定动作和/或语音特征对空调运行状态进行调整和/或对用户进行信息提示。
65.其中，步骤s1，采集用户的深度数据和/或语音数据。
66.通过深度传感器采集三维数据并滤波保存检测到人体的三维数据，比如通过kinect体感传感器采集点云数据，对点云做常规的均值滤波、高斯滤波等滤波操作，同时检测点云数据中是否有人体出现，此检测方法可通过基于人体点云数据的三维目标检测算法实现。如果检测到人体点云出现，则保存检测到人体的三维点云数据。或者通过麦克风或麦克风阵列采集用户发出的声音数据。
67.步骤s2，基于用户的深度数据和/或语音数据，利用特定动作识别神经网络模型和/或语音识别模型，识别与温度感受关联的特定动作和/或话语。
68.在本步骤之前，需要先建立特定动作识别神经网络模型结构，采集与温度感受关
联的特定动作的深度数据，并标注此深度数据的标签为相应的温度感受的动作名称，这里采集与温度感受关联的特定动作的深度数据就是通过深度传感器，采集人体对温度感受的肢体动作反应的三维数据序列，将采集的所有深度数据与对应标签作为样本数据，标注采集的与温度感受关联的特定动作的深度数据的标签为相应的温度感受的动作名称，比如“用户冻得双手在嘴边哈气”，“用户热得左/右手在脸旁扇风”作为标签以及对应的多种表意相同的深度数据序列作为样本数据，基于此样本数据训练特定动作识别神经网络模型。采集与温度感受关联的语音数据，或结合公开的语音识别数据集制作语音样本数据，建立语音识别神经网络模型结构，基于此语音样本数据训练语音识别神经网络模型。同时构建已训练的与温度感受关联的人体特定动作和温度感受关键词与空调的控制命令的调节映射表，例如：特定动作“用户捂手哈气”和话语或关键词“好冷啊”、“冻死了”、“今天真冷”等均映射为空调的控制命令：“温度上调5摄氏度”，特定动作“用户在脸旁挥手扇风”和话语或关键词为“太热了”、“好热啊”、“天也太热了”等均映射为空调的控制命令：“温度下调5摄氏度”，同时也支持特定的叫声映射为空调的控制命令。
69.在特定动作识别神经网络模型和/或语音识别模型构建并训练完成后，向已训练的特定动作识别神经网络模型输入用户的三维数据序列，提取人体的特定动作的特征，在已训练的特定动作识别神经网络模型中的各个动作特征中匹配相似度最高的动作，如果相似度超过预设相似度阈值，优选地，相似度阈值为98％，那么用户的特定动作就被识别成功。
70.向已训练的语音识别模型输入用户的语音数据，得到对应的文本信息。
71.步骤s3，基于已识别的所述与空调控制感受关联的特定动作和/或语音特征对空调运行状态进行调整和/或对用户进行信息提示。
72.利用步骤s2识别到的用户的特定动作和/或语音特征，从调节映射表中索引出空调控制命令，然后自动执行空调控制命令。
73.亦或，根据当前识别到的用户的特定动作和/或语音特征生成建议文本信息并显示文本或语音播报，优选地利用语音播报，同时收集用户的语音反馈，例如：语音识别到用户说出了“好冷啊”，特定动作识别到了用户在“搓手哈气”，那么就根据此识别结果，生成建议文本如“您看起来很冷，即将调高温度5摄氏度，是否可以呢？”并语音播报，如果用户此时回复“好的”，那么将执行空调温度调高5摄氏度这条命令。
74.可选的，空调控制感受包括温度感受、风向感受、风档感受、湿度感受、气味感受、空气净化度感受中的一种或多种。
75.此外，本实施例中采集的深度数据与特定动作的识别结果均可用来优化与空调控制感受关联的人体特定动作识别神经网络模型的性能，比如用于提升动作识别的准确度。在最初的空调使用中，空调基本是属于特征学习状态下，随着不断的学习积累保存用户在使用空调前的习惯(即用户使用空调前的tof模型特征、语音信息)，空调在后续通过特征匹配时所提供的空调方案(推荐给用户的空调模式、温度、风速等)也会越来越准确。
76.实施例2
77.根据本发明的一个或多个实施例，本发明实施例提供了一种空调控制装置，本发明实施例的基于深度数据和/或语音数据的ai空调的控制装置包括一个或多个处理器、存储有程序指令的非暂时性计算机可读存储介质，比如u盘、硬盘、光盘等，当处理器执行存储
器上存储的程序指令时，在处理器上实现的功能与前述的控制方法实施例的方法一致。
78.实施例3
79.根据本发明的一个或多个实施例，本发明实施例提供了一种空调控制系统，该系统分为六个模块，分别为：空调控制模块、深度数据获取模块、语音监测模块、数据存储模块、数据收集分析模块、语音播报模块。
80.空调控制模块用于执行空调控制命令，控制空调运行。
81.深度数据获取模块用于深度传感器采集深度数据。
82.语音监测模块用于采集语音数据。
83.数据收集分析模块用于收集空调控制模块提供的空调当前状态参数、深度数据获取模块提供的深度数据、语音监测模块提供的语音数据，并通过特定动作识别神经网络模型识别所述深度数据中用户的特定动作、通过语音识别模型识别所述语音数据中与温度感觉关联的字词。
84.数据存储模块用于保存数据收集分析模块收集并分析的数据。
85.语音播报模块用于通过扬声器完成将指定文本的播报。
86.本实施例的数据收集分析模块中，空调在最初的使用中，基本是属于特征学习状态下，随着不断的学习积累保存用户在使用习惯前的习惯，即，用户使用空调前的特定动作的深度数据特征、语音信息。空调在后续通过特征匹配时提供的空调方案，即，推荐给用户的空调模式、温度、风速等，也会越来越准确。对于特定动作识别和/或语音识别的特征学习如图2所示，在特征学习过程中，用户在使用空调后，即在空调状态被调节并保持不变后，空调控制模块将会将空调当前状态(空调模式、温度、风速等信息)发送给数据收集分析模块，同时触发该模块收集分析深度数据获取模块、语音监测模块发送过来的空调状态被调整并保持不变前一段时间的信息，分析深度数据获取模块发来的信息中用户的一些特征：头部特征、手部特征、腿部特征等；语音模块发送来的信息中用户的语音信息特征：好热、好冷等词汇。例如冬天用户回到家，在空调检测区域内哈气吹手，抱胸捂住身体，跺脚，并说着好冷啊、外面真冷，随后打开空调，调节空调模式为制热、温度30度、高风挡等。在空调状态不在变化后，空调控制模块发送上述空调状态信息给到数据收集分析模块，并获取前面用户的深度数据、语音特征信息(哈气吹手、抱胸、跺脚、好冷、真冷等)；并将这些特征信息与空调状态信息绑定并在数据存储模块进行保存。
87.如图3所述，特征匹配控制过程按照上面的例子，在用户进屋后，在空调检测区域内哈气吹手，抱胸捂住身体，跺脚，并说着好冷啊、外面真冷；此时空调将这些特征信息与数据收集分析模块向数据存储模块提去的信息进行对比，在获取到相似度高的匹配数据后，将匹配数据信息所绑定的空调状态信息发送空调控制模块，并有语音播报模块播报建议信息，推荐用户使用该空调状态并开启语音模块麦克风，若用户回复同意信息，则使用该空调状态。
88.实施例4
89.根据本发明的一个或多个实施例，本发明实施例提供了一种空调器，本空调器的功能与前述控制方法实施例的方法一致，包含一个可实现前述控制方法实施例的方法的控制装置，同时包含一个存储介质，其中保存了前述控制方法实施例的方法的具体功能实现，同时包含一种前述ai空调控制系统实施例的控制系统。能够智能感知用户对于冷、热感受
的动作表现和话语反馈，并自动调节舒适的温度。
90.综上，本领域技术人员容易理解的是，在不冲突的前提下，上述各有利方式可以自由地组合、叠加。以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。