基于用户烹饪动作预测的厨电设备控制方法与流程

1.本发明涉及厨电设备领域，尤其涉及一种基于用户烹饪动作预测的厨电设备控制方法。


背景技术：

2.随着智能化不断融入到人们的日常生活，智能厨具设备也逐渐走入到人们的厨房，以帮助用户更加智能化地完成关于油烟机或者灶具等厨电设备的控制工作。
3.中国发明专利申请cn105825195a公开了一种智能识别烹饪行为的方法，包括：1)选择进入学习训练模式；2)依次选择相应的烹饪动作的训练模式，分享者重复进行对应的操作；3)动作传感器采集分享者每一次烹饪动作的动作信号；4)微处理器分析分享者的每一个烹饪动作的动作信号，从而形成烹饪行为的特征信号库；5)选择进入学习识别模式；6)动作传感器采集学习者的行为动作信号；7)微处理器接收并分析学习者的行为动作信号；8)微处理器比对学习者的行为动作信号与特征信号库中分享者的特征信息，当学习者的行为动作信号的分析结果同时符合特征信号库中某一烹饪动作所有特征，即可确定当前学习者的行为具体的烹饪动作。
4.但是，该发明专利申请cn105825195a也存在问题：该智能识别烹饪行为的方法是通过将学习者的行为动作信号与已经预先形成的烹饪行为的特征信号库中的特征信息做匹配，进而识别当前学习者的行为的具体烹饪动作。由于该方法是在采集到学习者的行为动作信号后再识别器具体烹饪动作，这样就会导致针对所识别出的具体烹饪动作而执行的操作具有一定的滞后性，即响应用户烹饪动作的设备不能够提前预测出用户在下一时刻的烹饪动作，继而执行与预测出的该烹饪动作相对应的响应。


技术实现要素：

5.本发明所要解决的技术问题是针对上述现有技术提供一种基于用户烹饪动作预测的厨电设备控制方法。
6.本发明解决上述技术问题所采用的技术方案为：基于用户烹饪动作预测的厨电设备控制方法，其特征在于，包括如下步骤：
7.步骤s1，预先构造预测用户烹饪动作的卷积神经网络；其中，卷积神经网络的输入为用户前一时刻的烹饪动作数据，卷积神经网络的输出为预测的用户在后一时刻的烹饪动作；
8.步骤s2，预先采集用户在烹饪前一时刻的烹饪动作数据集合，且将该烹饪动作数据集合作为烹饪动作训练集；
9.步骤s3，将烹饪动作训练集输入到卷积神经网络中做训练，确定卷积神经网络中的各参数，并将具有确定后各参数的该卷积神经网络作为预测用户在后一时刻的烹饪动作的卷积神经网络模型；
10.步骤s4，将再次采集到的用户的当前时刻的烹饪动作数据输入到卷积神经网络模
型，预测出该用户在后一时刻的烹饪动作；
11.步骤s5，根据预测出的该用户在后一时刻的烹饪动作，控制厨电设备执行与之对应的工作。
12.改进地，在该发明中，所述基于用户烹饪动作预测的厨电设备控制方法还包括：
13.预先构建用户的每个烹饪动作与对应的厨电设备控制指令之间的关系列表；
14.以及，在步骤s5中，根据预测出的该用户在后一时刻的烹饪动作与预先构建的该关系列表，得到预测出的该烹饪动作所对应的厨电设备控制指令，并且利用得到的该厨电设备控制指令控制厨电设备执行对应的工作。
15.再进一步地，在所述基于用户烹饪动作预测的厨电设备控制方法中，所述用户的烹饪动作数据包括盖锅盖、掀锅盖、加菜、快速翻炒、慢速翻炒以及起锅。
16.改进地，在所述基于用户烹饪动作预测的厨电设备控制方法中，所述卷积神经网络具有第一输入分支、对应该第一输入分支的第一输出分支、第二输入分支以及对应该第二输入分支的第二输出分支；其中，第一输入分支输入预设时刻前的n1帧连续图像，第一输出分支的输出结果为用户在预设时刻的后一时刻的烹饪动作；第二输入分支输入预设时刻前的n2帧连续图像，第二输出分支的输出结果为用户在预设时刻的后一时刻的烹饪动作，n2>n1>2。
17.进一步地，所述基于用户烹饪动作预测的厨电设备控制方法还包括：
18.将所述卷积神经网络的第一输出分支的输出结果和第二输出分支的输出结果进行融合处理；
19.以及，根据融合处理后的结果预测出用户在后一时刻的烹饪动作，并且再根据预测出的该用户的后续烹饪动作，控制厨电设备执行对应的工作。
20.再进一步地，在所述基于用户烹饪动作预测的厨电设备控制方法中，所述融合处理采用不带参数的连接法，该不带参数的连接法包括如下步骤：
21.将第一输出分支的输出结果所对应的输出维度设置为a1×
b1×
c1×
d1；
22.将第二输出分支的输出结果所对应的输出维度设置为a1×
b2×
c1×
d1；
23.将各输出维度所对应的第2维度上的两个四维矩阵做拼接处理，得到该第2维度上的新矩阵，并且得到在第2维度上具有该新矩阵的新输出维度；其中，该新矩阵的第2维度为拼接前的两个四维矩阵的第2维度的长度之和，即该新矩阵的第2维度为a1×
b3×
c1×
d1，b3＝b1+b2；
24.对所得新输出维度做展平操作处理，得到维度为1
×
d的输出向量；其中，d＝a1·
b3·
c1·
d1；
25.将所得维度为1
×
d的该输出向量做两次全连接处理，得到维度为1
×
m的输出向量；其中，该维度为1
×
m的输出向量中的每个数值表征该输出的用户动作为任一烹饪动作cook
m
的概率，m为步骤s2中所采集烹饪动作数据集合中的烹饪动作类型总数量，cook
m
表示m个烹饪动作类型中的第m个烹饪动作，0≤m≤m；
26.将维度为1
×
m的输出向量所对应所有数值中的最大值所对应的烹饪动作为预测出的用户在后一时刻的烹饪动作。
27.再改进，在所述基于用户烹饪动作预测的厨电设备控制方法中，所述维度为1
×
m的输出向量所对应所有数值中的最大值小于预设阈值时，判定用户在后一时刻的烹饪动作
为非烹饪动作。
28.作为优选，在所述基于用户烹饪动作预测的厨电设备控制方法中，所述预设阈值为0.8。
29.与现有技术相比，本发明的优点在于：
30.首先，该发明中的厨电设备控制方法通过预先构造预测用户烹饪动作的卷积神经网络，并且基于预先采集到的用户烹饪动作数据集合来训练得到该卷积神经网络中的各参数，进而将确定了各参数的卷积神经网络作为预测用户在后一时刻的烹饪动作的卷积神经网络模型，然后再将采集到的用户当前时刻的烹饪动作数据输入到该卷积神经网络模型，以将卷积神经网络模型的输出作为预测出该用户在后一时刻的烹饪动作，并且由厨电设备执行与该预测出的烹饪动作相对应的工作。由于可以在用户实际执行后续烹饪动作之前就可以根据该用户在前一时刻的烹饪动作预测出该用户在后一时刻的烹饪动作，这样就提高了厨电设备针对用户后一时刻烹饪动作的响应即时性，消除响应烹饪动作时的滞后性，提高响应效率；
31.其次，根据用户在做出不同动作时的持续时长不同的特点，该发明还将卷积神经网络设置为两个输入分支以及对应的两个输出分支，而后再根据对两个输出分支所对应输出结构的融合处理，以更为准确地判断出用户在后一时刻的烹饪动作，提高了针对用户后一时刻烹饪动作的检测准确度。
附图说明
32.图1为本发明实施例中基于用户烹饪动作预测的厨电设备控制方法流程示意图。
具体实施方式
33.以下结合附图实施例对本发明作进一步详细描述。
34.该实施例提供一种基于用户烹饪动作预测的厨电设备控制方法，具体为基于用户烹饪动作预测的灶具控制方法。参见图1所示，该实施例的基于用户烹饪动作预测的厨电设备控制方法包括如下步骤：
35.步骤s1，预先构造预测用户烹饪动作的卷积神经网络以及预先构建用户的每个烹饪动作与对应的厨电设备控制指令之间的烹饪动作
‑
控制指令关系列表；其中，卷积神经网络的输入为用户前一时刻的烹饪动作数据，卷积神经网络的输出为预测的用户在后一时刻的烹饪动作；在该实施例中，假设预先构造的该卷积神经网络标记为convnet，卷积神经网络convnet的输入标记为x，卷积神经网络convnet的输出标记为y，并且，输入x(t)即为用户在前一时刻t1的烹饪动作数据，输出y即为用户在后一时刻t2的烹饪动作；
36.步骤s2，预先采集用户在烹饪前一时刻的烹饪动作数据集合，且将该烹饪动作数据集合作为烹饪动作训练集；其中，假设该实施例中所预先采集到的用户在烹饪前一时刻t1的烹饪动作数据集合标记为x，x＝{x
t1，m
}，x
t1，m
表示预先采集到的用户在前一时刻t1所对应的第m个烹饪动作数据，m为预先采集到的用户在前一时刻t1所对应的烹饪动作数据的总数量，与用户在前一时刻t1烹饪动作数据x
t1，m
相对应的用户在后一时刻t2的烹饪动作标记为y
t2，m
，m≤m，m≥1；
37.例如，在该实施例中，所预先采集到的于鸿鹄的烹饪动作数据包括盖锅盖、掀锅
盖、加菜、快速翻炒、慢速翻炒以及起锅；
38.步骤s3，将烹饪动作训练集输入到卷积神经网络中做训练，确定卷积神经网络中的各参数，并将具有确定后各参数的该卷积神经网络作为预测用户在后一时刻的烹饪动作的卷积神经网络模型；
39.在该实施例已经预先构建的卷积神经网络convnet中，由于有多个待确定的参数，此时再将烹饪动作数据集合x中的每一个烹饪动作数据x
t1，m
输入到该卷积神经网络convnet中，然后再根据与该每一个烹饪动作数据x
t1，m
所对应的用户在后一时刻t2的烹饪动作y
t2，m
训练该卷积神经网络convnet，就可以确定得到该卷积神经网络convnet中的每一个待确定的参数，然后此处把确定了参数后的卷积神经网络作为预测用户在后一时刻的烹饪动作的卷积神经网络模型，并且标记该卷积神经网络模型为convnet；
40.步骤s4，将再次采集到的用户的当前时刻的烹饪动作数据输入到卷积神经网络模型，预测出该用户在后一时刻的烹饪动作；
41.由于在该实施例中，经过步骤s3的训练处理，已经得到了具有确定参数的卷积神经网络模型convnet，此时就可以把再次采集到的用户在当前时刻t
a
的烹饪动作数据x
t
输入到卷积神经网络模型convnet，进而预测出该用户在当前时刻t
a
的后一时刻t
a+1
的烹饪动作y
ta+1
；
42.步骤s5，根据预测出的该用户在后一时刻的烹饪动作以及预先构建的烹饪动作
‑
控制指令关系列表，控制厨电设备执行与之对应的工作。由于通过上述的步骤s4已经预测出了该用户在后一时刻t
a+1
的烹饪动作y
ta+1
，那么此时就控制作为厨电设备的灶具执行与该烹饪动作y
ta+1
相对应的工作。
43.为了更加准确地根据采集到的用户在前一时刻的烹饪动作数据，以预测出用户在后一时刻的烹饪动作，该实施例的卷积神经网络具有第一输入分支、对应该第一输入分支的第一输出分支、第二输入分支以及对应该第二输入分支的第二输出分支；其中，第一输入分支输入预设时刻t1前的n1帧连续图像，第一输出分支的输出结果为用户在预设时刻t1的后一时刻t2的烹饪动作；第二输入分支输入预设时刻t1前的n2帧连续图像，第二输出分支的输出结果为用户在预设时刻t1的后一时刻t2的烹饪动作，t2>t1>0，n2>n1>2。例如，该实施例中的帧数n1设置为16，并且，将帧数n2设置为64。
44.当然，该实施例中的厨电设备控制方法会将将该卷积神经网络的第一输出分支的输出结果和第二输出分支的输出结果进行融合处理；以及，根据融合处理后的结果预测出用户在后一时刻的烹饪动作，并且再根据预测出的该用户的后续烹饪动作，控制厨电设备执行对应的工作。其中，此处的融合处理采用不带参数的连接法，该不带参数的连接法包括如下步骤：
45.步骤1，将第一输出分支的输出结果所对应的输出维度设置为a1×
b1×
c1×
d1；对应地，在该实施例中已经将帧数n1设置为16以及帧数n2设置为64的情况下，此处的第一输出分支的输出结果所对应的输出维度就设置为2048
×2×
28
×
28；
46.步骤2，将第二输出分支的输出结果所对应的输出维度设置为a1×
b2×
c1×
d1；对应地，在该实施例中已经将帧数n1设置为16以及帧数n2设置为64的情况下，此处的第二输出分支的输出结果所对应的输出维度就设置为2048
×8×
28
×
28；
47.步骤3，将各输出维度所对应的第2维度上的两个四维矩阵做拼接处理，得到该第2
维度上的新矩阵，并且得到在第2维度上具有该新矩阵的新输出维度；其中，该新矩阵的第2维度为拼接前的两个四维矩阵的第2维度的长度之和，即该新矩阵的第2维度为a1×
b3×
c1×
d1，b3＝b1+b2；
48.即，针对上述的两个输出分支所对应的输出维度2048
×2×
28
×
28和输出维度2048
×8×
28
×
28，将各输出维度所对应的第2维度上的两个四维矩阵做拼接处理，得到该第2维度上的新矩阵，并且得到在第2维度上具有该新矩阵的新输出维度为2048
×
10
×
28
×
28；
49.步骤4，对所得新输出维度做展平操作处理，得到维度为1
×
d的输出向量；其中，d＝a1
·
b3
·
c1
·
d1；即，将该实施例所得新输出维度2048
×
10
×
28
×
28采用本领域的常规技术手段做展平处理后，就得到维度为1
×
16056320的输出向量；
50.步骤5，将所得维度为1
×
d的该输出向量做两次全连接处理，得到维度为1
×
m的输出向量；其中，该维度为1
×
m的输出向量中的每个数值表征该输出的用户动作为任一烹饪动作cook
m
的概率，m为步骤s2中所采集烹饪动作数据集合中的烹饪动作类型总数量，cook
m
表示m个烹饪动作类型中的第m个烹饪动作，0≤m≤m；
51.具体地，在该实施例中，将所得维度为1
×
16056320的该输出向量做两次全连接处理，得到维度为1
×
6的输出向量，此处的“维度为1
×
6”中的该数字“6”即为步骤s2中的烹饪动作数据“盖锅盖、掀锅盖、加菜、快速翻炒、慢速翻炒以及起锅”总数量，即烹饪动作数据总数量为6；并且，此处的全连接处理为本领域的常规技术手段，此处不再做赘述；
52.假设将此处的该维度为1
×
6的输出向量标记为(p1,p2,p3,p4,p5,p6)，并且数值p1表示输出的用户动作为烹饪动作数据“盖锅盖”的概率，数值p2表示输出的用户动作为烹饪动作数据“掀锅盖”的概率，数值p3表示输出的用户动作为烹饪动作数据“加菜”的概率，数值p4表示输出的用户动作为烹饪动作数据“快速翻炒”的概率，数值p5表示输出的用户动作为烹饪动作数据“慢速翻炒”的概率，数值p6表示输出的用户动作为烹饪动作数据“起锅”的概率；
53.步骤6，将维度为1
×
m的输出向量所对应所有数值中的最大值所对应的烹饪动作为预测出的用户在后一时刻的烹饪动作。
54.由于在步骤5中已经得到了上述六个烹饪动作数据所对应的概率p1～p6，那么，假设烹饪动作数据“慢速翻炒”的概率p5为这6个概率p1～p6中的最大值，那么，就认定“慢速翻炒”即为预测出的用户在后一时刻将要做的烹饪动作，以由灶具执行与该“慢速翻炒”相对应的工作。
55.当然，一旦在该维度为1
×
16056320的输出向量中，假设该输出向所对应所有数值中的最大值小于预设阈值0.8时，判定用户在后一时刻的烹饪动作非烹饪动作。比如说，如果概率p1～p6中的最大值p5小于预设阈值0.8时，就认定用户在后一时刻的烹饪动作为非烹饪动作。
56.需要说明的是，该实施例中的基于用户烹饪动作预测的厨电设备控制方法也可以根据实际需要应用到吸油烟机或者洗碗机等其他厨电设备上。