成熟状态的确定方法和装置、存储介质及电子装置与流程

1.本技术涉及智慧家庭技术领域，具体而言，涉及一种成熟状态的确定方法和装置、存储介质及电子装置。


背景技术：

2.相关技术中，随着科学技术的进步和人工智能的发展，智能算法也越来越多的应用到日常生活中，特别是对于使用频率较高的日常家电-烤箱而言，其智能化发展是至关重要的；而智能化的目的就在于对日常生活提供便利，例如在烤箱运行过程中对烤箱内食材的识别及自动烘焙。
3.现有技术中，采用了一种根据温度探针来对烘焙食材进行温度的测定及熟度的判断，通过将温度探针插入食材，从而实时监测食材内部的温度，实现判断食材的成熟度；但现有温度探针的方法没有使用到食材的颜色及体积等信息，且温度探针仅适用于肉类食材的烘焙过程，而对于蛋糕类的食材，无法判断出其成熟程度。
4.针对相关技术中，智能烤箱设备对烘焙食材的成熟度识别准确度较低等问题，尚未提出有效的解决方案。


技术实现要素：

5.本技术实施例提供了一种成熟状态的确定方法和装置、存储介质及电子装置，以至少解决相关技术中，智能烤箱设备对烘焙食材的成熟度识别准确度较低的问题。
6.根据本技术实施例的一个实施例，提供了一种成熟状态的确定方法，包括：通过多个数据采集装置获取位于烤箱设备中的食材的实时数据，其中，所述实时数据包括：图像数据、温度数据和重量数据；通过多模态融合网络tfn对所述实时数据进行数据融合，得到融合数据；使用目标分类网络对所述融合数据进行分类，以确定所述食材的实时成熟状态。
7.在一个示例性实施例中，通过多个数据采集装置获取位于烤箱设备中的食材的实时数据，包括：通过位于所述烤箱设备内侧顶部的图像采集装置获取所述食材的图像数据，通过位于所述烤箱设备内的温度采集装置获取所述食材的温度数据，以及通过位于所述烤箱设备内侧底部的重量采集装置获取所述食材的重量数据。
8.在一个示例性实施例中，通过多模态融合网络tfn对所述实时数据进行数据融合，得到融合数据，包括：获取所述图像数据的第一特征向量h
x
，所述温度数据的第二特征向量hy，以及所述重量数据的第三特征向量hz；通过以下公式对所述第一特征向量h
x
，所述温度数据的第二特征向量hy，以及所述重量数据的第三特征向量hz进行融合，得到所述融合数据hm：
9.在一个示例性实施例中，使用目标分类网络对所述融合数据进行分类，以确定所述食材的实时成熟状态之前，所述方法还包括：根据图像检测算法对所述图像数据进行识别，以确定所述食材的食材类别；从多个分类网络中确定与所述食材类别对应的目标分类
网络；其中，所述多个分类网络分别与多个食材类别一一对应。
10.在一个示例性实施例中，使用目标分类网络对所述融合数据进行分类，以确定所述食材的实时成熟状态之后，所述方法还包括：在所述食材的实时成熟状态指示所述食材处于第一成熟状态的情况下，向第一对象的移动终端发送第一提示信息；其中，所述第一提示信息用于指示所述食材已处于可食用状态；和/或在所述食材的实时成熟状态指示所述食材的处于第二成熟状态的情况下，向第一对象的移动终端发送第二提示信息；其中，所述第二提示信息用于指示所述食材禁止再继续烹饪，所述第一成熟状态的成熟度小于所述第二成熟状态的成熟度。
11.在一个示例性实施例中，向第一对象的移动终端发送第一提示信息之前，或向第一对象的移动终端发送第二提示信息之前，所述方法还包括：获取将所述食材放入所述烤箱设备的目标对象的生物特征；根据所述目标对象的生物特征确定所述目标对象是否为所述第一对象；在所述目标对象为所述第一对象的情况下，为所述第一对象设置以下提醒流程：在所述食材的实时成熟状态指示所述食材处于第一成熟状态的情况下，向第一对象的移动终端发送第一提示信息，以及在所述食材的实时成熟状态指示所述食材处于第二成熟状态的情况下，向第一对象的移动终端发送第二提示信息。
12.在一个示例性实施例中，使用目标分类网络对所述融合数据进行分类，以确定所述食材的实时成熟状态之后，所述方法还包括：接收所述第一对象的反馈信息；其中，所述反馈信息用于指示所述实时成熟状态是否满足所述第一对象的预设条件；根据所述反馈信息调整所述第一成熟状态，和/或所述第二成熟状态。
13.根据本技术实施例的另一个实施例，还提供了一种成熟状态的确定装置，包括：获取模块，用于通过多个数据采集装置获取位于烤箱设备中的食材的实时数据，其中，所述实时数据包括：图像数据、温度数据和重量数据；融合模块，用于通过多模态融合网络tfn对所述实时数据进行数据融合，得到融合数据；分类模块，用于使用目标分类网络对所述融合数据进行分类，以确定所述食材的实时成熟状态。
14.根据本技术实施例的另一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述成熟状态的确定方法。
15.根据本技术实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的成熟状态的确定方法。
16.在本技术实施例中，通过多个数据采集装置获取位于烤箱设备中的食材的实时数据，其中，该实时数据包括：图像数据、温度数据和重量数据；通过多模态融合网络tfn对获取到的图像数据、温度数据和重量数据的特征向量进行数据融合，得到融合数据；通过使用目标分类网络对得到的融合数据进行分类，以确定该食材的实时成熟状态；采用上述技术方案，解决了相关技术中，智能烤箱设备对烘焙食材的成熟度识别准确度较低等问题，实现了结合食材的多种实时数据，精准识别出食材的成熟度的技术效果。
附图说明
17.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施
例，并与说明书一起用于解释本技术的原理。
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
19.图1是根据本技术实施例的一种可选的成熟状态的确定方法的智能烤箱设备的硬件环境示意图；
20.图2是根据本技术实施例的一种可选的成熟状态的确定方法的流程图；
21.图3是本技术实施例的一种可选的成熟状态的确定方法的流程示意图；
22.图4是根据本技术实施例的一种可选的实时数据的融合方法的结构示意图；
23.图5是根据本技术实施例的一种可选的成熟状态的确定装置的结构框图。
具体实施方式
24.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
25.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.根据本技术实施例的一个方面，提供了一种成熟状态的确定方法。该成熟状态的确定方法广泛应用于智慧家庭(smart home)、智能家居、智能家用设备生态、智慧住宅(intelligence house)生态等全屋智能数字化控制应用场景。可选地，在本实施例中，上述成熟状态的确定方法可以应用于如图1所示的由终端设备102、服务器104和烤箱设备106所构成的硬件环境中。如图1所示，服务器104通过网络与终端设备102进行连接，可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，可在服务器上或独立于服务器配置云计算和/或边缘计算服务，用于为服务器104提供数据运算服务；烤箱设备106通过网络和终端设备102进行连接，可用于烤箱设备106与终端设备102之间进行信息交互。
27.上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：wifi(wireless fidelity，无线保真)，蓝牙。终端设备102可以并不限定于为pc、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能
扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
28.在本实施例中提供了一种成熟状态的确定方法，应用于上述智能烤箱设备，图2是根据本技术实施例的一种可选的成熟状态的确定方法的流程图，该流程包括如下步骤：
29.步骤s202，通过多个数据采集装置获取位于烤箱设备中的食材的实时数据，其中，所述实时数据包括：图像数据、温度数据和重量数据；
30.步骤s204，通过多模态融合网络tfn对所述实时数据进行数据融合，得到融合数据；
31.步骤s206，使用目标分类网络对所述融合数据进行分类，以确定所述食材的实时成熟状态。
32.通过上述步骤，通过多个数据采集装置获取位于烤箱设备中的食材的实时数据，其中，该实时数据包括：图像数据、温度数据和重量数据；通过多模态融合网络tfn对获取到的图像数据、温度数据和重量数据的特征向量进行数据融合，得到融合数据；通过使用目标分类网络对得到的融合数据进行分类，以确定该食材的实时成熟状态；采用上述技术方案，解决了相关技术中，智能烤箱设备对烘焙食材的成熟度识别准确度较低等问题，实现了结合食材的多种实时数据，精准识别出食材的成熟度的技术效果。
33.在一个示例性实施例中，通过多个数据采集装置获取位于烤箱设备中的食材的实时数据，包括：通过位于所述烤箱设备内侧顶部的图像采集装置获取所述食材的图像数据，通过位于所述烤箱设备内的温度采集装置获取所述食材的温度数据，以及通过位于所述烤箱设备内侧底部的重量采集装置获取所述食材的重量数据。
34.为了精准实时地获取到烤箱设备中食材的实时数据，在烤箱设备内的不同位置设置不同的数据采集装置，在烤箱设备内侧顶部设置图像采集装置，以便于能够清晰地获取食材的图像数据；在烤箱设备内设置温度采集装置，以便于实时监测烤箱内食材的温度；在烤箱设备内侧底部设置重量采集装置实时监测食材的重量。
35.需要说明的是，本发明实施例的多数据融合指的是对食材的图像数据，食材的温度数据以及食材的重量数据的融合，本发明实施例的多数据融合还可以包括对所述食材的湿度数据，所述食材的体积数据，本技术实施例对此不进行限定。
36.基于上述步骤，通过多模态融合网络tfn对所述实时数据进行数据融合，得到融合数据，包括：获取所述图像数据的第一特征向量h
x
，所述温度数据的第二特征向量hy，以及所述重量数据的第三特征向量hz；通过以下公式对所述第一特征向量h
x
，所述温度数据的第二特征向量hy，以及所述重量数据的第三特征向量hz进行融合，得到所述融合数据hm：
37.在获取到烤箱设备内的食材的图像数据、温度数据以及重量数据之后，需要通过tensor fusion netwok(多模张量融合网络，tfn)方法对上述食材的实时数据进行数据融合，tfn可以理解为是一种通过矩阵运算进行融合特征融合的多模态网络，因此需要先获取上述实时数据分别对应的特征向量，即获取图像数据的第一特征向量h
x
，温度数据的第二特征向量hy，重量数据的第三特征向量hz，通过矩阵的直积运算，利用公式
计算出融合数据hm，其中，特征向量为列向量，为特征向量运算过程中形成的另一矩阵。
38.此外，在使用目标分类网络对所述融合数据进行分类，以确定所述食材的实时成熟状态之前，所述方法还包括：根据图像检测算法对所述图像数据进行识别，以确定所述食材的食材类别；从多个分类网络中确定与所述食材类别对应的目标分类网络；其中，所述多个分类网络分别与多个食材类别一一对应。
39.可以理解的是，在实际应用过程中，可以采用不同的传统深度学习网络作为分类网络的主干网络，从而得到多种目标分类网络，具体而言，传统深度学习网络包括：vgg、深度残差网络resnet、密集卷积网络densenet、googlenet；通过采用不同的传统深度学习网络作为分类网络的主干网络得到的目标分类网络，具备不同的分类效果，因此可以根据不同的分类效果将其分别应用于不同的食材的成熟度识别，故先对获取到的图像数据使用图像检测算法进行识别，确定出烤箱设备中的食材类别，进而根据食材类别匹配出最适合的目标分类网络，以便于更精准地进行分类。
40.需要说明的是，上述传统深度学习网络的特点分别为：
41.vgg：通过反复堆叠3*3的小型卷积核和2*2的最大池化层，不断加深网络结构来提升性能，成功地构筑了16-19层深的卷积神经网络；
42.深度残差网络resnet：解决了深度网络的退化问题；
43.密集卷积网络densenet：将每个层以前馈方式连接到每个其它层，具有l层的传统卷积网络具有l个连接——每个层与其后续层之间有一个连接——我们的网络层具有(l+1)/2个连接，对于每个层，所有先前层的特征图都用作输入，而其自己的特征图则用作所有后续层的输入。而密集卷积网络densenet的优点在于：它们减轻了梯度消失的问题，加强了特征的传播，鼓励了功能的重用并大大减少了参数数量。
44.googlenet：将全连接甚至一般的卷积都转化为稀疏连接。
45.基于上述步骤，使用目标分类网络对所述融合数据进行分类，以确定所述食材的实时成熟状态之后，所述方法还包括：在所述食材的实时成熟状态指示所述食材处于第一成熟状态的情况下，向第一对象的移动终端发送第一提示信息；其中，所述第一提示信息用于指示所述食材已处于可食用状态；和/或在所述食材的实时成熟状态指示所述食材的处于第二成熟状态的情况下，向第一对象的移动终端发送第二提示信息；其中，所述第二提示信息用于指示所述食材禁止再继续烹饪，所述第一成熟状态的成熟度小于所述第二成熟状态的成熟度。
46.对于部分食物，例如蛋糕，在烘焙过程中温度达到140度左右时就已经成熟了，如果继续烘焙到160度左右，就会烤得比较老，但如果超过某个温度，如180度，再继续烘焙就会烤糊；而对于不同的用户而言，部分用户吃蛋糕可能喜欢更软糯一些，而有些用户则喜欢吃老一些；因此，在烤箱运转过程中，在检测到烤箱内食材的实时成熟状态为第一成熟状态时，即指示该食材已可食用，烤箱设备会向用户的移动终端发送第一提示信息；而如果用户忘记停止烤箱或用户想继续烘焙食材，则烤箱会继续运转，当识别出的食材的实时成熟状态为第二成熟状态时，即指示该食材已不可再继续烘焙，烤箱设备则会向用户的移动终端发出第二提示信息，用于提醒用户停止烘焙食材，以避免食材烤糊无法食用。
47.在一个示例性实施例中，向第一对象的移动终端发送第一提示信息之前，或向第一对象的移动终端发送第二提示信息之前，所述方法还包括：获取将所述食材放入所述烤箱设备的目标对象的生物特征；根据所述目标对象的生物特征确定所述目标对象是否为所述第一对象；在所述目标对象为所述第一对象的情况下，为所述第一对象设置以下提醒流程：在所述食材的实时成熟状态指示所述食材处于第一成熟状态的情况下，向第一对象的移动终端发送第一提示信息，以及在所述食材的实时成熟状态指示所述食材处于第二成熟状态的情况下，向第一对象的移动终端发送第二提示信息。
48.在实际应用过程中，烤箱设备可能被不同的使用者使用，为了避免在女主人使用烤箱设备时将提示信息误发送到男主人的绑定设备中，故为烤箱设备添加身份识别功能，在用户将待烘焙食材放入烤箱设备时，烤箱设备获取用户的生物特征，确定出该用户的身份，进而在本次烘焙过程中，将所有的提示信息发送到识别出的用户所绑定的移动终端设备中，例如，男主人放入烤鸡开始烘焙，烤箱设备识别出使用者的身份为男主人，则将交互通道切换到男主人的手机设备中，在烤鸡的实时成熟状态为第一成熟状态时，把第一提示信息发送到男主人的手机设备中；在烤鸡的实时成熟状态为第二成熟状态时，则将第二提示信息发送到男主人的手机设备中。
49.此外，使用目标分类网络对所述融合数据进行分类，以确定所述食材的实时成熟状态之后，所述方法还包括：接收所述第一对象的反馈信息；其中，所述反馈信息用于指示所述实时成熟状态是否满足所述第一对象的预设条件；根据所述反馈信息调整所述第一成熟状态，和/或所述第二成熟状态。
50.在使用目标分类网络对融合数据进行分类得到该食材的实时成熟状态之后，会在烤箱设备和用户的绑定移动终端设备上同步更新食材的烘焙实时成熟状态，并显示出该食材的第一成熟状态和第二成熟状态所对应的食材的具体状态，用户可以在绑定的移动终端设备上根据自己的口味来调节该食材的第一成熟状态和第二成熟状态，例如用户喜欢吃略焦一些的烤鸭，就可以在移动终端上对第一成熟状态进行调节，调节到烤鸭皮更焦的状态，让烤鸭在烤到用户设置的第一成熟状态后发出提醒让用户停止烘焙。
51.为了更好的理解上述成熟状态的确定方法的过程，以下再结合可选实施例对上述成熟状态的确定方法的实现方法流程进行说明，但不用于限定本技术实施例的技术方案。
52.图3是本技术实施例的一种可选的成熟状态的确定方法的流程示意图，如图3所述，提供了一种成熟状态的确定方法，包括：
53.烤箱设备通过烤箱设备内置的摄像头、温度传感器和重力传感器设备按照预设周期定期获取烤箱内正在烘焙的食材的图像数据、温度数据和重量数据，通过tfn方法对获取到的食材的图像数据、温度数据和重量数据进行数据融合，将融合得到的结果输入到分类网络中进行分类，分类得到的结果即为食材的实时成熟状态；采用上述技术方案，解决了相关技术中，智能烤箱设备对烘焙食材的成熟度识别准确度较低等问题，实现了结合食材的多种实时数据，精准识别出食材的成熟度的技术效果。
54.在本实施例中提供了一种实时数据的融合方法，图4是根据本技术实施例的一种可选的实时数据的融合方法的结构示意图，如图4所示：
55.通过多个数据采集装置获取到烤箱设备内的食材的实时数据后，获取到三种模态(图像数据、温度数据和重量数据)的数据的三个特征向量h
x
，hy，hz；通过公式
计算出融合后的结果，如图4所示。
56.通过上述步骤，对获取到的三种模态数据进行数据融合，以用于后续的分类，得到综合多模态数据的成熟度分类结果；采用上述技术方案，解决了相关技术中，智能烤箱设备对烘焙食材的成熟度识别准确度较低等问题，实现了结合食材的多种实时数据，精准识别出食材的成熟度的技术效果。
57.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例的方法。
58.图5是根据本技术实施例的一种可选的成熟状态的确定装置的结构框图；如图5所示，包括：
59.采集模块52，用于通过多个数据采集装置获取位于烤箱设备中的食材的实时数据，其中，所述实时数据包括：图像数据、温度数据和重量数据；
60.融合模块54，用于通过多模态融合网络tfn对所述实时数据进行数据融合，得到融合数据；
61.分类模块56，用于使用目标分类网络对所述融合数据进行分类，以确定所述食材的实时成熟状态。
62.通过上述装置，通过多个数据采集装置获取位于烤箱设备中的食材的实时数据，其中，该实时数据包括：图像数据、温度数据和重量数据；通过多模态融合网络tfn对获取到的图像数据、温度数据和重量数据的特征向量进行数据融合，得到融合数据；通过使用目标分类网络对得到的融合数据进行分类，以确定该食材的实时成熟状态；采用上述技术方案，解决了相关技术中，智能烤箱设备对烘焙食材的成熟度识别准确度较低等问题，实现了结合食材的多种实时数据，精准识别出食材的成熟度的技术效果。
63.在一个示例性实施例中，所述采集模块，包括：通过位于所述烤箱设备内侧顶部的图像采集装置获取所述食材的图像数据，通过位于所述烤箱设备内的温度采集装置获取所述食材的温度数据，以及通过位于所述烤箱设备内侧底部的重量采集装置获取所述食材的重量数据。
64.为了精准实时地获取到烤箱设备中食材的实时数据，在烤箱设备内的不同位置设置不同的数据采集装置，在烤箱设备内侧顶部设置图像采集装置，以便于能够清晰地获取食材的图像数据；在烤箱设备内设置温度采集装置，以便于实时监测烤箱内食材的温度；在烤箱设备内侧底部设置重量采集装置实时监测食材的重量。
65.基于上述步骤，所述融合模块，还用于获取所述图像数据的第一特征向量h
x
，所述温度数据的第二特征向量hy，以及所述重量数据的第三特征向量hz；通过以下公式对所述第一特征向量h
x
，所述温度数据的第二特征向量hy，以及所述重量数据的第三特征向量hz进行融合，得到所述融合数据hm：
66.在获取到烤箱设备内的食材的图像数据、温度数据以及重量数据之后，需要通过tensor fusion netwok(多模张量融合网络，tfn)方法对上述食材的实时数据进行数据融合，tfn可以理解为是一种通过矩阵运算进行融合特征融合的多模态网络，因此需要先获取上述实时数据分别对应的特征向量，即获取图像数据的第一特征向量h
x
，温度数据的第二特征向量hy，重量数据的第三特征向量hz，通过矩阵的直积运算，利用公式计算出融合数据hm，其中，特征向量为列向量，为特征向量运算过程中形成的另一矩阵。
67.此外，所述分类模块，还用于根据图像检测算法对所述图像数据进行识别，以确定所述食材的食材类别；从多个分类网络中确定与所述食材类别对应的目标分类网络；其中，所述多个分类网络分别与多个食材类别一一对应。
68.可以理解的是，在实际应用过程中，可以采用不同的传统深度学习网络作为分类网络的主干网络，从而得到多种目标分类网络，具体而言，传统深度学习网络包括：vgg、深度残差网络resnet、密集卷积网络densenet、googlenet；通过采用不同的传统深度学习网络作为分类网络的主干网络得到的目标分类网络，具备不同的分类效果，因此可以根据不同的分类效果将其分别应用于不同的食材的成熟度识别，故先对获取到的图像数据使用图像检测算法进行识别，确定出烤箱设备中的食材类别，进而根据食材类别匹配出最适合的目标分类网络，以便于更精准地进行分类。
69.基于上述步骤，所述分类模块，还用于在所述食材的实时成熟状态指示所述食材处于第一成熟状态的情况下，向第一对象的移动终端发送第一提示信息；其中，所述第一提示信息用于指示所述食材已处于可食用状态；和/或在所述食材的实时成熟状态指示所述食材的处于第二成熟状态的情况下，向第一对象的移动终端发送第二提示信息；其中，所述第二提示信息用于指示所述食材禁止再继续烹饪，所述第一成熟状态的成熟度小于所述第二成熟状态的成熟度。
70.对于部分食物，例如蛋糕，在烘焙过程中温度达到140度左右时就已经成熟了，如果继续烘焙到160度左右，就会烤得比较老，但如果超过某个温度，如180度，再继续烘焙就会烤糊；而对于不同的用户而言，部分用户吃蛋糕可能喜欢更软糯一些，而有些用户则喜欢吃老一些；因此，在烤箱运转过程中，在检测到烤箱内食材的实时成熟状态为第一成熟状态时，即指示该食材已可食用，烤箱设备会向用户的移动终端发送第一提示信息；而如果用户忘记停止烤箱或用户想继续烘焙食材，则烤箱会继续运转，当识别出的食材的实时成熟状态为第二成熟状态时，即指示该食材已不可再继续烘焙，烤箱设备则会向用户的移动终端发出第二提示信息，用于提醒用户停止烘焙食材，以避免食材烤糊无法食用。
71.在一个示例性实施例中，所述采集模块，还用于获取将所述食材放入所述烤箱设备的目标对象的生物特征；根据所述目标对象的生物特征确定所述目标对象是否为所述第一对象；在所述目标对象为所述第一对象的情况下，为所述第一对象设置以下提醒流程：在所述食材的实时成熟状态指示所述食材处于第一成熟状态的情况下，向第一对象的移动终端发送第一提示信息，以及在所述食材的实时成熟状态指示所述食材处于第二成熟状态的情况下，向第一对象的移动终端发送第二提示信息。
72.在实际应用过程中，烤箱设备可能被不同的使用者使用，为了避免在女主人使用
烤箱设备时将提示信息误发送到男主人的绑定设备中，故为烤箱设备添加身份识别功能，在用户将待烘焙食材放入烤箱设备时，烤箱设备获取用户的生物特征，确定出该用户的身份，进而在本次烘焙过程中，将所有的提示信息发送到识别出的用户所绑定的移动终端设备中，例如，男主人放入烤鸡开始烘焙，烤箱设备识别出使用者的身份为男主人，则将交互通道切换到男主人的手机设备中，在烤鸡的实时成熟状态为第一成熟状态时，把第一提示信息发送到男主人的手机设备中；在烤鸡的实时成熟状态为第二成熟状态时，则将第二提示信息发送到男主人的手机设备中。
73.此外，所述分类模块，还用于接收所述第一对象的反馈信息；其中，所述反馈信息用于指示所述实时成熟状态是否满足所述第一对象的预设条件；根据所述反馈信息调整所述第一成熟状态，和/或所述第二成熟状态。
74.在使用目标分类网络对融合数据进行分类得到该食材的实时成熟状态之后，会在烤箱设备和用户的绑定移动终端设备上同步更新食材的烘焙实时成熟状态，并显示出该食材的第一成熟状态和第二成熟状态所对应的食材的具体状态，用户可以在绑定的移动终端设备上根据自己的口味来调节该食材的第一成熟状态和第二成熟状态，例如用户喜欢吃略焦一些的烤鸭，就可以在移动终端上对第一成熟状态进行调节，调节到烤鸭皮更焦的状态，让烤鸭在烤到用户设置的第一成熟状态后发出提醒让用户停止烘焙。
75.本技术的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。
76.可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
77.s1，通过多个数据采集装置获取位于烤箱设备中的食材的实时数据，其中，所述实时数据包括：图像数据、温度数据和重量数据；
78.s2，通过多模态融合网络tfn对所述实时数据进行数据融合，得到融合数据；
79.s3，使用目标分类网络对所述融合数据进行分类，以确定所述食材的实时成熟状态。
80.本技术的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
81.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
82.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
83.s1，通过多个数据采集装置获取位于烤箱设备中的食材的实时数据，其中，所述实时数据包括：图像数据、温度数据和重量数据；
84.s2，通过多模态融合网络tfn对所述实时数据进行数据融合，得到融合数据；
85.s3，使用目标分类网络对所述融合数据进行分类，以确定所述食材的实时成熟状态。
86.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
87.可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
88.显然，本领域的技术人员应该明白，上述的本技术的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本技术不限制于任何特定的硬件和软件结合。
89.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。