一种智能冰箱和食材识别方法与流程

本技术涉及智能家电，尤其涉及一种智能冰箱和食材识别方法。

背景技术：

1、随着科技的发展，智能冰箱因其便捷多样的智能化功能而走进广大用户的家庭中，在智能冰箱领域，食材信息的精准管理已成为冰箱智能化的核心功能。

2、现有技术中，一般在冰箱顶部设置一个摄像头，在用户存取食材的过程中，通过摄像头抓取的图像识别用户存取的是什么食材，由于存取动作的不确定性，会出现摄像头获取的图像存在遮挡，从而导致识别不准确的情况。

3、因此，如何提高食材识别的准确度是亟待解决的技术问题。

技术实现思路

1、本技术实施例提供一种智能冰箱和食材识别方法，用以提高食材识别的准确度。

2、第一方面，本技术实施例提供一种智能冰箱，包括：

3、机壳，内部设有多个储藏室，每个储藏室均有门体；

4、主摄像头和至少两个辅摄像头，用于采集门体活动区域的图像；

5、处理器，被配置为：

6、在门体开关过程中，获取所述主摄像头采集的第一食材图像和每个辅摄像头采集的第二食材图像；

7、基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征；

8、对所述辅助识别特征和所述第一食材图像的图像特征进行融合，得到主识别特征；

9、基于所述主识别特征，确定本次门体开关过程中的食材信息。

10、在一些实施例中，所述处理器具体被配置为：

11、根据每个辅摄像头对中两个辅摄像头的三维位置信息，生成所述辅摄像头对的三维位置向量；

12、将所述三维位置向量输入预先建立的第一多层感知网络，得到所述辅摄像头对的位置特征值；

13、基于各辅摄像头对的位置特征值，生成位置特征矩阵；

14、利用所述位置特征矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。

15、在一些实施例中，所述处理器还被配置为：

16、根据每个辅摄像头对中两个辅摄像头之间的共同覆盖范围，确定所述辅摄像头对的覆盖权重；

17、基于各辅摄像头对的覆盖权重，生成覆盖权重矩阵；

18、利用所述位置特征矩阵和所述覆盖权重矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。

19、在一些实施例中，所述处理器具体被配置为：

20、将所述位置特征矩阵和所述覆盖权重矩阵进行相乘，得到参考矩阵；

21、对各第二食材图像的图像特征进行拼接，得到特征矩阵；

22、将所述参考矩阵和所述特征矩阵输入预先建立的第二多层感知网络，得到所述辅助识别特征。

23、在一些实施例中，所述处理器具体被配置为：

24、将所述辅助识别特征和所述第一食材图像的图像特征输入预先建立的融合网络，得到所述主识别特征。

25、在一些实施例中，所述机壳顶部的外侧设置有摄像头弹出装置，所述摄像头弹出装置设有伸缩杆，所述主摄像设置于所述伸缩杆的端部，所述处理器还被配置为：

26、在满足第一条件时，控制所述伸缩杆弹出，将所述主摄像头的图像采集范围调整至当前打开门体的活动区域；

27、在满足第二条件时，控制所述伸缩杆收缩，将所述主摄像头的图像采集范围调整至原始区域。

28、第二方面，本技术实施例提供一种食材识别方法，包括：

29、获取主摄像头采集的食材的第一食材图像和每个辅摄像头采集的所述食材的第二食材图像；

30、基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征；

31、对所述辅助识别特征和所述第一食材图像的图像特征进行融合，得到主识别特征；

32、基于所述主识别特征，确定本次门体开关过程中的食材信息。

33、在一些实施例中，基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征，包括：

34、根据每个辅摄像头对中两个辅摄像头的三维位置信息，生成所述辅摄像头对的三维位置向量；

35、将所述三维位置向量输入预先建立的第一多层感知网络，得到所述辅摄像头对的位置特征值；

36、基于各辅摄像头对的位置特征值，生成位置特征矩阵；

37、利用所述位置特征矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。

38、在一些实施例中，还包括：

39、根据每个辅摄像头对中两个辅摄像头之间的共同覆盖范围，确定所述辅摄像头对的覆盖权重；

40、基于各辅摄像头对的覆盖权重，生成覆盖权重矩阵；

41、基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征，包括：

42、利用所述位置特征矩阵和所述覆盖权重矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征。

43、在一些实施例中，利用所述位置特征矩阵和所述覆盖权重矩阵，对各第二食材图像的图像特征进行融合，得到所述辅助识别特征，包括：

44、将所述位置特征矩阵和所述覆盖权重矩阵进行相乘，得到参考矩阵；

45、对各第二食材图像的图像特征进行拼接，得到特征矩阵；

46、将所述参考矩阵和所述特征矩阵输入预先建立的第二多层感知网络，得到所述辅助识别特征。

47、在一些实施例中，对所述辅助识别特征和所述第一食材图像的图像特征进行融合，得到主识别特征，包括：

48、将所述辅助识别特征和所述第一食材图像的图像特征输入预先建立的融合网络，得到所述主识别特征。

49、在一些实施例中，智能冰箱的机壳顶部的外侧设置有摄像头弹出装置，所述摄像头弹出装置设有伸缩杆，所述主摄像设置于所述伸缩杆的端部，以及

50、在满足第一条件时，控制所述伸缩杆弹出，将所述主摄像头的图像采集范围调整至当前打开门体的活动区域；

51、在满足第二条件时，控制所述伸缩杆收缩，将所述主摄像头的图像采集范围调整至原始区域。

52、第三方面，本技术实施例提供一种食材识别装置，包括：

53、获取模块，用于获取主摄像头采集的食材的第一食材图像和每个辅摄像头采集的所述食材的第二食材图像；

54、第一融合模块，用于基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征；

55、第二融合模块，用于对所述辅助识别特征和所述第一食材图像的图像特征进行融合，得到主识别特征；

56、识别模块，用于基于所述主识别特征，确定本次门体开关过程中的食材信息。

57、第四方面，本技术实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

58、存储器存储有可被至少一个处理器执行的指令，该指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述数据查询方法。

59、第五方面，本技术实施例提供一种存储介质，当所述存储介质中的计算机程序由电子设备的处理器执行时，所述电子设备能够执行上述任一食材识别方法。

60、本技术实施例中，在门体开关过程中，获取主摄像头采集的第一食材图像和每个辅摄像头采集的第二食材图像，基于各辅摄像头的三维位置信息，对各第二食材图像的图像特征进行融合，得到辅助识别特征，对辅助识别特征和第一食材图像的图像特征进行融合，得到主识别特征，基于主识别特征，确定本次门体开关过程中的食材信息。这样，多个辅摄像头可从不同角度进行图像采集，先将食材在各辅摄像头采集的不同角度的图像中的特征进行融合，得到辅助识别特征，再与主摄像头的图像特征进行融合，得到视角全面的主识别特征，因此，可提高食材识别准确度。