一种智能冰箱及食材管理方法与流程

1.本技术涉及智能家居技术领域，特别涉及一种智能冰箱及食材管理方法。


背景技术：

2.人工智能已经深入到各行各业，家电的智能化已经成为家电产业发展的重要方向。冰箱作为厨房乃至家庭中的核心家电之一，可为家庭成员提供智能化服务。食材管理是智能冰箱的基本功能之一，是其他智能管理功能的基础。
3.因此，如何提高食材管理的智能化，是智能冰箱领域需要解决的问题。


技术实现要素：

4.本技术示例性的实施方式中提供一种智能冰箱及食材管理方法，以提高智能冰箱食材管理的智能化。
5.根据示例性的实施方式中的一方面，提供一种智能冰箱，所述冰箱包括：箱体、制冷部，所述箱体上安装有门体；
6.所述箱体内的至少一个隔层设置有重量传感器，所述重量传感器用于检测所在隔层内的食材的重量；
7.所述箱体上设置有摄像头模组，其在所述门体被打开时采集所述箱体前侧区域内的图像；
8.所述重量传感器和所述摄像头模组连接于控制器，所述控制器被配置为：
9.获取所述摄像头模组采集的用户手部存取食材的图像并进行识别，得到被存取的食材的种类；
10.获取所述箱体内的隔层设置的重量传感器的检测数据，得到相应隔层内的食材的重量变化；
11.根据所述食材的种类和所述重量变化，更新所述智能冰箱的食材数据库中所述被存取的食材的信息。
12.本技术的一些实施例中，所述控制器被进一步配置为：当所述门体被打开时，检测所述摄像头采集的图像；当检测到手部时，抓取图像，并对抓取的图像进行识别，得到被存取的食材的种类。
13.本技术的一些实施例中，所述控制器被进一步配置为：当根据所述摄像头模组采集的图像检测到存动作或取动作完成后，获取所述箱体内的隔层设置的重量传感器的检测数据。
14.本技术的一些实施例中，所述控制器被进一步配置为：将获取到的各隔层设置的重量传感器的检测数据，与相应隔层之前最近一次记录的重量传感器检测数据进行比对，确定食材重量发生变化的隔层；根据所述食材的种类，更新食材重量发生变化的隔层中相应种类的食材的信息。
15.本技术的一些实施例中，所述门体上设置有显示屏，所述显示屏与所述控制器连
接，用于显示所述智能冰箱的食材数据库中的食材的信息。
16.本技术的一些实施例中，所述显示屏在所述被存取的食材的重量低于设定阈值时显示提示信息，所述提示信息用于提示所述被存取的食材的存储量过低。
17.本技术的一些实施例中，所述控制器被进一步配置为：当所述被存取的食材的重量低于设定阈值时向用户终端发送提示信息，所述提示信息用于提示所述被存取的食材的存储量过低；或者，响应用户终端的查询请求，将所述智能冰箱的食材数据库中的食材的信息发送给所述用户终端。
18.本技术的一些实施例中，所述箱体内的每个隔层分别设置有重量传感器。
19.本技术的一些实施例中，所述智能冰箱的食材数据库中存储有以下信息：食材的种类、食材的重量、食材所在的隔层。
20.根据示例性的实施方式中的一方面，提供一种食材管理方法，应用于智能冰箱，包括：
21.当所述门体被打开时，获取所述智能冰箱上设置的摄像头模组采集的用户手部存取食材的图像并进行识别，得到被存取的食材的种类；
22.获取所述箱体内的隔层设置的重量传感器的检测数据，得到相应隔层内的食材的重量变化；
23.根据所述食材的种类和所述重量变化，更新所述智能冰箱的食材数据库中所述被存取的食材的信息。
24.本技术的上述实施例中，通过设置在智能冰箱上的摄像头模组采集智能冰箱前侧区域内的图像并识别所存取的食材的种类，通过设置在智能冰箱内的隔层中设置的重量传感器检测相应隔层内食材重量的变化，从而基于检测到的食材种类和重量变化来更新智能冰箱的食材数据库，提高了智能冰箱食材管理的智能化。
25.在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本技术各较佳实施例。
附图说明
26.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
27.图1a示例性示出了本技术实施例中的智能冰箱关闭状态的示意图；
28.图1b示例性示出了本技术实施例中的智能冰箱打开状态的示意图；
29.图2示例性示出了本技术实施例中冰箱前侧区域的示意图；
30.图3示例性示出了本技术实施例中智能冰箱的控制器的功能结构示意图；
31.图4示例性示出了本技术实施例提供的食材管理方法的流程示意图；
32.图5示例性示出了本技术实施例中判断用户存取食材动作的示意图；
33.图6示例性示出了本技术实施例中智能冰箱显示屏所显示的用户界面的示意图。
具体实施方式
34.下面将结合附图对本技术实施例中的技术方案进行清除、详尽地描述。其中，在本技术实施例的描述中，除非另有说明，
″
/
″
表示或的意思，例如，a/b可以表示a或b；文本中的
″
和/或
″
仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，另外，在本技术实施例的描述中，
″
多个
″
是指两个或多于两个。
35.以下，术语
″
第一
″
、
″
第二
″
仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有
″
第一
″
、
″
第二
″
的特征可以明示或者隐含地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，
″
多个
″
的含义是两个或两个以上。
36.冰箱中食材信息的智能化管理已成为当前冰箱发展的趋势之一。而食材管理是基于掌握冰箱中食材正确的种类与储量实现的。由于往冰箱存放的食材种类繁多复杂，且用户每次存取食材的量不固定，加上某些食材单位属性模糊，单纯的图像识别无法正确识别出食材的数量，这就会导致冰箱无法有效的进行食材管理。例如：从冰箱中取出部分某类食材，单纯的图像识别容易认为是将该食材全部取出。如果仅利用重量传感器测量食材重量，单纯的重量传感器只能测量重量，无法准确识别出是哪种食材，尤其是当用户进行多次存取动作时，重量传感器发生明显变化，却不知是哪类食材储量发生了变化。
37.基于此，本技术实施例提出了一种结合图像与重量传感器的食材管理方法，本技术实施例中，通过图像识别，获取食材种类以及存取食材动作，通过重量传感器，获取用户本次动作存取食材的重量。将两者获取的信息，结合数据库，可以准确掌握目前冰箱食材储量，实现智能冰箱的食材管理功能。
38.采用本技术实施例，用户每次进行存取食材时，都可以有效获取该次存取食材信息。本技术实施例有效的解决了食材存取部分(一小捆、一袋、一盒、半盒等)情况下，用户同一时间下多次存取食材的情况下掌握现有食材存量的问题。
39.下面结合附图对本技术实施例进行详细描述。
40.图1a和图1b示例性示出了本技术实施例提供的一种智能冰箱的结构。
41.如图1a所示，智能冰箱包括箱体10、制冷部(未在图中示出)以及其他附件(比如箱体内可设置照明灯、温度计等，未在图中示出)。制冷系统中主要组成有压缩机、冷凝器、蒸发器和毛细管节流器等部件，自成一个封闭的循环系统。其中，蒸发器可安装在智能冰箱内部的上方，其他部件安装在智能冰箱的背面。
42.箱体10安装有门体20，门体20上可进一步设置有显示屏50，显示屏50与控制器耦接(如通过电路连接)。
43.在箱体10上还可设置摄像头模组30，该摄像头模组可采集箱体10前侧区域内的图像。其中，以冰箱门所在平面为第一平面，箱体10前侧区域至少包括已第一平面为基准，向冰箱外方向扩展一定距离的区域，摄像头模组可采集该区域的图像，即能够拍摄到用户打开门体20后进行食材存取过程中的手部动作图像以及所存取的食材的图像。
44.图2示例性示出了箱体10前侧区域的示意。如图所示，智能冰箱门体关闭状态下所在的平面称为平面h2，距离平面h2为d的平面称为平面h1，平面h1与平面h2平行，则平面h1和平面h2之间的空间为箱体10前侧区域。摄像头模组至少要能够采集该区域的图像。其中，
d的取值可根据人体手臂长度参数以及图像识别精度等因素设置，比如可设置为25cm～35cm之间。
45.在一些实施例中，摄像头模组30可设置在箱体10的上部靠近门体20的位置，以便能够拍摄箱体10前侧区域内的图像。
46.在一些实施例中，摄像头模组30可设置在固定部件上，该固定部件可使得摄像头模组的镜头探出门体20所在的平面一定距离，以便能够更好地拍摄箱体10前侧区域内的图像。当用户打开门体时可触发该摄像头模组开启，当用户关闭门体时可触发该摄像头模组关闭。本技术实施例对该固定部件的形状、连接方式以及材料不做限制。
47.在另一些实施例中，摄像头模组30可设置在活动部件上，该活动部件可在门体20被打开时将摄像头模组30弹出，使得摄像头模组30探出门体20所在的平面一定距离，当门体20被关闭时，该活动部件将摄像头模组30收回。该活动部件可采用机械连接方式或其他方式与门体20进行联动，使得门体20在被打开和关闭时触发该活动部件的控制摄像头模组。在一些实施例中，该活动部件还可包括摄像头保护盖，在将摄像头模组弹出后打开该保护盖并启动摄像头模组，在将摄像头模组收回后关闭该保护盖并关闭摄像头模组，从而一方面对摄像头模组起到保护作用，一方面节省电源开销。
48.如图1b所示，智能冰箱的箱体10中可包括多个隔层(如图中的隔层50a至隔层50e)，以方便用户对不同食材进行分类存储。本技术实施例中，在至少一个隔层设置重量传感器(未在图中示出)，用来检测所在隔层中的食材的重量。可将重量传感器安装在隔层的下面，以便更准确的检测食材的重量。在一些实施例中，可在每个隔层均设置重量传感器。
49.需要说明的是，图1a和图1b所示的智能冰箱的结构仅为一种示例，本技术实施例对智能冰箱的大小、以及对门体的数量(比如可以是单个门体，也可以是多个门体)等不做限制。
50.本技术实施例提供的智能冰箱中包括控制器(未在图1a和图1b中示出)，该控制器与重量传感器和摄像头模组耦接(比如通过电路连接)，该控制器可在当智能冰箱的门体被打开时，识别摄像头模组采集的图像，得到被存取的食材的种类；获取智能冰箱箱体内的隔层上设置的重量传感器的检测数据，得到相应隔层内的食材的重量变化；根据识别得到的食材的种类和检测到的重量变化，更新该智能冰箱的食材数据库中该被存取的食材的信息。
51.基于上述控制器所实现的功能，图3示例性示出了该控制器的功能结构。
52.图3示例性示出了本技术实施例中的智能冰箱控制器的功能结构示意图。如图所示，该控制器300可包括以下功能模块：图像识别模块301、重量检测模块302、更新模块303。
53.在智能冰箱的门体被打开后，图像识别模块301获取摄像头模组采集的用户手部存取食材的图像并进行识别，若识别得到用户存取的食材的种类，则将识别到的食材的种类信息传递给更新模块303。
54.重量检测模块302检测各隔层内的食材的重量，将当前检测到的各隔层内的食材的重量与重量数据库304中记录的各隔层内的食材的重量进行比较，由于重量数据库304中记录了不同检测时刻各隔层内的食材的重量，因此可以将上一次检测的重量与当前检测的重量进行比对，若判断出某个隔层的重量发生了变化，则表明所存取的食材位于该隔层，并可以计算得到重量变化的数值。重量检测模块302将确定出的所存取的食材所在隔层的信
息以及重量变化数值传递给更新模块303。
55.更新模块303根据图像识别模块301传递来的所存取的食材的种类，以及重量检测模块302传递来的隔层信息和重量数值，更新食材数据库305中该种类的食材的信息。
56.本技术实施例中，食材数据库中可包括：食材的种类、食材的重量、食材所在的隔层。进一步地，还可包括存取的时间。表1示例性示出了一种食材数据库的内容。
57.表1
[0058][0059][0060]
表1
·
中，
″
存取时间
″
为最近一次的存取时间。
[0061]
根据上述表1，若图像识别模块301传递来的食材的种类为
″
苹果
″
，重量检测模块传递来的数据为
″
隔层3，-500g(即减少500g)
″
，则更新模块303将食材数据库中隔层3中
″
苹果
″
的重量从
″
2000g
″
更新为
″
1500g
″
，并更新存取日期。
[0062]
图4示例性示出了本技术实施例提供的食材管理方法的流程示意图。
[0063]
如图所示，该流程可包括以下步骤：
[0064]
s401：当智能冰箱的门体被打开时，识别摄像头模组采集的智能冰箱箱体前侧区域内的图像，得到被存取的食材的种类。
[0065]
该步骤中，当智能冰箱的门体被打开时，设置在智能冰箱的箱体上的摄像头模组被启动，该摄像头模组采集智能冰箱箱体前侧区域内的图像，并将采集到的图像传递给控制器。
[0066]
为了减少识别食材种类所需要的处理开销，在一些实施例中，可先进行手部的检测，当检测到手部时，进行图像抓取，并对抓取的图像进行食材种类的识别。其中，若检测到手部，则表明用户很可能正在进行食材存取动作。
[0067]
以图2所示的冰箱前侧区域为例，在该区域内对手部动作进行检测，如图5所示，在用户打开冰箱门体后进行食材存取动作的过程中，通过对摄像头模组采集的一系列图像进行识别，如果识别出用户的手部先穿越平面h1，再穿越平面h2，则判断用户进行了一次存动作(如图5中所示的按照时间顺序手部的运动)，如果识别出用户的手部先穿越平面h2，再穿越平面h1，则判断用户进行了一次取动作。用户每次操作时，无论是存食材还是取食材，手部都要先进行存动作再进行取动作。
[0068]
控制器根据摄像头模组采集的图像，识别出用户的手部，则抓取图像，并对抓取的图像进行识别，以得到所存取的食材的种类。进一步地，当检测到食材时，可根据用户此时的动作，决策出用户本次操作行为，比如，若在存动作时检测到食材，则判定用户当前为存放食材，若在取动作时检测到食材，则判定用户当前为拿取食材。
[0069]
在一些实施例中，对于手部或存取动作的检测，可通过机器学习或深度神经网络训练分类器进行检测。当检测到手部时，抓取图像，对于抓取的图像进行食材识别。可通过成熟的深度学习方法进行食材识别，以得到食材种类信息。用于进行图像识别所使用的神经网络可以是但不限于(深度)神经网络、卷积神经网络、深度置信网络、深度堆栈神经网络、深度融合网络、深度递归神经网络、深度循环神经网络、深度贝叶斯神经网络、深度生成网络、深度强化学习等网络结构的一种或其衍生模型。无论采用哪种深度神经网络，都不影响本技术实施例的实质。
[0070]
s402：获取智能冰箱箱体内的隔层设置的重量传感器的检测数据，得到相应隔层内的食材的重量变化。
[0071]
该步骤中，当根据摄像头模组采集的图像检测到存动作或取动作完成后，获取智能冰箱箱体内各隔层设置的重量传感器的检测数据，以保证重量传感器的检测数据获取过程没有过多延迟，从而保证获取本次食材存取动作所导致的食材重量变化。
[0072]
举例来说，当根据摄像头模组采集的图像，检测到在冰箱前侧区域内，用户的手部完全离开平面h2，触碰平面h1时，读取各隔层设置的重量传感器的检测数据。
[0073]
本技术实施例中，智能冰箱可维护重量数据库，用于记录各隔层设置的传感器在每次用户的食材存取动作后的检测数据。这样，可将当前读取的各隔层的重量传感器的检测数据与重量数据库中最近时刻相应隔层的重量传感器的检测数据进行对比，从而确定出本次用户食材存取动作所对应的隔层以及该隔层食材重量变化的数值。具体地，根据比对结果，若发现某个隔层的重量传感器的检测数据的数值有所增加，则可判定用户向该隔层存放了食材，并可根据该隔层重量传感器检测数据的数值变化计算出本次所存放的食材的重量；如果根据对比结果发现某个隔层的重量传感器的检测数据的数值所有减少，则可判定用户从该隔层拿取了食材，并可根据该隔层重量传感器检测数据的数值变化计算出本次拿取的食材的重量。
[0074]
s403：根据识别得到的食材的种类和重量变化，更新智能冰箱的食材数据库中被存取的食材的信息。
[0075]
该步骤中，根据发生重量变化的隔层可确定用户食材存取动作所对应的隔层，根据识别得到的食材的种类，可确定出用户对该隔层内的该类型的食材进行了存取操作，根据该隔层内食材的重量变化，可确定用户针对该隔层内的该类型的食材存取了多少，从而对食材数据库中该隔层中相应种类的食材的信息进行更新。上述过程中，可以根据隔层内食材的重量变化确定用户进行的是食材存动作还是取动作，当然也可以结合对摄像头模组采集到的图像进行用户手部检测，来确定用户进行的是食材存动作还是取动作。
[0076]
食材数据库中的内容可如表1所示。根据本次存取操作过程中所识别得到的食材类型、隔层位置和重量变化数值，查询该食材数据库，如果在数据库的食材信息库中，找到对应隔层相应种类的食材信息，则根据重量变化数值(或进一步结合手部检测结果)确定是存食材操作还是取食材操作，更新对应隔层内的相应种类的食材的重量。
[0077]
具体地，若用户进行的是存动作，则可能存在以下几种情况：
[0078]
情况1：若该隔层没有该食材信息，则在食材数据库中记录本次增加的食材种类以及增加的食材重量，并可进一步将用户本次动作记录至数据库中；
[0079]
情况2：若该层有该食材信息，则在食材数据库中在原有该食材重量的基础上，添
加本次存放重量。
[0080]
若用户进行的是取动作，则可能存在以下几种情况：
[0081]
情况1：比较食材之前重量与此时用户拿取的食材重量，若本次拿取的重量小于所记录的该食材的重量，则认为用户取出了部分该类食材，则更新食材数据库中该食材的剩余重量，将该食材重量更新为之前重量减去本次拿取重量；
[0082]
情况2：若本次拿取的重量等于所记录的该食材的重量，那认为本次用户将该食材全部拿出，则在食材数据库中，清除该食材信息数据。
[0083]
其中，对食材数据库的更新操作可包括：更新食材种类信息、食材位置信息、食材重量信息等。
[0084]
针对用户的每次存取动作，均可以通过上述步骤，对食材数据库进行更新。
[0085]
在本技术的一些实施例中，智能冰箱的食材数据库中的食材的信息可显示在智能冰箱的显示屏上，以方便用户查看。图6示出了一种通过显示屏显示食材数据库中的食材新鲜的用户界面示意图，如图所示，通过该用户界面，用户可查看冰箱中各隔层所存储的食材以及食材的重量。
[0086]
在本技术的一些实施例中，可针对不同种类的食材预先设置最低存储量(重量)的阈值，当食材数据库更新后，控制器根据更新后的食材数据库中各类型的食材所对应的最低存储量的阈值，如果判断某类或某些类的食材的重量低于相应食材的最低存储量阈值，则可在智能终端的显示屏上显示提示信息，用以提示用户该类食材的存储量已经过低，用户可根据该提示信息及时进行食材补充。
[0087]
其中，各类型的食材所对应的最低存储量的阈值，可由用户设置，用户可通过智能冰箱提供的设置功能进行上述设置。
[0088]
在本技术的一些实施例中，用户终端上可安装智能家居管理应用程序，通过该应用程序，用户可对智能冰箱进行设置操作，或者接收智能冰箱发送的信息，或者向智能终端发送指令(比如查询指令)。其中，可预先在服务器中设置与该智能冰箱关联的用户终端信息(比如用户终端的呼叫号码)或者用户的相关信息(比如用户的标识)，以便服务器与该用户的用户终端进行通信。其中，所述用户终端包括但不限于：手机、掌上电脑、可穿戴设备等。进一步地，智能终端可与服务器连接，服务器可通过移动通信网络与用户终端进行通信，从而使得用户可通过用户终端与智能冰箱进行远程通信。
[0089]
举例来说，当智能冰箱中的某类或某些类食材的重量低于相应种类食材对应的最低存储量阈值时，智能冰箱可向服务器发送提示信息，以使得服务器将该提示信息发送给目标用户终端，该提示信息用于提示相应种类的食材的存储量过低。用户也可以通过用户终端对该智能冰箱的食材数据库进行查询，该查询请求可通过服务器发送到智能冰箱，以使智能冰箱相应该查询请求，并将查询结果通过服务器发送到用户终端。随时随地通过app查看冰箱食材情况。例如，当用户在外购买食材时，可通过手机端的应用程序查看当前智能冰箱现有食材种类及储量，从而辅助用户购买食材。
[0090]
本技术实施例中，用户可个性化设置食材购买提醒。用户可根据自己的需求，针对某些必需食材，设置食材购买提醒，当这些食材重量小于最低存储量阈值时，在智能冰箱显示屏显示提醒信息，并且还可以将提醒信息发送到用户的手机，以提醒用户尽快补充该食材。
[0091]
本技术的上述实施例中，通过设置在智能冰箱上的摄像头模组采集智能冰箱前侧区域内的图像并识别所存取的食材的种类，通过设置在智能冰箱内的隔层中设置的重量传感器检测相应隔层内食材重量的变化，从而基于检测到的食材种类和重量变化来更新智能冰箱的食材数据库，提高了智能冰箱食材管理的智能化。
[0092]
本技术的上述实施例与单纯依赖图像识别获取食材种类，或者单纯依赖重量传感器获取食材重量变化的方案相比，在食材管理方面，由于本技术实施例中同时结合图像识别食材种类以及基于隔层内的重量传感器检测食材重量，可以有效的掌握每次拿取食材的种类、重量，进而掌握智能冰箱中现有食材情况，有效的进行食材管理。
[0093]
根据示例性的实施方式中的再一方面，本技术实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序指令，当所述指令在计算机上运行时，使得所述计算机执行如上所述的处理方法。
[0094]
由于本技术实施例中的智能终端和计算机存储介质可以应用于上述处理方法，因此，其所能获得的技术效果也可参考上述方法实施例，本技术的实施例在此不再赘述。
[0095]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0096]
虽然以上描述了本技术的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本技术的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本技术的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本技术的保护范围。