一种冰箱食材录入管理方法、装置及系统与流程

本发明涉及计算机技术领域，特别涉及一种冰箱食材录入管理方法、装置及系统。

背景技术：

通过对冰箱食材录入进行管理，可以了解到各个冰箱用户的需求及喜好，以便为用户提供针对性服务，比如菜谱推荐、食材优惠推送等。

目前，冰箱中设置的摄像头可以拍摄到的冰箱内部图像，服务器通过图像识别，即可了解到冰箱内的食材信息。

但是，用户放置食材时，容易存在不拆除食材包装的情况，从而不利于冰箱食材的准确识别。

技术实现要素：

本发明提供了一种冰箱食材录入管理方法、装置及系统，有利于冰箱食材的准确识别。

为了达到上述目的，本发明是通过如下技术方案实现的：

第一方面，本发明提供了一种冰箱食材录入管理方法，应用于服务器，包括：

接收一冰箱发来的视频流；

通过处理所述视频流，监测所述视频流中是否存在将食材放入冰箱的动作；

在监测到将食材放入冰箱的动作时，识别该食材，若识别成功，记录该食材的食材录入信息，若识别失败，从所述视频流中确定出该食材的食材图像；

存在识别成功的食材时，基于识别出的全部食材，确定食材录入成功奖励信息；

从所述视频流中确定出冰箱门关闭时的食材展示图像，该食材展示图像包括识别出的各个食材的图像；

将记录的各个食材的食材录入信息，对应添加到该食材展示图像中的、各个食材的图像处，得到食材录入展示图像；

将得到的食材录入展示图像和确定出的食材录入成功奖励信息发送给所述冰箱；

以及，

存在识别失败的食材时，生成识别失败通知信息，所述识别失败通知信息包括确定出的、识别失败的各个食材的食材图像；

将所述识别失败通知信息发送给所述冰箱。

进一步地，在所述接收一冰箱发来的视频流之后，进一步包括：

所述视频流中不存在将食材放入冰箱的动作时，从所述视频流中确定出冰箱门打开时的食材展示图像和冰箱门关闭时的食材展示图像；

针对冰箱门关闭时的食材展示图像中的每一个食材的图像，均执行：对于当前食材，判断冰箱门打开时的食材展示图像中是否包括有当前食材的图像，若否，识别当前食材，若识别成功，记录当前食材的食材录入信息；

存在识别成功的食材时，基于识别出的全部食材，确定食材录入成功奖励信息；

将记录的各个食材的食材录入信息，对应添加到冰箱门关闭时的食材展示图像中的、各个食材的图像处，得到食材录入展示图像；

将得到的食材录入展示图像和确定出的食材录入成功奖励信息发送给所述冰箱。

进一步地，在所述确定食材录入成功奖励信息之前，进一步包括：

在监测到将食材移出冰箱的动作时，识别该食材，若识别成功，判断是否记录有该食材的食材录入信息，若是，取消对该食材识别成功的记录，并清除该食材的食材录入信息；

在监测到将食材放入冰箱的动作时，识别该食材，若识别成功，判断是否记录有该食材的食材录入信息，若是，结束当前流程。

进一步地，所述基于识别出的全部食材，确定食材录入成功奖励信息，包括：基于识别出的全部食材，确定包括有，识别出的全部食材的个数、识别出的全部食材对应的奖励值、所述冰箱的包含该奖励值的总奖励值，的食材录入成功奖励信息；

以及，

进一步包括：确定至少一个兑换商品的商品信息和兑换值；

接收所述冰箱发来的奖励兑换请求；

根据所述奖励兑换请求，确定所述冰箱当前的总奖励值；

以兑换值不大于所述冰箱当前的总奖励值的各个兑换商品的商品信息，构建奖励兑换清单，并将所述奖励兑换清单发送给所述冰箱；

接收所述冰箱发来的针对一兑换商品的商品兑换请求；

根据所述商品兑换请求，执行针对该兑换商品的商品兑换处理；

所述商品兑换处理执行完成时，根据所述冰箱当前的总奖励值和该兑换商品的兑换值，计算兑换后剩余的总奖励值；

将针对该兑换商品的兑换成功通知消息和所述兑换后剩余的总奖励值，发送给所述冰箱。

第二方面，本发明提供了一种冰箱食材录入管理方法，应用于冰箱中的控制模块，包括：

监测所述冰箱的冰箱门是否打开，若是，控制所述冰箱内设置的至少一个摄像头启动；

监测所述冰箱门是否关闭，若是，控制所述至少一个摄像头关闭，并将所述至少一个摄像头拍摄到的视频流发送给外部的服务器；

接收所述服务器发来的食材录入展示图像和食材录入成功奖励信息，所述食材录入展示图像包括至少一个食材的图像及其食材录入信息；

控制所述冰箱的显示屏显示所述食材录入展示图像和所述食材录入成功奖励信息；

接收所述服务器发来的、包括有至少一个食材图像的识别失败通知信息；

根据所述识别失败通知信息，控制所述显示屏显示所述至少一个食材图像，以作食材录入失败通知。

进一步地，所述食材录入成功奖励信息包括：所述至少一个食材的个数、所述至少一个食材对应的奖励值、所述冰箱的包含该奖励值的总奖励值；

该方法进一步包括：

接收外部输入的奖励兑换请求，将所述奖励兑换请求发送给所述服务器；

接收所述服务器发来的奖励兑换清单；

控制所述显示屏显示所述奖励兑换清单；

接收外部输入的针对所述奖励兑换清单中的一兑换商品的商品兑换请求，将所述商品兑换请求发送给所述服务器；

接收所述服务器发来的针对所述兑换商品的兑换成功通知消息和兑换后剩余的总奖励值；

控制所述显示屏显示所述兑换成功通知消息和所述兑换后剩余的总奖励值。

第三方面，本发明提供了一种用于执行上述任一所述冰箱食材录入管理方法的服务器，包括：

接收单元，用于接收一冰箱发来的视频流；

第一处理单元，用于通过处理所述视频流，监测所述视频流中是否存在将食材放入冰箱的动作；在监测到将食材放入冰箱的动作时，识别该食材，若识别成功，记录该食材的食材录入信息，若识别失败，从所述视频流中确定出该食材的食材图像；

第二处理单元，用于存在识别成功的食材时，基于识别出的全部食材，确定食材录入成功奖励信息；从所述视频流中确定出冰箱门关闭时的食材展示图像，该食材展示图像包括识别出的各个食材的图像；将记录的各个食材的食材录入信息，对应添加到该食材展示图像中的、各个食材的图像处，得到食材录入展示图像；将得到的食材录入展示图像和确定出的食材录入成功奖励信息发送给所述冰箱；

第三处理单元，用于存在识别失败的食材时，生成识别失败通知信息，所述识别失败通知信息包括确定出的、识别失败的各个食材的食材图像；将所述识别失败通知信息发送给所述冰箱。

第四方面，本发明提供了一种用于执行上述任一所述冰箱食材录入管理方法的冰箱中的控制模块，包括：

检测单元，用于监测所述冰箱的冰箱门是否打开，若是，控制所述冰箱内设置的至少一个摄像头启动；监测所述冰箱门是否关闭，若是，控制所述至少一个摄像头关闭，并将所述至少一个摄像头拍摄到的视频流发送给外部的服务器；

通信单元，用于接收所述服务器发来的食材录入展示图像和食材录入成功奖励信息，所述食材录入展示图像包括至少一个食材的图像及其食材录入信息；接收所述服务器发来的、包括有至少一个食材图像的识别失败通知信息；

处理单元，用于控制所述冰箱的显示屏显示所述食材录入展示图像和所述食材录入成功奖励信息；根据所述识别失败通知信息，控制所述显示屏显示所述至少一个食材图像，以作食材录入失败通知。

第五方面，本发明提供了一种冰箱，包括：冰箱门、至少一个摄像头、显示屏和上述控制模块。

第六方面，本发明提供了一种冰箱食材录入管理系统，包括：上述服务器和至少一个上述冰箱。

本发明提供了一种冰箱食材录入管理方法、装置及系统。服务器监测冰箱发来的视频流中是否存在将食材放入冰箱的动作；若存在则识别该食材；识别成功时记录该食材的食材录入信息，识别失败时从视频流中确定出该食材的食材图像；基于识别出的全部食材，确定食材录入成功奖励信息并发送给冰箱；从视频流中确定出冰箱门关闭时的、包括识别出的各个食材的图像的食材展示图像，并对应添加上记录的各食材录入信息，得到食材录入展示图像并发送给冰箱；存在识别失败的食材时，生成包括确定出的各食材图像的识别失败通知信息并发送给冰箱。食材识别失败时无奖励，故用户获知识别失败的食材后，可拆除食材包装后再次放置，以便于冰箱食材的准确识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种冰箱食材录入管理方法的流程图；

图2是本发明一实施例提供的另一种冰箱食材录入管理方法的流程图；

图3是本发明一实施例提供的又一种冰箱食材录入管理方法的流程图；

图4是本发明一实施例提供的一种服务器的示意图；

图5是本发明一实施例提供的一种冰箱中的控制模块的示意图；

图6是本发明一实施例提供的一种冰箱的示意图；

图7是本发明一实施例提供的一种冰箱食材录入管理系统的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种冰箱食材录入管理方法，应用于服务器，可以包括以下步骤：

步骤101：接收一冰箱发来的视频流。

步骤102：通过处理所述视频流，监测所述视频流中是否存在将食材放入冰箱的动作。

步骤103：在监测到将食材放入冰箱的动作时，识别该食材，若识别成功，记录该食材的食材录入信息，并执行步骤104，若识别失败，从所述视频流中确定出该食材的食材图像，并执行步骤108。

步骤104：存在识别成功的食材时，基于识别出的全部食材，确定食材录入成功奖励信息。

步骤105：从所述视频流中确定出冰箱门关闭时的食材展示图像，该食材展示图像包括识别出的各个食材的图像。

步骤106：将记录的各个食材的食材录入信息，对应添加到该食材展示图像中的、各个食材的图像处，得到食材录入展示图像。

步骤107：将得到的食材录入展示图像和确定出的食材录入成功奖励信息发送给所述冰箱，并结束当前流程。

步骤108：存在识别失败的食材时，生成识别失败通知信息，所述识别失败通知信息包括确定出的、识别失败的各个食材的食材图像。

步骤109：将所述识别失败通知信息发送给所述冰箱。

本发明实施例提供的冰箱食材录入管理方法包括：服务器监测冰箱发来的视频流中是否存在将食材放入冰箱的动作；若存在则识别该食材；识别成功时记录该食材的食材录入信息，识别失败时从视频流中确定出该食材的食材图像；基于识别出的全部食材，确定食材录入成功奖励信息并发送给冰箱；从视频流中确定出冰箱门关闭时的、包括识别出的各个食材的图像的食材展示图像，并对应添加上记录的各食材录入信息，得到食材录入展示图像并发送给冰箱；存在识别失败的食材时，生成包括确定出的各食材图像的识别失败通知信息并发送给冰箱。食材识别失败时无奖励，故用户获知识别失败的食材后，可拆除食材包装后再次放置，以便于冰箱食材的准确识别。

详细地，用户无论放入、拿出还是整理食材，均需开关冰箱门。如此，冰箱门打开后和关闭前，即在冰箱门打开期间，冰箱内的摄像头持续处于工作状态，故用户将食材放入冰箱时的相应图像可以被摄像头拍摄到。冰箱门关闭后，冰箱即可将摄像头拍摄到的视频流发送给服务器。

详细地，冰箱内摄像头的个数可以为一个，也可以为多个，且各个摄像头的位置和镜头朝向可以按需设定，以至少可以采集到用户放入食材时的动作的图像，以及采集到冰箱储物架上所放置的全部食材的图像为准。

服务器收到视频流后，通过分析处理视频流，即可确定出用户是否放入食材，以便作冰箱食材录入管理。具体地，服务器可以监测视频流中是否存在将食材放入冰箱的动作。举例来说，视频流中，上一帧图像中没有出现食材和用户手部，下一帧图像中出现有食材和用户手部时，即可认为监测到食材放入动作。当然，用户多次放入食材时，服务器即可监测到相应次数的食材放入动作。

监测到食材放入动作后，基于相关的任一帧图像，经图像分析，即可对图像中的食材进行识别。通常情况下，若存在食材包装未拆除等情况，将不利于识别食材，甚至有可能导致识别失败，如此，服务器将得不到食材信息，从而无法执行后续操作，如推荐菜谱、大数据分析等。

基于上述内容，若能成功识别，即可在识别出食材后做食材录入，反之，若不能成功识别，即可告知用户。比如，可以将包含该食材图像的某一帧图像发给冰箱，以使用户查看图像后，快速直观的了解到哪些食材没有被识别出。基于此，用户可以再次打开冰箱以整理食材，比如将食材包装拆除，以便服务器识别食材。

以食材包装影响食材识别为例，为便于食材识别，用户可以在初次放入时即拆除食材包装，也可以在冰箱提醒食材识别失败后再拆除食材包装。

考虑到这一情况有可能会造成用户操作的增加，故本发明实施例中，可以通过奖励机制来激励用户规范化放置食材，以便准确录入食材。食材识别成功时才有奖励，识别失败时没有奖励并告知用户。当然，用户再次操作以使食材识别成功时，同样可以获得奖励。

本发明实施例中，用户正常放置食材时，只要规范化放置食材的，即可获得相应奖励，获得的奖励可以免费兑换商品等。一方面，用户仅需规范放置食材，通过日常生活即可免费兑换商品，用户体验好。在此基础之上，服务器的食材识别准确率高，有益于后续处理操作的顺利执行。

详细地，上述食材录入信息可以为食材的名称、放入冰箱的时间。

详细地，上述食材录入成功奖励信息，可以包括识别成功的次数、奖励值和账户目前的总奖励值。识别成功的次数和奖励值可以成正相关。

举例来说，假设用户将一串香蕉和一袋苹果放入冰箱，但苹果包装袋的颜色和厚度不利于食材准确识别。如此，服务器可以监测到两个食材放入动作。假设针对放入香蕉的动作，服务器可以识别到香蕉，但针对放入苹果的动作，服务器识别失败。

如此，存在识别成功的食材，基于识别出的全部食材，这里仅为香蕉，确定录入成功奖励信息。为向用户准确展示这一识别操作，可以确定冰箱关门时的食材展示图像，这一图像与冰箱内目前的食材放置情况相一致。比如，可以为视频流中最后一帧的图像。由于香蕉已放入，故该食材展示图像中包括有所放入香蕉的图像。

识别到香蕉后，即可记录相应的食材录入信息，并将其添加到食材展示图像中。比如，可以食材展示图像中的所放入香蕉图像上，添加这一食材录入信息，从而生成食材录入展示图像。用户通过冰箱显示屏看到这一食材录入展示图像时，即可获知香蕉已成功录入。此外，冰箱展示这一食材录入展示图像的同时，还可以同时展示因香蕉识别成功而生成的食材录入成功奖励信息。如此，用户可以直观看到这一奖励信息。

对应地，由于苹果识别失败，服务器即可确定包含该苹果的图像，比如可以为视频流中，用户手持苹果进入摄像头采样区域时的图像。基于该图像，服务器可生成识别失败通知信息，并发给冰箱。冰箱经显示这一信息，用户即可了解到苹果识别失败，故可再次打开冰箱，将苹果的包装袋去除，以便服务器处理下一个视频流时，能够识别出苹果这一食材。

基于上述内容，在冰箱门开启期间，用户可能不仅有放入动作，还是有食材取出动作。比如用户向香蕉放入后，在关门之前将香蕉拿出后未再放回。如此，冰箱门关闭时的食材展示图像中，将不含有香蕉的图像。如此，为保证信息显示的准确性，基于这一问题，在本发明一个实施例中，在步骤104之前，进一步包括：在监测到将食材移出冰箱的动作时，识别该食材，若识别成功，判断是否记录有该食材的食材录入信息，若是，取消对该食材识别成功的记录，并清除该食材的食材录入信息。

举例来说，用户将香蕉放入又拿出时，服务器可以监测到这一拿出动作，可以作食材识别，通常可以识别到香蕉。

由于在冰箱门打开期间，用户先放入再拿出，故在用户拿出香蕉之前，服务器已识别出香蕉，并记录了相应食材录入信息。但用户将其拿出，故可取消这一识别记录并清除记录信息。如此，若服务器生成食材录入展示图像，该图像中将不包括被清除的这一记录信息，从而与实际情况保持一致。

在上述举例情况下，由于用户放入香蕉和苹果后，将香蕉取出，且苹果识别失败，则不存在识别成功的食材，故不执行步骤104，从而不会生成食材录入展示图像。

在另一种情况下，若冰箱中已有香蕉，用户将香蕉和苹果放入冰箱后，拿出的是已有的香蕉，由于服务器在处理当前的视频流时，并未生成针对该已有香蕉的食材录入信息，故可不取消已记录的针对新放入香蕉的识别记录，以及不清除相应记录信息。

在一种情况下，用户放入食材时，可以多次放入同一类食材。比如，用户买了两盘草莓，可以分两次分别放入冰箱中。如此，服务器会监测到两次食材放入动作。第一次放入草莓时，若识别成功，服务器会记录相应食材录入信息。第二次放入草莓时，若识别成功，服务器将会再次记录相应食材录入信息。如此，将会出现信息录入重复的情况。为解决这一问题，在本发明一个实施例中，在步骤104之前，进一步包括：在监测到将食材放入冰箱的动作时，识别该食材，若识别成功，判断是否记录有该食材的食材录入信息，若是，结束当前流程。

本发明实施例中，第二次放入草莓时，若识别成功，由于经判断，已记录有相应食材录入信息，故不再重复记录。

上面提到，冰箱提醒某食材录入失败时，用户可以再次打开冰箱作相应处理，以便食材识别。在此过程中，用户可能不存在将食材放入冰箱的操作，但用户整理食材后，可能使服务器识别出所整理的食材，同样可以获得相应奖励。为解决这一问题，在本发明一个实施例中，在步骤101之后，进一步包括：

所述视频流中不存在将食材放入冰箱的动作时，从所述视频流中确定出冰箱门打开时的食材展示图像和冰箱门关闭时的食材展示图像；

针对冰箱门关闭时的食材展示图像中的每一个食材的图像，均执行：对于当前食材，判断冰箱门打开时的食材展示图像中是否包括有当前食材的图像，若否，识别当前食材，若识别成功，记录当前食材的食材录入信息；

存在识别成功的食材时，基于识别出的全部食材，确定食材录入成功奖励信息；

将记录的各个食材的食材录入信息，对应添加到冰箱门关闭时的食材展示图像中的、各个食材的图像处，得到食材录入展示图像；

将得到的食材录入展示图像和确定出的食材录入成功奖励信息发送给所述冰箱。

基于上述举例内容，冰箱提醒苹果识别失败后，用户可以打开冰箱，将苹果的包装袋移除后关闭冰箱。如此，服务器可以再次接收到视频流。通过处理视频流，可以确定其中不存在将食材放入冰箱的动作，故可直接从中确定用户开关冰箱门时的食材展示图像。通过对比这两个食材展示图像中各个食材的图像，通常可以成功识别出上次未成功识别的食材。

比如，用户将苹果的包装袋移除后，冰箱门关闭时的食材展示图像中包括苹果的图像，服务器会依次处理该食材展示图像中各个食材的图像。处理到苹果的图像时，该苹果为当前食材，经判断，冰箱门打开时的食材展示图像中不包括该苹果的图像，会识别苹果，识别成功后即可记录食材录入信息。对应地，用户可获得相应奖励。

本发明实施例中，为便于图像处理、图像对比分析和食材识别，用户将食材放置在冰箱储物架上时，优选规则化放置，比如不出现食材堆叠放置、食材遮挡放置等情况，以保证食材识别准确性。

在本发明一个实施例中，所述基于识别出的全部食材，确定食材录入成功奖励信息，包括：基于识别出的全部食材，确定包括有，识别出的全部食材的个数、识别出的全部食材对应的奖励值、所述冰箱的包含该奖励值的总奖励值，的食材录入成功奖励信息；

以及，

进一步包括：确定至少一个兑换商品的商品信息和兑换值；

接收所述冰箱发来的奖励兑换请求；

根据所述奖励兑换请求，确定所述冰箱当前的总奖励值；

以兑换值不大于所述冰箱当前的总奖励值的各个兑换商品的商品信息，构建奖励兑换清单，并将所述奖励兑换清单发送给所述冰箱；

接收所述冰箱发来的针对一兑换商品的商品兑换请求；

根据所述商品兑换请求，执行针对该兑换商品的商品兑换处理；

所述商品兑换处理执行完成时，根据所述冰箱当前的总奖励值和该兑换商品的兑换值，计算兑换后剩余的总奖励值；

将针对该兑换商品的兑换成功通知消息和所述兑换后剩余的总奖励值，发送给所述冰箱。

举例来说，用户放入苹果、香蕉、草莓这3种食材，假设均识别成功，则食材录入成功奖励信息中，识别出的全部食材的个数为3，识别出的全部食材对应的奖励值可以为3x，x为预设值，比如可以为0.1、1等，包含该奖励值的总奖励值为yn。yn＝3x+yn-1，yn-1为用户放入这3种食材前时的总奖励值。

用户查看到食材录入成功奖励信息后，即可按需作奖励利用，比如本发明实施例所述的，可以利用奖励值作商品兑换。可见，用户在日常使用冰箱过程中，只要规则化放置食材，无需付出其他劳动或成本，即可获得相应奖励，使得用户体验佳。

综上，本发明实施例可以激励用户规则化放置冰箱食材，以便于食材的准确识别。

与上述应用于服务器的冰箱食材录入管理方法相对应地，如图2所示，本发明实施例提供了一种冰箱食材录入管理方法，应用于冰箱中的控制模块，可以包括以下步骤：

步骤201：监测所述冰箱的冰箱门是否打开，若是，控制所述冰箱内设置的至少一个摄像头启动。

步骤202：监测所述冰箱门是否关闭，若是，控制所述至少一个摄像头关闭，并将所述至少一个摄像头拍摄到的视频流发送给外部的服务器。

步骤203：接收所述服务器发来的食材录入展示图像和食材录入成功奖励信息，所述食材录入展示图像包括至少一个食材的图像及其食材录入信息。

步骤204：控制所述冰箱的显示屏显示所述食材录入展示图像和所述食材录入成功奖励信息。

步骤205：接收所述服务器发来的、包括有至少一个食材图像的识别失败通知信息。

步骤206：根据所述识别失败通知信息，控制所述显示屏显示所述至少一个食材图像，以作食材录入失败通知。

详细地，上述冰箱可以为大屏语音播报智能冰箱，冰箱在利用显示屏作大屏显示的同时，还可同步作语音播报提醒，以强化用户对食材录入奖励的注意，从而激发用户规则化放置食材，以有益于食材准确识别。

在本发明一个实施例中，冰箱显示奖励信息的同时，可以显示有奖励领取虚拟按键，用户点击领取后，经服务器作相应处理，用户才可领取到奖励，否则，服务器可取消这次奖励。本发明实施例中，由用户点击以领取奖励，可强化用户对食材录入奖励的注意。

在本发明一个实施例中，所述食材录入成功奖励信息包括：所述至少一个食材的个数、所述至少一个食材对应的奖励值、所述冰箱的包含该奖励值的总奖励值；

该方法进一步包括：

接收外部输入的奖励兑换请求，将所述奖励兑换请求发送给所述服务器；

接收所述服务器发来的奖励兑换清单；

控制所述显示屏显示所述奖励兑换清单；

接收外部输入的针对所述奖励兑换清单中的一兑换商品的商品兑换请求，将所述商品兑换请求发送给所述服务器；

接收所述服务器发来的针对所述兑换商品的兑换成功通知消息和兑换后剩余的总奖励值；

控制所述显示屏显示所述兑换成功通知消息和所述兑换后剩余的总奖励值。

详细地，兑换商品可以为商家合作商品，服务器还可将用户可兑换的、优选推送的商品信息，主动推送至冰箱，冰箱可在显示屏上持续显示这一商品信息。基于此，本发明实施例利用了大屏语音冰箱载体的商品、商家宣传功能，可助力食品类企业进行品牌宣传、产品宣传，通过将冰箱食材录入管理任务与食品类广告宣传结合起来，同时让积极规范管理冰箱食材的用户有利可图。

详细地，上述冰箱通常可以为通过wi-fi技术与服务器通信的智能冰箱。用户可以预先在手机app端将冰箱绑定入网，进行手机号账户注册登录，完善个人信息。然后登录冰箱大屏端，手机账号登录，账户信息与手机端是同步的。

在本发明一个实施例中，冰箱显示屏可以为触摸式显示屏，冰箱显示食材录入展示图像时，对于识别错误的食材，用户可通过操控显示屏进行删除。此外，用户还可通过冰箱语音功能，语音录入服务器未识别出的食材。服务器以用户干预后的食材录入信息为准，做相应处理。

由于基于同一设计构思，针对冰箱端的具体方法实现内容，可以参见上述应用于服务器的方法实施例中的叙述，此处不再赘述。

如图3所示，以服务器与一冰箱间的信息交互为例，本发明实施例提供了一种冰箱食材录入管理方法，可以包括以下步骤：

步骤301：服务器确定各个兑换商品的商品信息和兑换值。

步骤302：冰箱监测冰箱门是否打开，若是，控制摄像头启动。

步骤303：冰箱监测冰箱门是否关闭，若是，控制摄像头关闭，并将摄像头拍摄到的视频流发送给服务器。

步骤304：服务器通过处理冰箱发来的视频流，监测视频流中是否存在将食材放入冰箱的动作，以及监测视频流中是否存在将食材移出冰箱的动作，在监测到将食材放入冰箱的动作时，执行步骤306，在监测到将食材移出冰箱的动作时，执行步骤305，在确定出视频流中不存在将食材放入冰箱的动作时，执行步骤313。

步骤305：服务器识别该食材，若识别失败，结束当前流程，若识别成功，判断是否记录有该食材的食材录入信息，若是，取消对该食材识别成功的记录，并清除该食材的食材录入信息，并结束当前流程，否则，结束当前流程。

步骤306：服务器识别该食材，若识别成功，并执行步骤307，若识别失败，从视频流中确定出该食材的食材图像，并执行步骤311。

步骤307：服务器判断是否记录有该食材的食材录入信息，若是，结束当前流程，否则，记录该食材的食材录入信息，并执行步骤308。

步骤308：服务器基于识别出的全部食材，确定包括有，识别出的全部食材的个数、识别出的全部食材对应的奖励值、冰箱的包含该奖励值的总奖励值，的食材录入成功奖励信息。

步骤309：服务器从视频流中确定出冰箱门关闭时的食材展示图像，该食材展示图像包括识别出的各个食材的图像。

步骤310：服务器将记录的各个食材的食材录入信息，对应添加到该食材展示图像中的、各个食材的图像处，得到食材录入展示图像，并执行步骤317。

步骤311：服务器生成识别失败通知信息，识别失败通知信息包括确定出的、识别失败的各个食材的食材图像，将识别失败通知信息发送给冰箱，并执行步骤312。

步骤312：冰箱接收服务器发来的识别失败通知信息，并控制显示屏显示其中的各个食材图像，以作食材录入失败通知，并结束当前流程。

步骤313：服务器从视频流中确定出冰箱门打开时的食材展示图像和冰箱门关闭时的食材展示图像。

步骤314：服务器针对冰箱门关闭时的食材展示图像中的每一个食材的图像，均执行：对于当前食材，判断冰箱门打开时的食材展示图像中是否包括有当前食材的图像，若是，结束当前流程，否则，识别当前食材，若识别成功，记录当前食材的食材录入信息，并执行步骤315，若识别失败，结束当前流程。

步骤315：服务器基于识别出的全部食材，确定食材录入成功奖励信息。

步骤316：服务器将记录的各个食材的食材录入信息，对应添加到冰箱门关闭时的食材展示图像中的、各个食材的图像处，得到食材录入展示图像。

步骤317：服务器将得到的食材录入展示图像和确定出的食材录入成功奖励信息发送给冰箱。

步骤318：冰箱接收服务器发来的食材录入展示图像和食材录入成功奖励信息，并控制显示屏进行显示。

步骤319：冰箱接收外部输入的奖励兑换请求，将奖励兑换请求发送给服务器。

步骤320：服务器根据冰箱发来的奖励兑换请求，确定冰箱当前的总奖励值，并以兑换值不大于冰箱当前的总奖励值的各个兑换商品的商品信息，构建奖励兑换清单，将奖励兑换清单发送给冰箱。

步骤321：冰箱接收服务器发来的奖励兑换清单，并控制显示屏显示奖励兑换清单。

步骤322：冰箱接收外部输入的针对奖励兑换清单中的一兑换商品的商品兑换请求，将商品兑换请求发送给服务器。

步骤323：服务器接收冰箱发来的商品兑换请求，根据商品兑换请求，执行针对该兑换商品的商品兑换处理。

步骤324：商品兑换处理执行完成时，服务器根据冰箱当前的总奖励值和该兑换商品的兑换值，计算兑换后剩余的总奖励值，并将针对该兑换商品的兑换成功通知消息和兑换后剩余的总奖励值，发送给冰箱。

步骤325：冰箱接收服务器发来的针对兑换商品的兑换成功通知消息和兑换后剩余的总奖励值，并控制显示屏进行显示。

本发明实施例中，上述冰箱可以为具有语音功能的冰箱，用户将食材放入冰箱时，冰箱设备上的相应位置摄像头可捕捉到手里有食材，手势动作是往内投递，开启摄像头扫描食材，并语音通知用户“录入食材图像识别已启动”。用户手势从冰箱门的放入食材开始，直到食材放置于冰箱搁架上后的静止状态，整个全过程，针对该食材，摄像头都持续进行图像捕捉识别处理，然后进行数据分析，得出识别结论。如果等食材在冰箱内搁置好了再去识别，食材与食材往往有遮挡，有重叠，影响识别准确性。因此，本发明实施例基于将食材放入冰箱的动作来识别食材，可以保证良好的识别准确性。

在一种可能的实现方式下，当用户关闭冰箱门后，冰箱大屏上会以一张静态图展示当面冰箱内部食材情况。屏幕上相应的食材旁边会悬浮食材基础信息：食材名称、录入时间，还会悬浮删除按钮。屏幕下方会显示出本次录入食材的整体情况。屏幕文字/语音同步通知，比如“本次共计录入食材15样，获得1.5个金币，账户目前金币30个，累计满1000个金币即可兑换某品牌纯牛奶一箱，请单击确认领取本次金币奖励。”用户点击确认，即可完成本次食材管理任务，相应金币奖励马上会下发到用户账户。若用户未主动点击确认领取金币奖励，食材信息照样会存入系统，但金币奖励系统可以无变化。

假设用户每次都积极进行食材录入管理，账户奖励金币目前已经有1500个了，则用户需要兑换商品时，即可选择其能兑换的食材产品，点击兑换，系统会调出该账号下的手机号、用户昵称/姓名、家庭地址等，若无需修改，确定即可完成兑换，若需修改，可输入修改，确定完成兑换。

基于此，后台管理工作人员登录后台时，通常可看到待处理的兑换订单，然后批量导出待处理订单表格，交由相关负责人进行发货，且存在快递单号后，批量导入表格录入快递单号。

如图4所示，本发明实施例提供了一种用于执行上述任一所述冰箱食材录入管理方法的服务器，包括：

接收单元401，用于接收一冰箱发来的视频流；

第一处理单元402，用于通过处理所述视频流，监测所述视频流中是否存在将食材放入冰箱的动作；在监测到将食材放入冰箱的动作时，识别该食材，若识别成功，记录该食材的食材录入信息，若识别失败，从所述视频流中确定出该食材的食材图像；

第二处理单元403，用于存在识别成功的食材时，基于识别出的全部食材，确定食材录入成功奖励信息；从所述视频流中确定出冰箱门关闭时的食材展示图像，该食材展示图像包括识别出的各个食材的图像；将记录的各个食材的食材录入信息，对应添加到该食材展示图像中的、各个食材的图像处，得到食材录入展示图像；将得到的食材录入展示图像和确定出的食材录入成功奖励信息发送给所述冰箱；

第三处理单元404，用于存在识别失败的食材时，生成识别失败通知信息，所述识别失败通知信息包括确定出的、识别失败的各个食材的食材图像；将所述识别失败通知信息发送给所述冰箱。

在本发明一个实施例中，上述服务器可以执行下述操作中的至少一种：兑换管理、用户管理、食材管理、商品管理(比如名称、规格、图片、兑换价格)、基本信息(比如家庭地址、手机号、成员、健康、喜好)、食材名称/图片库、品牌广告设置(比如品牌标识、官方旗舰店链接)、行为信息(比如时间、录入食材、查看执行菜谱、金币累计值、兑换记录)、食材保鲜期设置、录入1样食材＝n个金币的配置。

如图5所示，本发明实施例提供了一种用于执行上述任一所述冰箱食材录入管理方法的冰箱中的控制模块，包括：

检测单元501，用于监测所述冰箱的冰箱门是否打开，若是，控制所述冰箱内设置的至少一个摄像头启动；监测所述冰箱门是否关闭，若是，控制所述至少一个摄像头关闭，经通信单元502将所述至少一个摄像头拍摄到的视频流发送给外部的服务器；

所述通信单元502，用于接收所述服务器发来的食材录入展示图像和食材录入成功奖励信息，所述食材录入展示图像包括至少一个食材的图像及其食材录入信息；接收所述服务器发来的、包括有至少一个食材图像的识别失败通知信息；

处理单元503，用于控制所述冰箱的显示屏显示所述食材录入展示图像和所述食材录入成功奖励信息；根据所述识别失败通知信息，控制所述显示屏显示所述至少一个食材图像，以作食材录入失败通知。

如图6所示，本发明实施例提供了一种冰箱，包括：冰箱门601、至少一个摄像头602、显示屏603和上述控制模块604。

如图7所示，本发明实施例提供了一种冰箱食材录入管理系统，包括：上述服务器701和至少一个上述冰箱702。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

综上所述，本发明的实施例具有至少如下有益效果：

1、本发明实施例中，服务器监测冰箱发来的视频流中是否存在将食材放入冰箱的动作；若存在则识别该食材；识别成功时记录该食材的食材录入信息，识别失败时从视频流中确定出该食材的食材图像；基于识别出的全部食材，确定食材录入成功奖励信息并发送给冰箱；从视频流中确定出冰箱门关闭时的、包括识别出的各个食材的图像的食材展示图像，并对应添加上记录的各食材录入信息，得到食材录入展示图像并发送给冰箱；存在识别失败的食材时，生成包括确定出的各食材图像的识别失败通知信息并发送给冰箱。食材识别失败时无奖励，故用户获知识别失败的食材后，可拆除食材包装后再次放置，以便于冰箱食材的准确识别。

2、本发明实施例可以激励用户规则化放置冰箱食材，以便于食材的准确识别。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。