烹饪箱内部食物的识别方法、识别装置、计算机存储介质与流程

本申请涉及烹饪箱技术领域，特别是涉及一种烹饪箱内部食物的识别方法、识别装置、计算机存储介质。

背景技术：

随着人类生活的进步，家用电器朝向智能化方向发展，例如常用的烹饪箱，其一般识别会识别内部食物的放置情况，并根据食物所放层架来控制烹饪的加热温度以及时长。

目前，烹饪箱食物所放层架的识别，是借助重量传感器的方式进行处理，需要在每一层放置一个重量传感器，获取食物所放层架，根据重量对食物进行加热，但重量传感器应用陈本太高，并且传感器精度影响很大，导致应用普及程度很低。

技术实现要素：

本申请提供了一种烹饪箱内部食物的识别方法、识别装置、计算机存储介质，主要解决的技术问题是如何快捷地对烹饪箱内食物进行识别。

为解决上述技术问题，本申请提供了一种烹饪箱内部食物的识别方法，所述烹饪箱内部食物的识别方法包括：

获取所述烹饪箱内部的拍摄图像；

处理所述拍摄图像以获取形状图像，所述形状图像表示所述烹饪箱内部的形状轮廓；

利用卷积神经网络识别所述形状图像，以获取所述烹饪箱内部的食物放置情况。

为解决上述技术问题，本申请提供了一种烹饪箱内部食物的识别装置，所述设备包括存储器以及与所述存储器耦接的处理器；

所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的烹饪箱内部食物的识别方法。

为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的烹饪箱内部食物的识别方法。

本申请的有益效果是：获取烹饪箱内部的拍摄图像；处理拍摄图像以获取形状图像，形状图像表示烹饪箱内部的形状轮廓；利用卷积神经网络识别形状图像，以获取烹饪箱内部的食物放置情况。本申请的烹饪箱内食物的识别方法中，最终识别获得食物放置情况，其根据烹饪箱内的轮廓形状即可确定，因此本申请中对烹饪箱内部的拍摄图像进行处理得到表示烹饪箱内部的形状轮廓的形状图像，保留形状信息，且减少图像中的其他信息，使得对形状图像的识别计算更加高效，然后基于卷积神经网络识别该形状图像，从而获知食物的放置情况，可有效地提高了识别效率和准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的烹饪箱内部食物的识别方法第一实施例的流程示意图；

图2是本申请提供的烹饪箱内部食物进行识别的一示意图；

图3是本申请提供的识别装置一实施例的结构示意图；

图4是本申请提供的烹饪箱一实施例的结构示意图；

图5是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提出了一种烹饪箱内部食物的识别方法，具体请参阅图1，图1是本申请提供的烹饪箱内部食物的识别方法一实施例的流程示意图。本实施例中烹饪箱可以是烤箱、微波炉、蒸箱、蒸烤箱等。本实施例的烹饪箱内部食物的识别方法具体包括以下步骤：

s101：获取烹饪箱内部的拍摄图像。

本申请是通过图像识别获知烹饪箱内部的食物放置情况，有没有放食物，食物放在哪一层等。本实施例中烹饪箱可通过安装于烹饪箱中的摄像头，拍摄烹饪箱内部的图像。采用烹饪箱内设置摄像头的方式获取图像，可在关箱门时触发摄像头开始拍摄图像，也可在关箱门后控制摄像头开始拍摄。其中，摄像头可安装在烹饪箱内的任意位置，摄像头数量也可设置一个或多个，本实施例中，将摄像头安装在箱门上，以便于获取烹饪箱内部的拍摄图像。

s102：处理拍摄图像以获取形状图像，形状图像表示烹饪箱内部的形状轮廓。

由于本实施例最终目的是为了获得食物的放置情况，因此在识别时，只需获得表示烹饪箱内部的形状轮廓的形状图像即可，根据形状轮廓即可分辨出食物的放置情况。在本步骤中，对拍摄图像进行处理，去除一些冗余的信息，保留形状轮廓的形状信息，以得到形状图像。形状图像体现了烹饪箱内部的形状轮廓，包括烹饪箱内部层架的形状轮廓，若有食物，还包括放置于烹饪箱内部的食物的形状轮廓。因此可根据食物的形状轮廓判断是否有食物，根据层架的形状轮廓判断食物放置在哪个层架。

具体来说，步骤s101中所获得的拍摄图像可能为彩色图像，在本步骤s102中首先可将拍摄图像转化为灰度图像，然后再由灰度图像获得形状图像，可将灰度图像二值化处理得到形状图像，也可对灰度图像进行梯度特征提取，所获得的梯度图像即为形状图像，梯度特征提取可采用sobel、canny、prewitt等经典算子，可参考图2。步骤s101中所获得的拍摄图像也可以为黑白图像，直接对获取的黑白图像进行梯度特征提取或二值化处理，即可得到形状图像。

所获得的拍摄图像为彩色图像或黑白图像均取决于摄像头的设置，获取到的是彩色图像，可进一步利用彩色图像进行食物种类的识别。若获取到的是黑白图像，则可更快的进行图像处理获得更准确不失真的形状图像。

s103：识别形状图像，以获取烹饪箱内部的食物放置情况。

对s102中处理后得到的形状图像，本步骤中可采用图像识别算法进行识别，以获知烹饪箱内部食物的放置情况，例如食物是否空载及放置食物时的层架等信息。

本实施例中，获取烹饪箱内部的拍摄图像；处理拍摄图像以获取形状图像，形状图像表示烹饪箱内部的形状轮廓；识别形状图像，以获取烹饪箱内部的食物放置情况。本实施例的烹饪箱内食物的识别方法通过对拍摄图像进行处理得到表示烹饪箱内部的形状轮廓的形状图像，例如梯度轮廓图像，并基于卷积神经网络识别该梯度轮廓图像，以获知烹饪箱内部食物的放置情况。通过输入梯度轮廓图像获取烹饪箱内部食物放置情况的方式，减少了图像中冗余信息的干扰，保留表示烹饪箱内部的形状轮廓的形状图像，将梯度轮廓图像作为卷积神经网络的输入图像，减少了输入图像特征的通道数，提高卷积神经网络的计算速度，提高了识别的效率，有效地提高了识别效率和准确率。

进一步的，对于步骤s103，本实施例中具体采用了基于神经网络的图像分类技术，神经网络可以使用全卷积结构vgg模型，网络残差结构resnet模型，及各种使用卷积结构的mobilenet、shufflenet等模型。图像分类即确定出食物的不同放置情况，是否放置食物两种情况，以及具体放置在哪个层架的多种情况。即在本实施例中，需要进行两种类别的图像分类。

步骤s103中具体利用卷积神经网络识别形状图像，获取烹饪箱内部是否空载信息以及食物的放置层架信息。通过卷积神经网络同时实现是否空载，即是否放置食物的分类；以及食物的放置层架分类。

卷积神经网络包括下采样层和全连接层，下采样层也叫池化层，用于对卷积神经网络提取后的特征进行选择和信息过滤。由于池化层中包含了预定的池化函数，可通过预定的池化函数对卷积神经网络提取特征后的特征图进行相同特征的统计，可分别提取是否空载的特征以及放置层架的特征，以便同时实现是否空载以及食物放置层架的分类。全连接层用于将卷积神经网络的下采样层选择过滤后的特征映射到样本的标记空间中，从而基于特征实现分类。

基于卷积神经网络的特性，本实施例中，在下采样层分别获取空载特征和层架特征，空载特征表示烹饪箱中是否空载，层架特征表示食物在烹饪箱中的具体位置；然后将空载特征和层架特征输入至全连接层，由全连接层基于空载特征进行是否空载的分类，以获取是否空载信息；并基于层架特征进行放置层架的分类，以获取放置层架信息。其中，是否空载信息包括空载，即未放置食物，非空载，即放置有食物。放置层架信息中层架包括上层、中层、下层和无层，即食物放置在上层、中层、下层和无层；针对无层，烹饪箱可能存在有食物和无食物两种情况。当无食物时，层架信息为无层；当有食物时，但没有具体的层架，而是架在烤箱中，也可能获取放置层架信息为无层，例如，食物通过烤串的形式放置于烹饪箱中，此时，识别的放置层架信息为无层，例如，烤火鸡时可将烤鸡串置于烹饪箱中。

本实施例全连接层中，是分别获得是否空载的分类，以及放置层架的分类，两种分类均包括了烹饪箱中食物的所有情况，特别是在放置层架的分类中设置了无层的类别，即放置层架的分类并不是基于是否空载的分类，而是独立于是否空载的分类。

对于全连接层来说，可以通过一个全连接层进行空载特征和层架特征的分类，即一个全连接层同时且分别对空载特征和层架特征进行分类。也可以通过两个全连接层，即在第一全连接层基于空载特征进行是否空载的分类，并在第二全连接层基于层架特征进行放置层架的分类。

在全连接层，可以利用softmax算法进行分类，softmax算法是一种处理分类的算法，通过计算特征数据在样本中的概率，判断输入特征是否属于预设类别，若是，则概率结构就逼近于1，反之，若属于其他类别的值就逼近于0，从而将不同的类别进行区分。为了对空载特征和层架特征进行分类，卷积神经网络的一个全连接层利用softmax算法分别计算空载特征和层架特征的概率，从而对是否空载进行分类，以及对食物具体地放置层架进行分类；多个全连接层则分别利用softmax算法分别计算空载特征和层架特征的概率，以得到是否空载的分类以及放置层架的分类。

本实施例中采用卷积神经网络来对形状图像进行分类，具体在下采样层对卷积神经网络提取的空载特征和层架特征进行选择和信息过滤，并将空载特征和层架特征输入至全连接层，在全连接层对输入的空载特征和层架特征进行映射并传递给其他采样层进行分类，实现了同时对是否空载和食物放置层架的分类，即是否放置食物和食物具体放置在哪个层架的分类。

在通过卷积神经网络获得是否空载信息和放置层架信息之后，可告知烹饪箱食物的放置情况，以在烹饪箱的应用程序层面根据食物的放置情况进行烹饪。

由卷积神经网络告知应用层面食物放置情况，首先向烹饪箱发送是否空载信息，若是否空载信息为空载，则不发送放置层架信息；若是否空载信息为不空，则发送层架信息。

对于卷积神经网络来说，最终得到的食物放置情况包括是否空载信息和放置层架信息，但并不是将两个信息均发送至烹饪箱进行应用，而是在空载时，不再发送层架信息。

对于应用层面，在获取到食物放置情况后，相应的进行烹饪，若食物放置情况为空载，即烹饪箱内部没有食物，则需控制加热元件不工作。若食物放置情况不为空载，则根据食物所在的层架控制加热元件对其进行加热。

具体地，烹饪箱利用卷积神经网络对形状图像的处理分析，获取到箱体内部食物是否空载及放置具体层架信息，当获取到的是否空载信息后，向烹饪箱发送是否空载信息。当获取到烹饪箱内部是否空载信息为空载时，不发送放置层架信息；当获取到烹饪箱内部是否空载信息为非空载时，向烹饪箱发送放置层架信息。即，当利用卷积神经网络识别形状图像后，获取到烹饪箱内的烹饪环境为无食物时，不向烹饪箱发送食物具体放置在哪一层；当利用卷积神经网络识别形状图像后，获取到烹饪箱内的烹饪环境为有食物时，向烹饪箱发送食物放置层架信息，即食物具体放置在烹饪箱内的哪一层。

进一步的，对于步骤s102处理拍摄图像以获取形状图像，形状图像表示烹饪箱内部的形状轮廓，本实施例中具体可将拍摄图像转化为灰度图像，并对灰度图像进行梯度特征提取，以得到梯度特征图像，即表示食物形状轮廓的形状图像。梯度特征是指某个函数在某点处的方向导数沿着该方向取的最大值，即灰度图像中函数在某点处沿着梯度方向变化最快，变化率最大的梯度模。

具体地，通过对灰度图像进行分析处理，提取灰度图像中梯度特征相同的点组成梯度特征图像。梯度特征图像表示了每个物体区域之间边界的形状轮廓，即形状图像。通过梯度特征提取将灰度图像转换成一组具有明显纹理的图像，减少了图像中的冗余信息的干扰，提高了识别的效率。

本实施例中，将拍摄图像转化为灰度图像；对灰度图像进行梯度特征提取，所获取的梯度特征图像作为形状图像；利用卷积神经网络识别形状图像，获取烹饪箱内部是否空载信息以及食物的放置层架信息；在下采样层分别获取空载特征和层架特征，将空载特征和放置层架特征输入至全连接层；可由一个全连接层进行分类，也可由多个全连接层进行分类，当有两个全连接层时，在第一全连接层基于空载特征进行是否空载的分类，并在第二全连接层基于层架特征进行放置层架的分类。本申请通过将拍摄的图像转化为灰度图像并提取梯度特征，以得到形状图像，避免了图像颜色纹理对计算过程的影响，减少了冗余信息的干扰；并将其输入卷积神经网络，获取空载特征和层架特征，以对其进行分类，加速了空载和层架的准确识别，提高了识别效率。

为实现上述实施例的烹饪箱内部食物的识别方法，本申请提出了另一种识别装置，具体请参阅图3，图3是本申请提供的识别装置一实施例的结构示意图。

识别装置300包括存储器31和处理器32，其中，存储器31和处理器32耦接。

存储器31用于存储程序数据，处理器32用于执行程序数据以实现上述实施例的烹饪箱内部食物的识别方法。

在本实施例中，处理器32还可以称为cpu(centralprocessingunit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器32也可以是任何常规的处理器等。

该识别装置300可以是服务器的形式，连接于烹饪箱，可获取烹饪箱内部的拍摄图像，处理拍摄图像以获取形状图像，并基于形状图像获取食物的放置情况，然后根据食物的放置情况控制烹饪箱进行烹饪，或者将食物的放置情况发送给烹饪箱，由烹饪箱根据放置情况进行烹饪。该识别装置300还可以设置在烹饪箱内，作为烹饪箱中的主控元件，实现对烹饪箱内部食物的识别。

基于此，本申请还提出一种烹饪箱400，如图4所示，图4是本申请提供的烹饪箱400一实施例的结构示意图。本实施例烹饪箱400中包括箱门41和箱体42，箱门41上设置有摄像头43。

通过摄像头43获取烹饪箱400内的拍摄图像，在识别装置分析拍摄图像获知烹饪箱400内的食物是否空载和具体的层架放置情况。

本实施例烹饪箱400可以是烤箱、蒸箱、蒸烤箱等，可实现烹饪箱400内的食物放置情况进行识别，提高识别效率和准确率。

本申请还提供一种计算机存储介质500，如图5所示，计算机存储介质500用于存储程序数据51，程序数据51在被处理器执行时，用以实现如本申请方法实施例中所述的烹饪箱内部食物的识别方法。

本申请烹饪箱内部食物的识别方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。