食物鲜腐识别方法、食物鲜腐识别装置和冰箱与流程

1.本发明涉及图像处理技术领域，尤其涉及食物鲜腐识别方法、食物鲜腐识别装置和冰箱。


背景技术：

2.家庭存储食物的现象极为广泛，特别是在冰箱普及之后，相当一部分家庭均存储有食物，但是如果误食用变质后食物，会严重影响用户的生命健康。相关技术中，提出了一些食物鲜腐识别的方法，比如采集食物的图像并通过图像识别，可以判断出食物的鲜腐，但是相关技术的判断方法基本只对较为简单的单食物图像有效，对于一张图像包括多种食物且背景复杂的情况，识别准确率低。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种食物鲜腐识别方法，以提高食物新鲜腐败判别的准确率。
4.本发明还提出一种食物鲜腐识别装置。
5.本发明还提出一种冰箱。
6.本发明还提出一种电子设备。
7.本发明还提出一种非暂态计算机可读存储介质。
8.本发明还提出一种计算机程序产品。
9.根据本发明第一方面实施例的食物鲜腐识别方法，包括：
10.获取待识别图像；
11.对所述待识别图像进行识别，得到至少一种食物类别以及与各所述食物类别对应的第一子图像，所述第一子图像包括前景和背景，所述前景为用于表征食物的像素；
12.对所述第一子图像的所述背景进行处理，得到第二子图像；
13.对所述第二子图像进行识别，得到与所述第二子图像对应的食物的鲜腐识别结果。
14.根据本发明实施例的食物鲜腐识别方法，通过对象识别、图像分割、背景处理和鲜腐识别，可以以较低的成本，有效解决复杂背景以及食物之间相互遮挡的影响，提高食物新鲜腐败判别的准确率，给予用户更智能的食物管理体验。
15.根据本发明的一个实施例，所述对所述第一子图像的所述背景进行处理，得到第二子图像，包括：
16.将所述第一子图像的所述前景和所述背景进行分割；
17.将所述第一子图像的所述背景替换为目标像素，得到第二子图像，所述第二子图像包括所述前景和所述目标像素。
18.根据本发明的一个实施例，所述将所述第一子图像的所述前景和所述背景进行分割，包括：
19.将所述第一子图像输入到图像显著性检测模型，得到所述图像显著性检测模型输出的前景或背景；
20.其中，所述图像显著性检测模型为，以食物样本图像为样本，以预先确定的与所述食物样本图像对应的样本前景或样本背景为样本标签训练得到。
21.根据本发明的一个实施例，所述图像显著性检测模型的损失函数是基于样本权重参数和样本难度参数确定的，其中，所述样本权重参数用于表征正负样本的比例，所述样本难度参数用于表征样本的复杂程度。
22.根据本发明的一个实施例，所述图像显著性检测模型的损失函数为：
[0023][0024]
其中，l为所述损失函数，pi为所述图像显著性检测模型在训练时的识别概率，y为样本标签，α为所述样本权重参数，γ为所述样本难度参数。
[0025]
根据本发明的一个实施例，所述对所述待识别图像进行识别，得到至少一种食物类别以及与各所述食物类别对应的第一子图像，包括：
[0026]
对所述待识别图像进行识别，得到至少一种食物类别以及与各所述食物类别对应的位置特征；
[0027]
基于所述位置特征，得到与各所述食物类别对应的第一子图像。
[0028]
根据本发明的一个实施例，所述对所述待识别图像进行识别，得到至少一种食物类别以及与各所述食物类别对应的位置特征，包括：
[0029]
将所述待识别图像输入到食物识别模型，得到所述食物识别模型输出的至少一种食物类别和与各所述食物类别对应的位置特征；
[0030]
其中，所述食物识别模型为，以样本图像为样本，以预先确定的与所述样本图像对应的样本类别以及样本位置特征为样本标签训练得到。
[0031]
根据本发明的一个实施例，所述对所述第二子图像进行识别，得到与所述第二子图像对应的食物的鲜腐识别结果，包括：
[0032]
将所述第二子图像输入到鲜腐识别模型，得到所述鲜腐识别模型输出的鲜腐识别结果；
[0033]
其中，所述鲜腐识别模型为，以背景为目标像素的样本图像为样本，以预先确定的与所述样本图像对应的样本识别结果为样本标签训练得到。
[0034]
根据本发明第二方面实施例的食物鲜腐识别装置，包括：
[0035]
接收模块，用于获取待识别图像；
[0036]
第一处理模块，用于对所述待识别图像进行识别，得到至少一种食物类别以及与各所述食物类别对应的第一子图像，所述第一子图像包括前景和背景，所述前景为用于表征食物的像素；
[0037]
第二处理模块，用于对所述第一子图像的所述背景进行处理，得到第二子图像；
[0038]
识别模块，用于对所述第二子图像进行识别，得到与所述第二子图像对应的食物的鲜腐识别结果。
[0039]
根据本发明第三方面实施例的冰箱，包括：柜体、柜门、摄像头和如上述的食物鲜腐识别装置，所述摄像头安装与所述柜体或柜门，所述摄像头与所述食物鲜腐识别装置电
连接。
[0040]
根据本发明第四方面实施例的电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述食物鲜腐识别方法的步骤。
[0041]
根据本发明第五方面实施例的非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述食物鲜腐识别方法的步骤。
[0042]
根据本发明第六方面实施例的计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述食物鲜腐识别方法的步骤。
[0043]
本发明实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
[0044]
通过对象识别、图像分割、背景处理和鲜腐识别，可以以较低的成本，有效解决复杂背景以及食物之间相互遮挡的影响，提高食物新鲜腐败判别的准确率，给予用户更智能的食物管理体验。
[0045]
进一步的，通过将样本权重参数和样本难度参数纳入损失函数中，可以增强模型的学习效果。
[0046]
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0047]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048]
图1是本发明实施例提供的食物鲜腐识别方法的流程示意图；
[0049]
图2是本发明实施例提供的食物鲜腐识别装置的结构示意图；
[0050]
图3是本发明实施例提供的电子设备的结构示意图。
具体实施方式
[0051]
下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
[0052]
在本发明实施例的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0053]
在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明实施例中的具体含义。
[0054]
在本发明实施例中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0055]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0056]
相关技术中，在通过图像进行食物鲜腐识别时，对图像中的背景要求很高，在背景复杂或者食物之间相互遮挡的情况下，识别准确率低。
[0057]
下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的食物鲜腐识别方法、食物鲜腐识别装置、冰箱、电子设备、可读存储介质和计算机程序产品进行详细地说明。
[0058]
其中，食物鲜腐识别方法可应用于终端，具体可由，终端中的硬件或软件执行。该食物鲜腐识别方法的执行主体可以为终端，或者终端的控制装置等，终端包括冰箱或手机等移动终端等。
[0059]
下面结合图1描述本发明实施例的食物鲜腐识别方法。本发明实施例提供的食物鲜腐识别方法包括：步骤110、步骤120、步骤130和步骤140。
[0060]
步骤110、获取待识别图像；
[0061]
需要说明的是，待识别图像包括用于表征待识别食物的像素，该步骤中的待识别图像为可见光图像，待识别图像中包含了待识别食物的影像。待识别图像可以通过摄像头采集，包括但不限于安装于冰箱间室的摄像头和手机等移动终端的摄像头。
[0062]
这样，该图像的采集成本低，不必如其他识别方法那样，通过价格昂贵的高光谱设备来采集，可以降低整个食物鲜腐识别方法的识别成本。
[0063]
摄像头采集待识别图像的触发方式有多种：
[0064]
其一，接收到用户的采集指令。
[0065]
在该实施方式中，在步骤110、获取待识别食物的待识别图像之前，该食物鲜腐识别方法还可以包括：
[0066]
接收用户的第一输入；响应于第一输入，通过摄像头采集待识别食物的待识别图像。
[0067]
在本实施方式中，第一输入用于触发摄像头采集图像。
[0068]
其中，第一输入可以表现为如下至少一种方式：
[0069]
方式一，第一输入可以表现为触控输入，包括但不限于点击输入、滑动输入和按压输入等。
[0070]
在该实施方式中，接收用户的第一输入，可以表现为，接收用户在显示屏的显示区域的触控操作。显示屏可以为手机的显示屏或者冰箱的显示屏。
[0071]
为了降低用户误操作率，可以将第一输入的作用区域限定在特定的区域内，比如食物鲜腐识别界面的上部中间区域；或者在显示食物鲜腐识别界面的状态下，在当前界面显示目标控件，触摸目标控件，即可实现第一输入；或者将第一输入设置为在目标时间间隔内对显示区域的连续多次敲击操作。
[0072]
方式二，第一输入可以表现为实体按键输入。
[0073]
在该实施方式中，机身上设有与拍摄对应的实体按键，接收用户的第一输入，可以表现为，接收用户按压对应的实体按键的第一输入；第一输入还可以为同时按压多个实体按键的组合操作。
[0074]
比如，按压手机的拍照快捷键，或者按压冰箱的柜门或柜体上的拍照快捷键。
[0075]
方式三，第一输入可以表现为语音输入。
[0076]
在该实施方式中，终端可以在接收到语音如“食物是否腐败”或“拍照”时，触发摄像头采集图像。
[0077]
当然，在其他实施例中，第一输入也可以表现为其他形式，包括但不限于字符输入等，具体可根据实际需要决定，本技术实施例对此不作限定。
[0078]
其二，按照目标时间自动采集。
[0079]
该实施方式更适用于冰箱。
[0080]
方式一，根据预设的时刻定时触发摄像头采集图像。
[0081]
预先设置了每天进行食物鲜腐识别的时刻(比如每天7：00或15：00)，在到达该时刻时，控制器自动向摄像头发送控制指令，控制摄像头采集图像，或者控制器还可以向间室内的补光灯(照明灯)发送控制指令，控制补光灯打开。
[0082]
方式二，根据食物放入冰箱的时间触发摄像头采集图像。
[0083]
在识别到食物放入冰箱时，记录该时刻，间隔目标时长后，控制器自动向摄像头发送控制指令，控制摄像头采集图像，或者控制器还可以向间室内的补光灯(照明灯)发送控制指令，控制补光灯打开。
[0084]
方式三，结合其他信息触发摄像头采集图像。
[0085]
间室还安装有气体传感器，包括但不限于：硫化氢浓度传感器和氨气浓度传感器等，在目标气体的浓度达到目标值的情况下触发摄像头采集图像，或者还可以触发间室内的补光灯打开。
[0086]
步骤120、对所述待识别图像进行识别，得到至少一种食物类别以及与各食物类别对应的第一子图像；
[0087]
需要说明的是，待识别图像中包括有一个或多个食物影像，食物的影像之间可能存在重合或间隔开的情况，通过对待识别图像进行对象图像识别，可以识别出每个食物的食物类别。
[0088]
第一子图像为对待识别图像进行切割后得到的子图像，每张第一子图像包括一个食物类别的食物影像，通过分割出第一子图像，便于后续进行鲜腐识别。
[0089]
第一子图像包括前景和背景，前景为用于表征食物的像素，背景为其他像素。
[0090]
在分割出第一子图像时，可以根据食物影像的外轮廓确定第一子图像的大小，比
如确保食物像素的任一处外轮廓到第一子图像的边界的距离小于目标值，这样得到的第一子图像的像素较少，可以降低后续识别的计算量。
[0091]
在待识别图像中包括多个食物影像的情况下，该步骤可以得到多张第一子图像，每张第一子图像仅包括一类食物，不同的第一子图像可能对应的是同类或不同类的食物。
[0092]
需要说明的是，对于每张第一子图像均需要进行后续的步骤130和步骤140的处理识别。
[0093]
以待识别图像p包括白菜、香蕉和苹果，这三种食物的腐败程度不同为例：在步骤120中，可以基于待识别图像a得到第一子图像a、第一子图像b和第一子图像c。
[0094]
第一子图像a对应白菜；第一子图像b对应香蕉；第一子图像c对应苹果。
[0095]
在后续的步骤中，通过对第一子图像a、第一子图像b和第一子图像c进行分别识别，可以分别得到白菜、香蕉和苹果的鲜腐识别结果。
[0096]
而相关技术中，只能一次识别一种食物的鲜腐识别结果，比如对于上述待识别图像p，相关技术中的识别方法得到的结果可能是以白菜、香蕉和苹果中腐败程度最严重的一个的鲜腐识别结果作为整体的鲜腐识别结果，或者根据多个识别结果取均值。
[0097]
本发明的技术方案，通过先进行目标检测可以做到同时对多个食物进行鲜腐识别。
[0098]
步骤130、对第一子图像的背景进行处理，得到第二子图像；
[0099]
在该步骤中，可以将第一子图像中的背景处理为目标像素，比如同一替换为灰色或黑白棋盘格等，这样在对得到的第二子图像进行鲜腐识别时，识别过程不会受到背景的干扰，可以极大提高识别的准确性和识别效率。
[0100]
可以理解的是，在步骤120中得到的第一子图像除了包括食物像素外，还包括背景像素，在冰箱场景下，图像的背景复杂，且食物之间很可能相互遮挡，光照均匀性难以保证，且冰箱间室内采集的图像噪声大，这些都严重影响了鲜腐识别。
[0101]
在该技术方案中，结合冰箱场景的特别之处，通过先处理掉背景像素，可以帮助后续识别。
[0102]
以上述的待识别图像p为例，在该步骤中，第一子图像a、第一子图像b和第一子图像c分别进行背景处理，得到意义对应的第二子图像a、第二子图像b和第二子图像c。
[0103]
第二子图像a对应白菜；第二子图像b对应香蕉；第二子图像c对应苹果。
[0104]
步骤140、对第二子图像进行识别，得到与第二子图像对应的食物的鲜腐识别结果。
[0105]
对于处理得到的每张第二子图像，通过进行图像识别，即可得到与第二子图像对应的食物的鲜腐识别结果。
[0106]
通过步骤120可知，知晓每张第二子图像的食物类别，通过步骤140的识别，对于一张待识别图像中包括多种食物的情况，可以分别得到每种食物的鲜腐识别结果，且各个食物本质上是被独立识别的，识别结果准确。
[0107]
需要说明的是，上述鲜腐识别结果可以为新鲜或腐败这种二元结论，也可以是腐败程度等级(比如5级)或新鲜程度等级(比如6级)。
[0108]
实际使用的识别方法包括但不限于神经网络模型、像素点数值的表格对比等方式。
[0109]
以上述的待识别图像p为例，在该步骤中，需要对第二子图像a、第二子图像b和第二子图像c分别进行识别，即可得到白菜、香蕉和苹果的鲜腐识别结果。
[0110]
根据本发明实施例的食物鲜腐识别方法，通过对象识别、图像分割、背景处理和鲜腐识别，可以以较低的成本，有效解决复杂背景以及食物之间相互遮挡的影响，提高食物新鲜腐败判别的准确率，给予用户更智能的食物管理体验。
[0111]
在一些实施例中，步骤120、对待识别图像进行识别，得到至少一种食物类别以及与各食物类别对应的第一子图像，包括：
[0112]
对待识别图像进行识别，得到至少一种食物类别以及与各食物类别对应的位置特征；
[0113]
基于位置特征，得到与各食物类别对应的第一子图像。
[0114]
可以理解的是，对于待识别图像，通过对象识别，可以得到一个或多个食物类别，以及各食物类别对应的位置特征，位置特征可以用食物在图像上矩形区域的对角坐标表示，比如左上角坐标以及右下角坐标。
[0115]
在进行识别时，可以先检测食物的位置特征再对该位置特征的食物进行分类，或者先识别食物类别，再定位各食物的位置特征。
[0116]
在实际的执行中，上述步骤、对待识别图像进行识别，得到至少一种食物类别以及与各食物类别对应的位置特征，可以包括：将待识别图像输入到食物识别模型，得到食物识别模型输出的至少一种食物类别和与各食物类别对应的位置特征。
[0117]
其中，食物识别模型为，以样本图像为样本，以预先确定的与样本图像对应的样本类别以及样本位置特征为样本标签训练得到。
[0118]
换言之，该食物识别模型的训练样本为：样本图像；该食物识别模型的训练标签为：样本类别，该样本类别可以为提前人工标定的，或者通过对部分样本集进行扩容得到的。
[0119]
通过深度学习的方法，可以增大识别的范围，换言之，对于光线变化或形态变化的待识别图像，该方法均可以实现有效识别。
[0120]
将待识别图像输入到食物识别模型，得到食物识别模型输出的食物类别和位置特征。
[0121]
上述食物识别模型可以为目标检测网络，食物识别模型用于识别每个食物的类别以及在图像上的位置，位置可表示为食物区域(矩形区域)在图像上的左上角坐标以及右下角坐标。该食物识别模型包括但不限于一阶段目标检测如yolo系列和二阶段目标检测如rcnn系列。
[0122]
在一些实施例中，步骤130、对第一子图像的背景进行处理，得到第二子图像，包括：
[0123]
将第一子图像的前景和背景进行分割；
[0124]
将第一子图像的背景替换为目标像素，得到第二子图像，第二子图像包括前景和目标像素。
[0125]
可以理解的是，第一子图像包括前景像素和背景像素，用于表征食物的像素是前景，其他像素是背景，背景像素在后续识别时正向作用，反而可能会影响识别结果，前景和背景进行分割主要是用于将背景分割出去。
[0126]
在该实施例方式中，将第一子图像的前景和背景进行分割，包括：将第一子图像输入到图像显著性检测模型，得到图像显著性检测模型输出的前景或背景；其中，图像显著性检测模型为，以食物样本图像为样本，以预先确定的与食物样本图像对应的样本前景或背景为样本标签训练得到。
[0127]
换言之，该图像显著性检测模型的训练样本为：食物样本图像；该图像显著性检测模型的训练标签为：样本前景或样本背景，该样本前景或样本背景可以为提前人工标定的，或者通过对部分样本集进行扩容得到的。
[0128]
将第一子图像输入到图像显著性检测模型中，得到图像显著性检测模型输出的背景，然后将背景替换为灰色。
[0129]
需要说明的是，相关技术中，对图像进行前景和背景分割通常采用的是大律法，但是在实现本发明的过程中，发明人通过大量研究发现，对于冰箱场景，由于拍摄环境差(比如摄像头起雾等)，得到的图像噪声大，食物之间很可能相互遮挡，在进行前景和背景分割时，效果不好。
[0130]
在步骤120中，通过切割得到的第一子图像前景和背景的大小比例悬殊，用大律法可能或出现双峰或者多峰，效果不好。
[0131]
本技术的发明人结合冰箱的特殊场景，以及第一子图像的特殊性，通过使用图像显著性检测模型，可以在一定程度上解决图像噪声和图像比例的影响。
[0132]
在一些实施例中，该图像显著性检测模型可以为u2net网络。
[0133]
在一些实施例中，该图像显著性检测模型的损失函数是基于样本权重参数和样本难度参数确定的，其中，样本权重参数用于表征正负样本的比例，样本难度参数用于表征样本的复杂程度。
[0134]
可以理解的是，常规方法中使用的是交叉熵损失函数，该损失函数的应用范围极广。
[0135]
但是，在本技术的技术方案中，第一子图像中食物的像素远大于背景像素，食物与背景之间的边界难以准确分割，容易将背景也误认为是食物。
[0136]
换言之，在本发明的该场景下，概率较大的样本的数量较多，这样交叉熵损失函数累计起来就会比较大了，甚至会超过那些概率较小的样本，导致对于那些概率较大的学习效果不佳。相关技术中的分割方法并未注意到这一问题，导致将背景也误认为是食物。
[0137]
本技术的发明人通过将样本权重参数和样本难度参数纳入损失函数中，可以增强模型的学习效果。
[0138]
在实际的执行中，图像显著性检测模型的损失函数为：
[0139][0140]
其中，l为损失函数，pi为图像显著性检测模型在训练时的识别概率，y为样本标签，α为样本权重参数，γ为样本难度参数。α和γ为可调节参数，比如0.2≤α≤0.3，1.8≤γ≤2.5。
[0141]
在一些实施例中，步骤140、对第二子图像进行识别，得到与第二子图像对应的食物的鲜腐识别结果，包括：
[0142]
将第二子图像输入到鲜腐识别模型，得到鲜腐识别模型输出的鲜腐识别结果；
[0143]
其中，鲜腐识别模型为，以背景为目标像素的样本图像为样本，以预先确定的与样本图像对应的样本识别结果为样本标签训练得到。
[0144]
或者，步骤140、对第二子图像进行识别，得到与第二子图像对应的食物的鲜腐识别结果，包括：将第二子图像以及与该第二子图像对应的食物类别输入到鲜腐识别模型，得到鲜腐识别模型输出的鲜腐识别结果；
[0145]
其中，鲜腐识别模型为，以背景为目标像素的样本图像以及该样本图像对应的食物类别为样本，以预先确定的与样本图像对应的样本识别结果为样本标签训练得到。
[0146]
将第二子图像输入到鲜腐识别模型中，得到鲜腐识别模型输出的鲜腐识别结果。
[0147]
相关技术中，由于样本集中的样本图像的背景各式各样，训练难度大，且训练出来的鲜腐识别模型受背景影响，识别准确率也低。本发明中，训练时选用的样本图像的背景均为目标像素，可以有效提高鲜腐识别模型的训练效果，进而提高识别准确率。
[0148]
在鲜腐识别模型为分类网络时，样本标签为新鲜或腐败(1或0)，鲜腐识别模型可以输出新鲜或腐败的识别结果。
[0149]
在鲜腐识别模型为回归网络时，样本标签为新鲜程度一级、新鲜程度二级、新鲜程度三级、新鲜程度四级、新鲜程度五级和新鲜程度六级，鲜腐识别模型可以输出新鲜程度一至六级的识别结果。
[0150]
在实际执行的过程中，鲜腐识别模型可以为resnet等图像分类网络，以及transformer、mlp等神经网络或者svm、xgboost等机器学习网络。
[0151]
通过神经网络进行鲜腐识别，相比于提取颜色、纹理特征再利用机器学习方法判别，通过神经网络的深度学习方法能有效应对光线变化和食物形态变换等问题，识别准确率最高。
[0152]
综上所述，本发明实施例的食物鲜腐识别方法通过目标检测、语义分割、图像分类、图像显著性检测等深度学习技术，可以准确判断图像上每个食物的新鲜腐败程度，且在冰箱场景下，使用效果极好。
[0153]
下面对本发明实施例提供的食物鲜腐识别装置进行描述，下文描述的食物鲜腐识别装置与上文描述的食物鲜腐识别方法可相互对应参照。
[0154]
如图2所示，本发明实施例提供的食物鲜腐识别装置包括：接收模块210、第一处理模块220、第二处理模块230和识别模块240。
[0155]
接收模块210，用于获取待识别图像；
[0156]
第一处理模块220，用于对待识别图像进行识别，得到至少一种食物类别以及与各食物类别对应的第一子图像，第一子图像包括前景和背景，前景为用于表征食物的像素；
[0157]
第二处理模块230，用于对第一子图像的背景进行处理，得到第二子图像；
[0158]
识别模块240，用于对第二子图像进行识别，得到与第二子图像对应的食物的鲜腐识别结果。
[0159]
根据本发明实施例的食物鲜腐识别装置，通过对象识别、图像分割、背景处理和鲜腐识别，可以以较低的成本，有效解决复杂背景以及食物之间相互遮挡的影响，提高食物新鲜腐败判别的准确率，给予用户更智能的食物管理体验。
[0160]
在一些实施例中，第二处理模块230，还用于将第一子图像的前景和背景进行分割；将第一子图像的背景替换为目标像素，得到第二子图像，第二子图像包括前景和目标像
素。
[0161]
在一些实施例中，第二处理模块230，还用于将第一子图像输入到图像显著性检测模型，得到图像显著性检测模型输出的前景；其中，图像显著性检测模型为，以食物样本图像为样本，以预先确定的与食物样本图像对应的样本前景为样本标签训练得到。
[0162]
在一些实施例中，图像显著性检测模型的损失函数是基于样本权重参数和样本难度参数确定的，其中，样本权重参数用于表征正负样本的比例，样本难度参数用于表征样本的复杂程度。
[0163]
在一些实施例中，图像显著性检测模型的损失函数为：
[0164][0165]
其中，l为损失函数，pi为图像显著性检测模型在训练时的识别概率，y为样本标签，α为样本权重参数，γ为样本难度参数。
[0166]
在一些实施例中，第一处理模块220，还用于对待识别图像进行识别，得到至少一种食物类别以及与各食物类别对应的位置特征；基于位置特征，得到与各食物类别对应的第一子图像。
[0167]
在一些实施例中，第一处理模块220，还用于将待识别图像输入到食物识别模型，得到食物识别模型输出的至少一种食物类别和与各食物类别对应的位置特征；
[0168]
其中，食物识别模型为，以样本图像为样本，以预先确定的与样本图像对应的样本类别以及样本位置特征为样本标签训练得到。
[0169]
在一些实施例中，识别模块240，还用于将第二子图像输入到鲜腐识别模型，得到鲜腐识别模型输出的鲜腐识别结果；
[0170]
其中，鲜腐识别模型为，以背景为目标像素的样本图像为样本，以预先确定的与样本图像对应的样本识别结果为样本标签训练得到。
[0171]
本发明还提供了一种冰箱。
[0172]
该冰箱包括：柜体、柜门、摄像头和如上述任一种实施例的食物鲜腐识别装置，摄像头安装与柜体或柜门，摄像头与食物鲜腐识别装置电连接。摄像头用于采集待识别图像。
[0173]
根据本发明实施例的冰箱，可以以较低的成本，有效解决复杂背景以及食物之间相互遮挡的影响，提高食物新鲜腐败判别的准确率，给予用户更智能的食物管理体验。
[0174]
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行食物鲜腐识别方法，该方法包括：获取待识别图像；对待识别图像进行识别，得到至少一种食物类别以及与各食物类别对应的第一子图像，第一子图像包括前景和背景，前景为用于表征食物的像素；对第一子图像的背景进行处理，得到第二子图像；对第二子图像进行识别，得到与第二子图像对应的食物的鲜腐识别结果。
[0175]
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以
软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0176]
进一步地，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法实施例所提供的食物鲜腐识别方法，该方法包括：获取待识别图像；对待识别图像进行识别，得到至少一种食物类别以及与各食物类别对应的第一子图像，第一子图像包括前景和背景，前景为用于表征食物的像素；对第一子图像的背景进行处理，得到第二子图像；对第二子图像进行识别，得到与第二子图像对应的食物的鲜腐识别结果。
[0177]
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的食物鲜腐识别方法，该方法包括：获取待识别图像；对待识别图像进行识别，得到至少一种食物类别以及与各食物类别对应的第一子图像，第一子图像包括前景和背景，前景为用于表征食物的像素；对第一子图像的背景进行处理，得到第二子图像；对第二子图像进行识别，得到与第二子图像对应的食物的鲜腐识别结果。
[0178]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0179]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0180]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
[0181]
以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围中。