果蔬识别方法、装置、冰箱及计算机可读存储介质与流程

1.本技术实施例涉及图像处理技术领域，具体涉及一种果蔬识别方法、装置、冰箱及计算机可读存储介质。


背景技术：

2.实现果蔬自动识别已经是作为智能冰箱的基本要求之一。目前比较常用的果蔬识别方法有通过卷积神经网络对果蔬图像进行图像识别。
3.然而，冰箱内空间狭窄，冰箱内果蔬识别容易收到视角变化、物体之间相互遮挡和图片背景的影响，常规基于卷积神经网络对果蔬图像进行识别的方案难以得到准确的果蔬识别结果。


技术实现要素：

4.本技术实施例提供一种果蔬识别方法、装置、冰箱及计算机可读存储介质，旨在解决现有的基于卷积神经网络对果蔬图像进行识别存在的识别准确不佳的技术问题。
5.一方面，本技术实施例提供一种果蔬识别方法，包括：
6.获取待识别果蔬的目标图像；
7.对目标图像进行目标检测处理和图像分割处理，得到待识别果蔬的轮廓特征信息；
8.根据轮廓特征信息确定待识别果蔬的种类识别结果。
9.另一方面，本技术实施例还提供一种果蔬识别装置，包括：
10.获取模块，用于获取待识别果蔬的目标图像；
11.特征提取模块，用于对目标图像进行目标检测处理和图像分割处理，得到待识别果蔬的轮廓特征信息；
12.识别模块，用于根据轮廓特征信息确定待识别果蔬的种类识别结果。
13.另一方面，本技术实施例还提供一种冰箱，冰箱包括处理器、存储器以及存储于存储器中并可在处理器上运行的果蔬识别程序，处理器执行果蔬识别程序以实现上述的果蔬识别方法中的步骤。
14.另一方面，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有果蔬识别程序，果蔬识别程序被处理器执行以实现上述的果蔬识别方法中的步骤。
15.本技术实施例中，在获取到待识别果蔬的目标图像后，会通过目标检测处理以及图像分割处理，去综合提取得到待识别果蔬的轮廓特征信息，然后基于得到的轮廓特征信息，进一步判断目标图像中果蔬的种类识别结果。本技术实施例提供的果蔬识别方法，利用集成模型的思想，通过集成不同的图像处理方式，可以从目标图像中提取更加准确的的果蔬轮廓特征信息，从而识别得到更准确的果蔬识别结果。
附图说明
16.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本技术实施例提供的果蔬识别方法的场景示意图；
18.图2是本技术实施例中提供的果蔬识别方法的第一实施例流程示意图；
19.图3是本技术实施例中提供的果蔬识别方法的第二实施例流程示意图；
20.图4是本技术实施例中提供的果蔬识别方法的第三实施例流程示意图；
21.图5(a)～图5(d)是本技术实施例中提供的果蔬识别集成模型的结构示意图；
22.图6是本技术实施例中提供的果蔬识别方法的第四实施例流程示意图；
23.图7是本技术实施例中提供的果蔬识别方法中第五实施例流程示意图；
24.图8是本技术实施例中提供的果蔬识别方法中第六实施例流程示意图；
25.图9是本技术实施例中提供的果蔬识别方法中第七实施例流程示意图；
26.图10是本技术实施例提供的一种果蔬识别装置的功能模块示意图；
27.图11是本技术实施例提供的一种果蔬识别装置的具体结构示意图。
具体实施方式
28.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明包含的范围。
29.在本技术实施例中，“示例性”一词用来表示“用作例子、例证或说明”。本技术实施例中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本技术实施例所公开的原理和特征的最广范围相一致。
30.本技术实施例中提供一种果蔬识别方法、装置、冰箱及计算机可读存储介质，以下分别进行详细说明。
31.本技术实施例中果蔬识别方法应用于果蔬识别装置，果蔬识别装置集成设置于冰箱上，冰箱中包括存储器、处理器以及存储于存储器中并可在处理器上运行的果蔬识别程序，处理器执行果蔬识别程序时实现果蔬识别方法中的步骤。此外，为更好地实现本技术中果蔬识别方法，冰箱中还集成设置有用于拍摄果蔬图像的拍摄装置，以及用于称取果蔬重量的称量装置。需要说明的是，上述所描述的冰箱仅仅只是示出与现有常规冰箱的差异点，对于常规冰箱所具有的冷藏功能模块的相关部分，本发明在此不做赘述。
32.如图1所示，图1为本技术实施例果蔬识别的场景示意图，本发明实施例中果蔬识别场景中包括果蔬识别装置100、拍摄装置200以及称量装置300，其中果蔬识别装置100、拍
摄装置200以及称量装置300之间相互通讯连接。需要说明的一点是，拍摄装置200和称量装置300通常会集成设置于冰箱中，以采集得到冰箱箱体内果蔬的信息，例如图像信息以及重量信息等等。而果蔬识别装置则可以有不同的设置方式，例如，果蔬识别装置可以设置于服务端上，此时，冰箱通过搭载的拍摄装置200和称量装置300采集得到冰箱箱体内果蔬的图像信息和重量信息后，会通过socket发送至服务端，此时，服务端上的果蔬识别装置会对接收到的数据进行处理，得到果蔬的种类识别结果并反馈给冰箱，作为另一种可行的方式，果蔬识别装置是以嵌入式开发板，例如nvidia jetsontx2的方式安装在冰箱上，并通过嵌入式开发板的接口直接搭载拍摄装置200和称量装置300，以直接读取待识别果蔬的图像信息和重量信息，并完成对待识别果蔬的识别。
33.具体的，拍摄装置200主要用于拍摄得到冰箱箱体内果蔬的图像，称量装置300主要用于采集冰箱箱体内果蔬的重量，而果蔬识别装置100中运行果蔬识别方法对应的计算机存储介质，以利用拍摄装置200拍摄得到的果蔬图像和称量装置300采集的果蔬重量执行果蔬识别的步骤，其中，果蔬识别步骤中主要包括：获取待识别果蔬的目标图像；对目标图像进行目标检测处理和图像分割处理，得到待识别果蔬的轮廓特征信息；根据轮廓特征信息，确定待识别果蔬的种类识别结果。
34.需要说明的是，图1所示的果蔬识别方法的场景示意图仅仅是一个示例，本发明实施例描述的果蔬识别方法的场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定。
35.基于上述果蔬识别方法的场景，提出了果蔬识别方法的实施例。
36.如图2所示，图2为本技术实施例中提供的果蔬识别方法的第一实施例流程示意图，本实施例中果蔬识别方法包括步骤201-203：
37.201，获取待识别果蔬的目标图像。
38.本技术实施例中，目标图像是指图像中包含有待识别果蔬的图像，通常情况下，可以是由前述图1所示出的果蔬识别方法的场景中的拍摄装置200所拍摄得到。具体的，以冰箱场景下为例，当检测到冰箱开关门、或者检测到冰箱内隔板上重量发生改变时、又或者是触发其他果蔬识别条件时，此时会启动冰箱内拍摄装置的拍摄选项，得到待识别果蔬的目标图像。
39.需要说明的一点是，本技术实施例是以包含单个待识别果蔬的目标图像为例进行说明，事实上，即使场景中同时包含有多个待识别果蔬时，也不会影响到本技术的实现。具体的，可以针对于场景中包含的每一个待识别果蔬分别按照本技术所提供的果蔬识别方法进行识别，得到每一个果蔬的识别结果。同样的，针对于需要识别出拿走的果蔬的种类，虽然无法直接获取该果蔬的目标图像，但是可以分别获取果蔬拿走前和果蔬拿走后两张图像中的果蔬识别结果，综合确定拿走的果蔬的种类。
40.作为本技术的可选方案，在通过拍摄装置直接拍摄得到待识别果蔬的图像后，还会对得到的图像进行预处理，以得到目标图像。其中，预处理至少包括平滑、去噪、滤波、裁剪中的一种。由于上述处理过程属于本领域技术人员常用的技术手段，本发明对于具体的实现过程不做赘述。
41.202，对目标图像进行目标检测处理和图像分割处理，得到待识别果蔬的轮廓特征信息。
42.本技术实施例中，果蔬的轮廓特征信息主要可以从两个维度描述，其中一个维度是轮廓大小，也可以理解为果蔬的尺寸特征，另一个维度是轮廓形状，也可以理解为果蔬的形状特征。而通过对目标图像进行目标检测处理和图像分割处理，可以提取得到待识别果蔬的轮廓特征信息。具体的，轮廓特征信息是以图像矩阵的形式存在，也可以将图像矩阵逐行或者逐列展开并以特征向量的形式存在。
43.本技术实施例中，对图像进行目标检测处理的具体实现方式有很多种，例如，可以采用rcnn(regions with cnn features)，spp-net(spatial pyramid pooling network)，yolo(you only look once)网络等等，而对图像进行分割处理的具体实现方式也有很多种，例如基于边缘检测的分割算法、基于区域生长的分割算法，以及基于深度学习的分割算法。其中，针对于不同的处理过程，所提取得到待识别果蔬的特征信息并不相同，但都可以在一定程度上体现出待识别果蔬的轮廓特征，从而便于后续利用该轮廓特征信息得到种类识别结果。
44.本技术实施例对于目标检测以及图像分割的具体算法不做限制，但作为本技术的可选实施例，基于对数据量、处理能力以及时间的考虑，本技术提供一种基于预先训练好的果蔬识别集成模型对图像进行目标检测处理和兔相逢额处理的实现方式，具体请参阅后续图3及其解释说明的内容。
45.203，根据轮廓特征信息确定待识别果蔬的种类识别结果。
46.本技术实施例中，在对图像进行目标检测处理和图像分割处理，得到图像中的待识别果蔬的轮廓特征信息后，由于轮廓特征信息是基于两种不同的图像处理方式得到，所得到的轮廓特征信息更加真实，因此，基于提取得到的轮廓特征信息，可以得到更加准确的待识别果蔬的种类识别结果。
47.本技术实施例中，在获取到待识别果蔬的目标图像后，会通过目标检测处理以及图像分割处理，去综合提取得到待识别果蔬的轮廓特征信息，然后基于得到的轮廓特征信息，进一步判断目标图像中果蔬的种类识别结果。本技术实施例提供的果蔬识别方法，通过集成不同的图像处理方式，可以从目标图像中提取更加准确的果蔬轮廓特征信息，从而识别得到更准确的果蔬识别结果。
48.进一步的，虽然目标检测处理和图像分割处理都可以在一定程度上提取得到图像中果蔬的特征信息，但考虑目标检测处理和图像分割处理对于轮廓的提取细节不同，本技术提出了一种基于集成模型的思想，利用集成设置的目标检测网络和图像分割网络实现对图像中待识别果蔬的轮廓特征信息提取。如图3所示，图3为本技术实施例中提供的果蔬识别方法的第二实施例流程示意图。
49.本技术实施例中，对目标图像进行目标检测处理和图像分割处理是基于果蔬识别集成模型所实现的，作为一种可行的实现方式，果蔬识别集成模型由目标检测网络以及图像分割网络组成，在一种实现方式中，目标检测网络可以为yolo网络，图像分割网络可以为unet网络，此时，果蔬识别方法具体包括步骤301～303：
50.301，将目标图像输入目标检测网络，得到待识别果蔬的尺寸特征信息。
51.本技术实施例中，考虑到目标检测网络更侧重于对图像整体特征的处理，因此，目标检测网络可以更好的提取得到待识别果蔬的尺寸特征信息，该尺寸特征信息可以侧面反映出果蔬的轮廓大小。具体的，目标检测网络是预先基于大量训练样本数据训练生成的，具
体是利用实际采集得到的果蔬图像以及通过网络爬虫从网络上所获取的一部分果蔬图像混合作为训练样本数据。当然，为了提高训练样本数据的丰富度，还可以对训练样本数据进行水平翻转、旋转、尺度缩放和添加噪声的方式，以实现数据的增强。由于具体利用训练样本数据训练得到可用于实现果蔬图像的目标检测的目标检测网络的过程属于本领域的常规技术手段，本发明在此不做赘述。
52.作为本技术的一种可选方案，提供了一种轻量化的目标检测网络的具体架构，可以实现加速训练和推理，以提供在嵌入式平台上实时运行的可能，详述如下：
53.本技术实施例提供的实施例中，目标检测网络由预处理层、骨干层、融合特征层以及输出层组成。
54.其中，预处理层用于对目标图像的预处理，包括数据增强、锚框参数计算以及图像尺寸缩放，即将目标图像输入预处理层中，可以得到预处理后的图像。
55.骨干层由切片层以及若干个cspnet层(cross stage paritial network，跨阶段局部网络)连接组成，其中每一cspnet层是由卷积层和若干个残差单元组成。具体的，预处理后的图像经过切片层切片处理后得到特征图像，以4*4*3，即长4宽4的三通道图像切片为例，按照2x2的方式切片处理后会变成2*2*12，也就是长2宽2的12通道特征图像，而将特征图像输入至cspnet层中，会将卷积层卷积处理后的第一中间图像与经过卷积层卷积处理之后再经过残差单元处理后的第二中间图像以concate，即张量拼接的方式进行融合，融合得到的结果作为下一cspnet层的输入做进一步的处理，直至经过全部的cspnet层后，得到骨干特征输出图像。
56.融合特征层，由spp层(spatial pyramid pooling，空间金字塔池化)以及fpn-pan层连接组成，其中spp层会将目标图像在不同尺度下进行池化操作，然后将各尺度下的池化操作结果通过张量拼接的方式进行融合，fpn网络(feature pyramid networks，特征金字塔)可以理解为自顶向下的语义特征传达，而pan则可以理解为反向特征金字塔，也就是强调自底向上的定位特征传达。具体的，将骨干特征输出图像输入至spp层中，会在不同尺度下对骨干特征输出图像进行池化操作得到多个池化特征图像，所得到的多个池化特征图像通过张量拼接的方式进行融合，输出融合池化特征图像，融合池化特征图像会进一步输入至fpn层，经过若干次的上采样操作后，再次输入至pan层进行若干次下采样操作，得到最终的融合特征。
57.输出层，由卷积层组成，即将融合特征输入至卷积层进行处理，即可得到目标图像最终的目标检测结果，也就是待识别果蔬的区域特征信息。进一步的，骨干层可以选择多种骨干网络进行融合，具体的，可以选择yolov5中的cspdraknet53、ghostnet和mobilenext三种骨干网络融合作为骨干层，此时具体的结构可以参阅后续组图5及其解释说明的内容。
58.302，将目标图像输入图像分割网络，得到待识别果蔬的形状特征信息。
59.本技术实施例中，与目标检测网络相对应，图像分割网络更注意对图像细节的特征提取，因此，图像分割网络可以更有效地提取得到目标图像中果蔬的边缘信息，也就是果蔬的形状特征信息，该形状特征信息侧面反映了果蔬的轮廓形状。当然，图像分割网络也需要预先基于大量训练样本数据训练生成，具体的训练样本数据可以采用与训练目标检测网络相同的样本数据，而具体的训练得到图像分割网络的过程也属于本领域的常规技术手段，本技术在此不再赘述。作为本技术的一种可选方案，提供了一种图像分割网络的具体结
构，详述如下：
60.图像分割网络主要包括：下采样模块，上采样模块以及跳跃连接模块。具体的，下采样模块由若干卷积层和若干下采样层依次连接组成，图像依次经过卷积层和下采样层来降低图像尺寸，提取图像在浅层次的多个特征信息。而上采样模块由若干卷积层和若干上采样层依次连接组成，经过下采样模块处理后的图像会经过卷积层和上采样层来增加图像尺寸，提取图像在深层次的特征信息。进一步的，跳跃连接模块会将下采样模块中提取的浅层次特征信息与对应的在上采样模块中提取的深层次特征信息通过张量拼接的方式进行融合，也就是在经过每一次上采样层处理后，所得到的上采样特征图像会与下采样模块中对应下采样层所生成的下采样特征图像进行融合，再输入至上采样模块中的卷积层进行卷积处理。最终，经过上采样模块输出的特征图像经过若干卷积操作所得到的特征信息即为目标图像的图像分割结果，也就是待识别果蔬的轮廓特征信息。
61.作为本技术的可选方案，为促进模型的收敛，提高网络的性能，可以采用迁移学习的方式，即利用已有的预训练模型分别作为上采样模块和下采样模块，此时，图像分割网络的具体结构请参阅后续组图5及其解释说明的内容。
62.303，将尺寸特征信息和形状特征信息融合，得到待识别果蔬的轮廓特征信息。
63.本技术实施例中，结合前述301以及302的描述可知，尺寸特征信息可以侧面反映出轮廓大小，而形状特征信息侧面反映出了轮廓的形状，因此，尺寸特征信息和形状特征信息可以理解为果蔬的轮廓在从尺寸和形状两个维度上的特征信息，因而，进一步将尺寸特征信息和形状特征信息融合，就可以综合两个网络的特征提取优势，得到更精确的轮廓特征信息。
64.如图4所示，图4为本技术实施例中提供的果蔬识别方法的第三实施例流程示意图。
65.本技术实施例中，作为可选方案，根据轮廓特征信息确定待识别果蔬的种类识别结果同样可以是基于神经网络得到，具体的，包括步骤401～402：
66.401，将轮廓特征信息输入预设的多层感知机，得到目标图像分别对应多个预设果蔬种类的多个预设种类概率。
67.本技术实施例中，将轮廓特征信息输入到多层感知机后，经过多层感知机中每层参数的处理后，可以输出分类向量，其中该分类向量中的每一维向量表示目标图像对应一种果蔬种类的概率，也就是说，当在模型中预先指定若干预设果蔬种类后，就可以得到目标图像分别对应多个预设果蔬种类的多个预设种类概率。需要说明的是，多层感知机的参数同样需要预先训练生成，本发明在此不做赘述。
68.本技术实施例中，多层感知机也就是bp神经网络通常是由输入层、隐含层以及输出层构成，具体的结构可以参阅后续组图5及其解释说明。
69.402，根据多个预设种类概率，确定待识别果蔬的种类识别结果。
70.本技术实施例中，结合前述描述可知，经过多层感知机处理后得到的分类向量描述了目标图像对应各预设果蔬种类的概率，而基于得到的多个预设种类概率，就可以确定出待识别果蔬的种类识别结果。例如，最常见的，将目标图像对应各预设果蔬种类的最大概率所对应的果蔬种类，也就是分类向量中值最大的维所对应的果蔬种类设定为种类识别结果即可。
71.当然，可以理解，种类识别结果的准确性依赖于网络模型的参数，除了在训练过程中利用更多的样本数据，进行更多次的迭代次数以得到效果更好的模型参数外。为进一步提高种类识别结果的准确性，在得到具体的模型后，还会进一步融合待识别果蔬的颜色信息或者重量信息去对种类识别结果进行校验。具体请参阅后续图6～图9及其解释说明的内容。
72.为便于理解本技术实施例所提供的果蔬识别集成模型的具体架构以及果蔬识别集成模型中各网络模型的具体结构，如组图5所示，图5(a)～图5(d)分别示出了果蔬识别集成模型的具体架构以及果蔬识别集成模型中各网络模型的具体结构。详述如下。
73.如图5(a)所示，为本技术实施例提供的一种目标检测网络的结构示意图。具体的，在输入时，会将目标图像分别输入到三个不同的骨干网络中，也就是cspdraknet53、ghostnet和mobilenext中，而不同的网络处理目标图像所得到的输出会经过全连接层，也就是隐含层，进行融合处理，从而得到最终的输出，也就是待识别果蔬的区域特征信息。
74.如图5(b)所示，为本技术实施例提供的一种图像分割网络的结构示意图，其中，与输入连接的为编码器部分，也就是带有预训练模型权重的resnest-269网络，此时，目标图像经过resnest-269网络编码处理后，会输入到解码器部分进行处理，其中解码器部分主要采用ocnet作为语义聚合模块、采用scse作为双通道注意力机制模块，同时在上采样的过程中会使用attention图像分割中的attention gate。具体的，数据在进入到图像分割网络的解码器部分时，先通过attention gate进行上采样，上采样的结果会依次通过语义聚合模块ocnet和双通道注意力机制模块scse进行处理，处理后的结果又会再次经过attention gate、ocnet和scse处理，重复若干次后，得到输出，也就是待识别果蔬的轮廓特征信息。
75.如图5(c)所示，为本技术实施例提供的一种多层感知机的结构示意图，其中，多层感知机主要有输入层、若干隐含层以及输出层表示，为简化模型结构，隐去了多层感知机中的部分隐含层，仅保留一层隐含层，同时对于每一层，也隐去了部分节点。
76.为便于理解本技术提供的果蔬识别方案，如图5(d)所示，为本技术提供的一种果蔬识别集成模型的具体架构图，可以看出，在得到果蔬图片后，会将果蔬图片分别输入到目标检测中进行目标检测，输入到图像分割网络中进行图像分割，所得到的处理结果在融合后重新输入到多层感知机中，此时，多层感知机会分别输出待识别果蔬属于各果蔬种类的概率。
77.如图6所示，图6为本技术实施例中提供的果蔬识别方法的第四实施例流程示意图。
78.本技术实施例中，为进一步提高了果蔬识别集成模型识别果蔬的准确率，在得到种类识别结果时，还会融合果蔬的颜色特征信息，具体的，包括步骤601～604：
79.601，获取待识别果蔬的颜色特征信息，以及与颜色特征信息对应的多个候选果蔬种类。
80.本技术实施例中，待识别果蔬的颜色特征信息可以通过对目标图像中各像素点的像素值分析得到。当然，也可以利用前述提及的果蔬识别集成模型得到，这是由于图像分割网络本身是在图像中的像素级别上打标签以进行训练，也就是说，图像分割网络可以通过强化颜色信息的方式，以提取得到待识别果蔬的颜色特征信息。
81.本技术实施例中，在果蔬识别装置的数据库中可以预先设置有先验知识库，例如，
可以预先存储有各果蔬种类对应的颜色信息。如此，当得到待识别果蔬的颜色特征信息后，可以通常查询该先验数据库，直接提取得到对应的多个候选果蔬种类。例如，先验知识库内预先设定的颜色为紫色的果蔬包括：茄子、紫薯、葡萄、洋葱等等，此时，当确定待识别果蔬的颜色为紫色时，可以认为该果蔬对应的候选果蔬种类包括前述提及的茄子、紫薯、葡萄、洋葱。
82.602，从多个预设种类概率中提取得到多个候选种类概率。
83.本技术实施例中，多个候选种类概率即分别为目标图像对应多个候选果蔬种类的概率。具体的，果蔬识别装置会先查询确定出与各候选果蔬种类对应的维度，然后从分类向量的对应维度处提取得到目标图像对应该候选果蔬种类的概率，也就是候选种类概率。
84.603，获取多个候选种类概率中的最大候选种类概率。
85.本技术实施例中，最大候选种类概率是指最大候选种类概率中的最大值。具体的，将两两候选种类概率比较大小，就可以得到候选种类概率中的最大候选种类概率。具体求取最大值的方式本技术在此不做赘述。
86.604，将最大候选种类概率对应的候选果蔬种类设定为待识别果蔬的种类识别结果。
87.本技术实施例中，结合前述描述可知，候选种类概率描述了目标图像中果蔬对应各候选果蔬种类的概率，即概率越大，表明目标图像中果蔬越可能是对应的候选果蔬种类，因此，最大候选种类概率对应的候选果蔬种类即为该待识别果蔬在融合颜色信息之后所确定出的最可能的果蔬种类。
88.本技术实施例提供了一种融合颜色特征信息后确定果蔬种类的实现方式，在得到待识别果蔬的颜色特征信息，会先得到该颜色特征信息对应的候选果蔬种类，然后利用目标图像对应各候选果蔬种类的概率中的最大值，将该最大值对应的候选果蔬种类设定为待识别果蔬的种类识别结果。该候选果蔬种类即为融合待识别果蔬的颜色信息后最可能的果蔬种类。
89.如图7所示，图7为本技术实施例中提供的果蔬识别方法的第五实施例流程示意图。
90.除利用果蔬的颜色特征信息得到更准确的种类识别结果外，本技术实施例还提供了一种融合果蔬的重量信息得到更准确的种类识别结果的实现方式，具体的，包括步骤701～704：
91.701，获取多个预设种类概率中的最大预设种类概率，以及与最大预设种类概率对应的目标果蔬种类。
92.本技术实施例中，结合前述描述可知，在通过多层感知机得到目标图像对应各个预设果蔬种类的概率后，通常情况下，概率最大值，也就是最大预设种类概率所对应的目标果蔬种类即为最可能是该待识别果蔬对应的果蔬种类。而为了保证识别的准确率，可以进一步利用重量对该待识别果蔬的种类识别结果进行校验。具体如后续步骤。
93.702，查询预设数据库，获取与目标果蔬种类对应的重量范围。
94.本技术实施例中，与颜色信息类似，在果蔬识别装置的数据库中可以预先设置有先验知识库，该先验知识库中也可以预先存储有各目标果蔬种类对应的重量范围。例如，苹果对应的重量范围为100g～500g，而樱桃对应的重量范围为5g～30g。因此，通过查询该先
验知识库，就可以得到目标果蔬种类对应的重量范围。
95.703，获取待识别果蔬的重量，并将重量和目标果蔬种类对应的重量范围进行比对。
96.本技术实施例中，结合前述图1提供的果蔬识别方法的场景示意图可知，待识别果蔬的重量可以是通过称量装置实现的，例如作为一种可行方式，冰箱的隔板上安装有称量装置，可以称量放置于隔板上果蔬的重量。当然，其他称量得到待识别果蔬的重量也是可行的，本发明在此不再赘述。
97.本技术实施例中，在得到待识别果蔬的重量后，会将该重量和目标果蔬种类对应的重量范围进行比对，判断重量是否位于目标果蔬种类对应的重量范围内，从而判断出该目标果蔬种类是否可能为待识别果蔬的真实种类。
98.704，若重量位于目标果蔬种类对应的重量范围内，则将目标果蔬种类设定为待识别果蔬的种类识别结果。
99.本技术实施例中，容易理解，当重量位于目标果蔬种类对应的重量范围内，也就是该目标果蔬种类可能为待识别果蔬的真实种类，并且该目标果蔬种类是通过果蔬识别集成模型所识别出的最可能为待识别果蔬的种类，因此，可以将目标果蔬种类设定为待识别果蔬的种类识别结果。
100.反之，若重量位于目标果蔬种类对应的重量范围外，即目标果蔬种类不可能为待识别果蔬的真实种类，例如，通过果蔬识别集成模型所识别出的最可能为待识别果蔬的种类，也就是目标果蔬种类为苹果时，而实际上待识别果蔬的重量仅为20g时，位于苹果所对应的重量范围100g～500g之外，表明该待识别果蔬不可能为苹果，因此果蔬识别集成模型识别结果存在误差，需要对识别结果进行校正。具体校正的方式，可以参阅后续图8图9及其解释说明的内容。
101.本技术实施例提供的技术方案，通过利用重量信息对过果蔬识别集成模型所识别出的种类结果信息进行校验，可以有效避免部分颜色相近但大小明显不同的水果之间的混淆，进一步提高了果蔬识别的精度。
102.如图8所示，图8为本技术实施例中提供的果蔬识别方法的第六实施例流程示意图。
103.在前述提到的利用重量对种类识别结果进行校验的过程中，若重量位于目标果蔬种类对应的重量范围外，则需要对待识别果蔬的种类识别结果进行校正，作为一种可行实现方案，本技术实施例提供了一种对待识别果蔬的种类识别结果进行校正的方式，具体包括步骤801～804：
104.801，将目标图像对应多个预设果蔬种类的概率降序排列，得到果蔬识别种类序列。
105.本技术实施例中，结合前述描述可知，目标图像对应多个预设果蔬种类的概率描述了待识别果蔬对应各预设果蔬种类的可能性，因此，将概率降序排列所得到的果蔬识别种类序列，各果蔬种类的可能性递减。当然，为了计算方便，在排序过程中，可以将概率为0或者低于某阈值的概率去掉，也就是将对应的果蔬种类去掉，因此，待识别果蔬极小概率为该果蔬种类。
106.802，查询预设数据库，获取果蔬识别种类序列中各果蔬种类对应的重量范围。
107.本技术实施例中，与前述得到与目标果蔬种类对应的重量范围相似，通过查询该先验知识库，可以得到果蔬识别种类序列中每一果蔬种类对应的重量范围。
108.803，将待识别果蔬的重量依次和果蔬识别种类序列中各果蔬种类对应的重量范围进行比对，直至重量位于果蔬识别种类序列中第一果蔬种类对应的第一重量范围内。
109.本技术实施例中，果蔬识别装置会将待识别果蔬的重量按照果蔬识别种类序列中的序列，依次和果蔬识别种类序列中各果蔬种类对应的重量范围进行比对，直到比对得到果蔬识别种类序列中的第一果蔬种类，其中待识别果蔬的重量位于该第一果蔬种类对应的第一重量范围内。
110.804，将第一果蔬种类设定为待识别果蔬的种类识别结果。
111.本技术实施例中，在前述提供的比对规则下，此时第一果蔬种类即为重量范围满足待识别果蔬的重量，且概率最大的果蔬种类。因此，第一果蔬种类最可能为待识别果蔬的种类。
112.本技术实施例提供了利用重量信息对待识别果蔬的种类识别结果进行校正，重新确定新的更准确的种类识别结果的实现方案，通过根据图像对应各预设果蔬种类的概率，将果树种类降序排列，然后将待识别果蔬的重量依次和序列中各果蔬种类对应的重量范围进行比对，直至找到概率最大，同时也符合待识别果蔬重量要求的果蔬种类。本技术实施例提供的方案，可以有效综合待识别果蔬的重量信息以及果蔬识别集成模型的识别结果，确定出最优的果蔬识别结果。
113.如图9所示，图9为本技术实施例中提供的果蔬识别方法的第七实施例流程示意图。
114.本技术实施例提供了另一种对待识别果蔬的种类识别结果进行校正的方式，具体包括步骤901～904：
115.901，查询预设数据库，获取与目标果蔬种类对应的相似果蔬种类序列。
116.与前述步骤801相似，当重量位于目标果蔬种类对应的重量范围外时，果蔬识别装置也会获取到一串果蔬种类序列。但与前述步骤801不同的是，本技术实施例中，果蔬种类序列是预先存储于先验知识库中与目标果蔬种类对应的相似果蔬种类，而并非是通过图像对应各预设果蔬种类的概率降序排列得到。
117.本技术实施例中，相似果蔬种类序列各果蔬是按照与目标果蔬种类的相似程度降序排列的，其中各果蔬与目标果蔬种类的相似程度可以预先基于人工设定，也可以是果蔬识别装置基于实际过程中果蔬种类的误判结果统计得到。例如，当苹果多次被误判为桃时，表明桃即为与苹果对应的相似果蔬种类序列中的一种果蔬。
118.902，获取相似果蔬种类序列中各果蔬种类对应的重量范围。
119.本技术实施例中，与前述步骤802相似，通过查询先验知识库，可以得到相似果蔬种类序列中各果蔬种类对应的重量范围。
120.903，将待识别果蔬的重量依次和相似果蔬种类序列中各果蔬种类对应的重量范围进行比对，直至重量位于相似果蔬种类序列中第二果蔬种类对应的第二重量范围内。
121.本技术实施例中，与前述步骤803相似，果蔬识别装置会将待识别果蔬的重量按照相似果蔬种类序列中的序列，依次和相似果蔬种类序列中各果蔬种类对应的重量范围进行比对，直到比对得到相似果蔬种类序列中的第二果蔬种类，其中待识别果蔬的重量位于该
第二果蔬种类对应的第二重量范围内。
122.904，将第二果蔬种类设定为待识别果蔬的种类识别结果。
123.本技术实施例中，在前述提供的比对规则下，此时第二果蔬种类即为重量范围满足待识别果蔬的重量，且最接近于果蔬识别集成模型所识别出的目标果蔬种类的果蔬种类。因此，第二果蔬种类最可能为待识别果蔬的种类。
124.本技术实施例提供了另一种利用重量信息对待识别果蔬的种类识别结果进行校正，重新确定新的更准确的种类识别结果的实现方案，通过获取与目标果蔬种类对应的相似果蔬种类序列，然后将待识别果蔬的重量依次和序列中各果蔬种类对应的重量范围进行比对，直至找到最接近于果蔬识别集成模型所识别出的目标果蔬种类，同时也符合待识别果蔬重量要求的果蔬种类。
125.当然，需要说明的一点是，作为本技术实施例的可选方案，相似果蔬种类序列和果蔬识别种类序列也可以进行融合，也就是可以根据相似果蔬种类序列和果蔬识别种类序列重新确定新的序列，然后将将待识别果蔬的重量依次和该序列中各果蔬种类对应的重量范围进行比对，具体的实现方案本技术在此不做赘述。
126.如图10所示，图10是本技术实施例提供的一种果蔬识别装置的功能模块示意图。
127.为了更好实施本技术实施例中果蔬识别方法，在果蔬识别方法基础之上，本技术实施例中还提供一种果蔬识别装置，果蔬识别装置包括：
128.获取模块1001，用于获取待识别果蔬的目标图像。
129.特征提取模块1002，用于对目标图像进行目标检测处理和图像分割处理，得到待识别果蔬的轮廓特征信息。
130.识别模块1003，用于根据轮廓特征信息确定待识别果蔬的种类识别结果。
131.在本技术一些实施例中，上述特征提取模块包括：
132.目标检测网络处理次模块，用于将目标图像输入目标检测网络，得到待识别果蔬的尺寸特征信息；
133.图像分割网络处理次模块，用于将目标图像输入图像分割网络，得到待识别果蔬的形状特征信息；
134.特征融合次模块，用于将尺寸特征信息和形状特征信息融合，得到待识别果蔬的轮廓特征信息。
135.在本技术一些实施例中，上述识别模块包括：
136.感知机处理次模块，用于将轮廓特征信息输入预设的多层感知机，得到目标图像分别对应多个预设果蔬种类的多个预设种类概率；
137.识别次模块，用于根据多个预设种类概率，确定待识别果蔬的种类识别结果。
138.在本技术一些实施例中，上述识别次模块，包括：
139.颜色提取单元，用于获取待识别果蔬的颜色特征信息，以及与颜色特征信息对应的多个候选果蔬种类；
140.概率提取单元，用于从多个预设种类概率中提取得到多个候选种类概率；多个候选种类概率分别为目标图像对应多个候选果蔬种类的概率；
141.最大概率获取单元，用于获取多个候选种类概率中的最大候选种类概率；
142.第一种类设定单元，用于将最大候选种类概率对应的候选果蔬种类设定为待识别
果蔬的种类识别结果。
143.在本技术一些实施例中，上述识别次模块，包括：
144.目标果蔬种类确定单元，用于获取多个预设种类概率中的最大预设种类概率，以及与最大预设种类概率对应的目标果蔬种类；
145.第一重量范围获取单元，用于查询预设数据库，获取与目标果蔬种类对应的重量范围；
146.第一比对单元，用于获取待识别果蔬的重量，并将重量和目标果蔬种类对应的重量范围进行比对；
147.第二种类设定单元，用于若重量位于目标果蔬种类对应的重量范围内，则将目标果蔬种类设定为待识别果蔬的种类识别结果。
148.在本技术一些实施例中，上述识别次模块，还包括：
149.第一种类序列获取单元，用于若重量位于目标果蔬种类对应的重量范围外，则将目标图像对应多个预设果蔬种类的概率降序排列，得到果蔬识别种类序列；
150.第二重量范围获取单元，用于查询预设数据库，获取果蔬识别种类序列中各果蔬种类对应的重量范围；
151.第二比对单元，用于将待识别果蔬的重量依次和果蔬识别种类序列中各果蔬种类对应的重量范围进行比对，直至重量位于果蔬识别种类序列中第一果蔬种类对应的第一重量范围内；
152.第三种类设定单元，用于将第一果蔬种类设定为待识别果蔬的种类识别结果。
153.在本技术一些实施例中，上述识别次模块，还包括：
154.第二种类序列获取单元，用于若重量位于目标果蔬种类对应的重量范围外，则查询预设数据库，获取与目标果蔬种类对应的相似果蔬种类序列；
155.第三重量范围获取单元，用于获取相似果蔬种类序列中各果蔬种类对应的重量范围；
156.第三比对单元，用于将待识别果蔬的重量依次和相似果蔬种类序列中各果蔬种类对应的重量范围进行比对，直至重量位于相似果蔬种类序列中第二果蔬种类对应的第二重量范围内；
157.第四种类设定单元，用于将第二果蔬种类设定为待识别果蔬的种类识别结果。
158.为更清楚本技术实施例提供的果蔬识别装置的具体结构，如图11所示，本技术实施例还提供一种果蔬识别装置的具体结构示意图。
159.具体来讲：果蔬识别装置可以包括一个或者一个以上处理核心的处理器1101、一个或一个以上存储介质的存储器1102、电源1103和输入单元1104等部件。本领域技术人员可以理解，图11中示出的果蔬识别设备结构并不构成对果蔬识别装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
160.处理器1101是该果蔬识别装置的控制中心，利用各种接口和线路连接整个果蔬识别装置的各个部分，通过运行或执行存储在存储器1102内的软件程序和/或模块，以及调用存储在存储器1102内的数据，执行果蔬识别装置的各种功能和处理数据，从而对果蔬识别装置进行整体监控。可选的，处理器1101可包括一个或多个处理核心；优选的，处理器1101可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应
用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1101中。
161.存储器1102可用于存储软件程序以及模块，处理器1101通过运行存储在存储器1102的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据果蔬识别装置的使用所创建的数据等。此外，存储器1102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1102还可以包括存储器控制器，以提供处理器1101对存储器1102的访问。
162.果蔬识别装置还包括给各个部件供电的电源1103，优选的，电源1103可以通过电源管理系统与处理器1101逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1103还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
163.该果蔬识别装置还可包括输入单元1104，该输入单元1104可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
164.尽管未示出，果蔬识别装置还可以包括显示单元等，在此不再赘述。具体在本实施例中，果蔬识别装置中的处理器1101会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器1102中，并由处理器1101来运行存储在存储器1102中的应用程序，从而实现本技术实施例所提供的任一种果蔬识别方法中的步骤。
165.本技术实施例还提供一种冰箱，具体的，冰箱包括处理器、存储器以及存储于存储器中并可在处理器上运行的果蔬识别程序，处理器执行果蔬识别程序以实现本发明实施例所提供的任一种果蔬识别方法中的步骤。
166.为此，本发明实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。计算机可读存储介质上存储有果蔬识别程序，果蔬识别程序被执行时实现本发明实施例所提供的任一种果蔬识别方法中的步骤。
167.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
168.具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
169.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
170.以上对本技术实施例所提供的一种果蔬识别方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。