果蔬大小识别方法、装置、电子设备以及计算机可读介质与流程

[0001]
本发明涉及计算机视觉识别领域，尤其涉及一种基于机器视觉识别果蔬大小的方法、装置、电子设备以及计算机可读介质。


背景技术：

[0002]
在农产品售卖过程中，大小不同的农产品一般售卖不同的价格。例如，苹果按果径可分为70(毫米)、80(毫米)和90(毫米)三个规格，一般果径越大价格越高。当前越来越多地使用机器视觉来自动识别果径大小，以减少麻烦提高效率。
[0003]
在已知的一种苹果分级方法中，首先利用固定摄像头采集传输带上的苹果的图片，通过相关算法分隔出苹果的边缘，并进一步计算苹果的长和宽所占像素个数，以根据像素当量(每个像素比实际长度的比值)和所占像素个数计算出苹果的果径。
[0004]
此外，在另一种已知的水果分级技术中，通过正交双目摄像机拍摄放置在匀速运动的传输带上的水果的两次检测的时间差来计算水果的果径。
[0005]
上述苹果分级方法中，存在所述算法边缘分隔效果差，且测量的过程中摄像头与传输带的距离或拍摄焦距可能发生改变而导致的苹果所占像素数发生改变，从而影响果径大小的测量的缺陷。
[0006]
在上述另一种水果分级技术中，在使用时需要以传输带为单色背景，因而在自然场景的背景中无法对水果进行检测，并且其计算果径依赖传输带的匀速运动，在自然条件下难以使用，而且存在设备成本高，无法大规模使用的缺陷。


技术实现要素：

[0007]
技术问题
[0008]
鉴于以上问题，本发明提供一种果蔬大小识别方法，能够使用例如具有拍摄功能的手机在自然光照的环境下以常见物体作为参照物，拍摄图片来识别果径大小，使得操作便捷、成本低、适用范围大。
[0009]
解决问题的方案
[0010]
根据本发明的一个方面，提供一种果蔬大小识别方法，包括：
[0011]
将包括果蔬图像和参照物图像的图片输入神经网络；
[0012]
利用所述神经网络识别所述图片中的所述果蔬的图像边界、所述参照物的图像边界以及所述参照物的种类；
[0013]
根据所述参照物的种类从参照物实际尺寸数据库获取所述参照物的实际尺寸；以及
[0014]
根据所述参照物的实际尺寸和所述参照物的图像边界以及所述果蔬的图像边界计算所述果蔬的实际大小，
[0015]
其中，所述神经网络是基于训练样本训练而成，收集所述参照物的图像信息和所述果蔬的图像信息以生成所述训练样本，并且获取所述参照物的实际尺寸信息以建立所述
参照物实际尺寸数据库。
[0016]
可选地，根据本发明的一个方面的果蔬大小识别方法，基于所述训练样本训练所述神经网络具体包括：
[0017]
训练样本生成步骤，拍摄包含所述参照物和所述果蔬的样本图片，将所述样本图片中的所述参照物和所述果蔬的图像信息分别进行人工标注并且处理为所述神经网络适用的预定尺寸，以生成所述训练样本；以及
[0018]
神经网络训练步骤，利用生成的所述训练样本训练所述神经网络，使得对于包括所述果蔬和所述参照物的任意实例图片，所述神经网络能够识别所述实例图片中的所述果蔬和所述参照物的各自的图像边界以及所述参照物的种类。
[0019]
可选地，根据本发明的一个方面的果蔬大小识别方法，在所述神经网络训练步骤中，所述神经网络被训练为还能够识别所述实例图片中的所述果蔬的种类。
[0020]
可选地，根据本发明的一个方面的果蔬大小识别方法，根据所述参照物的实际尺寸和所述参照物的图像边界以及所述果蔬的图像边界计算所述果蔬的实际大小具体包括：
[0021]
根据所述图片中的所述参照物的图像边界，计算所述参照物的图像在所述图片中所占的像素数；
[0022]
根据所述参照物的实际尺寸和所述参照物的图像所占的像素数计算比例尺；
[0023]
根据所述图片中的所述果蔬的图像边界，计算所述果蔬的图像在所述图片中所占的像素数；以及
[0024]
根据所述比例尺和所述果蔬的图像在所述图片中所占的像素数计算所述果蔬的实际大小。
[0025]
可选地，根据本发明的一个方面的果蔬大小识别方法，所述参照物的图像边界为所述参照物的最小外接矩形，并且所述果蔬的图像边界为所述果蔬的最小外接矩形。
[0026]
可选地，根据本发明的一个方面的果蔬大小识别方法，所述参照物为果蔬的包装箱、硬币、工牌、香烟盒或卡车尾部。
[0027]
可选地，根据本发明的一个方面的果蔬大小识别方法，所述神经网络是卷积神经网络。
[0028]
可选地，根据本发明的一个方面的果蔬大小识别方法，所述神经网络是残差网络。
[0029]
根据本发明的另一方面，提供一种果蔬大小识别装置，包括：
[0030]
输入模块，将包括果蔬图像和参照物图像的图片输入神经网络；
[0031]
识别模块，利用所述神经网络识别所述图片中的所述果蔬的图像边界、所述参照物的图像边界以及所述参照物的种类；
[0032]
获取模块，根据所述参照物的种类从所述参照物实际尺寸数据库获取所述参照物的实际尺寸；
[0033]
计算模块，根据所述参照物的实际尺寸和所述参照物的图像边界以及所述果蔬的图像边界计算所述果蔬的实际大小，
[0034]
其中，所述神经网络是基于训练样本训练而成，收集多种参照物的图像信息和所述果蔬的图像信息以生成所述训练样本，并且获取所述多种参照物的实际尺寸信息以建立所述参照物实际尺寸数据库。
[0035]
可选地，根据本发明的另一方面的果蔬大小识别装置，所述神经网络包括：
[0036]
图像特征提取模块，用于对输入的所述图像进行特征提取以生成特征图；
[0037]
对象区域生成模块，用于对经过特征提取的所述图像，提取出可能存在所述果蔬和所述参照物的区域，并将该区域添加到所述特征图中；
[0038]
图像像素分隔模块，用于将所述特征图中的所述果蔬的图像和所述参照物的图像分别分隔出来；
[0039]
果蔬/参照物分类模块，用于对所述特征图中的所述果蔬和所述参照物的种类进行识别；以及
[0040]
果蔬/参照物边界回归模块，用于对所述特征图中的所述果蔬和所述参照物的图像边界进行平滑。
[0041]
可选地，根据本发明的另一方面的果蔬大小识别装置，所述神经网络还包括：区域剪裁模块，用于对提取出的可能存在所述果蔬和所述参照物的所述区域进行剪裁，以提高所述神经网络模型的准确性。
[0042]
根据本发明的再一方面，提供一种具有果蔬大小识别功能的电子设备，包括：
[0043]
一个或多个处理器；
[0044]
存储装置，用于存储一个或多个程序，
[0045]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述根据本发明的一个方面的任意一项果蔬大小识别方法。
[0046]
根据本发明的又一方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述根据本发明的一个方面的任意一项果蔬大小识别方法。
[0047]
发明的有益效果
[0048]
在本发明中，通过训练神经网络来识别果蔬和参照物，提高了对果蔬和参照物与背景的分隔效果，进而消除了上文所述的现有技术中摄像头和例如传输带这样的背景的位置关系以及摄像头的焦距变化带来的缺陷，使得图片可以为在自然场景下使用例如手机拍摄的包括果蔬和参照物的任意图片，适用范围更广，操作更便捷，成本更低。
附图说明
[0049]
图1是示出根据本发明的一优选实施例的果蔬大小识别方法的流程图；
[0050]
图2是示出根据本发明的一优选实施例的训练神经网络的流程图；
[0051]
图3是示出本发明一优选实施例的生成用于训练神经网络的训练样本及建立参照物实际尺寸数据库的流程图；
[0052]
图4是示例性地示出对果蔬和参照物进行标注的实例的图；
[0053]
图5是图示出本发明一优选实施例的神经网络模型的构造图；
[0054]
图6是示出根据本发明的一优选实施例的果蔬大小识别方法的应用实例的识别效果的图；
[0055]
图7是示出根据本发明的一优选的果蔬大小识别装置的模块图。
具体实施方式
[0056]
下面将结合本发明的具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分优选实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0057]
为了能够使用机器视觉来识别自然条件下手机拍摄的果蔬大小，本实施例利用神经网络基于数据库中记录的已知类别的果蔬样本和参照物样本来识别手机拍摄的果蔬实例和参照物实例，其后对识别的果蔬实例和参照物实例的图像进行分割处理，并且根据分割后的参照物实例的大小与参照物样本的实际大小计算比例尺，通过分割后的果蔬实例的大小和比例尺来计算果蔬实际的大小。
[0058]
具体的，首先，结合图1对本发明一优选实施例的果蔬大小识别方法进行描述。如图1所示，本发明的果蔬大小识别方法包括：图像输入步骤s1，将包括果蔬图像和参照物图像的图片输入神经网络；神经网络识别步骤s2，利用神经网络识别图片中的果蔬的图像边界、参照物的图像边界以及参照物的种类；参照物实际尺寸获取步骤s3，根据参照物的种类从参照物实际尺寸数据库获取参照物的实际尺寸；以及果蔬大小计算步骤s4，根据所述参照物的实际尺寸和所述参照物的图像边界以及所述果蔬的图像边界计算所述果蔬的实际大小。其中，所述神经网络是基于训练样本训练而成，收集所述参照物的图像信息和所述果蔬的图像信息以生成所述训练样本，并且获取所述参照物的实际尺寸信息以建立所述参照物实际尺寸数据库。
[0059]
如上文所述，根据本发明所述的果蔬大小识别方法，通过训练神经网络来识别果蔬和参照物，提高了对果蔬和参照物与背景的分隔效果，使得图片可以为在自然场景下使用例如手机拍摄的包括果蔬和参照物的任意图片，适用范围更广，操作更便捷，成本更低。以下对本发明的果蔬大小识别方法的各步骤进行详细描述。
[0060]
首先对所述的神经网络的训练进行具体描述。具体地，为实现上述功能，需要训练神经网络以识别图片中的果蔬和参照物。人工神经网络是从信息处理角度对人脑神经元网络进行抽象，建立某种模型，按不同的连接方式所组成的不同的网络，并且简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重。网络的输出则依网络的连接方式、权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近。神经网络通过对数据特征进行逐层抽象而最终提取完成任务所需要的特征。在图像识别中，训练神经网络以提取出每个图像的核心特征。下面参考图2详细说明根据本实施例的神经网络的训练过程。
[0061]
如图2所示，训练神经网络主要包括训练样本生成步骤以及神经网络训练步骤。下面对神经网络的训练过程进行详细描述。
[0062]
<训练样本的生成>
[0063]
为了根据已知类别的果蔬样本和参照物样本来训练神经网络识别图片中的果蔬实例和参照物实例，首先需要通过采集样本和标注样本来生成训练样本，以构成训练集，然后通过该训练集训练神经网络模型。训练集指的是用于模型训练的样本集合,主要用来训练神经网络中的参数。为生成训练样本，如图3所示，首先使用例如具有拍摄功能的手机，拍摄包含多种参照物图像和多种果蔬图像的大量图片。例如，能够作为参照物的物体有：果蔬的包装箱、硬币、工牌、香烟盒、卡车尾部(针对大型水果)等。下文以包含泡沫箱和甜瓜的图
片为例进行描述。
[0064]
在获得包含果蔬图像和参照物图像的图片之后，对图片中的果蔬样本和参照物样本进行人工标注。在本实施例中，对泡沫箱和果蔬进行标注，如图4所示。具体地，将图片中的各个甜瓜与泡沫箱彼此分割并圈定，如图4中的左图所示，然后标注出每个分割对象的类别名称和编号，标注结果例如由图4中的右部图示。
[0065]
然后，进行图片处理，将图片大小处理为神经网络所适用的预定尺寸，例如，800
×
1024像素。这样，利用处理后的图片生成了训练样本。
[0066]
需要指出的是，显然训练样本数量越多越复杂，对神经网络的训练效果越好，神经网络预测的准确度越高。因此，对于同一种果蔬，可以对以不同物体作为参照物分别采集的多张图片进行上述处理，从而生成针对该种果蔬的训练样本。
[0067]
此外，与标注的名称相对应地录入实际测量的每个参照物的名称和大小，以建立参照物实际大小数据库。例如，在该实例中，泡沫箱1的大小为50厘米
×
36厘米。
[0068]
如图2所示，经过上述处理，生成的训练样本用于训练后文描述的神经网络，同时建立的参照物实际大小数据库用于稍后描述的参照物实际大小的获取步骤。
[0069]
以下结合图5所示的神经网络模型，描述所述训练步骤。本实施例所构造的神经网络的模块图如图5所示，下面按照处理流程的顺序描述该神经网络的每个模块的功能。
[0070]
图像特征提取模块：
[0071]
在该图像特征提取模块中，使用公知的卷积神经网络(convolutional neural network，以下简称cnn)对图像的各种特征进行提取。cnn是一类包含卷积计算且具有深度结构的前馈神经网络(feedforward neural networks)，是深度学习(deep learning)的代表算法之一。其中，残差网络(residual network，以下简称为resnet)是cnn的一个典型代表，是当前应用最为广泛的一种cnn，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。典型的网络模型包括resnet50、resnet101等。在本实施例中，图像特征提取模块由resnet50模型构成，以对输入的图片进行特征提取。
[0072]
对象区域生成模块：
[0073]
在该对象区域生成模块中，使用公知的区域推荐网络(region proposal network，即rpn)，rpn是根据卷积之后的特征图和原始图像之间存在的映射关系筛选出候选框的算法。在提取了特征的图像的基础上，生成可能存在对象(即果蔬和参照物)的区域。具体地，经过resnet50进行特征提取的图像在输入区域推荐网络后，依次经过一系列卷积等筛选区分出主要物体和背景，从而得出可能存在如果蔬和参照物这样的对象的区域，用于准备后续的对果蔬图像和参照物图像的进一步图像处理。
[0074]
区域剪裁模块：
[0075]
在该区域剪裁模块中，对于提取出的可能的对象(roi)，resnet50使用公知的目标检测特殊层(以下称roialign)将这些可能存在对象的区域裁剪成7
×
7大小的特征图，以方便后续处理。其中roialign是一种区域特征聚集方式，可以提升检测模型的准确性。
[0076]
经过区域剪裁模块之后，神经网络经过两个分支，第一个分支作为图像像素分隔模块，第二个分支经过全连接层，全连接层将resnet50提取到的特征进行分布式特征表示，全连接层后面连接果蔬/参照物分类模块和果蔬/参照物边界回归模块。具体地，经过区域剪裁模块处理的特征图一方面输入图象像素分隔模块进行图象像素分隔，另一方面在经过
全连接层之后输入到果蔬/参照物分类模块和果蔬/参照物边界回归模块中以进行种类和边界的识别。下面描述上述三个子任务模块。
[0077]
图象像素分隔模块：
[0078]
在该模块中，神经网络被训练为将经过上述一系列处理的特征图中的各个对象进一步分隔出来。图像像素分隔是一个二分类的问题，求解和验证评估resnet50模型的准确性的损失函数为一个二分类的交叉熵，损失计算方式如式1。其中y
i
表示该像素点的类别，1表示该像素点为果蔬，0表示该像素点为背景，p
i
表示第i个样本被预测为1的概率。
[0079][0080]
蔬果/参照物分类模块：
[0081]
在该模块中，resnet50被训练为对果蔬和参照物的种类进行识别。果蔬/参照物的分类是一个多分类的问题，损失函数计算方式如式2，其中m为类别的数量，y
ic
样本i的类别为c则为1，不为c则为0，p
ic
对于观察样本i预测为c类别的概率。
[0082][0083]
果蔬/参照物边界回归模块：
[0084]
在该模块中，resnet50对特征图中的果蔬/参照物的边界进行回归预测，以使得预测的边界与实际边界之间的边界差距减小。果蔬/参照物边界回归的损失计算方式如式3，其中x为边界像素实际坐标与预测坐标的差值。
[0085][0086]
通过用训练样本如上所述地训练resnet50，使得resnet50能够对输入的图片进行果蔬和参照物种类的识别以及果蔬和参照物图像的边界处理。之后，即可根据识别的参照物和果蔬的种类以及参照物和果蔬的边界进行果蔬果径大小的测量。
[0087]
如上所述的完成神经网络的训练之后，即可利用上述神经网络进行果蔬大小识别，以下描述该识别方法的具体流程。如图1所示，流程包括以下步骤：
[0088]
步骤s1：图像输入步骤，将在例如自然光照环境下使用例如手机拍摄的包含参照物和果蔬的图片输入训练完成的神经网络，例如上文所描述的resnet50。
[0089]
步骤s2：神经网络识别步骤，利用所述resnet50对图片中的果蔬实例和参照物实例进行图像分割并且识别果蔬实例和参照物实例的种类和图像边界。该图像分割及识别方法采用常规图像处理算法即可。
[0090]
步骤s3：根据参照物的种类从参照物实际尺寸数据库中获取识别的参照物的实际大小信息，例如泡沫箱的大小为50厘米
×
36厘米。
[0091]
步骤s4：根据参照物实际大小信息、参照物实例的图像边界和果蔬实例的图像边界计算果蔬的实际大小。
[0092]
其中，在步骤s4中，对于参照物实例的图像边界，获取参照物实例的最小外接矩
形，计算参照物实例最小外接矩形的宽高的像素数。同样地，对于果蔬实例的图像边界，获取图像中的果蔬实例的最小外接矩形，计算果蔬实例的最小外接矩形所占的像素数。之后，根据参照物实际尺寸数据库中记录的参照物样本的实际大小和参照物实例的最小外接矩形所占像素数，通过式4计算比例尺，其中，分子为参照物实例在图片中宽度所占的像素数，分母为参照物实际的宽度。最后根据算得的比例尺和果蔬实例的最小外接矩形的像素数计算果蔬样本的果径的实际大小。
[0093][0094]
以上具体描述了本发明的实施例的果蔬大小识别方法，下面描述结合一个实例进一步描述本发明的果蔬大小识别方法。需要指出的是，该实例仅仅为示例性的。
[0095]
本实例收集了果蔬品类为甜瓜和西瓜并且参照物种类为泡沫箱和卡车的图片500张，对这500张图片按照上述方式进行处理以生成训练样本。然后使用公知的、由python语言编写的开源人工神经网络库keras构造神经网络，加载resnet50的预训练模型加速训练速度，最终训练20轮到拟合状态，即训练完成。最终卡车作为参照物识别的误差为1.5cm，泡沫箱作为参照物识别误差为3mm，最终的识别结果如图5所示。
[0096]
图7为本发明的果蔬大小识别装置的一个实施例的结构示意图。图7所示的果蔬大小识别装置700包括：图像输入模块(输入模块)701，用于获取包括一种以上的果蔬和参照物的图片；神经网络模型(识别模块)702，用于识别果蔬和参照物的种类和图像边界；参照物实际尺寸获取模块(获取模块)703，用于根据参照物的种类从参照物实际尺寸数据库获取参照物的实际尺寸；果蔬大小计算模块(计算模块)704，根据参照物实际大小信息、参照物实例的图像边界和果蔬实例的图像边界来计算果蔬的实际大小。
[0097]
作为另一方面，本发明还提供了一种具有果蔬大小识别功能的电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，并且当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的果蔬大小识别方法。
[0098]
作为又一方面，本发明还提供了一种计算机可读介质，该计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该设备执行时，使得该设备包括上述果蔬大小识别的各个步骤。
[0099]
根据本发明实施例的技术方案，获得了以下效果。
[0100]
根据本发明的果蔬大小识别方法，能够在自然光照的环境下使用手机拍摄照片，利用常见物体作为参照物来识别果蔬大小，使得操作便捷，适用范围大。
[0101]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。