一种基于图像多特征融合的水果分类方法及应用与流程

本发明涉及计算机视觉中的水果图像分类领域，能够有效的根据水果图像对水果的种类进行划分。

背景技术

水果分类识别是一个涉及范围很广的课题，目前水果分类识别主要集中在水果种类的划分，品质分级，成熟度识别，缺陷检测以及机器人采摘等问题，现在对水果图像的研究一般集中在某一类水果上，对多分类水果识别研究较少，但是多类水果识别在实际中拥有广泛的应用价值，在超市中可以利用多类水果图像识别来实现自助水果的购买；在生产线上多类水果分类识别还能减少人力成本，提高生产效率；另外水果图像分类在智慧农业和数字健康医疗领域也有一定的研究意义，在智慧农业方面，可以通过对水果图像的识别来进行果实的自动化采摘；而在数字医疗方面，在水果分类的基础上可以进一步获取其中所含有的营养成分，帮助患者在后期恢复中制定合理的膳食搭配。

水果图像分类主要包括两个部分，特征提取和分类器的设计。特征提取提取的方法有很多，其中颜色特征提取包括rgb颜色直方图和hsv颜色直方图等，纹理特征的提取有lbp和sift等方式，轮廓特征的提取有霍夫变换(hough)和傅里叶描述子等方式；分类器的设计也有多种选择，其中最常用到有bp神经网络，支持向量机(svm)以及决策树分类器等。但是，上述各方法往往存在只适用特定的几种水果或者识别率不高的问题。

技术实现要素：

针对现有技术存在的问题，本发明提出了一种识别率高，适用广泛的基于图像多特征融合的水果分类方法及应用，解决了以往方法只适用特定的几种水果，以及识别率低的缺点。本发明采用的技术手段如下：

一种基于图像多特征融合的水果分类方法，包括：

获取水果图像作为训练集和测试集；

对训练集和测试集中的水果图像进行预处理：

对训练集和测试集中的水果图像进行灰度化处理，均值滤波处理和图片阈值化处理，得到所对应的水果图像的掩模模板(mask)；

对训练集和测试集中的水果图像提取颜色特征，对训练集和测试集中的水果图像灰度化处理后的灰度图提取lbp(局部二值模式)纹理特征和形状特征；

对每个水果图像对应的颜色特征和lbp纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征，得到训练集水果特征集合和测试集水果特征集合，即对每个水果图像做上述处理，将训练集对应的所有水果图像的水果特征作为训练集水果特征集合，将测试集对应的所有水果图像的水果特征作为测试集水果特征集合；

由于单个水果图像特征难以精确的用来对水果图像进行分类，这严重影响了水果分类的识别率，因此本发明对水果的颜色特征，纹理特征和形状特征进行了融合，由于前期对颜色特征和纹理特征都采用了直方图处理降低了它们的维度，并且三种特征对水果图像识别都很重要，所以融合的方式采取了最简单的串联，将三种特征最终串联为142维的特征向量。

将训练集水果特征集合作为多种可进行水果分类的分类器的输入，对多种可进行水果分类的分类器进行训练，将测试集水果特征集合作为多种可进行水果分类的分类器的输入，将平均分类准确率最高的分离器作为最佳分类器；

将测试集水果特征集合作为最佳分类器的输入，得到输入的水果特征对应的水果图像中的水果类型。

所述训练集和所述测试集中的水果图像来源于kaggle平台(一个数据分析竞赛平台)提供的fruits-360标准水果图像库，包含60种水果；

所述训练集包含28736张水果图像，所述测试集包含9673张水果图像，所述训练集和所述测试集中的水果图像大小均为100x100像素。

所述灰度化处理为利用opencv开源库对训练集和测试集中的水果图像进行灰度化处理，将rgb颜色空间图片转化为灰度图；

所述均值滤波处理为对灰度图进行均值滤波处理，以减少灰度图中的噪点，所述均值滤波处理后输出的图像像素为核窗口内输入图像的平均值；

所述图片阈值化处理为利用阈值分割从所述均值滤波处理后输出的图像分割出水果部分，得到所对应的水果图像的掩模模板(mask)，其基于所述均值滤波处理后输出的图像中物体与背景之间的灰度差异，而且此分割属于像素级的分割，其分割的结果得到的是一个二值图像也就是掩模模板。

所述提取颜色特征为将rgb颜色空间图像转换为hsv颜色空间图像，并利用掩模模板，只对水果部分提取颜色特征，其中，h代表色调，s代表饱和度，v代表明度，

lbp经过多年的发展已经有不同方式的lbp，其中包括：原始lbp特征，圆形lbp特征，旋转不变lbp特征以及均值模式lbp特征(uniformpatternlbp)。

所述lbp纹理特征为均值模式lbp纹理特征，因为它不仅具有旋转不变性和灰度不变性，而且极大的减少了lbp模式的二进制模式，在使数据量减少的同时，能最好的表示图像的信息。

所述形状特征为hu矩形状特征，适用于纹理特征不太复杂的图像，能够对物体的形状有个较好的描述。

所述最佳分类器为支持向量机(svm)分类器，其参数为：核函数为高斯核函数(rbf)，惩罚项参数c为1000，核函数的系数gamam为0.1，多分类准则为ovr(one-vs-rest)，此时对每个分类定义了一个二类svm。

本发明还公开了一种基于图像多特征融合的水果分类系统，包括：

获取单元，被配置为获取水果图像作为训练集和测试集；

预处理单元，被配置为对训练集和测试集中的水果图像进行预处理：

对训练集和测试集中的水果图像进行灰度化处理，均值滤波处理和图片阈值化处理，得到所对应的水果图像的掩模模板；

提取单元，被配置为对训练集和测试集中的水果图像提取颜色特征，对训练集和测试集中的水果图像灰度化处理后的灰度图提取lbp纹理特征和形状特征；

直方图处理及融合单元，被配置为对每个水果图像对应的颜色特征和lbp纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征，得到训练集水果特征集合和测试集水果特征集合；

选取单元，被配置为将训练集水果特征集合作为多种可进行水果分类的分类器的输入，对多种可进行水果分类的分类器进行训练，将测试集水果特征集合作为多种可进行水果分类的分类器的输入，将平均分类准确率最高的分离器作为最佳分类器；

输出结果单元，被配置为将测试集水果特征集合作为最佳分类器的输入，得到输入的水果特征对应的水果图像中的水果类型。

本发明还公开了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时，执行上述所述的方法。

本发明还公开了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序运行执行上述所述的方法。

本发明的有益效果为：

(1)利用水果图像的颜色特征，纹理特征和形状特征进行融合提升了水果图片分类的正确率，并且适用于多种水果的分类。

(2)通过对不同分类器在水果图像分类效果的对比选择，选择了更适合水果图像分类的支持向量机(svm)分类器，提升了检测速度和精度。

基于上述理由本发明可在计算机视觉中的水果图像分类等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的具体实施方式中一种基于图像多特征融合的水果分类方法的流程图；

图2为本发明的具体实施方式中其中一张水果图像；

图3为图2中水果图像的掩模模板；

图4为本发明的具体实施方式中h通道颜色直方图；

图5为本发明的具体实施方式中s通道颜色直方图；

图6为本发明的具体实施方式中水果图像的lbp纹理特征图；

图7为本发明的具体实施方式中lbp直方图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，一种基于图像多特征融合的水果分类方法，包括：

获取水果图像作为训练集和测试集；

所述训练集和所述测试集中的水果图像来源于kaggle平台提供的fruits-360标准水果图像库，包含60种水果；

所述训练集包含28736张水果图像，所述测试集包含9673张水果图像，所述训练集和所述测试集中的水果图像大小均为100x100像素。

本具体实施方式为了简化选择10种常见的水果作为训练样本库，10种水果分别包括：苹果，香蕉，柠檬，梨，樱桃，毛桃，油桃，橘子，柑橘和荔枝，其中，训练集包含4655张水果图像，如表1；

表1

选择同样的10种水果作为测试集，测试集包含1560张水果图像。

对训练集和测试集中的水果图像进行预处理，其中一张水果图像如图2所示：

对训练集和测试集中的水果图像进行灰度化处理，均值滤波处理和图片阈值化处理，得到所对应的水果图像的掩模模板；

对训练集和测试集中的水果图像提取颜色特征，对训练集和测试集中的水果图像灰度化处理后的灰度图提取lbp纹理特征和形状特征；

对每个水果图像对应的颜色特征和lbp纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征，得到训练集水果特征集合和测试集水果特征集合；

将训练集水果特征集合作为多种可进行水果分类的分类器的输入，对多种可进行水果分类的分类器进行训练，将测试集水果特征集合作为多种可进行水果分类的分类器的输入，将平均分类准确率最高的分离器作为最佳分类器；

本实施例选取效果最好的三种分类器对水果图像进行识别，这三种方法分类器分别是逻辑回归(logicregression)，决策树(decisiontree)和支持向量机(svm)，并将三种分类器对水果图像20次测试的结果统计在了表2中，通过20次的试验测试对比可以明确发现svm对10种水果图像的分类效果明显优于另外两种分类器，对10种水果的平均分类准确率达到了98％以上。

表2

所述最佳分类器为支持向量机(svm)分类器，其参数为：核函数为高斯核函数，惩罚项参数c为1000，核函数的系数gamam为0.1，多分类准则为ovr(one-vs-rest)

将测试集水果特征集合作为最佳分类器的输入，得到输入的水果特征对应的水果图像中的水果类型。

所述灰度化处理为利用opencv开源库对训练集和测试集中的水果图像进行灰度化处理，将rgb颜色空间图片转化为灰度图，转换公式为：

gray＝r*0.299+g*0.587+b*0.114；

所述均值滤波处理为对灰度图进行均值滤波处理，以减少灰度图中的噪点，所述均值滤波处理后输出的图像像素为核窗口内输入图像的平均值；

所述图片阈值化处理为利用阈值分割从所述均值滤波处理后输出的图像分割出水果部分，得到所对应的水果图像的掩模模板，其分割公式为：

其中src(x,y)是输入点图像像素，dst(x,y)为输出图像像素，thresh为给定的阈值，得到所对应的水果图像的掩模模板如图3所示。

所述提取颜色特征为将rgb颜色空间图像转换为hsv颜色空间图像，并利用掩模模板，只对水果部分提取颜色特征，其中，h代表色调，s代表饱和度，v代表明度，rgb颜色空间转换为hsv颜色空间的公式如下：

其中，cmax＝max(r′，g′，b′)，cmin＝min(r′，g′，b′)，δ＝cmax-cmin；

所述lbp纹理特征为均值模式lbp纹理特征，得到是一副二维的lbp图像，如图6所示，具体步骤如下：对训练集和测试集中的水果图像灰度化处理后的灰度图提取均值模式lbp纹理特征，原始的lbp算子定义在像素3*3的邻域内，以邻域中心像素为阈值，其周围的8个像素的灰度值与邻域中心的像素值进行比较，若周围像素大于中心像素值，则该像素点的位置被标记为1，否则为0，3*3邻域内的8个点经过比较可产生8位二进制数，将所述8位二进制数依次排列形成一个二进制数字，所述二进制数字就是中心像素的lbp值，共有2⁸种可能，因此lbp值有256种，中心像素的lbp值反映了该中心像素周围区域的纹理信息，原始lbp公式为：

其中p为邻域第p个像素，ip为领域像素的灰度值，ic为中心像素的灰度值，s(x)为符号函数，均值模式lbp是在原始lbp和旋转不变lbp的基础上发展来的，其不是对特征怎么提取进行改进，而是上面几种特征提取方式取值范围过大，例如最原始的提取方法取值有2⁸共256种二进制模式，如果采用圆形lbp，在5×5邻域内20个采样点，有2²⁰共1048576种二进制模式，这样数值范围过大，均值模式lbp规定当某个lbp所对应的循环二进制数从0到1或从1到0大于两次跳变时，均作为一种模式，这样就极大的减少了取值范围。

所述形状特征为hu矩形状特征，适用于纹理特征不太复杂的图像，能够对物体的形状有个较好的描述，hu矩提取了7个几何不变矩，这些不变矩具有图像平移，伸缩和旋转不变性，其中零阶矩代表了图像面积，一阶矩反映了图像的质心，二阶矩是惯性矩，三阶矩表现了目标对均值分布偏差的测度，通过计算图片的7个不变矩作为一组特征量，所以用hu矩进行图像识别的优点是速度快，其推导公式如下：

对于图像其p+q阶几何矩定义为：

图像的p+q阶中心距定义为：

其中n和m表示图像的高度和宽度，和代表图像的重心，计算公式为：

归一化的中心矩定义为：

hu矩利用二阶和三阶归一化中心矩构造了7个不变矩m1-m7：

m1＝η20+η02,

m2＝(η20-η02)²+4η11²，

m3＝(η30-3η12)²+(3η21-η03)²,

m4＝(η30-η12)²+(η21-η03)²

m5＝(η30-3η12)²(η30+η12)[(η30+η12)²-3(η21-η03)²]+(3η21-η03)(η21+η03)[3(η30+η12)²-(η21+η03)²]，

m6＝(η20-η02)[(η30+η12)²-(η21+η03)²]+4η11(η30+η12)(η21+η03)

m7＝(3η21-η03)²(η30+η12)[(η30+η12)²-3(η21+η03)²]-(η30-3η21)(η21+η03)[3(η30+η12)²-(η21+η03)²]。

以颜色特征为例，说明一下其直方图处理过程：分别对掩模模板区域内的hsv颜色空间图像中的h通道和s通道进行直方图处理，这样既能获得水果图像的颜色特征又能减小特征的维度，以一副100*100像素的图片为例，h通道颜色维度经过直方图处理后维度从10000维降到了36维，直方图是图像中像素像素强度分布图，它统计了每一个强度值所具有的像素个数，h通道取值范围为0-180，我们可以将其分为36个子空间，再分别统计位于子空间上像素的个数，子空间划分方式如下：

[0,180]＝[0,5]∪[6,10]…∪[176,180]

range＝bin1∪bin2∪…∪bin36

其中bin是每个特征空间子区段的数目可以自己选择，水果图像的h通道颜色直方图和s通道颜色直方图如图4和图5所示。

lbp纹理特征经直方图处理后得到的lbp直方图如图7所示。

实施例2

一种基于图像多特征融合的水果分类系统，包括：

获取单元，被配置为获取水果图像作为训练集和测试集；

预处理单元，被配置为对训练集和测试集中的水果图像进行预处理：

对训练集和测试集中的水果图像进行灰度化处理，均值滤波处理和图片阈值化处理，得到所对应的水果图像的掩模模板；

提取单元，被配置为对训练集和测试集中的水果图像提取颜色特征，对训练集和测试集中的水果图像灰度化处理后的灰度图提取lbp纹理特征和形状特征；

直方图处理及融合单元，被配置为对每个水果图像对应的颜色特征和lbp纹理特征分别进行直方图处理后与对应的形状特征进行融合作为水果特征，得到训练集水果特征集合和测试集水果特征集合；

选取单元，被配置为将训练集水果特征集合作为多种可进行水果分类的分类器的输入，对多种可进行水果分类的分类器进行训练，将测试集水果特征集合作为多种可进行水果分类的分类器的输入，将平均分类准确率最高的分离器作为最佳分类器；

输出结果单元，被配置为将测试集水果特征集合作为最佳分类器的输入，得到输入的水果特征对应的水果图像中的水果类型。

实施例3

一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时，执行实施例1所述的方法。

实施例4

一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序运行执行实施例1所述的方法。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。