一种基于机器视觉的香蕉成熟度评判建模方法和评判方法与流程

本发明涉及机器视觉与图像处理技术领域，更具体地，涉及一种基于机器视觉的香蕉成熟度评判建模方法和评判方法。

背景技术：

多数水果采摘后容易在贮藏和运输等作业环节中面临果品损失问题，主因是不同成熟度的水果相互混杂所致。因此，根据水果成熟度等级划分和筛选相应的作业工序，有利于提高水果品质。有经验的果菜种植人员可通过观察水果外观表征鉴定其成熟度等级，如未成熟香蕉表皮呈现青绿色调、棱角清晰，过度成熟香蕉表皮呈现黄色甚至褐色、褐斑分布密集等。

传统水果成熟度等级评判方法主要通过硬度计、酸度计等仪器检测果实内部的硬度、可滴定酸等与成熟度有关的理化指标，但上述检测过程会破坏水果组织，所以近年来客观、无损的水果成熟度等级评判方法更受青睐。申请号为201510227723.x的中国发明专利结合电子鼻和电子舌技术获取不同成熟度的水果品质信息，建立了融合嗅觉和味觉指纹图谱的水果成熟度品质检测方法；申请号为201310544528.0的中国发明专利设计了水果气体收集装置，通过装置密封壳体内的红外气体传感器检测水果顶空静置气味信息。但上述方法气味抽样过程操作较为繁琐，且顶空气味收集时间较长。申请号为201210307186.6的中国发明专利结合可见近红外光谱和果实内部品质评价指标，采用机器学习方法建立了水果内部品质定量分析模型，但可见近红外光谱仪成本较高、对光谱数据采集的环境条件要求较高。

尽管目前针对各类水果成熟度等级无损评判的方法已经取得了一定的成效，但是多数方法均依赖于特定的信息获取设备，数据采集条件要求普遍较为苛刻、数据采集时间较长，且普遍需要专业人员操作相关设备，所以更高效、简单可靠、准确的水果成熟度等级无损评判方法仍需要进一步的探索。

技术实现要素：

本发明旨在克服上述现有技术的至少一种缺陷(不足)，提供一种基于机器视觉的香蕉成熟度评判建模方法和评判方法，使得香蕉成熟度等级评判操作更便捷、更客观、更准确，并具有较高的推广价值。

本发明采取的技术方案是：

一种基于机器视觉的香蕉成熟度评判建模方法，包括以下步骤：

定位香蕉彩色图像上的感兴趣区域rois；

提取rois的颜色统计量特征，根据颜色统计量特征采用机器学习方法建立基于色泽特征的香蕉成熟度判别模型；

提取rois的局部梯度方向分布特征，根据局部梯度方向分布特征采用机器学习方法建立基于局部形状特征的香蕉成熟度判别模型；

提取rois的局部纹理特征，根据局部纹理特征采用机器学习方法建立基于纹理特征的香蕉成熟度判别模型；

对三个基于不同特征的香蕉成熟度判别模型分配权重，形成香蕉成熟度评判决策模型。

进一步地，所述定位香蕉彩色图像上的感兴趣区域rois，具体包括以下步骤：

在香蕉果柄朝向设定方向时进行光学成像形成香蕉彩色图像，所述设定方向为上或下或左或右；

采用空间滤波和阈值化方法处理香蕉彩色图像，通过梯度算子计算香蕉的边缘；

搜索香蕉在所述设定方向上的边缘像素梯度方向变化最大的起始点和终止点，以所述设定方向的垂直方向为坐标轴x，记起始点和终止点在坐标轴x的坐标平均值为x0，并以直线x＝x0与香蕉在所述设定方向上的边缘的交点作为感兴趣区域rois的坐标原点，以所述坐标原点在香蕉内部设置p×q个像素的局部区域作为rois。

进一步地，所述采用空间滤波和阈值化方法处理香蕉彩色图像，具体包括以下步骤：

采用空间域高斯均值滤波器处理香蕉彩色图像；

将处理后的香蕉彩色图像转换为单通道灰度图像，采用全局阈值分割方法滤除所有背景像素，获得香蕉前景区域。

进一步地，所述通过梯度算子计算边缘，具体包括以下步骤：

采用sobel梯度算子提取香蕉前景区域的边缘，根据边缘面积的大小屏蔽果柄区域。

进一步地，所述根据颜色统计量特征采用机器学习方法建立基于色泽特征的香蕉成熟度判别模型，具体包括以下步骤：

提取rois的色调分量h和色饱和度分量s，分别计算色调分量h和色饱和度分量s中对应的颜色统计量特征，以所述颜色统计量特征作为输入特征向量，采用线性判别分析方法建立基于色泽特征的香蕉成熟度判别模型。

进一步地，所述颜色统计量特征包括平均值和/或标准差。

进一步地，所述根据局部梯度方向分布特征采用机器学习方法建立基于局部形状特征的香蕉成熟度判别模型，具体包括以下步骤：

利用一阶中心微分算子计算rois的梯度图像，平均划分梯度图像中所有像素的梯度方向，以每个像素的梯度幅值作为投影权重，统计落入各个梯度方向上的累计梯度幅度值作为局部梯度方向分布特征，以所述局部梯度方向分布特征作为输入特征向量，采用线性支持向量机建立基于局部形状特征的香蕉成熟度判别模型。

进一步地，所述根据局部纹理特征采用机器学习方法建立基于纹理特征的香蕉成熟度判别模型，具体包括以下步骤：

采用灰度共生矩阵和局部二值模式法分别提取rois的局部纹理特征，以特征串联接方式实现两类纹理特征的融合得到高维纹理特征，通过主成分分析法实现高维纹理特征的降维处理得到低维纹理特征，以所述低维纹理特征作为输入特征向量，采用核支持向量机建立基于纹理特征的香蕉成熟度判别模型。

进一步地，所述对三个基于不同特征的香蕉成熟度判别模型分配权重，形成香蕉成熟度等级评判决策模型，具体包括以下步骤：

对三个基于不同特征的香蕉成熟度判别模型，通过交叉验证方法获得各个香蕉成熟度判别模型的平均分类准确率，根据所述平均分类准确率对三个香蕉成熟度判别模型分配对应的权重，形成香蕉成熟度评判决策模型。

一种基于机器视觉的香蕉成熟度评判方法，包括以下步骤：

定位待测香蕉彩色图像上的感兴趣区域rois；

提取rois的颜色统计量特征、局部梯度方向分布特征、局部纹理特征，并将颜色统计量特征、局部梯度方向分布特征、局部纹理特征分别对应输入到如上所述的基于色泽特征、基于局部形状特征、基于纹理特征的香蕉成熟度判别模型，获得各个香蕉成熟度判别模型的判别结果；

将各个香蕉成熟度判别模型的判别结果输入如上所述的香蕉成熟度评判决策模型，对判别结果进行加权融合，获得香蕉成熟度评判结果。

与现有技术相比，本发明的有益效果为：

(1)在香蕉成熟度评判操作中，香蕉图像的数据采集可通过常规的rgb摄像头辅助实现，对实验环境条件的要求较低、操作简单，且数据采集速度较快；

(2)从多个不同角度，如颜色、局部形状和外观特征等方面，挖掘有利于表征香蕉成熟度的特征，并通过决策层的加权融合，有利于提高香蕉成熟度等级评判结果的准确性和可靠性。

附图说明

图1为本发明实施例中基于机器视觉的香蕉成熟度评判流程图。

图2为本发明实施例中定位出的香蕉rois区域实施例图。

图3为本发明实施例的一阶中心微分算子示意图。

图4为本发明实施例的不同成熟度等级香蕉样本的空间散点分布图。

具体实施方式

本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

实施例1

如图1所示，本实施例提供一种基于机器视觉的香蕉成熟度评判建模方法，包括以下步骤：

s1.定位香蕉彩色图像上的感兴趣区域rois(regionsofinterest)；

s2.提取rois的颜色统计量特征，根据颜色统计量特征采用朴素贝叶斯方法建立基于色泽特征的香蕉成熟度判别模型；

s3.提取rois的局部梯度方向分布特征，根据局部梯度方向分布特征采用线性判别分析方法建立基于局部形状特征的香蕉成熟度判别模型；

s4.提取rois的局部纹理特征，根据局部纹理特征采用多类支持向量机建立基于纹理特征的香蕉成熟度判别模型；

s5.对三个基于不同特征的香蕉成熟度判别模型分配权重，形成香蕉成熟度评判决策模型。

步骤s1具体包括以下步骤：

s11.在香蕉果柄朝向设定方向时进行光学成像形成香蕉彩色图像，所述设定方向为上或下或左或右；

s12.采用空间滤波和阈值化方法处理香蕉彩色图像，通过梯度算子计算边缘；

s13.搜索香蕉在所述设定方向上的边缘像素梯度方向变化最大的起始点和终止点，以所述设定方向的垂直方向为坐标轴x，记起始点和终止点在坐标轴x的坐标平均值为x0，并以直线x＝x0与香蕉在所述设定方向上的边缘的交点作为感兴趣区域rois的坐标原点，在香蕉内部设置p×q个像素的局部区域作为rois，其中p和q分别表示rois的高度和宽度，一般情况下可取p＝q＝32或48或64像素，其取值主要受约束于输入香蕉图像的分辨率。

在步骤s11中，进行光学成像时的成像距离可以为50～100cm，成像分辨率可以为vga级别。

在步骤s12中，在通过梯度算子计算边缘之前，采用空间滤波和阈值化方法处理香蕉彩色图像，可以缓解香蕉边缘像素噪声导致边缘不连续的现象。

所述采用空间滤波和阈值化方法处理香蕉彩色图像，具体包括以下步骤：

采用空间域高斯均值滤波器处理香蕉彩色图像；

将处理后的香蕉彩色图像转换为单通道灰度图像，采用全局阈值分割方法滤除所有背景像素，获得香蕉前景区域。

所述通过梯度算子计算边缘，具体包括以下步骤：

采用sobel梯度算子提取香蕉前景区域的边缘，根据边缘面积的大小屏蔽果柄区域。

在具体实施过程中，假设设定方向为上，步骤s1的具体过程可以为：

将不同成熟度等级(本实施例中采用未成熟、接近成熟和基本成熟3个不同等级)的香蕉样本果柄朝上放置在白色调背景中，rgb彩色摄像头置于样本上方50～100cm，成像分辨率调为vga级别，通过rgb彩色摄像头拍摄形成香蕉rgb图像。

采用空间域高斯均值滤波器处理该香蕉rgb图像，并将处理后的香蕉rgb图像转换成单通道灰度图像，鉴于背景与果实区域存在较大的灰度差异性，可以采用全局基本阈值分割方法滤除所有背景像素，获得香蕉前景区域。采用sobel梯度算子提取香蕉前景区域的边缘，由于果柄区域的边缘面积会相对其它果实区域的边缘面积较小，所以可以根据边缘面积的大小，屏蔽边缘面积较小的果柄区域，更有利于后续步骤的进行。

提取到香蕉边缘后，根据一定方向(在本实施例中为自左向右)扫描的方式遍历香蕉边缘上所有像素，根据公式(1)计算临近两两像素之间的梯度变化率δg：

其中，gi表示第i个像素的梯度方向；在自左向右扫描方式下，设置具有最高变化率的边缘像素点，以满足上述条件的最左侧像素点作为起始点、以最右侧像素点作为终止点，以左右方向为坐标轴x，记起始点和终止点横坐标的平均值为x0，并以直线x＝x0与香蕉上边缘的交点作为感兴趣区域的坐标原点，在固定成像距离下，本实施例中设置该感兴趣区域的宽度p和高度q均为40像素，并从原始rgb图像中提取该感兴趣区域的图像内容(标记为rois)，所得rois如图2中方形区域所示。

步骤s2具体包括以下步骤：

提取rois的色调分量h和色饱和度分量s，分别计算色调分量h和色饱和度分量s中对应的颜色统计量特征，以所述颜色统计量特征作为输入特征向量，采用线性判别分析方法建立基于色泽特征的香蕉成熟度判别模型。

所述颜色统计量特征包括平均值和/或标准差。

在具体实施过程中，步骤s2的具体过程可以为：

将步骤s1中提取到的rois对应的rgb颜色空间转换至hsv颜色空间，单独分离出rois的色调分量h与色饱和度分量s，并分别计算分量h与s中所有像素取值的统计量特征，得到平均色调值、色调标准差、平均色饱和度值与色饱和度标准差等4个rois区域颜色统计量特征；按照上述流程提取所有不同成熟度等级香蕉样本的颜色统计量特征，以此作为输入特征向量，采用线性判别分析方法确定色泽特征与香蕉成熟度的相关性，形成基于色泽特征的香蕉成熟度判别模型。

步骤s3具体包括以下步骤：

利用一阶中心微分算子计算rois的梯度图像，平均划分梯度图像中所有像素的梯度方向，以每个像素的梯度幅值作为投影权重，统计落入各个梯度方向上的累计梯度幅度值作为局部梯度方向分布特征，以所述局部梯度方向分布特征作为输入特征向量，采用线性支持向量机建立基于局部形状特征的香蕉成熟度判别模型。

所述一阶中心微分算子如图3所示，在具体实施过程中，步骤s3的具体过程可以为：

采用如图3所示的一阶中心微分算子获得rois的梯度图像，平均划分梯度方向为4个不同主方向，即0°-45°为第一方向区间、45°-90°为第二方向区间、90°-135°为第三方向区间、135°-180°为第四方向区间；根据rois中各个像素的梯度朝向所在区间，以其像素幅度值作为权重投影到相应区间中，由此得到rois的梯度方向分布特征；按照上述流程提取所有不同成熟度等级香蕉样本的梯度方向分布特征，以此作为输入特征向量，采用线性支持向量机方法确定局部形状特征与香蕉成熟度的相关性，形成基于局部形状特征的香蕉成熟度判别模型。

步骤s3具体包括以下步骤：

采用灰度共生矩阵和局部二值模式法分别提取rois的局部纹理特征，以特征串联接方式实现两类纹理特征的融合得到高维纹理特征，通过主成分分析法实现高维纹理特征的降维处理得到低维纹理特征，以所述低维纹理特征作为输入特征向量，采用核支持向量机确定低维纹理特征与香蕉成熟度的相关性，形成基于低维纹理特征的香蕉成熟度判别模型。

采用灰度共生矩阵提取rois的局部纹理特征的具体过程可以是：获取rois的灰度共生矩阵a，通过公式(2)～(6)分别计算灰度共生矩阵中的对比度c、能量e、熵en、最大概率能量k和相关性corr等特征量，式中的μx和μy分别为水平和垂直方向均值，σx和σy分别为水平和垂直方向标准差。

采用灰度共生矩阵和局部二值模式法分别提取rois的局部纹理特征，采用串接的方式连接灰度共生矩阵特征量和局部二值模式特征，可以实现特征层的融合，获得高维纹理特征向量。采用主成分分析方法实现高维纹理特征的降维处理，获得低维纹理特征。按照上述流程提取所有不同成熟度等级香蕉样本的低维纹理特征，以此作为输入特征向量，结合径向基核映射函数和支持向量机方法确定低维纹理特征与香蕉成熟度的相关性，形成基于纹理特征的香蕉成熟度判别模型。

步骤s5具体包括以下步骤：

对三个基于不同特征的香蕉成熟度判别模型，通过交叉验证方法获得各个香蕉成熟度判别模型的平均分类准确率，根据所述平均分类准确率对三个香蕉成熟度判别模型分配对应的权重，形成香蕉成熟度评判决策模型。

在不同成熟度等级香蕉样本图像所形成的训练数据集上，通过m轮n-重交叉验证方法获得各个基于不同特征的香蕉成熟度判别模型的平均分类准确率，三个基于不同特征的香蕉成熟度判别模型的平均分类准确率分别标记为acc1、acc2和acc3，根据公式(7)可以计算出第i个判别模型分配决策权重wi，i＝1,2,3，以此作为权重衡量各个判别模型的贡献程度：

将权重wi分配给第i个判别模型，可形成香蕉成熟度评判决策模型。香蕉成熟度评判决策模型可以对三个基于不同特征的香蕉成熟度判别模型的判别结果进行融合，获得最终的香蕉成熟度评判结果。

实施例2

本实施例提供一种基于机器视觉的香蕉成熟度评判方法，包括以下步骤：

定位待测香蕉彩色图像上的感兴趣区域rois；

提取rois的颜色统计量特征、局部梯度方向分布特征、局部纹理特征，并将颜色统计量特征、局部梯度方向分布特征、局部纹理特征分别对应输入到如实施例1所述的基于色泽特征、基于局部形状特征、基于纹理特征的香蕉成熟度判别模型，获得各个香蕉成熟度判别模型的判别结果；

将各个香蕉成熟度判别模型的判别结果输入如实施例1所述的香蕉成熟度评判决策模型，对判别结果进行加权融合，获得香蕉成熟度评判结果。

对于待测香蕉彩色图像，首先定位出rois，然后提取rois的颜色统计量、梯度方向分布和局部纹理等三类特征，分别将其对应输入到基于色泽特征、基于局部形状特征和基于纹理特征的香蕉成熟度判别模型中，获得各个判别模型的识别结果，记第i个模型的判别结果为fi，i＝1,2,3，最后将各个判别模型的识别结果输入香蕉成熟度评判决策模型中，通过公式(8)所示的加权融合方式评判待测香蕉的成熟度等级：

图4显示了采用本实施例所提供的评判方法所得到的不同成熟度等级香蕉样本的空间散点分布图，可见不同成熟度等级的香蕉样本之间具有较好的区分度，且散点分布上具有一定的排列规则。

显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。