一种苹果采摘机器人夜间青苹果识别方法与流程

本发明涉及农业机械技术领域，具体涉及果蔬采摘机器人的图像识别方法，更具体的说，尤其涉及一种苹果采摘机器人夜间青苹果识别方法。

背景技术：

苹果是日常生活中较为常见的水果，富含蔗糖、苹果酸、b族维生素、维生素c及微量元素等各种营养，且口感爽脆，味道酸甜，深受人们的喜爱。

目前苹果识别的研究对象大都是红苹果。对于青苹果，难以通过颜色与叶子区分，给青苹果的识别带来了较大困难。同时果实识别算法研究主要在日间自然光照条件下进行，夜间时间占整天时间的三分之一，实现苹果采摘机器人夜间低照度状况下的正常采摘，有利于缩短采摘周期，降低采摘成本，提高农业生产效率。

技术实现要素：

本发明的目的在于解决目前青苹果在夜间无法正常采摘的问题，提出了一种苹果采摘机器人夜间青苹果识别方法，解决了夜间图像整体偏暗、对比度不高、边缘模糊的问题以及青苹果与叶子难以分割的问题，使苹果采摘机器人在夜间能够正常采摘青苹果。

本发明通过以下技术方案来实现上述目的：一种苹果采摘机器人夜间青苹果识别方法，具体包括以下步骤；

1)使用环形led灯正对青苹果并对青苹果进行补光，然后使用彩色ccd相机采集夜间青苹果图像；

2)对夜间青苹果图像进行高斯滤波，再对滤波后的图像使用限制对比度自适应直方图均衡化的方法对图像的细节进行增强，对增强后的图像使用伽马矫正提高对比度；

3)对步骤2)处理后的图像使用slic算法进行超像素分割；

4)提取步骤3)中图像超像素分割后每一个超像素的颜色特征和纹理特征；

5)使用预先训练好的svm分类器将超像素分为苹果和背景两类，获得苹果模板图像，并去除面积小于300像素的连通区域；

6)使用霍夫圆变换法识别定位苹果。

进一步地，所述步骤4)中超像素的颜色特征为：超像素所处位置r-b图像均值和的cr图像均值；其中r、b为rgb颜色空间的r分量和b分量，cr为ycbcr颜色空间cr分量。

进一步地，所述步骤4)中超像素的纹理特征为：超像素所处位置灰度图像的均值、方差、平滑度、一致性、熵以及局部二值模式图像的直方图；其中

超像素所处位置灰度图像的均值m的计算公式为：

超像素所处位置灰度图像的标准差σ的计算公式为：

超像素所处位置灰度图像的平滑度r的计算公式为：

超像素所处位置灰度图像的一致性u的计算公式为：

超像素所处位置灰度图像的熵e的计算公式为：

上述计算公式中，l为灰度级数，zi为亮度的随机变量，p(zi)为在超像素所处位置灰度图像的直方图。

局部二值模式是一种非参数描述算子,即lbp算子，该算子对灰度变化不敏感且计算速度快，对一副图像的每一个像素提取其lbp值，即可得到一副lbp图像。

进一步地，步骤3)所述slic算法是将彩色图像转化为cielab颜色空间和xy坐标下的五维特征向量，然后对五维特征向量构造距离度量标准，对图像像素进行局部聚类的算法。

进一步地，步骤5)所述svm分类器是定义在特征空间上的间隔最大的线性分类器。svm分类器，即supportvectormachine分类器，是一种二分类模型。

进一步地，步骤5)所述预先训练好的svm分类器是给人工给超像素特征赋予苹果和背景两类标签，然后将其输入svm分类器进行训练，得到分类器模型。

进一步的，步骤6)所述霍夫圆变换算法是用于寻找圆的算法。霍夫圆变换算法是将二维图像空间中一个圆转换为该圆半径、圆心横纵坐标所确定的三维参数空间中一个点的过程。

本发明的有益效果在于：

1、本发明能够解决夜间图像整体偏暗、细节不清晰、对比度不高、边缘模糊的问题以及青苹果与叶子难以分割的问题，使苹果采摘机器人在夜间能够正常采摘青苹果。

2、本发明使用环形led灯进行夜间照明，有效的减少了夜间苹果图像的阴影。

3、本发明对夜间图像进行了限制对比度自适应直方图均衡化和伽马矫正，使得夜间图像细清晰，对比度增强，边缘更加明显。

4、本发明对增强后图像进行了超像素分割，将256*198＝49152个像素降维到100个超像素，极大地提高了算法速度。

5、本发明结合颜色、纹理特征和svm分类器，有效地将青苹果与背景分割开来。

6、本发明去除了模板图像中面积小于300个像素的连通区域，提高了霍夫圆变换法的鲁棒性。

7、本发明使用霍夫圆变换法进行苹果识别定位，较好的克服了苹果重叠、遮挡等缺陷对苹果识别定位的影响。

附图说明

图1是本发明一种苹果采摘机器人夜间青苹果识别方法的整体流程示意图。

图2是本发明对彩色ccd相机采集的夜间青苹果图像进行高斯滤波后的图像。

图3是本发明经过步骤2)中对图像的细节进行增强后的图像。

图4是本发明经过步骤3)中超像素分割后的分割效果图。

图5是本发明步骤5)中获得青苹果模板的图像。

图6是本发明的青苹果识别定位最终效果图。

具体实施方式

本发明给出了一种苹果采摘机器人夜间图像识别方法的实施例，为了使本技术领域的人员更好的理解本发明实施例中的技术方案，下面结合附图对本发明中技术方案作进一步详细的说明，但本发明的保护范围并不限于此。

如图1～2所示，本发明首先提供了一种苹果采摘机器人夜间青苹果图像识别方法的流程图。

本发明的具体步骤为：

1)使用环形led灯正对青苹果并对青苹果进行补光，然后使用彩色ccd相机采集夜间青苹果图像，像素为1280*960，将其降采样为256*192大小；

2)对夜间青苹果图像进行高斯滤波，再对滤波后的图像使用限制对比度自适应直方图均衡化的方法对图像的细节进行增强，对增强后的图像使用伽马矫正提高对比度；如图3所示；

3)对步骤2)处理后的图像使用slic算法进行超像素分割为100个像素，如图4所示；

4)提取步骤3)中分割后每一个超像素的颜色特征和纹理特征；即提取超像素所处位置rgb颜色空间的r-b图像和ycbcr颜色空间cr图像的均值作为颜色特征，提取超像素所处位置灰度图像的均值、方差、平滑度、一致性、熵以及局部二值模式图像的直方图作为问题特征；其中

超像素所处位置灰度图像的均值m的计算公式为：

超像素所处位置灰度图像的标准差σ的计算公式为：

超像素所处位置灰度图像的平滑度r的计算公式为：

超像素所处位置灰度图像的一致性u的计算公式为：

超像素所处位置灰度图像的熵e的计算公式为：上述计算公式中，l为灰度级数，zi为亮度的随机变量，p(zi)为在超像素所处位置灰度图像的直方图。

5)使用带有标签的超像素特征训练svm分类器，训练器的惩罚因子设为0.8，内核设为高斯内核。然后使用训练好的分类器将夜间图像的超像素分为苹果和背景两类，并去除面积较小的连通区域，如图5所示；

6)苹果定位：使用霍夫圆变换识别定位，本实例中苹果在图像中的半径在20-30像素间，因此霍夫圆变换的参数设置为：最小圆心距＝20像素，最小半径＝20像素，最大半径＝30像素；结果如图6所示；

上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。