一种针对果实串的采摘点识别方法与流程

本发明属于机器人视觉定位领域，涉及一种针对果实串的采摘点识别方法。

背景技术：

随着农业科技的发展，机器采摘果实代替人工采摘已成为趋势。果实收获机器人的采摘方式对果实收获质量和工作效率等具有重要影响，依据果实生长特性，果实收获主要有单个果实和成串果实的采摘。

番茄作为世界栽培最为普遍的果菜之一，我国番茄种植面积已达千万公顷，国内外对番茄采摘的研究开展已久。综合番茄采摘现状发现，对番茄的采摘主要以单个果实为目标，抓取单个果实后，扭断或切断果梗，实现单个果实收获。新的番茄品种串番茄在国内外种植越来越多，但对串番茄采摘的研究开展较晚。

单个采摘番茄的方法只适用同串内各番茄成熟时间有差异、果实之间的间隙大的番茄品种，对于果实成熟期较统一，同串内果实之间接触紧密的串番茄品种，单个采摘方式会增加采摘机器人的工作难度，降低工作效率。

申请公布号为CN101019485A的发明专利申请公开了一种“球形果实采摘机器人末端执行器及其控制方法”，该方法的具体操作为：两电机分别带动手指的开合和吸盘的进退，激光聚焦透镜通过固定夹与末端执行器壳体固定，通过手指中央设置的通槽引导果梗进入激光聚焦透镜的聚焦方位，由激光器和聚焦透镜完成果梗的切断。由基于笔记本电脑和多轴运动控制卡的开放式控制系统实现对末端执行器的控制，笔记本电脑与多轴运动控制卡之间以USB方式进行通讯，控制电机的运动和真空系统、激光系统的开闭。本发明结构新颖，控制系统轻便灵活，开放性强，易于扩展，可以顺利实现番茄、苹果、柑橘等球形果实的采摘，具有很好的通用性。

申请公布号为CN106105566A的发明专利申请公开了一种“智能柑橘采摘机器人及柑橘采摘方法”，所操作采摘机器人包括行走机构、机械臂、工作台、回收装置、控制系统和电源系统，机械臂、控制系统和电源系统安装在工作台上，机械臂前端设有末端执行器和视觉系统，视觉系统与控制系统数据连接,控制系统通过机械臂驱动单元控制机械臂的动作，控制系统通过行走驱动单元控制行走机构的动作，电源系统为控制系统和行走机构提供工作电源；机械臂包括依次活动连接的第一臂、第二臂、第三臂、第四臂、第五臂和第六臂；柑橘采摘方法包括：启动行走机构，使机器人接近果树、寻找柑橘、抓取柑橘、采摘柑橘、调整夹持力、回收柑橘。本发明采摘效率高、采摘质量高、智能化程度高、实用性强，易于推广使用。

通过上述专利分析，发现现有的发明对果实的采摘主要以单个为目标，对于果实成熟期较统一，同串内果实之间接触紧密的串番茄品种，单个采摘方式会增加采摘机器人的工作难度，降低工作效率。

技术实现要素：

本发明目的在于提供一种针对果实串的采摘点识别方法，通过填补串番茄果实间的空隙使之成为连通的整体，计算连通整体的质心和最小外界矩形，根据质心与采摘点之间的位置关系，实现对果实串穗梗采摘点的识别，有效地适应了番茄果实成串采收，提高了农业机器人工作效率以及保证了果实采摘质量。

为解决上述技术问题，本发明采用如下的技术方案：一种针对果实串的采摘点识别方法，所述方法包括：S1，对果实串进行图像采集及图像预处理操作；S2，基于多尺度形态学的边缘提取；S3，果实串图像的目标边界提取；S4，果实串采摘点的确定。

进一步地，所述步骤S1中，对果实串图像的预处理包括：图像采集、灰度处理以及图像增强。

进一步地，所述步骤S2中，采用基于多尺度形态学梯度的边缘检测器对灰度均衡化的果实串图像进行边缘提取。

进一步地，所述步骤S3中，采用8邻域的方法获得果实串图像的边界曲线。

进一步地，所述步骤S4中，通过计算果实串边界填充图的质心和最小外接矩形，确定果实串穗梗上的采摘点。

本发明与现有技术相比具有以下的有益效果：

本发明方案通过填补串番茄果实间的空隙使之成为连通的整体，计算连通整体的质心和最小外界矩形，根据质心与采摘点之间的位置关系，实现对果实串穗梗采摘点的识别。

附图说明

图1是针对果实串的采摘点识别方法流程框图。

图2是原灰度直方图。

图3是均衡化后的直方图。

图4是方向码值。

图5是目标果实串的边界图。

图6是目标果实串的边界填充图。

图7是目标串番茄的质心。

图8是目标串番茄的最小外接矩形。

图9是目标串番茄的采摘点参考点

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

参照图1，本发明的一种针对果实串的采摘点识别方法，所述方法包括：

S1，对果实串进行图像采集及图像预处理操作；

通过佳能450D相机，在自然光照条件下获得番茄果实串图像。为了提高运算速度，缩减图像的信息量，对图像进行灰度化处理，灰度直方图如图2所示。由图2可知，原灰度直方图中的灰度级大约集中在[60,220]，串番茄灰度图中像素间的灰度对比度反差较小，番茄串与背景间灰度值过于接近，导致处理图像边界时很难确定边界值。

本发明采用图像灰度均衡化方式进行图像增强，不考虑降低串番茄果实串图像质量的因素下，使串番茄原灰度直方图变换成均匀分布的形式。

采用直方图均衡化的方式处理如下：

串番茄的数字图像中灰度级为rk的像素出现的频率，归一化的直方图为：

式中：nk为灰度级rk的像素数目；N为图像中像素的总数；L为像素中可能的灰度级总数。

对串番茄数字图像进行直方图均衡化时，对应的离散形式为：

式中：sk为串番茄图灰度均衡化后的灰度级。

由式(1)、式(2)，将输入的串番茄原灰度图中的各像素映射到输出图像中，从而得到灰度级均衡化的灰度图，其直方图如图3所示。

由图2和图3可知，通过串番茄图像灰度均衡化后，图3中图像的灰度映射到整个灰度范围[0,255]，增强了像素灰度级的动态范围和图像的对比度，图像中串番茄的外部边缘轮廓清晰化，衰减了不需要的特征。

S2，基于多尺度形态学的边缘提取；

采用基于形态学梯度的边缘检测器对灰度均衡化的串番茄果实串图像进行边缘提取，形态梯度分单尺度和多尺度形态学梯度。

单尺度形态学梯度定义为：

式中：f为串番茄灰度均衡化的图像；g为结构元素。

多尺度的形态学梯度算子定义为：

式(4)中，假定Bi(0≤i≤n)为一组正方形的结构元素，Bi的大小为(2i+1)×(2i+1)个像素点。采用单尺度和多尺度，通过灰度形态学膨胀和腐蚀，获得的处理结果中，多尺度边缘图的图像边缘轮廓较单尺度边缘图清晰。因为运用单尺度边缘法提取串番图像的边缘时，形态学梯度算子的性能与结构元素g的大小有关。大的结构元素会导致梯度极大值与边缘的不一致；小的结构元素，虽有高分辨率的梯度算子，但去除噪声的能力弱。多尺度边缘提取法结合了大结构和小结构元素的各自优点，故提取出的串番茄图像边缘比单尺度的清晰。

多尺度边缘提取法获取到串番茄边缘图，因串番茄果实间的间隙、果实成熟度、光照等影响，造成串番茄的目标区域不连通，需进行区域填充。区域填充以集合的膨胀、求补和交集为基础，是从边界内的一个点开始，用1填充整个区域，而所有非边界的点标记为0，最后填充后的串番茄边缘图果实之间没有空隙，各部分连通，整个串番茄的边缘图可视为一个连通的整体。

S3，果实串图像的目标边界提取；

对区域连通的串番茄图像进行图像目标边界提取，采用8邻域的方法获得串番茄图像的边界曲线。8邻域方法的关键部分是链码表示法，通过定义串番茄边界曲线遍历的起始点，根据下一个边界点相对于起始点的方向码值，获得下一个边界点的位置，将边界点连接之后的曲线就是串番茄边界曲线。

采用链码表示法表示串番茄整体的边界时，其边界曲线可表示成如下形式：

式中：ai为方向码值。

方向码值的示例图如图4所示，图中0、1、2、3、4、5、6、7是中间点的8个邻接点的方向码值。

采用8邻域的方法提取的串番茄目标边界结果如图5所示。图5边界图由线段围成，不适合提取质心，故采用形态学图像处理方法进行区域填充，填充结果如图6所示。

S4，果实串采摘点的确定；

以串番茄边界围成区域为研究对象，通过计算串番茄边界填充图的质心和最小外接矩形，确定串番茄穗梗上的采摘点。

1)质心计算：由于串番茄果实串质量较大，果实之间空隙被填补后的果实串质心基本上能反映实际果实串的质心位置。串番茄质心的坐标是根据所有属于串番茄目标区域(图6的白色部分)的点计算得出。

对于串番茄目标区域，其质心为(x0,y0)，质心计算公式如下：

式中：I(x,y)为图像中该点的灰度值。

计算得出目标区域所有像素点横纵坐标的平均值即串番茄果实串质心的横纵坐标，如图7所示。

2)最小外接矩形计算：计算串番茄边界填充图最小外接矩形的关键是寻找目标图像的主轴位置，方法是利用重心原理确定水平主轴与垂直主轴的初始位置。重心法计算目标区域主轴的初始位置如下所述：

(1)依次扫描串番茄目标区域的各列i(i＝1,2,…,N)，寻找每列中属于目标区域点的起点坐标(xi1,yi1)和终点坐标(xi2,yi2)，从而计算该列内所有点的重心坐标(xi,yi)：

(2)把串番茄目标区域各列重心坐标(xi,yi)(i＝1,2,…,N)作为一组数据，运用最小二乘法进行直线拟合，得到表示串番茄目标区域水平主轴初始位置的直线方程y＝k1x+b1。

(3)同理依次扫描图像的各行(j＝1,2,…,M)，寻找每行中属于目标区域点的起点坐标(xj1,yj1)和终点坐标(xj2,yj2)，计算该行内所有点的重心坐标(xj,yj)，利用最小二乘法进行直线拟合，得到表示串番茄目标区域垂直主轴初始位置的直线方程x＝k2x+b2。

通过寻找到的串番茄目标区域的水平主轴与垂直主轴的初始位置和旋转中心，根据水平主轴确定串番茄目标区域的初始外接矩形，在水平主轴和垂直主轴构成的锐角区域内，旋转外接矩形，寻优到面积最小的外接矩形，结果如图8所示。

经过串番茄质心作串番茄最小外接矩形的垂线，垂线与最小外接矩形上边相交，该交点视为采摘点的参考点，如图9所示。由于串番茄的根部不宜作采摘点，依据串番茄的外形特点，可将参考点上移一点作为采摘点。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。