一种遮挡环境下的目标分割补全及识别方法

本发明属于农业采摘领域，涉及目标识别、实例分割及深度学习技术，具体涉及一种遮挡环境下的目标分割补全及识别方法。

背景技术：

1、目前，农业采摘方面大多采用人工逐一采摘，采摘过程耗时较长，劳动强度大，人工成本高，使用机器代替人工采摘成为农业生产中急需解决的问题。近些年，随着计算机视觉技术的发展。一些科研工作者提出基于图像处理与视觉分析的采摘目标分割补全及识别系统，并在农业领域广泛使用。

2、当前遮挡环境下的目标分割补全及识别方法大多数针对单一的特定的采摘目标分割补全及识别，对于多元的通用的目标分割补全及识别并未涉及。这种单一的特定的采摘目标分割补全及识别方法在实际应用当中存在采摘目标补全识别慢、识别精度差等诸多问题。

3、所以，需要一个新的技术方案来解决这个问题。

技术实现思路

1、发明目的：为了解决无人采摘过程中存在的采摘目标分割补全及识别速度慢、精度差的问题，提供一种遮挡环境下的目标分割补全及识别方法，为遮挡环境下的采摘目标分割补全及识别提供了一种有效方法，并且创新性地使用一种改进的插值算法对采摘目标进行轮廓补全，搭建了一种遮挡环境下的目标分割补全及识别方法，具有实用性强、轮廓补全精确度高、抗背景环境干扰能力强的优点。

2、技术方案：为实现上述目的，本发明提供一种遮挡环境下的目标分割补全及识别方法，包括如下步骤：

3、s1：通过摄像头采集遮挡环境下的两张连续视频序列图像，将采集的两张连续视频序列图像从rgb空间转换到ycbcr颜色空间，提取y分量进行归一化处理，获得两张遮挡环境下的归一化图像；

4、s2：将两张遮挡环境下的归一化图像进行均值聚类分割，获得两张遮挡环境下的分割图像；

5、s3：对两张遮挡环境下的分割图像进行边缘提取与边缘跟踪，通过改进插值算法实现采摘目标的轮廓重建，再根据两张遮挡环境下轮廓重建的分割图像计算生成拟合矩形框，获得两张遮挡环境下含有拟合矩形框的遮挡修复图像；

6、s4：对两张遮挡环境下含有拟合矩形框的遮挡修复图像进行相对准确率的计算，若相对准确率合格，使用训练好的多特征卷积神经网络模型对两张含有拟合矩形框的遮挡修复图像进行识别，获得遮挡环境下的采摘目标分割补全及识别图像，实现遮挡环境下的目标分割补全及识别。

7、进一步地，所述步骤s1具体包括如下步骤：

8、a1：通过摄像头采集遮挡环境下的实时视频，对于所获得的遮挡环境下的实时视频进行视频序列分帧操作，设置2秒提取一帧获得两张连续视频序列图像，存储两张连续视频序列图像；

9、a2：根据公式将两张连续视频序列图像从rgb空间转换到ycbcr颜色空间，提取y分量，获得两张遮挡环境下的亮度信号图像；

10、a3：对两张遮挡环境下的亮度信号图像进行归一化处理，获得两张遮挡环境下的归一化图像。

11、进一步地，所述步骤a2中将图像从rgb空间转换到ycbcr颜色空间以及提取y分量的公式为：

12、

13、y＝(0.257*r)+(0.504*g)+(0.098*b)+16

14、其中：r为两张连续视频序列图像的红色分量；g为两张连续视频序列图像的绿色分量；b为两张连续视频序列图像的为蓝色分量；cb为两张遮挡环境下的蓝色偏移分量图像；cr为两张遮挡环境下的红色偏移分量图像；y为两张遮挡环境下的亮度信号图像。

15、进一步地，所述步骤a3中归一化处理的公式如下：

16、

17、其中：xinput(λ，μ)为两张遮挡环境下的亮度信号图像λ行，μ列像素点的像素值；max(xinput)为两张遮挡环境下的亮度信号图像所有像素点的最大像素值；min(xinput)为两张遮挡环境下的亮度信号图像所有像素点的最小像素值；xoutput(λ，μ)为输出的两张遮挡环境下λ行，μ列的归一化图像像素值。

18、进一步地，所述步骤s2中的均值聚类分割采用k-means聚类分割，具体包括如下：

19、k-means聚类分割，需要人为指定聚类个数k，随机产生k个聚类中心，根据两张遮挡环境下的归一化图像中每个数据对象到聚类中心的距离，经过反复迭代运算，计算得到聚类中心位置；考虑遮挡环境下有采摘目标以及枝叶，为减小计算量，将聚类个数k指定为2，k-means聚类分割公式为：

20、

21、

22、其中：d为两张遮挡环境下的归一化图像中每个像素点的像素值样本集；d1为两张遮挡环境下的归一化图像中第1个数据对象的像素值；d2为两张遮挡环境下的归一化图像中第2个数据对象的像素值；dn为两张遮挡环境下的归一化图像中第n个数据对象的像素值；u为两张遮挡环境下的归一化图像中的聚类中心集合；u1，u2分别为两张遮挡环境下的归一化图像中指定的二个聚类中心；c为两张遮挡环境下的归一化图像中的簇的集合；c1，c2分别为两张遮挡环境下的归一化图像中指定的二个簇；ci为两张遮挡环境下的归一化图像中的簇的集合中第i个簇；z为两张遮挡环境下的归一化图像中的簇的集合的元素；mine为所述的样本点到所述的簇的聚类中心最短距离。

23、k-means聚类分割可实现动态聚类，具有一定的自适应性，在光线强弱不同的情况下仍旧能实现对两张遮挡环境下的归一化图像的有效分割，获得两张遮挡环境下的分割图像。

24、进一步地，所述步骤s3具体包括如下步骤：

25、b1：对两张遮挡环境下的分割图像进行边缘提取与边缘跟踪，边缘提取采用canny边缘提取，边缘跟踪采用八邻域边缘跟踪，获得两张遮挡环境下边缘提取与边缘跟踪的分割图像；

26、b2：通过改进插值算法实现采摘目标的轮廓重建，根据轮廓重建后的采摘目标计算生成拟合矩形框，获得两张遮挡环境下含有拟合矩形框的遮挡修复图像。

27、进一步地，所述步骤b1具体为：

28、c1：根据二维高斯滤波公式对两张遮挡环境下的分割图像进行高斯滤波处理，有效滤去采摘图像中叠加的高频噪声，获得两张遮挡环境下滤波处理后的分割图像；

29、二维高斯滤波公式如下：

30、

31、其中：g(a，b)为距离待滤波的像素点a行，b列的像素点的加权平均权值；a为加权比例系数；ua表示待滤波的像素点位于两张遮挡环境下的分割图像的第ua行像素点；ub表示待滤波的像素点位于两张遮挡环境下的分割图像的第ub列像素点；σa为两张遮挡环境下的分割图像逐行计算的标准方差；σb为两张遮挡环境下的分割图像逐列计算的标准方差；

32、c2：canny边缘检测首先对两张遮挡环境下滤波处理后的分割图像进行图像梯度计算，再对两张滤波处理后遮挡环境下的分割图像进行非极大值抑制操作，获得两张遮挡环境下非极大值抑制操作后的分割图像；

33、其中，图像梯度计算的公式为：

34、

35、

36、其中：η为两张滤波处理后遮挡环境下的分割图像的灰度值矩阵；g1为横向两张遮挡环境下滤波处理后的分割图像边缘检测的灰度值；g2为纵向两张遮挡环境下滤波处理后的分割图像边缘检测的灰度值；g为两张遮挡环境下滤波处理后的分割图像每一个像素的横向及纵向灰度值；

37、c3：对两张遮挡环境下非极大值抑制操作后的分割图像进行双阈值检测连接边缘，获得两张遮挡环境下的边缘提取分割图像；

38、其中双阈值检测连接边缘的公式为：

39、

40、其中：th1和th2分别为设定的两个阈值；maxval为判断是否与值为th1或th2的像素点连接，若是赋1，反之赋0；src(α，β)为两张遮挡环境下非极大值抑制操作后的分割图像的α行，β列的像素点值；dst(α，β)为两张遮挡环境下的边缘提取分割图像α行，β列的像素点值；

41、c4：对两张遮挡环境下的边缘提取分割图像进行八邻域边缘跟踪处理，八邻域边缘跟踪即按照顺时针进行边缘跟踪，遍历两张遮挡环境下的边缘提取分割图像，找到不为零的像素点以该点为起始点，顺时针查找该点八邻域内遇到的下一个不为零的像素点，逐个迭代直到找到最后一个不为零的像素点，完成八邻域边缘跟踪，获得两张遮挡环境下边缘提取与边缘跟踪的分割图像。

42、进一步地，所述步骤b2具体为：

43、d1：对两张遮挡环境下边缘提取与边缘跟踪的分割图像，提取其中边缘的像素点坐标，运用下面的改进插值算法对采摘目标进行轮廓重建，并对轮廓进行填充，获得两张遮挡环境下轮廓重建的分割图像，其中改进插值算法公式如下：

44、u＝{(xo，yo)，(x1，y1)...(xi，yi)}

45、hi＝xi-xi-1

46、

47、si(xi)＝yi

48、s′i(xi)＝s′i-1(xi)

49、mn＝s′(xn)

50、

51、其中，u为两张遮挡环境下边缘提取与边缘跟踪的分割图像的边缘像素点坐标集；i为两张遮挡环境下边缘提取与边缘跟踪的分割图像的边缘像素点坐标个数；(xi，yi)为两张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点坐标；xi为两张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点横坐标；yi为两张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点纵坐标；hi为两张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点对应的步长；s(x)为两张遮挡环境下边缘提取与边缘跟踪的分割图像边缘像素点坐标函数；si(xi)为两张遮挡环境下边缘提取与边缘跟踪的分割图像在第i边缘像素点坐标的函数值；s′i(xi)为两张遮挡环境下边缘提取与边缘跟踪的分割图像边缘像素点坐标函数在第i边缘像素点横坐标处的一阶导数值；n为两张遮挡环境下轮廓重建的分割图像的边缘像素点坐标个数；s′(xn)为两张遮挡环境下轮廓重建的分割图像边缘像素点坐标函数在第n边缘像素点横坐标处的一阶导数值；mn为两张遮挡环境下轮廓重建的分割图像边缘像素点坐标函数第n一阶导数值；hn为两张遮挡环境下轮廓重建的分割图像的第n边缘像素点对应的步长；yn为两张遮挡环境下轮廓重建的分割图像的第n边缘像素点纵坐标；

52、d2：根据两张遮挡环境下轮廓重建的分割图像计算生成拟合矩形框，获得两张遮挡环境下含有拟合矩形框的遮挡修复图像；拟合矩形框公式为：

53、u′＝{(x0，y0)，(x1，y1)...(xp，yp)}

54、l＝max{max(xp)-min(xp)，max(yp)-min(yp)}

55、w＝min{max(xp)-min(xp)，max(yp)-min(yp)}

56、其中，u′为两张遮挡环境下轮廓重建的分割图像的边缘像素点坐标集；p为两张遮挡环境下轮廓重建的分割图像的边缘像素点坐标个数；l为拟合矩形框的长w为拟合矩形框的宽。

57、进一步地，所述步骤s4具体包括如下步骤：

58、e1：对两张遮挡环境下含有拟合矩形框的遮挡修复图像进行相对准确率的计算，相对准确率的公式为：

59、

60、其中：ε为相对准确率；tc为两张遮挡环境下含有拟合矩形框的遮挡修复图像轮廓交集的像素点个数；fc为两张遮挡环境下含有拟合矩形框的遮挡修复图像轮廓非交集的像素点个数；tf为两张遮挡环境下含有拟合矩形框的遮挡修复图像拟合矩形框交集的像素点个数；ff为两张遮挡环境下含有拟合矩形框的遮挡修复图像拟合矩形框非交集的像素点个数；

61、e2：若相对准确率大于95％，使用训练好的多特征卷积神经网络模型对两张含有拟合矩形框的遮挡修复图像进行识别，多特征卷积神经网络结构组成及公式如下：

62、根据以下两个公式对数据进行卷积特征提取，作用是获取第个数据单元的卷积特征图，依次从0取到m，由源数据集输入，得到每一个数据单元是一个n1*8的二维数组，取前6列作为第一部分的输入，送到输入层，输入层选用16个3*3的卷积核，步长为1，填充数量为1，第一个卷积层的输出尺寸公式如下所示：

63、

64、其中，z是卷积输出数据的长度；w是卷积输入数据的长度；p是填充数量；f是卷积核的长度；v表示步长；

65、由上述公式计算得到第一个卷积层的输出数据大小是n1*6*16；使用线性整流函数将数据送入第二个卷积层，第二个卷积层采用32个3*3卷积核，步长为1，填充数量为1，则根据卷积层的输出尺寸公式，第二个卷积层的输出大小n1*6*32；第二个卷积层后也使用线性整流函数送入池化层，池化层采用2*2大小的矩形窗口进行滑动，池化层的输出尺寸计算如下所示：

66、

67、z′是池化层输出的长度；w′是池化层输入的长度；f′为滤波器的长度；v′表示水平方向的步长；

68、由上述公式得到池化层输出尺寸为50*3*32，以同样的方式得到下一个卷积层和下一个池化层，则根据卷积层的输出尺寸公式，第二个卷积层的输出大小是n1*96*6；根据池化层的输出尺寸公式，第二部分的卷积层的输出大小是50*48*6；将上述的输出与特征数据集进行向量转化处理，得到三层全连接网络，便得到多特征卷积神经网络；

69、e3：使用训练好的多特征卷积神经网络模型对两张含有拟合矩形框的遮挡修复图像进行识别，获得遮挡环境下的采摘目标分割补全及识别图像，实现遮挡环境下的目标分割补全及识别。

70、本发明方法在采摘目标分割过程中，所采用的聚类分割可实现动态聚类，在光线强弱不同的情况下仍旧能实现对两张遮挡环境下的归一化图像的有效分割；在采摘目标的补全过程中，所采用的改进插值算法具有通用性，在采摘目标形态不同、存在不同遮挡物的情况下仍旧能实现采摘目标的轮廓重建，并采用相对准确率二次提高精确度；在采摘目标的识别过程中，所采用的多特征卷积神经网络模型利用相邻时刻的数据来共同对采摘目标进行分析识别，在采摘目标模糊重合的情况下仍旧能实现采摘目标的识别。本发明所提出一种遮挡环境下的目标分割补全及识别方法，对于准确快速识别采摘目标分割、提高采摘目标补全识别的精确度具有重大意义。

71、有益效果：本发明与现有技术相比，具备如下优点：

72、(1)所采用的聚类分割可实现动态聚类，在光线强弱不同的情况下仍旧能实现对两张遮挡环境下的归一化图像的有效分割；

73、(2)在采摘目标的补全过程中，所采用的改进插值算法具有通用性，在采摘目标形态不同、存在不同遮挡物的情况下仍旧能实现采摘目标的轮廓重建，并采用相对准确率二次提高精确度；

74、(3)在采摘目标的识别过程中，所采用的多特征卷积神经网络模型利用相邻时刻的数据来共同对采摘目标进行分析识别，在采摘目标模糊重合的情况下仍旧能实现采摘目标的识别。