一种用于火龙果自动化采摘的图像识别与姿态评估方法

本发明涉及水果采摘，具体涉及一种用于火龙果自动化采摘的图像识别与姿态评估方法。

背景技术：

1、火龙果因具有较高的经济价值、营养价值和加工利用价值，近年来在我国的水果种植产业链中发展迅猛。现有技术中，在火龙果果实成熟后，主要依赖于人工进行采摘；然而，人工采摘存在劳动强度大、劳动力成本高、采摘效率低等问题，且火龙果果树的枝条带刺，人工采摘过程中易出现划伤、刺伤等不可控的安全问题。

2、目前，随着机器视觉与计算机技术的逐步成熟、以及基于深度学习的神经网络技术的迅速发展，越来越多的自动化采摘机器人已经用于水果的采摘工作中；自动化采摘能够有效缓解农业劳动力稀缺的问题，降低水果种植成本(主要为劳动力成本)，同时提高采摘效率、确保水果采摘的及时性(保证当季水果采摘、避免采摘时间过长造成果实过度成熟)。然而，火龙果由于生长姿态各异，即火龙果的果实形貌具有差异，以及成熟果实的位置、生长角度等杂乱无章，同时，自动化采摘机器人在采摘过程中易受枝条的遮挡，导致采摘条件复杂多变，无法实现统一化、规模化、效率化的采摘，采摘过程中易出现果实损伤、枝条折断以及采摘机构卡滞等问题。

技术实现思路

1、针对以上现有技术存在的问题，本发明的目的在于提供一种用于火龙果自动化采摘的图像识别与姿态评估方法，该方法能够对大面积的火龙果进行位姿检测，进而拟合果实的轮廓、质心、最小外界矩形框和三维边界框，结合果实与生长枝条的位置关系对火龙果的三维姿态进行预估，进而实现精确化采摘；该方法检测精度高、采摘效率高、误差小，能够有效避免采摘过程中对火龙果果实、枝条等造成损伤。

2、本发明的目的通过以下技术方案实现：

3、一种用于火龙果自动化采摘的图像识别与姿态评估方法，包括以下步骤：

4、步骤一、对火龙果果园中的火龙果实际生长图像进行采集，形成卷积神经网络的图像数据集；

5、步骤二、采用基于注意力残差模块的改进u-net火龙果检测分割算法对步骤一中的图像数据集中的图像进行处理，得到火龙果的图像分割图；

6、步骤三、采用基于连通组件标记算法获得火龙果掩膜图，并利用rgb颜色空间对红龙果掩膜图进行分离，获得火龙果枝条、果实的灰度图；再将灰度图转化为二值化图像；

7、步骤四、首先，通过图像扫描法获得果实质心及果实生长点，通过果实质心与果实生长点获得生长姿态向量；然后，利用相机成像原理拟合果实的三维边界框、通过三维边界框获得果实姿态向量；最后，通过生长姿态向量与果实姿态向量的拟合，获得果实最终姿态。

8、基于上述方案的进一步优化，所述步骤一具体为：首先，采用realsense d455相机，分别于晴天顺光、晴天逆光与阴天三种环境下，进行火龙果图像的获取火龙果图像包括rgb图与深度图，同时，火龙果图像中包括整株多果与任意单果的原始图像；之后，人工对采集到的原始图像进行数据筛选，将未满足要求(即图像不清晰、未包含火龙果果实等)的图像剔除，获得标注图像；最后，采用标注工具对标注图像进行标注，获得图像数据集。

9、基于上述方案的进一步优化，所述标注工具采用labelme标注软件。

10、基于上述方案的进一步优化，所述图像数据集按照8:1:1的比例随机划分为训练集、测试集与验证集。

11、基于上述方案的进一步优化，所述基于注意力残差模块的改进u-net火龙果检测分割算法具体为：首先，将通道和空间注意力机制(concurrent spatial and channelsqueeze and channel excitation,scse)模块集成到残差结构(double residual block,drb)中，获得sd注意力残差模块；然后，在u-net网络结构中引入sd注意力残差模块与scse模块。

12、基于上述方案的进一步优化，所述步骤三具体为：

13、步骤s301、首先，基于连通组件标记算法(connected component labeling，ccl)，结合火龙果二值图像对原图像进行连通区域分析；遍历火龙果二值图像中的像素，对于相邻像素、若值相同，则将它们标记为同一个连通区域，当遍历完所有像素后，获得火龙果果实及其连接的枝条掩膜图像；

14、步骤s302、对步骤s301中获得的掩膜图像进行图像处理，获得果实轮廓更明显的掩膜图像；

15、步骤s303、利用rgb颜色空间对步骤s302中的掩膜图像分别进行绿色通道与红色通道图像的分离，获得火龙果枝条和果实的灰度图；然后分别付火龙果枝条、果实的灰度图进行高斯模糊处理，以减少噪声影响；

16、步骤s304、通过预设阈值将步骤s303中的灰度图转化为二值化图像。

17、基于上述方案的进一步优化，所述步骤s302中的图像处理包括侵蚀、膨胀和孔洞填充等数学形态学操作，以达到填充检测区域之间的间隙、去除噪声以及平滑区域边界的目的。

18、基于上述方案的进一步优化，所述步骤四中通过果实质心与果实生长点获得生长姿态具体步骤为：首先，采用基于深度优选搜索的图像扫描算法提取火龙果果实及其生长枝条的轮廓，具体为：从图像的左上角像素开始扫描，若某一像素点为火龙果果实、生长枝条轮廓上的像素点，则将该点及其周围的像素点标记为已访问，直至扫描完整个轮廓，分别标注果实轮廓像素点为(xt,yt)，t＝1,2,…,n、生长枝条轮廓像素点为(xi,yi)，i＝1,2,…,n；

19、然后，根据图像质心矩的定义，获得火龙果质心坐标(xc,yc)：

20、

21、式中：f(xt,yt)表示果实二值化图像中果实轮廓像素点(xt,yt)的像素值；

22、之后，分别计算生长枝条轮廓像素点与质心坐标之间的距离d1：

23、

24、遍历所有生长枝条轮廓像素点到质心坐标之间的距离，获得生长枝条轮廓到质心坐标的最小距离dmin，其对应的像素点(xi-min,yi-min)即为果实生长点；

25、通过果实生长点与质心坐标获得火龙果果实生长姿态向量q1：

26、q1＝(xc-xi-min,yc-yi-min)。

27、基于上述方案的进一步优化，所述步骤四中利用相机成像原理拟合果实的三维边界框具体步骤为：

28、首先，通过相机拍摄采集的图像，将图像像素坐标转换为对应的二维空间的图像坐标：

29、

30、式中：dx、dy表示每个像素的尺寸大小，(u0,v0)表示坐标系原点对应的像素坐标；(u,v)表示任意一点的具体像素坐标、其对应的图像坐标为(x,y)；

31、然后，根据相机的空间计算模型，将二维空间的图像坐标转换为三维实际空间坐标：

32、

33、式中：f表示相机焦距；zp表示已知的实际空间点p在相机坐标系的深度信息；

34、将相机在x轴、y轴的焦距分别定义为fx、fy，则三维实际空间坐标为：

35、

36、通过上述方法实现图像中的每个图像像素坐标在实际三维空间中的一一映射；

37、之后，遍历果实轮廓上所有的像素点，并对像素点进行比较，获得果实轮廓的最左像素点(ua,va)、最上像素点(ub,vb)、最右像素点(uc,vc)以及最下像素点(ud,vd)，并(采用上述方法)分别将它们转换为三维实际空间坐标(xa,ya,za)、(xb,yb,zb)、(xc,yc,zc)以及(xd,yd,zd)，同时将火龙果质心坐标(xc,yc)转换为三维实际空间坐标o0，即o0为(x0,y0,z0)；

38、再然后，将火龙果果实横切面看做近似圆形，则火龙果果实在三维空间x轴上的直径与在三维空间z轴上的直径相等，通过最左像素点、最上像素点、最右像素点、最下像素点获得火龙果果实分别在三维空间x轴、y轴、z轴的直径dx、dy、dz：

39、

40、最后，假设火龙果的三维边界框的八个顶点分别为pi(i＝1,2,3,4,5,6,7,8)，通过pi与o0之间的相对几何位置以及火龙果果实的分别在三维空间x轴、y轴、z轴的直径，获得八个顶点的三维坐标，通过八个顶点拟合得到三维边界框。

41、基于上述方案的进一步优化，所述步骤四中通过三维边界框获得果实姿态的具体步骤为：

42、首先，计算获得拟合得到的三维边界框六个面中心点的三维坐标，记为ki(i＝1,2,3,4,5,6)，ki＝(xki,yki,zki)；然后，将果实生长点(xi-min,yi-min)转换为三维实际空间坐标(xi-min,yi-min,zi-min)；之后，分别计算果实生长点到三维边界框六个面中心点之间的距离d2：

43、

44、分别比较三维边界框的六个面中心点与果实生长点之间的距离，将距离最大的面中心点(xk-max,yk-max,zk-max)与果实生长点之间构成的向量视为火龙果果实姿态向量q2：

45、q2＝(xk-max-xi-min,yk-max-yi-min,zk-max-zi-min)。

46、本发明具有如下技术效果：

47、本技术通过将通道和空间注意力机制模块与残差结构引入到u-net神经网络中，用于火龙果的图像分割，能够更为精确的识别火龙果果实及其生长枝条，避免外界环境因素的干扰，保证图像获取的精准性；同时，将方式能够快速进行火龙果图像的识别与分割，提高图像处理效率。

48、此外，本技术通过果实轮廓与生长枝条轮廓分别获得果实质心坐标与果实生长点，并通过果实质心坐标与果实生长点获得生长姿态向量；再利用相机成像原理拟合果实的三维边界框，通过三维边界框与果实质心坐标获得果实姿态向量，通过生长姿态向量与果实姿态向量的拟合获得果实最终姿态，从而为火龙果自动化精准采摘提供技术支持，有效避免采摘过程中由于火龙果形貌差异、果实位置差异或生长角度差异导致的果实、枝条损伤的问题，进而实现高效率、高精准度的自动化采摘，适合各种自然环境下的火龙果目标检测与采摘，适用范围广。