一种串番茄模糊采摘方法

本发明涉及农业采摘机器人技术和应用领域，具体是涉及一种串番茄模糊采摘方法。

背景技术：

1、采摘是番茄生产过程中非常重要的一个环节，直接影响到番茄的市场价值。目前对于番茄的采摘主要还是人工进行，采摘番茄需要投入的劳动力占整个番茄生产环节中的50％～70％，想要完成对成熟番茄的采摘过程，需要投入大量的农业劳动力，这种人工采摘的方式效率较低。为了减轻果农的劳动强度和降低采摘成本，智能番茄采摘机器人的开发和应用是一个重要途径。

2、近年来采摘机器人在单元技术方面取得了很大进展，但在采摘方法上，目前主要通过视觉系统，精确获取果实的位置和姿态，在此基础上，控制机械臂、末端执行器完成夹持和果梗分离任务。现有的方法对视觉系统要求高，为了适应自然生长果穗的姿态，机械臂需要频繁变换采摘姿态，增加了机械臂操作复杂性。如申请公布号为cn113808194b的串番茄采摘角度获取方法、装置、电子设备及存储介质中，计算图像中所有番茄的中心位置，根据中心位置对番茄进行番茄串的聚类分析，根据番茄的中心位置对各串番茄串中的番茄进行左右分类，把番茄分类为左侧番茄或右侧番茄，最后根据左右分类的结果，获取各个番茄的采摘角度。在采摘方法上，目前主要通过视觉系统，精确获取果实的位置和姿态，在此基础上，控制机械臂、末端执行器完成夹持和果梗分离任务。现有的方法对视觉系统要求高。为了适应自然生长果穗的姿态，机械臂需要频繁变换采摘姿态，增加了机械臂操作复杂性。目前机器人采摘仍然存在采摘周期长、效率低，成本高的问题，限制了机器人在采摘实际中的应用。

技术实现思路

1、本发明针对现有串番茄采摘方法的不足，提供了一种串番茄采摘机器人模糊采摘方法，该采摘方法基于串番茄的生长特点进行采摘，通过图像采集装置对串番茄植株进行拍摄，获取待采摘的串番茄图像；对待采摘的串番茄图像进行识别分析，计算出串番茄的果穗方向和果梗采摘点坐标；根据果穗方向和果梗的采摘点坐标确定末端执行器的采摘姿态和剪切位置；根据所述剪切位置和串番茄周围情况确定机械臂的采摘路径，末端执行器移动至剪切位置处，执行对串番茄的夹持和剪切动作，完成对串番茄的采摘，有助于提高采摘效率。

2、本发明至少通过如下技术方案之一实现。

3、一种串番茄模糊采摘方法，包括以下步骤：

4、(1)根据串番茄的农艺特点，预先设定末端执行器的采摘姿态；

5、(2)通过深度摄像头对串番茄植株进行拍摄，获取待采摘的串番茄图像；

6、(3)图像识别系统对所述串番茄图像进行识别分析，根据果穗方向确定算法实时计算串番茄的果穗方向范围和果梗采摘点坐标，根据果穗方向范围，从预先设定的末端执行器姿态中选择合适的末端执行器采摘姿态；

7、(4)根据所述串番茄的果梗采摘点坐标、末端执行器的结构参数确定末端执行器的剪切位置；

8、(5)根据所述剪切位置和串番茄周围情况确定机械臂的采摘路径，设定辅助路径点，末端执行器以所述采摘姿态移动至所述辅助路径点，然后再移动到所述剪切位置处；

9、(6)末端执行器执行对串番茄的夹持和剪切动作，完成对串番茄的采摘。

10、优选地，在采摘空间内，预先设定末端执行器的采摘姿态，再根据果穗方向范围，从设定的采摘姿态中选择一种合适的末端执行器采摘姿态，并以该姿态完成果梗的夹持与剪切任务。

11、优选地，步骤(1)中，所述末端执行器的预采摘姿态设定为：1)末端执行器剪切平面与水平面夹角角度为-45°；2)末端执行器剪切平面与水平面夹角角度为0°，3)末端执行器剪切平面与水平面夹角角度45°。

12、优选地，所述图像识别系统包括目标检测模型，所述模型为yolov4模型，通过所述目标检测模型对步骤(2)中获取到的串番茄图像进行果梗和果实的目标检测。

13、优选地，步骤(3)中，所述串番茄的果穗方向计算方法为：采用yolov4模型对所述串番茄图像进行目标检测，得到串番茄的果梗roi(感兴趣区域)和果实roi，通过果穗方向确定算法实时计算串番茄的果穗方向范围。

14、优选地，所述串番茄的果穗方向分为三个方向：向前生长、向左生长、向右生长；果穗方向的角度范围确定方法为：设定串番茄的果梗直线与深度方向在水平面的投影夹角为偏转角，当偏转角在[-90°,-30°]时，果穗方向为向左生长；当偏转角在[-30°,30°]时，果穗方向为向前生长；当偏转角在[-90°,-30°]时，果穗方向为向右生长。

15、优选地，步骤(3)中，串番茄的果穗方向确定算法具体为：

16、s1、计算果梗roi和果实roi的竖直中轴线的x方向坐标(xc1,xc2)，公式为：

17、

18、其中，x1为果梗roi检测框左上顶点的x方向坐标，w1为果梗roi检测框的宽度，x2为果实roi检测框左上顶点的x方向坐标，w2为果梗roi检测框的宽度；

19、s2、计算果梗roi检测框的宽高比λ：

20、

21、其中(w1,h1)为果梗roi检测框的宽度和高度；

22、s3、设定果梗roi检测框的宽高比阈值为λthreshold，根据以下公式判断果穗方向：

23、λ≤λthreshold，串番茄为向前生长；

24、λ＞λthreshold，且xc1＞xc2，串番茄为向左生长；

25、λ＞λthreshold，且xc1＜xc2，串番茄为向右生长。

26、优选地，步骤(3)中，所述末端执行器的采摘姿态为：当串番茄向左生长时，所述末端执行器剪切平面与水平面夹角角度为-45°，当串番茄向前生长时，所述末端执行器剪切平面与水平面夹角角度为0°，当串番茄向右生长时，所述末端执行器剪切平面与水平面夹角角度为45°。

27、优选地，步骤(4)中，所述末端执行器的剪切位置的确定方法为：所述串番茄的果梗采摘点坐标为p(px,py,pz)，其中x方向为机器人行进方向，y方向为深度方向，末端执行器的剪切位置pc与所述果梗采摘点p深度方向坐标不同，表示为pc＝(px,py+m,pz)，其中m为剪切位置与果梗采摘点的相对位置距离，根据果梗采摘点的深度以及深度摄像头的深度误差确定。

28、优选地，步骤(5)中，所述采摘路径的选取方法是：设定辅助路径点pr，pr与果梗采摘点坐标p(px,py,pz)深度方向坐标不同，表示为pr＝(px,py-n,pz)，其中n为辅助路径点与果梗采摘点的相对位置距离，采摘路径经过所述辅助路径点，避免所述末端执行器与所述串番茄发生干涉。

29、本发明与现有技术相比具有以下有益效果：

30、1、本发明提出的一种串番茄模糊采摘方法，只需要知道大致的串番茄果穗姿态和果梗采摘点位置，不需要视觉系统对果实姿态以及果梗位置的准确识别，极大减少视觉定位和识别精度，且能避免不确定的自然环境对果实采摘的限制。

31、2、本发明只需要末端执行器三种采摘姿态，就能实现对不用生长姿态的串番茄的顺利采摘，避免机械臂不必要的姿态变换，提高采摘效率。