一种基于语义分割的大宗茶采摘效果实时评价方法

本发明属于农业机械，具体涉及一种基于语义分割的大宗茶采摘效果实时评价方法。

背景技术：

1、中国饮茶历史悠久，消费基础深厚。时至今日，随着经济和文化的不断发展，各种茶叶因其自身较高的营养价值和背后深厚的文化底蕴，备受各界各地人民的青睐。

2、目前，主要应用的大宗茶采摘机械分为单人手持采茶机与双人肩负采茶机，以及乘坐式采茶机。人工手持类型的采摘机械依旧需要依靠大量的人力劳动来移动沉重的手持采茶机，且工作时依靠人的眼睛和经验进行人工判断，无法达到稳定的采摘效果；车载式仿形采茶机大多依靠各类传感器对茶叶蓬面的感知来调整采摘刀片的高度。一些车载式仿形采茶机如公开号cn113039936a的专利记载的一种超声波测距的自动仿形采茶装置及其采茶方法，能在一定程度上进行反馈调节，但是其反馈调节的输入信号为刀片高度或茶叶蓬面高度，未能更加直观地从采摘的结果中得到反馈信号。同时，目前针对大宗茶采摘机械的采摘效果评价仍以在采摘结束后，对收割下来的茶鲜叶采取各类方法进行评价为主。而该类评价方法只能起到对该次采摘的评价。由于评价的时间发生在采摘完成之后，因此该类方法既无法提高该次采摘的采摘效果，也无法对各类环境变化后的后续采摘进行有效调整。

3、因此，急需一种基于实时采净率的采摘效果评价方法，在大宗茶采摘的过程中实现实时的采摘效果评价。

技术实现思路

1、本发明的目的是针对现有技术的不足，提供一种基于语义分割的大宗茶采摘效果实时评价方法，利用茶叶语义分割数据集训练mask r-cnn模型，利用两台rgb相机在茶园实时进行茶叶图片采集并回传至边缘计算平台，利用语义分割网络对前后两处实时茶叶图像进行语义分割处理，得到具体的完整嫩芽个数和残缺嫩芽个数以及它们的具体位置，最终根据上述参数计算出实时采净率，并基于实时采净率与目标采净率对比来调整采摘刀片高度，实时提升采摘效果。

2、为了达到上述目的，本发明采用的技术方案如下：

3、本发明包括如下步骤：

4、步骤1、语义分割模型数据集制作与模型训练：预先采集露天茶树图片进行具有双标签的茶叶语义分割数据集制作，双标签分别为完整嫩芽与残缺嫩芽，然后利用茶叶语义分割数据集对mask r-cnn模型进行训练，完成训练后，将mask r-cnn模型部署于边缘计算平台。

5、步骤2、测距雷达及前后rgb相机安装：在大宗茶采摘机械前、后部各安装一个rgb相机，分别用于拍摄未采摘和采摘完的茶树图像，两个rgb相机均朝前拍摄，且拍摄角度相同；同时，在大宗茶采摘机械底部安装测距雷达，测距雷达测量采摘刀片距离地面的高度。

6、步骤3、基于语义分割的采摘前后参数提取：采摘机械匀速向前行驶，利用边缘计算平台中的mask r-cnn模型对两个rgb相机回传的茶叶蓬面rgb图像进行语义分割，得到当前位置采摘前以及采摘后分割出的各段茶叶蓬面中完整嫩芽和残缺嫩芽的编号和具体位置。将前部rgb相机中检测到的完整嫩芽个数记为a1；后部rgb相机中检测到的完整嫩芽个数记为a2；前部rgb相机中检测到的残缺嫩芽个数记为b1；后部rgb相机中检测到的残缺嫩芽记为b2。

7、步骤4、干扰数值计算：对比采摘前后各个完整嫩芽和残缺嫩芽的具体位置，将采摘后的rgb图像中新出现的完整嫩芽个数记为a；将采摘前就存在且采摘后仍然存在的残缺嫩芽个数记为b。

8、步骤5、计算实时采净率r1如下：

9、

10、步骤6、基于实时采净率的实时采摘刀片调整：给定待采收茶叶目标采净率范围，若实时采净率不在目标采净率范围内，则对采摘刀片进行高低调整。

11、步骤7、重复步骤3到步骤6，直到采摘结束。

12、进一步，所述步骤1中通过rgb相机采集露天茶树图片，拍摄角度与实际采摘时rgb相机拍摄角度保持一致。

13、进一步，所述步骤3中的语义分割具体为：将识别出的完整嫩芽与残缺嫩芽，沿着轮廓进行分割，形成单个封闭区域，并且每个完整嫩芽和残缺嫩芽都具备单独的编号和位置信息。

14、进一步，步骤3和步骤4中，需要根据采摘机械的行进速度以及前部rgb相机与后部rgb相机的位置差距，基于前部rgb相机回调预设时间的图像提取采摘前的参数。

15、进一步，所述步骤6具体如下：给定待采收茶叶目标采净率范围，且设定目标采净率范围的上限为r2，目标采净率范围的下限为r3，当实时采净率r1＞r2时，使采摘刀片向上运动预设距离；当实时采净率r1<r3时，使采摘刀片割刀向下运动预设距离。

16、本发明的有益效果是：

17、1、本发明中基于语义分割的实时评价方法，相较于采摘结束后再根据采摘下来的茶鲜叶进行评价的离线评价方法，不需要额外搭建大型鲜叶分选设备，且直接着眼于茶叶蓬面进行分析，实现了以采摘结果为基准的实时评价。

18、2、本发明中基于语义分割的实时评价方法，相较于采摘结束后再根据采摘下来的茶鲜叶进行评价的离线评价方法，可在采摘时实时做出评价，直接提高该次的采摘效果。

19、3、本发明中使用的语义分割相对于目标检测等深度学习方法，可以做到对检测结果进行像素级别的图像分割，有利于直观地进行茶树在被采摘前后的蓬面情况对比，更好地得到各类评价参数。

20、4、本发明提供的方法可以使用于任何具备采摘刀片升降功能的大宗茶采摘机械，使用范围广，适合推广使用。

技术特征：

1.一种基于语义分割的大宗茶采摘效果实时评价方法，其特征在于：包括如下步骤：

2.根据权利要求1所述一种基于语义分割的大宗茶采摘效果实时评价方法，其特征在于：所述步骤1中通过rgb相机采集露天茶树图片，拍摄角度与实际采摘时rgb相机拍摄角度保持一致。

3.根据权利要求1所述一种基于语义分割的大宗茶采摘效果实时评价方法，其特征在于：所述步骤3中的语义分割具体为：将识别出的完整嫩芽与残缺嫩芽，沿着轮廓进行分割，形成单个封闭区域，并且每个完整嫩芽和残缺嫩芽都具备单独的编号和位置信息。

4.根据权利要求1所述一种基于语义分割的大宗茶采摘效果实时评价方法，其特征在于：步骤3和步骤4中，需要根据采摘机械的行进速度以及前部rgb相机与后部rgb相机的位置差距，基于前部rgb相机回调预设时间的图像提取采摘前的参数。

5.根据权利要求1所述一种基于语义分割的大宗茶采摘效果实时评价方法，其特征在于：所述步骤6具体如下：给定待采收茶叶目标采净率范围，且设定目标采净率范围的上限为r2，目标采净率范围的下限为r3，当实时采净率r1＞r2时，使采摘刀片向上运动预设距离；当实时采净率r1<r3时，使采摘刀片割刀向下运动预设距离。

技术总结
本发明公开了一种基于语义分割的大宗茶采摘效果实时评价方法，利用茶叶语义分割数据集训练Mask R‑CNN模型，利用两台RGB相机在茶园实时进行茶叶图片采集并回传至边缘计算平台，利用语义分割网络对前后两处实时茶叶图像进行语义分割处理，得到具体的完整嫩芽个数和残缺嫩芽个数以及它们的具体位置，最终根据上述参数计算出实时采净率，并基于实时采净率与目标采净率对比来调整采摘刀片高度，相较于采摘结束后再根据采摘下来的茶鲜叶进行评价的离线评价方法，可在采摘时实时做出评价，直接提高采摘效果。

技术研发人员：俞焘杰,陈建能,赵润茂,廖聪,范国帅,郇晓龙,吴敏
受保护的技术使用者：浙江理工大学
技术研发日：
技术公布日：2024/1/15