一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法

本发明属于农业智能检测，涉及人工智能识别、机器视觉以及图像处理，特别是一种基于深度学习目标检测算法和关键点检测算法的茶叶嫩梢采摘部位精准定位方法。

背景技术：

1、中国是茶叶生产大国，其中名优茶作为茶叶产业价值的绝对担当。茶产业属于劳动密集型产业，季节性强，劳动强度大，茶叶的采摘是茶叶生产中最耗时且费力的一个环节。目前国内外采茶机主要采用往复切割的方式，属于无差别采摘方法，存在茶叶芽叶完整率低、齐整度差、后续加工品质难以控制等问题，主要用于对外形要求不高的大宗茶等的采摘。而名优茶的采摘不能采用普通切割、拽拉式机器人采摘，因此名优茶的采摘依然依赖于大量的劳动力，人工采茶劳动强度大、效率低与名优茶采摘具有较强的实效性相冲突，名优茶的智能采摘成为了研究热点，针对名优茶嫩梢识别和采摘点定位的研究也因此得到了快速的发展。

2、茶园环境复杂，茶树密集生长，茶叶嫩梢生长千姿百态，并相互遮挡；茶叶嫩梢和周围的叶子在颜色形状和纹理方面的区分度不是特别大；而且嫩梢质量小，极易受风吹和机械移动而摆动。这些因素都使得茶叶嫩梢的识别和采摘点的识别定位非常困难，严重限制了名优茶的自动化采摘。

3、专利文献cn111784764a公开了一种茶叶嫩芽识别与定位算法，将嫩芽样本喂入采摘点识别模型，并进行训练，直至单个嫩芽采摘点的识别满足识别要求。但由于茶叶嫩芽采摘点特征不明显，直接训练采摘点，很难达到理想的结果，定位精度不高。

4、专利文献cn114882222a公开了一种通过改进的yolov5目标检测模型，输出茶叶嫩芽的目标检测和采摘区域的语义分割图，基于预测结果利用质心法计算采摘点。该方法获取采摘区域的语义分割图的过程不论是在速度还是在精度上都不是一个较好的方式，并且利用质心法计算采摘点不能实现较为精准的定位。

5、专利文献cn113901874a公开了一种基于改进r3det旋转目标检测算法的茶叶嫩芽识别与采摘点定位方法，采用旋转检测框，对倾斜框的坐标表示形式转化判断出倾斜框的下短边，计算下短边中点，作为茶叶嫩芽采摘点。该方法直接粗略的将检测框的中点作为采摘点，首先检测框有误差，而所述中点作为采摘点本就是粗略估计，如此一来，更是误差叠加，只能得到一个更粗略的采摘点。

6、综上，目前的茶叶嫩梢采摘点的定位方法定位精度低、效率低，而且无法平衡精度和速度方面的需求，为实现茶叶嫩梢采摘点的快速精准识别定位，保证名优茶机采效率和高质量要求，需要研发一种的名优茶采摘点快速精准识别定位方法。

技术实现思路

1、本发明的目的在于针对上述现有技术存在的问题，提供一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法，该方法能够精准的给出茶叶嫩梢采摘部位，以实现茶叶嫩梢完整采摘并且最大程度实现无杂叶和老叶的采摘。

2、实现本发明目的的技术解决方案为：一种基于多信息融合的茶叶嫩梢采摘部位精准识别方法，所述方法包括以下步骤：

3、步骤1，采集大量茶叶嫩梢图像，包括rgb图像和深度图像；

4、步骤2，依据角点、颜色渐变、纹理特点综合选取特征，对茶叶嫩梢图像进行数据标注，得到茶叶嫩梢关键点检测数据集；

5、步骤3，搭建关键点检测网络模型，并利用所述茶叶嫩梢关键点检测数据集对关键点检测网络模型进行训练；

6、步骤4，将待检测的茶叶嫩梢图像输入训练后的关键点检测网络模型，得到茶叶嫩梢检测框和茶叶嫩梢的关键点位置；

7、步骤5，对步骤4得到的茶叶嫩梢检测框进行裁剪得到茶叶嫩梢图，之后采用图像分割算法对裁剪后的茶叶嫩梢图进行轮廓分割，并获取轮廓最低点；

8、步骤6，根据茶叶生长特点和茶叶采摘需求，结合步骤4得到的关键点和步骤5得到的轮廓最低点求取茶叶嫩梢采摘点位置。

9、进一步地，步骤1还包括：

10、对茶叶嫩梢图像进行数据增广，增广方式包括对：旋转，翻转，平移，随机裁剪，缩放，加噪声，平滑模糊图像，颜色空间变换，随机擦除法，图像增强。

11、进一步地，步骤2所述依据角点、颜色渐变、纹理特点综合选取关键点特征，对茶叶嫩梢图像进行数据标注，得到茶叶嫩梢关键点检测数据集，具体包括：

12、步骤2-1，利用cocoannotator对茶叶嫩梢图像分别按照目标检测、关键点检测两类任务输入数据的格式进行标注，整体目标检测标签类别为‘nenya’，依据角点、颜色渐变、纹理特点综合选取特征进行关键点数据标注，关键点检测类别标签包括p1、p2、p3，分别对应单芽关键点、一芽一叶关键点和一芽两叶关键点，得到coco格式的茶叶嫩梢关键点检测数据集；

13、步骤2-2，将所述茶叶嫩梢关键点检测数据集按照8：1：1比例划分为训练集，验证集和测试集。

14、进一步地，步骤3中搭建关键点检测网络模型，具体基于yolov8算法进行改进，搭建关键点检测网络模型，具体包括：

15、(1)在输入模块，采用改进的mosaic数据增强方法，先进行mosaic操作拼接图像，然后再对图像进行数据增强操作；

16、(2)将yolov8主干特征提取网络cspdarknet53中的resnet单元替换为密集连接模块densenet单元；

17、模型采用“denseblock+transition”的结构，所述“denseblock”为包含很多网络层的模块，包括bn-relu-conv(1×1)-bn-relu-conv(3×3)，其中：bn表示批处理归一化层，conv表示卷积层，relu表示线性整流函数；一个densenet单元包括多个denseblock，各个层的特征图大小一致，层与层之间采用密集连接的方式；所述“transition”结构是连接相邻denseblock的过渡层，包括bn-conv(1×1)-avgpooling(2×2)，用于降低特征图的大小，完成前后denseblock模块的连接；

18、在densenet中，连接前面所有层作为输入，得到的输出为:

19、xi＝hi([x0,xl,…xl-1])])

20、其中，xi表示输出；hi(·)代表非线性转换函数，l为当前层；[x0,x1,…,xl-1]表示将之前所有的特征图以通道的维度进行合并；

21、(3)在yolov8的cspdarknet53网络基础上将残差块cspx中的残差单元resunit替换为密集连接单元denseunit，并将其定义为den-cspx；

22、(4)在特征提取模块中，引入注意力机制cabm；

23、(5)采用改进的加权nms即改进的非极大值抑制方法，对检测框的置信度进行惩罚衰减。

24、进一步地，所述改进的加权nms为高斯加权nms，具体过程包括：

25、步骤3-1，对回归产生的n个预选框按置信度大小进行排序；

26、步骤3-2，选择当前置信度最大的预选框，计算其与其他预选框之间的iou值；

27、步骤3-3，通过下式重置预选框的置信度；

28、

29、式中，d表示输出预选框集合，si为置信度，i为分类标签，m为当前置信度最大的预选框，bi为其他预选框，iou(m,bi)表示m与bi的交并比iou；

30、步骤3-4，对剩余的预选框重复执行步骤3-2～步骤3-3，直至遍历处理完所有预选框；

31、步骤3-5，删除置信度小于预设的最小阈值的预选框，保留大于最小阈值的预选框。

32、进一步地，步骤5中在采用图像分割算法对裁剪后的茶叶嫩梢图进行轮廓分割之前，还包括：对裁剪后的茶叶嫩梢图进行中值滤波。

33、进一步地，步骤5所述采用图像分割算法对裁剪后的茶叶嫩梢图进行轮廓分割，并获取轮廓最低点，具体包括：

34、步骤5-1，采用otsu自动阈值法对裁剪后的茶叶嫩梢图进行粗分割；

35、步骤5-2，对步骤5-1处理后的图像进行二值化处理；

36、步骤5-3，对二值化后的图像进行闭运算操作；

37、步骤5-4，上述处理后的图像与原图像掩膜获得最终分割后的彩色图像；

38、步骤5-5，遍历所述彩色图像中每个轮廓的边缘点，获取最低点p(x0,y0)。

39、进一步地，步骤6具体包括：

40、(1)当步骤4得到的嫩梢关键点为一个点时，表明该嫩梢品级为单芽或一芽一叶或一芽两叶；

41、若步骤4得到的嫩梢关键点为p1，则p1的坐标即为单芽的采摘点坐标；

42、若步骤4得到的嫩梢关键点为p2或p3时，则利用轮廓最低点p和关键点p2或p3建立直线段，沿该直线段取距关键点p2或p3的1/3直线段距离处作为一芽一叶或者一芽两叶的采摘点；

43、(2)当步骤4得到的嫩梢关键点为两个点时

44、若为关键点p1和p2，表明该嫩梢品级为一芽一叶，应求取一芽一叶的采摘点，单芽的采摘点无需求取，则利用轮廓最低点p和关键点p2建立直线段，沿该直线段取距关键点p2的1/3直线段距离处作为一芽一叶的采摘点；

45、若为关键点p1和p3，表明该嫩梢品级为一芽两叶，同样只需求取一芽两叶的采摘点，利用轮廓最低点p和关键点p3建立直线段，沿该直线段取距关键点p3的1/3直线段距离处作为一芽两叶的采摘点；

46、若为关键点p2和p3，表明该嫩梢品级为一芽两叶，需分别求取一芽一叶和一芽两叶的采摘点；利用关键点p2和p3建立直线段，沿该直线段取距关键点p2的1/3直线段距离处作为一芽一叶的采摘点；利用轮廓最低点p和关键点p3建立直线段，取距关键点p3的1/3直线段距离处作为一芽两叶的采摘点；

47、(3)当所述嫩梢关键点为三个点时，表明该嫩梢品级为一芽两叶，应求取一芽一叶和一芽两叶的采摘点，单芽的采摘点无需求取；

48、利用关键点p2和p3建立直线段，取距关键点p2的1/3直线段距离处作为一芽一叶的采摘点；利用轮廓最低点p和关键点p3建立直线段，取距关键点p3的1/3直线段距离处作为一芽两叶的采摘点。

49、进一步地，上述求取采摘点的具体公式为：

50、

51、式中，x、y分别表示采摘点的横坐标、纵坐标；x0、y0分别表示轮廓最低点的横、纵坐标；x'、y'分别表示步骤4检测出的关键点的横、纵坐标

52、本发明与现有技术相比，其显著优点为：

53、1)本发明提出的方法具有较高的定位精度，本发明提出的技术方案是直接一步定位到采摘部位的关键点，主要误差存在于关键点的定位上，而目前主流的先检测再定位的方法中误差来自于检测和定位两个阶段中，并且第一阶段的误差会加剧第二阶段的误差。

54、2)本发明提出的方法简单快速，相较于目前主流的先检测茶叶嫩梢，再通过各种方法得到嫩梢骨架进行两者取交的方法具有一步到位的快速性。快速性体现在两个方面，一是网络采用的是端到端的检测形式，相较于经典主流的两阶段人体关键点检测网络，具有明显的速度优势；二是方法的优越性，本发明的技术方案重点不在于准确的检测出茶叶嫩梢，而在于直接精准的定位到采摘部位的关键点，通过关键点求取茶叶嫩梢采摘点。

55、3)本发明提出的方法可以实现茶叶嫩梢的分级检测和定位，能够区分出一芽一叶和一芽两叶，并给出不同品级的采摘部位。

56、4)本发明对检测网络模型进行了改进，通过引入密集连接模块densenet单元和注意力机制，并采用加权nms改进检测网络模型，设计了一种基于densenet的关键点检测方法，相较传统卷积网络，提高了检测速度，增强了算法实时性，在不额外增加运算量的前提下提高网络检测精度。

57、综上，本方法在提高茶叶嫩梢采摘部位的定位精度和效率方面做出了贡献。

58、下面结合附图对本发明作进一步详细描述。