一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法

本发明涉及农业采摘，具体来说是一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法。

背景技术：

1、目前，葡萄采摘主要依靠自动化低、时效性差、成本高的人工操作。随着机器视觉、人工智能和机器人技术在园艺中的应用，自动采摘已成为一种新兴趋势。葡萄采摘通常是通过切割茎来执行的，以避免软皮肤的损伤。在这个过程中，茎中切割位置的测量，称为采摘点位置，是自动选择中必不可少的关键步骤。

2、采摘点位置通常采用颜色和形态学的阈值方法来检测水果，然后利用统计计算得到采摘点。使用otsu阈值来分离水果和茎，然后使用harris角在茎上获得。otsu阈值和颜色直方图分离用于识别番茄，然后将形态学和几何计算结合起来定位采摘点。泛化和容易噪声的能力是水果检测阈值方法的弱点之一，在复杂环境中导致鲁棒性较差和精度较低。随着深度学习(dl)的快速发展，将基于区域的卷积神经网络(mask r-cnn)、swintransformer和you only look once(yolo)等检测网络应用于水果检测，取得了较好的性能。

3、尽管深度学习提高了水果检测的准确性，但由于需要为可变场景设计特定的模式，基于统计计算的采摘点确定仍然容易受到异常数据的影响，并且难以处理可变性。当主轴和茎部不对齐时，采摘点很难在茎部上定位。通过计算树干的弯曲度获得采摘点，如果树干是直的，则取其中点，如果树干弯曲，则取图像灰度值最大的点。在葡萄采摘过程中，葡萄簇的形状和方向的变化，如倒置或平行于重力矢量，以及复杂的光照和遮挡，限制了统计计算的成功。同时，重新访问采摘点位置时，两阶段解决方案既麻烦又高效。

4、yolov5是目前流行的检测网络之一，因为它具有出色的准确性和实时检测能力。yolov5s与点回归相结合，可以同时确定葡萄枝干检测和采摘点候选。此外，yolov5s使用的跨步卷积或池化会导致小目标信息的丢失不利于定位葡萄干和采摘点的小尺寸。空间到深度(spd)在关注小物体方面表现出优秀的性能，因为spd替代跨步卷积和池化以在下采样期间保留通道信息。

技术实现思路

1、本发明的目的是为了解决现有技术中难以定位出葡萄图像中茎位置的缺陷，提供一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法来解决上述问题。

2、为了实现上述目的，本发明的技术方案如下：

3、一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法，包括以下步骤：

4、葡萄图像的获取及预处理：获取园内葡萄图像并进行预处理；

5、葡萄采摘点定位模型的构建：基于yolov5s与点回归相结合构建葡萄采摘点定位模型；

6、葡萄采摘点定位模型的训练：将预处理后的葡萄图像输入葡萄采摘点定位模型进行训练；

7、待定位葡萄图像的获取：获取待定位葡萄图像并进行预处理；

8、葡萄图像采摘点位置的定位：将预处理后的待定位葡萄图像输入训练后的葡萄采摘点定位模型，获得葡萄图像采摘点位置。

9、所述葡萄采摘点定位模型的构建包括以下步骤：

10、设定葡萄采摘点定位模型包括分为主干模块、颈部模块和头部模块；

11、设定主干模块为cspdarknet53；

12、设定颈部模块包括特征金字塔网络fpn和像素聚合网络pan，fpn结合低特征图和高特征图来传达深度语义信息，pan使特征图包含图像语义和位置信息；

13、设定头部模块包括为三点头部结构，其中的非最大抑制用于消除冗余边界框并保留最相关的边界框进行目标检测，三点头部结构提供了三个不同的尺度来检测不同大小的对象，分别为20×20、40×40和80×80，具有12维向量的头部输出标签包括置信度、分类、边界框和三个点；附加点使检测器输出候选采摘点。

14、所述葡萄采摘点定位模型的训练包括以下步骤：

15、设定葡萄采摘点定位模型的损失函数由三部分组成：边界盒损失、分类损失和置信度损失；

16、其中，损失函数lyolo表示为：

17、lyolo＝α•lconf+β·lclass+γ•lbbox

18、其中α、β、γ为置信度损失、分类损失和边界盒损失的权重因子；采用wing-loss计算积分损失：

19、

20、非负w将非线性部分的范围设置为(-w,w)，并且e限制了非线性区域的曲率，并且c＝w-w•ln(1+w/e)是平滑连接分段定义的线性和非线性部分的常数；

21、点向量的损失函数s＝{si}，其基本真值s'＝{si'}，定义为：

22、

23、其中i＝1,2,...,6；

24、将葡萄采摘点定位模型的新损失函数设为：

25、loss(s)＝lyolo+λglwing(s)，

26、其中λ为积分损失的权重因子；

27、主干模块获取葡萄图像，提取葡萄图像的多尺度特征；

28、颈部模块融合葡萄图像的多尺度特征，定位出语义和位置信息；

29、头部模块针对葡萄图像的语义和位置信息，输出标签，定位出候选采摘点。

30、有益效果

31、本发明的一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法，与现有技术相比使用了具有点回归的检测网络来检测葡萄茎并同时确定采摘点，获得了良好而准确的采摘点定位，其简单性、可部署性和可操作性远远优于两阶段方法，为葡萄果实采摘提供了实用可靠的技术支撑。

32、本发明通过将yolov5s与点回归相结合来构建yolo，以实现一阶段的采摘点定位，借助将spd集成到yolo-r中，syolo-r解决了小目标的损失，使得复杂光照和遮挡环境中准确的定位问题得到解决。特征可视化也表明，syolo-r捕捉到了采摘点周围区域的紧密和相关特征。syolo-r获得了良好而准确的采摘点定位，其简单性、可部署性和可操作性远远优于两阶段方法。

技术特征：

1.一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法，其特征在于，所述葡萄采摘点定位模型的构建包括以下步骤：

3.根据权利要求1所述的一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法，其特征在于，所述葡萄采摘点定位模型的训练包括以下步骤：

技术总结
本发明涉及一种结合检测网络和点回归的葡萄图像采摘点位置单阶段定位方法，与现有技术相比解决了难以定位出葡萄图像中茎位置的缺陷。本发明包括以下步骤：葡萄图像的获取及预处理；葡萄采摘点定位模型的构建；葡萄采摘点定位模型的训练；待定位葡萄图像的获取；葡萄图像采摘点位置的定位。本发明使用了具有点回归的检测网络来检测葡萄茎并同时确定采摘点，获得了良好而准确的采摘点定位，其简单性、可部署性和可操作性远远优于两阶段方法，为葡萄果实采摘提供了实用可靠的技术支撑。

技术研发人员：张寒苏,苌浩宇,张盛羽,陈旭,占子朝,李海东,芦奇宝,李士昌,沈瓒骏,侯芷萌
受保护的技术使用者：安徽大学
技术研发日：
技术公布日：2024/1/16