一种自然环境下番茄果实的检测方法及系统与流程

本发明涉及智慧农业的计算机视觉识别，具体为一种自然环境下番茄果实的检测方法及系统。

背景技术：

1、番茄具有丰富的营养成分，对人体健康有着较大的促进作用。传统番茄采摘技术生产成本高、操作复杂且效率低，很多现有的采摘机器人采用视觉识别定位采摘，但是自然环境是一个开放且不可控的环境，各种因素的动态变化会导致目标对象外观特征的不确定性，番茄果实在自然环境下可能会受到枝叶以及其他果实的遮挡，使得番茄果实目标检测面临巨大困难。

2、现有的目标检测算法针对小目标和遮挡目标的检测仍存在漏检和误检等问题。小目标边缘信息的不清晰和低对比度，以及目标与背景之间的视觉混淆，给模型的目标定位和识别带来了困难。遮挡现象使得目标的外观、形状和语义特征部分或完全不可见，导致不能对番茄精确检测。

技术实现思路

1、针对现有技术中存在的问题，本发明提供一种自然环境下番茄果实的检测方法及系统，采用yolov8模型作为主干网络结构，引入了sa-net注意力模块，同时采用了softer-nms非极大值抑制算法和siou作为损失函数，有效解决了自然环境下番茄果实检测中的遮挡问题。

2、本发明是通过以下技术方案来实现：

3、一种自然环境下番茄果实的检测方法，包括以下步骤：

4、获取自然环境中的番茄果实图像，并对图像进行标注和图像增强处理，得到训练数据集；

5、构建神经网络模型并采用训练数据集对其进行训练，根据训练后的神经网络模型检测番茄果实；

6、所述神经网络模型的训练方法如下：

7、将训练数据集的原始图片转化为特征图，对特征图进行特征融合得到融合特征图；

8、根据融合特征图生成通道注意力图和空间注意力图，根据通道注意力图生成通道统计数据，根据空间注意力图进行映射得到映射特征，对通道统计数据和映射特征进行concat操作得到注意力权重图，根据注意力权重图确定目标各边界框的类别概率；

9、根据边界框和类别概率确定损失函数，根据损失函数确定网络参数的偏导数进而得到梯度信息，据梯度信息和优化算法的规则，更新网络中的参数，直至达到预设的迭代次数，得到训练后的神经网络模型。

10、优选的，所述图像增强处理的方法如下：

11、对标注的图像随机生成遮挡区域，根据遮挡区域生成遮挡掩码，将遮挡掩码应用到原图像，得到增强处理的图像。

12、优选的，所述根据融合特征图生成通道注意力图和空间注意力图的方法如下：

13、按照通道维度将融合特征图拆分为g个子特征图组，并采用并行处理的方法，为每个子特征图组生成对应的重要度系数；

14、将子特征图组x(k)沿着通道维度分成两个分支，一个分支利用通道间的相互关系输出通道注意力图；另一个分支利用特征的空间关系并结合搜索算法生成空间注意力图。

15、优选的，所述映射特征的确定方法如下：

16、所述空间注意力图输入到全连接层中，并结合线性变换和非线性激活函数进行映射得到映射特征。

17、优选的，所述映射特征的表达式如下:

18、x′k2＝σ(w2·gn(xk2)+b2)·xk2

19、其中，w2是全连接层中的权重，b2是偏置项，gn为群归一化操作，σ为激活函数sigmoid，xk2为原特征。

20、优选的，所述损失函数的确定方法如下：

21、根据边界框的预测分布pθ(x)与真实分布pd(x)之间的kl散度作为神经网络模型的优化目标，根据kl散度建立边界框回归的损失函数，根据预测框和真实框之间的方向问题，建立损失函数siou部分。

22、优选的，所述损失函数的表达式如下：

23、

24、其中，xg是真实边界框的位置，xe是边界框的估计位置，pd(x)为真实分布，σ为标准差。

25、优选的，所述训练后的神经网络模型输出图像的边界框，计算每个边界框以及与其相邻的边界框的加权平均值，更新边界框的位置，根据更新后的边界框位置确定图像的预测结果。

26、优选的，所述边界框的位置更新方法如下：

27、

28、iou(x1j，x1i)＞nt

29、其中，x1i为第i个边界框的新x1坐标，x1j为满足iou大于阈值nt的第j个框的坐标，为第j个框的方差。

30、一种自然环境下番茄果实的检测方法的系统，包括，

31、数据集模块，用于获取自然环境中的番茄果实图像，并对图像进行标注和图像增强处理，得到训练数据集；

32、神经网络模块，用于构建神经网络模型并采用训练数据集对其进行训练，根据训练后的神经网络模型检测番茄果实；

33、网络训练模块，用于对所述神经网络模型进行训练；

34、将训练数据集的原始图片转化为特征图，对特征图进行特征融合得到融合特征图；

35、根据融合特征图生成通道注意力图和空间注意力图，根据通道注意力图生成通道统计数据，根据空间注意力图进行映射得到映射特征，对通道统计数据和映射特征进行concat操作得到注意力权重图，根据注意力权重图确定目标各边界框的类别概率；

36、根据边界框和类别概率确定损失函数，根据损失函数确定网络参数的偏导数进而得到梯度信息，据梯度信息和优化算法的规则，更新网络中的参数，直至达到预设的迭代次数，得到训练后的神经网络模型。

37、与现有技术相比，本发明具有以下有益的技术效果：

38、本发明提供的一种自然环境下番茄果实检测方法，该方法基于yolov8模型作为主干网络结构，用于提取和融合输入图像的特征信息；同时引入了sa-net注意力模块，以增强模型对番茄遮挡部分的关注度；采用softer-nms非极大值抑制算法，对满足阈值条件的边界框进行加权平均，以获得更准确的检测结果。考虑到预测框和真实框之间的方向问题，采用siou作为损失函数进行优化。该方法不仅有效解决了自然环境下番茄果实检测中的遮挡问题，还显著提升了番茄检测的准确率。实验结果表明，本发明的方法在纷繁复杂的自然环境中展现出良好的鲁棒性，能够较好地应对各种干扰因素。

技术特征：

1.一种自然环境下番茄果实的检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种自然环境下番茄果实的检测方法，其特征在于，所述图像增强处理的方法如下：

3.根据权利要求1所述的一种自然环境下番茄果实的检测方法，其特征在于，所述根据融合特征图生成通道注意力图和空间注意力图的方法如下：

4.根据权利要求1所述的一种自然环境下番茄果实的检测方法，其特征在于，所述映射特征的确定方法如下：

5.根据权利要求4所述的一种自然环境下番茄果实的检测方法，其特征在于，所述映射特征的表达式如下：

6.根据权利要求1所述的一种自然环境下番茄果实的检测方法，其特征在于，所述损失函数的确定方法如下：

7.根据权利要求1所述的一种自然环境下番茄果实的检测方法，其特征在于，所述损失函数的表达式如下：

8.根据权利要求1所述的一种自然环境下番茄果实的检测方法，其特征在于，所述训练后的神经网络模型输出图像的边界框，计算每个边界框以及与其相邻的边界框的加权平均值，更新边界框的位置，根据更新后的边界框位置确定图像的预测结果。

9.根据权利要求8所述的一种自然环境下番茄果实的检测方法，其特征在于，所述边界框的位置更新方法如下：

10.一种自然环境下番茄果实的检测方法的系统，其特征在于，包括，

技术总结
本发明公开了一种自然环境下番茄果实检测方法及系统，涉及计算机视觉、机器学习、智慧农业等领域。该方法基于YOLOv8模型作为主干网络结构，用于提取和融合输入图像的特征信息；同时引入了SA‑Net注意力模块，以增强模型对番茄遮挡部分的关注度；采用Softer‑NMS非极大值抑制算法，对满足阈值条件的边界框进行加权平均，以获得更准确的检测结果。考虑到预测框和真实框之间的方向问题，采用SIoU作为损失函数进行优化。该方法不仅有效解决了自然环境下番茄果实检测中的遮挡问题，还显著提升了番茄检测的准确率。实验结果表明，本发明的方法在纷繁复杂的自然环境中展现出良好的鲁棒性，能够较好地应对各种干扰因素。

技术研发人员：昝书晗
受保护的技术使用者：昝书晗
技术研发日：
技术公布日：2024/1/16