一种基于多注意力图像识别的水果混合采摘方法

本发明涉及智能农业，特别涉及一种基于多注意力图像识别的水果混合采摘方法。

背景技术：

1、计算机视觉和机器学习的最新进展，如卷积神经网络的大规模图像识别已经极大地影响了多媒体系统。人们从中获取大量日常所需的信息，但是互联网每天产生的图文等信息以指数级增长，这就使得我们需要从大量的碎片化信息中提取出与用户需求相关的数据信息并且精准的对其进行分类。然而，图像识别的任务对于当前的模型来说仍具有挑战性，不同类别之间的差异存在于细微的细节中，这些细节可能被自然图像中存在的姿势，杂乱和变形的差异所淹没。

技术实现思路

1、本发明公开了一种基于多注意力图像识别的水果混合采摘方法，具体方法如下：

2、拍摄待采摘混合水果图像；

3、对混合水果图像进行预处理；

4、采用卷积核提取混合水果图像的特征，获取若干卷积特征图；

5、对若干卷积特征图分别进行池化，获取若干池化后特征图；

6、以多注意力模块一一对应地处理若干池化后特征图，输出若干包含每个区域重要特征的空间热图，根据混合水果的特征对空间热图进行加权；

7、以注意力模块的若干注意力头对空间热图进行局部预测；

8、自适应关注局部预测，对每个局部预测进行加权平均，得到每个注意力模块的预测；

9、结合每个注意力模块的预测和注意力头的门控值，生成最终识别结果；

10、根据最终识别结果，控制采摘机械臂完成目标水果采摘。

11、进一步地，对混合水果图像进行预处理，具体包括：

12、去除图像中的椒盐噪声、斑点噪声和高斯噪声，对去除噪声后的图像进行灰度处理。

13、进一步地，获取若干卷积特征图，具体方法如下：

14、通过多个卷积核在预处理图像上进行卷积操作，分别提取预处理图像中的局部特征，获取若干卷积特征图。

15、进一步地，获取若干池化后特征图，具体方法如下：

16、定义2×2的池化窗口，对卷积特征图进行平均池化，获取若干池化特征图。

17、进一步地，以注意力模块的若干注意力头对空间热图进行局部预测，具体方法如下：

18、每个注意力头根据选择的信息进行局部预测，具体公式为：

19、

20、其中，是输出的头部卷积权值，指的是用于头部层的卷积层的权重参数；k则对应于不同的注意力头，⊙是各元素的乘积；每一个都是一个向量，它表示其在空间的位置i∈{1…h},j∈{1…w}，深度为l，是不同注意力头的局部输出。

21、进一步地，自适应关注局部预测时，对每个局部输出采用1*1卷积层建模，具体公式为：

22、

23、sl为包含注意力门值深度为l的向量，ws∈raw*c*h*w为卷积核。

24、进一步地，对每个局部预测进行加权平均，得到每个注意力模块的预测，具体公式如下：

25、

26、式中为单个注意力模块的预测。

27、进一步地，门控值的计算公式如下：

28、gl＝softmax(wg*zl)

29、

30、其中，wg∈raw*c*h*w为线性运算的权值，这些权值参数决定了每个特征对最终输出的贡献程度；gl为池化zl后不同注意力深度的门控值，depths是放置注意力的深度集合，output是经过注意力预测修正的最终识别结果。

31、进一步地，生成最终识别结果后，验证方法如下：

32、加载验证集和测试集数据；将验证数据通过测试模型提取特征并分类；将预测的结果与真实的结果进行对比，计算验证集的准确率，修改设置参数；

33、可修改的设置参数包括：c，输入通道数，h，特征图高度，w，特征图宽度，aw，注意力宽度。

34、进一步地，所述混合水果为苹果和橙子，对空间热图进行加权的具体方法如下：

35、计算目标类别l对于特征图x中每个位置(i,j)的梯度g(l,i,j)，其中yl是目标类别l的梯度值，表示偏导数；

36、计算特征图x中每个位置(i,j)的权重α(l,i,j)，α(l,i,j)＝globalaverragepooling(ωg(l,i,j))；其中globalaverragepooling是对梯度g(l,i,j)进行平均池化操作，将其转换为一个标量值；ω为自适应系数，根据相邻点梯度值误差δg＝α(,i,j)-α(l,i-1,j-1)来调整它的大小,即ω＝eδg；

37、计算加权梯度图

38、其中，relu表示修正线性单元激活函数，σ表示对所有位置(i,j)进行求和；

39、对hl进行归一化处理，使其数值范围在0到1之间，为产生注意力头hl对应的注意力掩模的卷积核，即该层卷积权重比例，它通过与输入图像的不同位置进行逐元素相乘并求和的方式来提取图像的特征，可以捕捉图像中的局部特征，*表示卷积算子，zl表示卷积特征映射，它通过卷积操作从输入图像中提取的特征图；

40、在卷积操作中，通过将卷积核与输入图像的不同位置进行逐元素相乘并求和，生成一个输出值，通过在输入图像上滑动卷积核，可以在不同位置提取不同的特征；

41、aw为注意力宽度，对应于每个模块的注意力头数，指的是在注意力机制中用于计算注意力权重的窗口或范围的大小；

42、hl∈raw*c*h*w为注意力头的输出矩阵，即空间热图，用于表示某个特定特征在图像中的空间分布情况，它通过在图像上的每个位置上显示一个颜色或灰度值来表示该位置的强度或重要性。

43、由于采用了以上技术方案，本发明具有以下有益效果：

44、1、发明可以提高水果采摘效率，机械臂可以通过快速、精确和连续的操作，提高采摘水果的效率。相比人工采摘，机械臂可以在较短时间内完成更多的采摘任务，从而提高农作物的产量和采摘效率；亦能减轻人力劳动压力，农作物采摘通常是一项繁重的体力劳动任务，需要大量人力投入。

45、2、神经网络的自适应性和学习能力使得机械臂能够根据不同的水果类型和环境条件进行适应和调整。通过不断的学习和反馈，神经网络可以改善机械臂的采摘技巧和决策能力，逐步提高采摘的效果和质量。

46、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书实现和获得。

技术特征：

1.一种基于多注意力图像识别的水果混合采摘方法，其特征在于，具体方法如下：

2.如权利要求1所述的基于多注意力图像识别的水果混合采摘方法，其特征在于，对混合水果图像进行预处理，具体包括：

3.如权利要求1所述的基于多注意力图像识别的水果混合采摘方法，其特征在于，获取若干卷积特征图，具体方法如下：

4.如权利要求1所述的基于多注意力图像识别的水果混合采摘方法，其特征在于，获取若干池化后特征图，具体方法如下：

5.如权利要求1所述的基于多注意力图像识别的水果混合采摘方法，其特征在于，以注意力模块的若干注意力头对空间热图进行局部预测，具体方法如下：

6.如权利要求5所述的基于多注意力图像识别的水果混合采摘方法，其特征在于，自适应关注局部预测时，对每个局部输出采用1*1卷积层建模，具体公式为：

7.如权利要求6所述的基于多注意力图像识别的水果混合采摘方法，其特征在于，对每个局部预测进行加权平均，得到每个注意力模块的预测，具体公式如下：

8.如权利要求1所述的基于多注意力图像识别的水果混合采摘方法，其特征在于，门控值的计算公式如下：

9.如权利要求1所述的基于多注意力图像识别的水果混合采摘方法，其特征在于，生成最终识别结果后，验证方法如下：

10.如权利要求1所述的基于多注意力图像识别的水果混合采摘方法，其特征在于，所述混合水果为苹果和橙子，对空间热图进行加权的具体方法如下：

技术总结
本发明涉及智能农业技术领域，特别涉及一种基于多注意力图像识别的水果混合采摘方法。可以提高水果采摘效率，机械臂可以通过快速、精确和连续的操作，提高采摘水果的效率。相比人工采摘，机械臂可以在较短时间内完成更多的采摘任务，从而提高农作物的产量和采摘效率。神经网络的自适应性和学习能力使得机械臂能够根据不同的水果类型和环境条件进行适应和调整。通过不断的学习和反馈，神经网络可以改善机械臂的采摘技巧和决策能力，逐步提高采摘的效果和质量。

技术研发人员：甄圣超,陈键
受保护的技术使用者：合肥工业大学
技术研发日：
技术公布日：2024/8/15