果实姿态识别方法、装置、电子设备及存储介质

本技术涉及基于深度学习的计算机视觉，具体而言，涉及一种果实姿态识别方法、装置、电子设备及存储介质。

背景技术：

1、果园实际作业环境较为复杂，呈现非结构化和不确定性，采集到的水果图像中果实姿态多变，主要包括自然光照不均匀、枝叶遮挡、果实重叠等影响，严重制约着目标果实的识别效率和精度，因此实现复杂环境下水果的精准识别与定位成为视觉系统研究的关键所在。

2、目前大多利用手工制作颜色、纹理以及形状等特征识别了各特定场景下水果，但是传统图像处理方法在复杂自然环境中的性能仍然受到限制，人工设计的特征难以应对多种场景混杂的情况。近年来深度卷积神经网络广泛应用于目标检测领域，在复杂环境下的水果目标识别方面已经有了很多研究。

3、由于果园环境复杂，且叶、枝及果实有时只会遮挡目标果实较少部分，果实生长形态间的差异较小，原始图像归一化尺寸后目标果实被遮挡部分就会更小，由于卷积神经网络的浅层特征具有更多的局部信息，经多次卷积操作后易造成深层特征图丢失果实遮挡部分的关键信息，从而造成果实生长形态误识别。

4、同时，自然环境下果实重叠的生长形态较多，检测网络在对重叠果实进行识别时容易出现将重叠程度较大的两个水果识别为一个的情况，从而造成被遮挡果实的漏检。而且目前水果识别算法大部分都将未遮挡、枝叶遮挡及果实遮挡等不同生长形态下的水果识别为一类，当水果采摘机器人采摘果实时，就无法获得水果生长形态的具体分类信息，不能对枝、果实遮挡等果实采取特定的采摘方式，从而可能导致机械臂及末端执行器因碰到树枝而造成损伤。且只能得到水果的中心位置，不能准确识别出水果的姿态，无法使末端执行器以合适的方式采摘果实。

5、以苹果果实为例，在相关技术中，比如赵德安等(赵德安，吴任迪，刘晓洋，等.基于yolo深度卷积神经网络的复杂背景下机器人采摘苹果定位[j].农业工程学报，2019，35(3)：164-173.)将yolov3深度卷积神经网络应用于全天候复杂环境下苹果的识别，识别准确率为97％，平均每幅图像识别时间为16.69ms。

6、再比如，武星等(武星，齐泽宇，王龙军，等.基于轻量化yolov3卷积神经网络的苹果检测方法[j].农业机械学报，2020，51(8)：17-25.)将轻量化卷积神经网络light-yolov3模型应用在嵌入式开发板上，识别精度为94.69％，识别速度为7.59帧/s，能够同时满足识别速度和准确率的要求。

7、再比如，jia等(jia w,tian y,luo r,et al.detection and segmentation ofoverlapped fruits based on optimized mask r-cnn application in appleharvesting robot[j].computers and electronics in agriculture,2020,172:105380)将残差网络与密集连接卷积网络相结合用作改进mask r-cnn的主干网络，识别准确率达到97.31％。

8、再比如，杨福增等(杨福增，雷小燕，刘志杰，等.基于centernet的密集场景下多苹果目标快速识别方法[j].农业机械学报，2022，53(2)：265-273.)利用centernet的无锚框识别算法解决远距离密集场景下图像中苹果尺寸小、遮挡更为突出等问题，识别准确率为93.63％，平均每幅图像识别时间为69ms。

9、另外，对于复杂果园环境下的苹果识别算法，大部分都将未遮挡、枝叶遮挡及果实遮挡等不同生长形态下的苹果识别为一类，当苹果采摘机器人采摘果实时，就无法获得苹果生长形态的具体分类信息，不能对枝、果实遮挡等果实采取特定的采摘方式，从而可能导致机械臂及末端执行器因碰到树枝而造成损伤。

10、针对这一问题，在相关技术中，比如lv等(lv j,xu h,han y,et al.a visualidentification method for the apple growth forms in the orchard[j].computersand electronics in agriculture,2022,197:106954.)将yolov5应用于多个苹果组成的生长形态整体分类识别，平均识别准确率为98.45％，识别速度为71帧/s，但该算法未对单一苹果生长状态进行识别。

11、在相关技术中，再比如gao等(gao f,fu l,zhang x,et al.multi-class fruit-on-plant detection for apple in snap system using faster r-cnn[j].computersand electronics in agriculture,2020,176:105634.)利用faster r-cnn实现密叶果树多类苹果识别，4类图像的平均识别精度为87.9％，平均识别速度为241ms。

12、再比如，yan等(yan b,fan p,lei x,et al.a real-time apple targetsdetection method for picking robot based on improved yolov5[j].remote sensing(basel,switzerland),2021,13(9):1619.)基于改进yolov5s将苹果分为可抓性和不可抓性两类，平均识别准确率为86.75％，平均每幅图像识别时间为15ms，但存在枝遮挡苹果被漏采的问题。

13、再比如，闫彬等(闫彬，樊攀，王美茸，等.基于改进yolov5m的采摘机器人苹果采摘方式实时识别[j].农业机械学报，2022，53(9)：28-38，59.)将改进yolov5m应用于不同枝干遮挡情形下的苹果识别，识别准确率为81％，平均每幅图像识别时间为25ms，为实现枝干遮挡下的苹果采摘提供了可能。虽然这类算法可以实现苹果生长形态分类识别，但只能得到苹果的中心位置，不能准确识别出苹果的姿态，无法使末端执行器以合适的方式采摘果实。

14、对于苹果姿态的识别，在相关技术中已经有了一定的研究，比如王丹丹等(王丹丹，徐越，宋怀波，等.基于平滑轮廓对称轴法的苹果目标采摘点定位方法[j].农业工程学报，2015(5)：167-174.)通过转动惯量特性获取未遮挡苹果的对称轴，平均角度误差为4.542°，识别时间为7.5ms。

15、再比如，niu等(niu l,zhou w,wang d,et al.extracting the symmetry axesof partially occluded single apples in natural scene using convex hull theoryand shape context algorithm[j].multimedia tools and applications,2017,76(12):14075-14089.)利用凸壳理论和形状上下文算法提取出部分遮挡苹果的对称轴，平均角度误差为7.72°。然而这类方法只适用于单一生长形态的苹果，无法适用于复杂环境下多生长形态的姿态识别，且仅能获得苹果的对称轴，不能为苹果采摘提供特定的矢量方向。

16、综上，现有的相关技术中无法同时兼顾识别的精度、速度以及无损采摘操作性。

17、针对相关技术中果实姿态识别的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本技术的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本技术的一些实施例提出了一种果实姿态识别方法、装置、电子设备和存储介质，来解决以上背景技术部分提到的技术问题。

3、作为本技术的第一方面，本技术的一些实施例提供了一种果实姿态识别方法，包括：

4、响应于一个原始图像的输入，将所述原始图像输入至一个形态识别模型以使所述形态识别模型输出一个形态识别图像，其中，所述原始图像中包含多个果实的图像；所述形态识别图像包括基于所述原始图像的选取框和形态标记，所述选取框用于框选所述原始图像中被识别出的果实，所述形态标记用于标记所述原始图像中被识别出的果实的形态分类；

5、根据所述选取框和所述形态标记截取预设的一类所述形态标记的果实的单体图像；

6、将所述单体图像输入至一个姿态识别模型以使所述姿态识别模型输出一个姿态识别图像，其中，所述姿态识别图像包括基于所述单体图像中果实的轮廓线和姿态标记，所述轮廓线用于显示果实的外轮廓，所述姿态标记用于标记果实的姿态。

7、进一步的，所述形态识别模型至少包括一个经过训练的神经网络模型；所述形态识别模型的训练方法包括：

8、对采集到的素材图像中的果实进行选取和分类标注；

9、将所述素材图像作为输入数据，将对果实进行选取和分类标注生成的数据作为输出数据对模型进行训练。

10、进一步的，所述形态标记包括：无遮挡、叶遮挡、果实遮挡和枝遮挡。

11、进一步的，所述预设的一类所述形态标记为无遮挡。

12、进一步的，所述形态标记的优先级顺序由高至低分别为：枝遮挡、果实遮挡、叶遮挡和无遮挡。

13、进一步的，所述形态识别模型包括一个yolov7模型和至少一个嵌入所述yolov7的cbam模块。

14、进一步的，所述姿态识别模型包括一个unet模型；所述轮廓线为果实的外轮廓的最小外接矩形；所述姿态标记为由所述最小外接矩形的中心点指向所述最小外接矩形长边的中点的箭头标记。

15、作为本技术的第二方面，本技术的一些实施例提供了一种基于深度学习的果实姿态识别装置，包括：

16、形态识别模块，用于响应于一个原始图像的输入，将所述原始图像输入至一个形态识别模型以使所述形态识别模型输出一个形态识别图像，其中，所述原始图像中包含多个果实的图像；所述形态识别图像包括基于所述原始图像的选取框和形态标记，所述选取框用于框选所述原始图像中被识别出的果实，所述形态标记用于标记所述原始图像中被识别出的果实的形态分类；

17、图像截取模块，用于根据所述选取框和所述形态标记截取预设的一类所述形态标记的果实的单体图像；

18、姿态识别模块，用于将所述单体图像输入至一个姿态识别模型以使所述姿态识别模型输出一个姿态识别图像，其中，所述姿态识别图像包括基于所述单体图像中果实的轮廓线和姿态标记，所述轮廓线用于显示果实的外轮廓，所述姿态标记用于标记果实的姿态。

19、作为本技术的第三方面，本技术的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

20、作为本技术的第四方面，本技术的一些实施例提供了一种存储介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

21、本技术的有益效果在于：提供了一种在视觉上为末端执行器提供了抓取方向从而避免机械臂及末端执行器因碰到树枝而造成损伤的果实姿态识别方法、装置、电子设备及存储介质。