低成本的智能油茶果产量估计方法

本发明涉及机器视觉及人工智能领域，具体是一种低成本的智能油茶果产量估计方法。

背景技术：

1、油茶是一种油料作物，其果实被认定为一种绿色健康的食用油原料，在中国南方丘陵地区种植。机器人技术、智能农林业机械装备的发展促进了机械化的油茶果采收模式的兴起。为进一步推进油茶种植管理的自动化进程，果实采收前通常需要对种植区域内的果实产量进行估计，以便于农林业机械装备的调度。

2、常规的产量估测方法包括人工估计、按果树数量估计等，存在精度差或效率低等问题。为解决上述问题，研究人员提出采用机器视觉和机器学习方法结合的果实产量估计方法，直接建立输入图像与图像中果实数量之间的映射模型；或采用新兴的深度学习目标算法，如yolo，fasterrcnn等，用于单个果实的识别，再根据识别的果实个数估计产量。这些方法虽然具备智能化特点且预测精度相对较高，但是其中的模型训练过程需要大量的人工标注(即需要像模型提供图像中的真实的果实数量)，人工劳动成本较高。因此，需要提出一种可以在减少人工成本投入的同时提高产量预估效率的智能油茶果产量估计方法。

技术实现思路

1、本发明所要解决的技术问题是针对上述现有技术的不足提供一种低成本的智能油茶果产量估计方法，本低成本的智能油茶果产量估计方法可以克服现有的基于机器智能的果实产量估计模型人工标注成本高的问题，该方法可以为实现快速、低成本的油茶果产量评估提供技术基础。

2、为实现上述技术目的，本发明采取的技术方案为：

3、一种低成本的智能油茶果产量估计方法，包括以下步骤：

4、(1)采集多棵油茶果树的rgb图像；

5、(2)将采集得到的rgb图像分组，分为有果实的图像和无果实的图像，构建二分类油茶数据集；

6、(3)搭建带预训练权重的卷积神经网络油茶树二分类模型；

7、(4)通过微调训练的方式，采用二分类油茶数据集再次训练优化所述卷积神经网络油茶树二分类模型，使其能准确区分有果实图像和无果实图像；

8、(5)利用训练好的卷积神经网络油茶树二分类模型处理油茶果树的rgb图像；

9、(6)当卷积神经网络油茶树二分类模型的判定结果为无果实图像时，直接输出最终果实数量0；当卷积神经网络油茶树二分类模型的判定结果为有果实图像时，采用梯度加权类激活图算法对卷积神经网络油茶树二分类模型中全局池化层之前的深度特征进行可视化，得到与负责预测有果实图像类别概率得分的神经元权重关联的注意力特征图；

10、(7)提取所述注意力特征图中的局部极大值点，局部极大值点的个数作为对应有果实图像中油茶果数量的预测结果。

11、作为本发明进一步改进的技术方案，所述的步骤(3)具体为：

12、(3.1)、预训练resnet50骨干网络：基于resnet50构建果实目标检测网络，获取已公开的带有人工标注的果实目标检测数据集，进而对果实目标检测网络中的resnet50骨干网络进行预训练；从经过训练的果实目标检测网络中提出resnet50骨干网络部分，得到预训练后的resnet50骨干网络；

13、(3.2)构建卷积神经网络油茶树二分类模型：在预训练后的resnet50骨干网络后添加1个全局池化层和1个由2个神经元构成的全连接层，进而构建卷积神经网络油茶树二分类模型；通过基于微调训练的迁移学习方式，且采用二分类油茶数据集再次训练优化卷积神经网络油茶树二分类模型，使其能准确区分有果实图像和无果实图像。

14、作为本发明进一步改进的技术方案，所述的步骤(7)具体为：

15、对注意力特征图进行高斯滤波，提取所述注意力特征图中的局部极大值点，局部极大值点的个数作为对应图像中油茶果数量的预测结果。

16、本发明的有益效果为：

17、本发明油茶果产量估计方法中，果实数量预测模型的训练无需人工标注图中果实的真实位置或果实的真实数量，通过挖掘有果实图像和无果实图像之间的深度特征差异实现果实分布情况的估计，并预测果实数量，人工标注非常简单，效率高，只需标注图中是否有果实这一信息，进而克服现有的基于机器智能的果实产量估计模型人工标注成本高的问题，该方法可以为实现快速、低成本的油茶果产量评估提供技术基础。

技术特征：

1.一种低成本的智能油茶果产量估计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的低成本的智能油茶果产量估计方法，其特征在于：所述的步骤(3)具体为：

3.根据权利要求2所述的低成本的智能油茶果产量估计方法，其特征在于：所述的步骤(7)具体为：

技术总结
本发明公开了一种低成本的智能油茶果产量估计方法。其步骤：将油茶果树RGB图像分组，构建二分类数据集；搭建带预训练权重的卷积神经网络油茶树二分类模型；通过微调训练的方式优化卷积神经网络油茶树二分类模型，使其能够准确区分有果实图像和无果实图像；当判定结果为无果实图像时，直接输出果实数量为0，当判定结果为有果实图像时，采用梯度加权类激活图算法对二分类模型中全局池化层之前的深度特征进行可视化，得到与预测有果实图像神经元权重关联的注意力特征图；特征图局部极大值点的个数作为图像中油茶果数量的预测结果。本方法可大大减少人工成本投入，提高油茶产量预估效率。

技术研发人员：施明宏,周磊,周宏平,姜洪喆,陈青,蒋雪松,陈吉朋,王金鹏,陈佳佳
受保护的技术使用者：南京林业大学
技术研发日：
技术公布日：2024/1/13