一种缺陷果实识别方法、装置、设备和存储介质与流程

本发明涉及计算机图像识别，尤其涉及一种缺陷果实识别方法、装置、设备和存储介质。

背景技术：

1、在果实的培育过程中，由于外界因素的干扰或者果实自身的发育问题，会产生部分具有缺陷的果实，例如开裂果实、鸟类啄食开洞的果实等，此类果实无法在市场上售卖，因此为了保证成熟果实的外观匀称，需要尽早发现具有缺陷的果实并将其剔除，减少缺陷果实生长造成的营养消耗，保证植被的营养供应给正常的果实，因此，对缺陷果实进行准确判断十分重要。

2、目前，在对缺陷果实进行判断时，通常只能由果农通过目测，进行判断，在应对巨大的工作量时，无法高效且准确的实现对大量果实的缺陷情况的判断，判断效率较低。

技术实现思路

1、本发明提供一种缺陷果实识别方法、装置、设备和存储介质，用以解决现有技术中无法高效的实现对大量果实的缺陷情况的判断，判断效率较低的问题，实现对缺陷果实的高效、准确的判定。

2、本发明提供一种缺陷果实识别方法，包括：

3、获取包含果实的原始图像；

4、将所述原始图像输入缺陷果实识别模型中，以使所述果实识别模型对所述原始图像中的所有果实进行遍历识别；

5、获取所述缺陷果实识别模型输出的缺陷果实识别结果；

6、其中，所述缺陷果实识别模型基于ssd网络建立，并基于数据集经过深度学习训练得到，所述数据集中的每组数据中均包括含有果实的样本图像，还包括对应的用于标注所述样本图像中的缺陷果实的标注信息。

7、根据本发明提供的一种缺陷果实识别方法，所述缺陷果实识别模型基于ssd网络建立，并基于数据集经过深度学习训练得到，包括：

8、构建初始ssd网络；

9、将所述初始ssd网络中的主干网络更换为mobilenetv3模型，构建mobilenetv3-ssd网络；所述mobilenetv3-ssd网络中包括mobilenetv3模型和ssd模型，所述ssd模型中包括分类定位预测层；

10、将感受野模块嵌入所述mobilenetv3-ssd网络的第13个倒残差模块和所述分类定位预测层之间，得到目标ssd网络；

11、利用所述数据集对所述目标ssd网络进行训练，得到基于目标ssd网络的所述缺陷果实识别模型。

12、根据本发明提供的一种缺陷果实识别方法，所述感受野模块包括3个分支卷积结构，所述分支卷积结构包括空洞卷积和至少一个标准卷积；每个所述分支卷积结构的所述标准卷积的卷积核大小不相同，且每个所述分支卷积结构的所述空洞卷积的膨胀率均不相同。

13、根据本发明提供的一种缺陷果实识别方法，在构建mobilenetv3-ssd网络之后，得到目标ssd网络之前，还包括：

14、利用cbam中的sam模块取代所述mobilenetv3模型的倒残差模块中的挤压和激励模块。

15、根据本发明提供的一种缺陷果实识别方法，所述mobilenetv3模型包括第一预测特征层和第二预测特征层，所述ssd模型包括4个ssd附加特征层；

16、所述第一预测特征层包括一个步长为2，扩张系数为6的5×5的深度可分离卷积网络，输出的通道数为80；

17、所述第二预测特征层包括一个1×1卷积网络，输出通道数为960；

18、所述4个ssd附加特征层中，第一个ssd附加特征层包括一个1×1卷积网络和一个步长为2的1×1卷积网络，输出通道数为512；第二个ssd附加特征层包括一个1×1卷积网络和一个步长为2的1×1卷积网络，输出通道数为256；第三个ssd附加特征层包括一个1×1卷积网络和一个步长为2的1×1卷积网络，输出通道数为256；第四个ssd附加特征层包括一个1×1卷积网络和一个步长为2的1×1卷积网络，输出通道数为128。

19、所述分类定位预测层用于获取所述第一预测特征层、所述第二预测特征层和4个所述ssd附加特征层输出的特征图并输出预测结果。

20、根据本发明提供的一种缺陷果实识别方法，所述数据集是通过获取包含果实的图像，并对所述图像进行数据增强处理后得到的。

21、根据本发明提供的一种缺陷果实识别方法，对所述图像进行数据增强处理，包括：

22、使用python库函数imageaug，对所述图像执行竖直翻转、水平翻转、镜像翻转和亮度增减中的至少一项。

23、本发明还提供一种缺陷果实识别装置，包括：

24、数据获取模块，用于获取包含果实的原始图像；

25、缺陷识别模块，将所述原始图像输入缺陷果实识别模型中，以使所述果实识别模型对所述原始图像中的所有果实进行遍历识别；所述缺陷果实识别模型基于ssd网络建立，并基于数据集经过深度学习训练得到，所述数据集中的每组数据中均包括含有果实的样本图像，还包括对应的用于标注所述样本图像中的缺陷果实的标注信息；

26、结果获取模块，用于获取所述缺陷果实识别模型输出的缺陷果实识别结果。

27、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的缺陷果实识别方法。

28、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的缺陷果实识别方法。

29、本发明提供的缺陷果实识别方法、装置、设备和存储介质，通过获取包含果实的原始图像，将原始图像输入缺陷果实识别模型中，以使果实识别模型对原始图像中的所有果实进行遍历识别，获取缺陷果实识别模型输出的缺陷果实识别结果。该缺陷果实识别模型是基于ssd网络建立，并基于数据集经过深度学习训练得到，数据集中的每组数据中均包括含有果实的样本图像，还包括对应的用于标注样本图像中的缺陷果实的标注信息。通过上述方法、装置和设备的应用，能够通过包含果实的图像实现对缺陷果实的高效、准确的判定，具备良好的使用效果。

技术特征：

1.一种缺陷果实识别方法，其特征在于，包括：

2.根据权利要求1所述的缺陷果实识别方法，其特征在于，所述缺陷果实识别模型基于ssd网络建立，并基于数据集经过深度学习训练得到，包括：

3.根据权利要求2所述的缺陷果实识别方法，其特征在于，所述感受野模块包括3个分支卷积结构，所述分支卷积结构包括空洞卷积和至少一个标准卷积；每个所述分支卷积结构的所述标准卷积的卷积核大小不相同，且每个所述分支卷积结构的所述空洞卷积的膨胀率均不相同。

4.根据权利要求2所述的缺陷果实识别方法，其特征在于，在构建mobilenetv3-ssd网络之后，得到目标ssd网络之前，还包括：

5.根据权利要求4所述的缺陷果实识别方法，其特征在于，所述mobilenetv3模型包括第一预测特征层和第二预测特征层，所述ssd模型包括4个ssd附加特征层；

6.根据权利要求1-5任一项所述的缺陷果实识别方法，其特征在于，所述数据集是通过获取包含果实的图像，并对所述图像进行数据增强处理后得到的。

7.根据权利要求6所述的缺陷果实识别方法，其特征在于，对所述图像进行数据增强处理，包括：

8.一种缺陷果实识别装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的缺陷果实识别方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的缺陷果实识别方法。

技术总结
本发明提供一种缺陷果实识别方法、装置、设备和存储介质，通过获取包含果实的原始图像，将原始图像输入缺陷果实识别模型中，以使果实识别模型对原始图像中的所有果实进行遍历识别，获取缺陷果实识别模型输出的缺陷果实识别结果。该缺陷果实识别模型是基于SSD网络建立，并基于数据集经过深度学习训练得到，数据集中的每组数据中均包括含有果实的样本图像，还包括对应的用于标注样本图像中的缺陷果实的标注信息。通过上述方法、装置和设备的应用，能够通过包含果实的图像实现对缺陷果实的高效、准确的判定，具备良好的使用效果。

技术研发人员：陈哲豪,耿佩琪
受保护的技术使用者：中银金融科技有限公司
技术研发日：
技术公布日：2024/2/21