一种基于图像处理的树梢检测方法、电子设备和存储介质

本发明涉及目标检测，尤其涉及一种基于图像处理的树梢检测方法、电子设备和存储介质。

背景技术：

1、近年来果树例如荔枝树的种植规模不断扩大，在荔枝树种植的过程中荔枝树生长出的新树梢对荔枝产量有较大的影响，例如春天新树梢和花穗在同一时间生长出来，新树梢生长的越多，花穗的生长数量越少，从而降低荔枝的产量。因此，荔枝树新树梢的识别对果园的管理以及提高荔枝产量有着十分重要的意义。

2、目前检测荔枝树的方法分为两类，第一类方法是通过人工巡查种植荔枝树的果园，对荔枝树的新树梢进行识别。该方法受限于果园地形、面积以及荔枝树的高度等因素，导致检测结果准确度不高。第二类方法是基于无人机遥感技术检测荔枝树，例如cn114266975a公开了采集果园果实的无人机遥感图像，构建图像数据库，将图像数据库划分为训练集、验证集和测试集。使用荔枝树冠分割模型对训练集进行图像分割，得到树冠分割结果，在验证集上对树冠分割结果进行验证。通过荔枝果实检测模型将树冠分割结果划分为密集果实区和非密集果实区，对密集果实区域进行超分辦率操作获取超分密集果实图像，对超分密集果实图像进行二次特征提取和目标定位，以检测密集果实区的果实数量。该方法没有针对荔枝树的新树梢进行检测，由于无人机遥感图像中的目标例如新树梢或果实占的比例很小，提取的特征的准确度较低，该方法在分割和目标检测之后再进行超分辨率重建，导致检测结果的准确度不高。

3、综上所述，现有的荔枝树检测方法存在受限于果园地形、面积以及荔枝树的高度等因素，或由于无人机遥感图像中的目标占的比例很小，导致检测结果的准确度不高的问题。

技术实现思路

1、为克服相关技术中存在的问题，本发明的目的之一是提供一种基于图像处理的树梢检测方法，该方法在树梢检测前对无人机拍摄的图像集进行超分辨率重建，提高了图像集的清晰度，在此基础上使用改进后的检测模型和辅助切片技术进行树梢识别，提高了树梢识别的准确度。

2、一种基于图像处理的树梢检测方法，包括：

3、获取待重建图像集，所述待重建图像集包括经过预处理的无人机拍摄的树梢图像；

4、对所述待重建图像集进行超分辨率重建，得到重建后图像集；

5、从所述重建后图像集中筛选出测试图像集，使用tood-spcs模型对所述测试图像集进行树梢检测，在树梢检测的同时进行切片辅助推理，得到树梢检测结果；其中，所述tood-spcs模型为基于swin-transformer网络的目标检测模型。

6、在本发明较佳的技术方案中，所述得到重建后图像集之后，还包括：

7、构建待训练tood-spc模型；

8、将所述重建后图像集划分为训练图像集、验证图像集和所述测试图像集；

9、设置训练参数，使用所述训练参数和所述训练图像集对所述待训练tood-spc模型进行训练，得到已训练tood-spc模型；

10、对所述已训练tood-spc模型进行切片辅助微调，得到所述tood-spcs模型。

11、在本发明较佳的技术方案中，所述构建待训练tood-spc模型，包括：

12、将tood模型的主干网络替换为所述swin-transformer网络；

13、将所述tood模型的neck网络由特征金字塔网络替换为路径聚合特征金字塔网络；

14、将所述tood模型的giou损失函数替换为ciou损失函数。

15、在本发明较佳的技术方案中，所述对所述待重建图像集进行超分辨率重建，得到重建后图像集，包括：

16、对所述待重建图像集进行裁剪，得到裁剪图像集；

17、从所述裁剪图像集中筛选出含有树枝新梢的图像，将所有所述含有树枝新梢的图像组成目标图像集；

18、使用real-esrgan方法将所述目标图像集中的每张图像扩大四倍，得到重建后图像集。

19、在本发明较佳的技术方案中，所述使用所述训练参数和所述训练图像集对所述待训练tood-spc模型进行训练，得到已训练tood-spc模型，包括：

20、对所述训练图像集进行标注，得到标注图像集；

21、对所述标注图像集进行数据增强，得到增强图像集；其中，所述数据增强包括平移、旋转、锐化、翻转和模糊中的任意一种或多种；

22、将所述增强图像集输入所述待训练tood-spc模型，根据所述训练参数对所述待训练tood-spc模型进行训练；

23、计算ciou损失函数值，根据所述ciou损失函数值和分类结果判断训练中的tood-spc模型的性能是否符合标准，若是，则停止训练，得到已训练tood-spc模型。

24、在本发明较佳的技术方案中，所述根据所述ciou损失函数值和分类结果判断训练中的tood-spc模型的性能是否符合标准，包括：

25、根据所述ciou损失函数值获取预测框和真实框的交并比；

26、将所述验证图像集输入训练中的tood-spc模型，得到分类结果；根据所述分类结果计算准确率，根据所述准确率和总样本数计算平均精度；

27、若所述平均精度大于平均精度阈值，且所述交并比大于交并比阈值，检测训练轮次，若所述训练轮次大于或等于训练轮次阈值，则所述训练中的tood-spc模型的性能符合标准。

28、在本发明较佳的技术方案中，所述对所述已训练tood-spc模型进行切片辅助微调，得到所述tood-spcs模型，包括：

29、设置切片参数，使用所述切片参数和所述训练参数，对所述已训练tood-spc模型进行辅助微调训练，得到辅助微调模型；其中，所述切片参数包括切片大小和切片模式；

30、根据所述平均精度和所述交并比筛选出性能最优的所述辅助微调模型，将性能最优的所述辅助微调模型作为所述tood-spcs模型。

31、在本发明较佳的技术方案中，所述使用tood-spcs模型对所述测试图像集进行树梢检测，在树梢检测的同时进行切片辅助推理，得到树梢检测结果，包括：

32、设置切片参数，根据所述切片参数对所述测试图像集中的第i张图像进行分割，得到多个分割区域；其中，所述测试图像集包括n张图像，n≥i；

33、使用tood-spcs模型对所述测试图像集中的第i张图像的每个所述分割区域进行树梢检测；

34、检测i+1是否大于n，若是，则停止分割和树梢检测，得到树梢检测结果；若i+1小于或等于n，则根据所述切片参数对所述测试图像集中的第i+1张图像进行分割，得到多个所述分割区域；

35、使用所述tood-spcs模型对所述测试图像集中的第i+1张图像的每个所述分割区域进行树梢检测。

36、本发明的目的之二是提供一种电子设备，包括：

37、处理器；以及

38、存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上述的基于图像处理的树梢检测方法。

39、本发明的目的之三是提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行上述基于图像处理的树梢检测方法。

40、本发明的有益效果为：

41、本发明提供的一种基于图像处理的树梢检测方法，包括获取待重建图像集，待重建图像集包括经过预处理的无人机拍摄的树梢图像。对待重建图像集进行超分辨率重建，在进行树梢识别前提高了待重建图像集的清晰度，得到重建后图像集。从重建后图像集中筛选出测试图像集，使用tood-spcs模型对测试图像集进行树梢检测，tood-spcs模型为基于swin-transformer网络的目标检测模型。swin-transformer网络使用了类似卷积神经网络中的层次化构建方法，抽取不同层次的视觉特征，使得模型可以灵活处理不同尺寸的图像，更适合分割和检测等任务。在树梢检测的同时进行切片辅助推理，使用切片辅助推理将测试图像集中的每张测试图像分割为多张小图，tood-spcs模型对每张小图进行树梢检测。通过切片辅助推理得到的小图具有更多的上下文信息，可以增强获取局部信息的能力，从而提高树梢检测的准确度。