一种河岸垃圾检测方法、装置、设备及存储介质与流程

本发明涉及计算机视觉，尤其涉及一种河岸垃圾检测方法、装置、设备及存储介质。

背景技术：

1、现有技术中，对河岸垃圾检测使用的解决方案主要包括传统巡查方式、物联网技术、计算机视觉技术和大数据分析。

2、目前，检测河岸垃圾面临的问题主要为传统人工巡查方式耗费人力物力，环境复杂但精度要求高、目标尺寸小、图像外形不规则，还有遮挡、堆叠、抖动、光线、天气等多种情况都容易影响识别精度，大量干扰下容易造成误检。

技术实现思路

1、本发明实施例提供了一种河岸垃圾检测方法、装置、设备及存储介质，旨在解决现有技术中对河岸垃圾检测识别精度低的问题。

2、第一方面，本发明实施例提供了一种基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法，包括：

3、采集河道两岸的图像数据，并对所述图像数据进行预处理；

4、通过训练的目标检测模型对所述图像数据进行检测，根据检测结果判断是否存在河岸垃圾；

5、若存在河岸垃圾，则进行告警；

6、其中，所述目标检测模型的训练步骤包括：

7、使用u2net图像分割工具将所述图像数据中的显著性垃圾本体进行分割，并将分割得到的实例加入待增强场景数据，得到数据集；

8、利用fgsm算法生成对抗性样本，并与所述数据集合并和划分，得到训练集和验证集；

9、利用所述训练集对改进后的rt-detr进行训练，并利用所述验证集进行验证，得到目标检测模型，其中，改进后的rt-detr中采用的主干网络为mobileone结构。

10、第二方面，本发明实施例提供了一种基于目标检测的河岸垃圾检测装置，包括：

11、预处理单元，用于采集河道两岸的图像数据，并对所述图像数据进行预处理；

12、检测单元，用于通过训练的目标检测模型对所述图像数据进行检测，根据检测结果判断是否存在河岸垃圾；

13、告警单元，用于若存在河岸垃圾，则进行告警；

14、其中，所述目标检测模型的训练步骤包括：

15、使用u2net图像分割工具将所述图像数据中的显著性垃圾本体进行分割，并将分割得到的实例加入待增强场景数据，得到数据集；

16、利用fgsm算法生成对抗性样本，并与所述数据集合并和划分，得到训练集和验证集；

17、利用所述训练集对改进后的rt-detr进行训练，并利用所述验证集进行验证，得到目标检测模型，其中，改进后的rt-detr中采用的主干网络为mobileone结构。

18、第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法。

19、第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如第一方面所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法。

20、本发明实施例提供了一种河岸垃圾检测方法、装置、设备及存储介质，方法包括：采集河道两岸的图像数据，并对所述图像数据进行预处理；通过训练的目标检测模型对所述图像数据进行检测，根据检测结果判断是否存在河岸垃圾；若存在河岸垃圾，则进行告警；其中，所述目标检测模型的训练步骤包括：使用u2net图像分割工具将所述图像数据中的显著性垃圾本体进行分割，并将分割得到的实例加入待增强场景数据，得到数据集；利用fgsm算法生成对抗性样本，并与所述数据集合并和划分，得到训练集和验证集；利用所述训练集对改进后的rt-detr进行训练，并利用所述验证集进行验证，得到目标检测模型，其中，改进后的rt-detr中采用的主干网络为mobileone结构。本发明通过对rt-detr目标检测网络做改进，通过训练生成目标检测模型，并通过目标检测模型对采集到的图像数据进行检测，该方法能够有效识别河岸垃圾，提高环卫人员的工作效率。

技术特征：

1.一种基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法，其特征在于，包括：

2.根据权利要求1所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法，其特征在于，所述利用fgsm算法生成对抗性样本，包括：

3.根据权利要求1所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法，其特征在于，所述改进后的rt-detr包括混合编码器和带有辅助检测头的transformer解码器，所述利用所述训练集对改进后的rt-detr进行训练，包括：

4.根据权利要求3所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法，其特征在于，所述激活函数为h-swish激活函数，所述h-swish激活函数的公式表示如下：

5.根据权利要求3所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法，其特征在于，迭代优化的损失函数表示如下：

6.根据权利要求1所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法，其特征在于，所述transformer解码器中的ffn模块由两个全连接层和一个激活函数组成，且所述全连接层采用深度可分离卷积。

7.根据权利要求1所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法，其特征在于，配置训练参数如下：设置多个迭代周期，且使用前干个迭代周期的编码器输出的特征初始化解码器的目标查询，优化器使用adam，初始学习率为0.00001，权重衰减为0.0001。

8.一种基于目标检测的河岸垃圾检测装置，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于对抗性训练与显著性检测数据增强的河岸垃圾检测方法。

技术总结
本发明公开了一种河岸垃圾检测方法、装置、设备及存储介质，其方法包括：采集河道两岸的图像数据，并对所述图像数据进行预处理；通过训练的目标检测模型对所述图像数据进行检测，根据检测结果判断是否存在河岸垃圾；若存在河岸垃圾，则进行告警。本发明通过对RT‑DETR目标检测网络做改进，通过训练生成目标检测模型，并通过目标检测模型对采集到的图像数据进行检测，该方法能够有效识别河岸垃圾，提高环卫人员工作效率。

技术研发人员：苏红梅,袁戟,黄志远,陈嘉维,郭远威
受保护的技术使用者：武汉市万睿数字运营有限公司
技术研发日：
技术公布日：2024/1/15