一种垃圾桶外溢垃圾的检测方法与流程

本发明涉及人工智能，具体涉及一种垃圾桶外溢垃圾的检测方法。

背景技术：

1、目前，大多数垃圾桶满溢的监控管理方式仍然依赖于人工值守或巡视，这种方法需要消耗大量的人力资源，而且容易出现监管不及时的情况，效率低下。另外，传统的监测方法如超声波测距和称重传感器也很难准确判断垃圾桶的满溢情况。而现有的垃圾桶满溢监测方法大多数只是基于深度学习在模型上检测上做的检测方法，不能及时地发现满溢风险并预先做出处理，同时考虑摄像头的角度问题，此类方法容易将垃圾桶外的垃圾被误判为垃圾桶内的垃圾，从而使垃圾桶被误判为满溢，方法的泛化能力不强。

2、中国专利文献(c n115170935a)公开了一种依据图像理解的垃圾桶状态识别方法及设备，涉及图像识别领域。主要包括：对垃圾桶的灰度图像进行基于边缘的分割，并将所有分割区域中灰度方差最小的分割区域作为参考区域，以将相对于参考区域的差异程度大于预设第一阈值的分割区域的面积占比作为破碎程度指标；计算垃圾桶的顶部预设范围内的图像与其对应的标准图像的第一相似度，以及垃圾桶的底部预设范围内的图像与其对应的标准图像的第二相似度；根据第一相似度、第二相似度以及破碎程度指标，获取垃圾桶的收容指标，以确定垃圾桶是否被装满。该技术方案对于图像质量低的垃圾桶，分割效果可能不佳，导致识别结果不准确。如果垃圾桶的环境发生了显著的变化，例如灯光变暗，可能影响识别结果的准确性。破碎程度指标是基于图像分割的，如果垃圾桶内部有障碍物，则可能影响识别结果的准确性。计算相似度的方法可能存在误差，导致识别结果不准确。

3、中国专利文献(cn 113378703 a)公开了一种检测垃圾桶状态的方法，包括：构建状态检测模型，所述状态检测模型依次包括第一编码器网络、解码器网络、第二编码器网络、判别网络；根据采集获得的图像样本集对构建的所述状态检测模型进行训练，获得训练完毕的所述状态检测模型；使用所述状态检测模型对输入的垃圾桶图像进行处理以得到与所述输入的垃圾桶图像对应的预测值，可以实现垃圾箱状态的检测。该技术方案中需要大量的图像样本来训练状态检测模型，以保证模型的准确性。如果图像样本不够丰富，模型的准确性可能受到影响。此外，如果垃圾桶内部的内容发生变化，模型可能需要重新训练，以适应新的情况。此外，检测模型需要大量的计算资源，因此可能需要高性能的计算机硬件。因此，需要对该方法进行进一步的改进和优化，以提高检测效率和准确性。

4、中国专利文献(cn 113284177 a)公开了一种垃圾桶满溢状态识别方法，包括：获取包含有目标垃圾桶内部区域的原始图像；依据所述原始图像，获取与所述目标垃圾桶内部对应的第一图像区域；获取所述第一图像区域内各像素的灰度值的直方图；依据所述直方图，确定所述第一图像区域中灰度值大于预定的第一灰度值的像素数量；依据所述像素数量，确定所述目标垃圾桶的满溢状态。该技术方案存在误识别情况，因为它依赖于预定义的第一灰度值，如果环境光线发生变化或图像采集质量不佳，可能导致误识别。此外，如果垃圾桶内部有复杂的物体，例如纸张或塑料袋，它们的灰度值可能与垃圾的灰度值相似，导致误识别。因此，需要对该方法进行进一步的改进和优化，以提高识别准确性。

5、中国专利文献(cn 113313018 a)公开了一种检测垃圾桶满溢状态的方法及装置，通过获取至少包含有一个垃圾桶的待检测图像，将待检测图像输入检测模型，得到检测模型输出的待检测图像中垃圾桶的满溢状态，该满溢状态包括满与不满，其中，检测模型被配置为，具备对输入的待检测图像进行处理，以提取待检测图像中垃圾桶所在位置的图像特征，并基于垃圾桶所在位置的图像特征确定垃圾桶满溢状态的能力。该发明实施例提供的方法，检测模型可以对获取的待检测图像进行处理，提取待检测图像中垃圾桶所在位置的图像特征，并基于提取的图像特征，确定并输出待检测图像中垃圾桶的满溢状态，因此可以在一定程度上避免漏监已经处于满的状态的垃圾桶。该技术方案存在误识别情况，因为检测模型的准确性受到训练数据的影响。如果训练数据不够丰富，或者存在噪声或其他干扰因素，检测模型的准确性可能受到影响。此外，如果垃圾桶外部有其他物体，例如遮挡物，它们可能干扰检测模型的识别，导致误识别。因此，需要对该方法进行进一步的改进和优化，以提高识别准确性。

6、中国专利文献(cn 114119959 a)公开了一种基于视觉的垃圾桶满溢检测方法及装置，其方法包括：训练得到用于检测垃圾桶位置的目标检测模型；利用训练好的教师模型为无标签的数据分配伪标签，利用带真实标签的数据和伪标签数据训练学生模型，通过不断迭代，训练得到垃圾满溢分类模型；将待检测监控图片输入到目标检测模型，得到每个垃圾桶的位置坐标，根据位置坐标提取每张图片的特征信息，将特征信息输入垃圾满溢分类模型，判断是否满溢。本技术通过上述方案提出一种新的垃圾桶满溢检测方法，先用目标检测算法检测出垃圾桶的位置然后利用分类网络对垃圾桶是否满溢进行判别，对比传统的单一的检测算法，该方法不仅可以达到更高的精度，而且也适用新型的垃圾分类垃圾箱。该技术方案需要大量的带标签的数据来训练模型，同时需要较高的计算资源来进行检测，在实际应用中还需要考虑到实际环境中的干扰因素，如光线变化等，需要进行相应的调整。此外该方法的实现复杂，需要涉及多个模型的训练和维护。在实际使用中，需要频繁的训练模型，以保证模型的准确性。如果目标检测模型识别失败，将导致整个系统的识别失败。因此，需要对该方法进行进一步的改进和优化，以提高识别准确性。

7、中国专利文献(cn 114155467 a)公开了一种垃圾桶满溢检测方法、装置和电子设备，包括：获取待检测视频图像；利用垃圾目标检测模型对所述待检测视频图像进行目标检测，得到检测目标，所述检测目标包括一个检测目标或多个检测目标；对所述检测目标进行分析处理，得到所述检测目标的统计信息；对所述统计信息进行汇总，将汇总信息通告至垃圾清运工作方。该发明通过多种算法实现对各种真实场景下垃圾桶的满溢情况检验，为高效地垃圾清运工作提供了帮助，同时采用了常规摄像机内加高效的分析模块的方案，最小化了硬件依赖及对系统的要求，减少了对现有系统改造的工作量，极大节省总流成本。该技术方案在算法准确性上：检测算法对于图像的分析处理可能存在一定的误差，导致检测结果不准确。环境限制：该方法对于环境的要求比较高，例如光线强度、图像清晰度等因素都会影响到检测结果。计算资源需求：该方法需要大量的计算资源，例如高性能的gpu，导致部分低端设备无法使用。

8、中国专利文献(cn 115035391 a)公开了一种种垃圾桶满溢判别方法，其包括：获取垃圾桶的桶口未投放垃圾时的垃圾桶图像f1，检测所述垃圾桶图像f1的垃圾桶桶口的四个关键角点，根据四个关键角点计算垃圾桶图像f1的垃圾桶桶口的面积sd；实时对垃圾桶投放垃圾过程进行监测，获取垃圾投放过程中的一垃圾桶图像f2；结合垃圾桶通口的四个关键角点，对垃圾桶图像f2进行分割获得垃圾桶桶口的垃圾区域，并计算垃圾桶图像f2的垃圾桶桶口的垃圾区域的面积sg；以及根据面积sd和面积sg，基于阈值判定垃圾桶图像f2内的垃圾桶是否满溢。该发明还提供应用所述圾桶满溢判别方法的垃圾桶满溢判别系统。该技术方案的方法对垃圾桶图像的桶口的四个关键角点的准确性要求较高，如果识别不准确，将影响判断结果的准确性。阈值的确定：该方法需要根据面积sd和面积sg，基于阈值判定垃圾桶是否满溢，阈值的确定对判断结果有很大影响，如果阈值不当，将导致判断结果不准确。环境变化的影响：该方法是基于图像处理的，如果环境发生变化，例如垃圾桶的位置、照明等，这可能影响到识别的准确性。

9、中国专利文献(cn 115687957 a)公开了一种垃圾桶满溢监测方法，包括：获取垃圾桶内的垃圾高度数据值和垃圾重量数据值；对数据进行预处理，得到时间序列预测模型的输入与输出；训练所述时间序列预测模型，获得垃圾数据的预测值；根据所述垃圾高度时间序列数据和垃圾重量时间序列数据，训练无监督聚类模型，将所述垃圾数据的预测值划分成不同的满溢等级。本发明实现了垃圾满溢预测和满溢等级划分，方便工作人员提前感知垃圾的满溢信息，并根据满溢等级及时做出处理，从而提高了垃圾的清理效率。该技术方案中数据采集和处理成本高：该方法需要获取垃圾桶内的高度和重量数据，以及对这些数据进行预处理和训练模型，并且需要花费较高的成本和时间。该方法的可用性和效果受限于垃圾的类型和填充状态，如果垃圾的类型或填充状态发生变化，可能需要重新训练模型，这可能会导致额外的成本和时间。

10、中国专利文献(cn 114782681 a)公开了一种基于深度学习的暴露垃圾及满溢垃圾检测方法，包括：步训练得到用于检测垃圾的第一目标检测模型，并将目标图像输入所述第一目标检测模型中，得到第一目标检测结果；当根据所述第一目标检测结果确定存在垃圾时，根据所述垃圾与垃圾桶的位置关系，确定所述垃圾是否为暴露垃圾；当确定所述垃圾不是暴露垃圾时，将所述目标子图像输入预先训练得到的第二目标检测模型中，并根据第二目标检测结果，确定所述垃圾是否为满溢垃圾；通过基于深度学习，训练得到用于检测垃圾的第一目标检测模型，和用于检测满溢垃圾的第二目标检测模型，提高对垃圾类型识别的准确性。该技术方案的方法通过两个模型的叠加判断暴露垃圾以及满溢垃圾，在模型后处理运行时需要大量的计算资源和存储空间，这可能导致成本增加和实施难度提高。实时性方面：深度学习模型在处理大规模数据时可能会遇到实时性问题。在某些应用场景中，如城市环境监测，对实时性要求较高，这可能会限制该方法的应用范围。

11、中国专利文献(cn 112883921 a)公开了一种垃圾桶满溢检测模型训练方法及垃圾桶满溢检测方法，其中，垃圾桶满溢检测模型训练方法包括：获取第一监控图片集；对第一监控图片集进行标注，得到垃圾桶训练图片集；利用垃圾桶训练图片集对第一机器学习模型进行训练，得到垃圾桶检测模型；利用垃圾桶检测模型对第二监控图片集进行检测，得到垃圾桶图片集；对垃圾桶图片集进行标注，得到垃圾满溢训练图片集；利用垃圾满溢训练图片集对第二机器学习模型进行训练，得到垃圾满溢检测模型；对垃圾桶检测模型和垃圾满溢检测模型进行融合，得到垃圾桶满溢检测模型。该发明通过训练好垃圾桶满溢检测模型对城市道路上的垃圾桶进行智能化检测，以便于及时清理垃圾，减少了人力资源的浪费。该技术方案中的垃圾桶满溢检测模型的可靠性可能会受到一些限制，例如：如果垃圾桶内的垃圾没有均匀地分布，或者存在一些垃圾遮挡了摄像头，可能会导致检测结果不准确。

12、目前，大多数垃圾桶满溢的监控管理方式仍然依赖于人工值守或巡视，这种方法需要消耗大量的人力资源，而且容易出现监管不及时的情况，效率低下。另外，传统的监测方法如超声波测距和称重传感器也很难准确判断垃圾桶的满溢情况。而现有的垃圾桶满溢监测方法都是实时监测或只是基于深度学习在模型上检测上做的检测方法，不能及时地发现满溢风险并预先做出处理，同时考虑摄像头的角度问题，此类方法容易将垃圾桶外的垃圾被误判为垃圾桶内的垃圾，从而使垃圾桶被误判为满溢，方法的泛化能力不强。

技术实现思路

1、本发明要解决的技术问题是提出一种垃圾桶外溢垃圾的检测方法，能够准确地识别检测及监控的区域的垃圾暴露以及垃圾桶外益垃圾，对暴露的垃圾和垃圾桶外益垃圾进行监控并告警，有效地解决了人力资源浪费、监管不及时、效率低下等传统监测方法的问题，且提高的检测的准确性。

2、为了解决上述技术问题，本发明采用的技术方案是：该垃圾桶外溢垃圾的检测方法，具体包括以下步骤：

3、s1暴露垃圾判断：将预先训练好的模型接入监控视频流进行帧推理操作，读取帧图像进行判断监控区域内是否存在暴露垃圾；

4、s2垃圾桶满溢判断：根据步骤s1的结果进一步判断是否存在满溢的垃圾桶，若有则上报告警，告警内容为监控区域内有垃圾桶满溢且垃圾溢出；若不存满溢垃圾桶，则转至步骤s3；

5、s3桶外垃圾判断：判断垃圾桶外是否存在桶外垃圾，若无桶外垃圾，则返回步骤s1，读取下一帧图像；若有桶外垃圾，则转至步骤s4；

6、s4确认告警内容：计算桶外垃圾的数量以及其占垃圾桶的目标框大小的比值，若数量或比值中有一项超过设定的阈值，则上报告警，告警内容为监控区域内有垃圾且垃圾桶存在满溢，否则告警内容为监控区域内有暴露垃圾。

7、采用上述技术方案，使用深度学习技术，通过监控摄像头设备，根据垃圾桶的状态以及垃圾与垃圾桶的关系状态进行判断垃圾桶是否已经满溢；且在垃圾桶不是满溢状态时也会对垃圾桶外是否存在桶外垃圾进行检测，这样解决了垃圾桶不是满溢时却有桶外垃圾的识别。该方法可以更加精准地识别垃圾桶的满溢情况，并且能够减少因摄像头角度问题而导致垃圾桶内的垃圾被误判为垃圾桶外的垃圾的情况，实现对垃圾桶满溢情况的精准监测和判别，从而提高清理垃圾的效率和质量，减少资源浪费和环境污染，从而提高清理垃圾的效率。

8、优选地，所述步骤s1中判断监控区域内是否存在暴露垃圾的具体步骤为：首先读取一帧图像并判断帧图像中是否有垃圾或者垃圾桶，若只有垃圾，则上报告警，告警内容为监控区域内有暴露垃圾；若既无垃圾也无垃圾桶，则继续读取下一帧图像；否则转至步骤s2进行垃圾桶满溢判断。

9、优选地，所述步骤s3中判断垃圾桶外是否存在桶外垃圾的具体步骤为：

10、s31：在监控区域内的垃圾桶外识别到垃圾，则先判断该垃圾的目标框与垃圾桶的目标框是否有交集，若无交集，则判定为桶外垃圾；若有交集则计算目标框的面积交并比，即计算该垃圾的目标框与垃圾桶的目标框的交集面积与该垃圾目标框的面积的比值，若比值大于设定的阈值，则暂定为该垃圾为桶内垃圾并转至步骤s32，否则判定为桶外垃圾；

11、s32：对所述步骤s31中的桶内垃圾进行第二判断，首先以垃圾桶的目标框的中心点或者三分点作为区分垃圾桶上及垃圾桶下的分界线，若垃圾在分界线以上则直接默认为桶内垃圾，否则为桶外垃圾。

12、优选地，所述步骤s31中计算该垃圾与垃圾桶交集面积soverlap和该交集面积的比值val，具体公式为：

13、soverlap＝sdustbin∩srubbish；

14、

15、其中，sdustbin表示垃圾桶的目标框的面积，srubbish表示垃圾的目标框的面积，soverlap表示垃圾桶目标框面积与垃圾目标框面积的重叠面积即垃圾与垃圾桶的交集面积。

16、优选地，所述步骤s32中其中通过计算垃圾与垃圾桶的方位角度来判断垃圾在垃圾桶的分界线的上方或下方，具体方法为使用反三角函数来计算垃圾和垃圾桶两个矩形框的三分线交点之间的夹角；具体步骤为：

17、s321：首先求出垃圾与垃圾桶两个矩形框三分线交点的横纵坐标差(dx,dy)；

18、s322：再使用反三角函数(如反正切函数)求出夹角的弧度数；

19、s323：最后，将弧度数转换为角度数，通过角度数的符号来判定该垃圾在分界线上方或下方；即判断该垃圾为桶内垃圾还是桶外垃圾。

20、优选地，所述步骤s323中通过角度数的符合判定的具体步骤为：若三分线交点的横纵坐标差(dx,dy)落在第一、第二象限，则返回的角度值为负数；若三分线交点的横纵坐标差(dx,dy)落在第三象限，返回的角度值为正数；若三分线交点的横纵坐标差(dx,dy)在第四象限，则需要对弧度数加上2π，再将结果转换为角度数，返回一个正数。

21、优选地，所述步骤s1具体步骤为：

22、s11收集数据：首先通过手机或者摄像头收集监控区域内的相关小区、园区或者街道垃圾桶以及垃圾的视频数据，然后再通过python代码实现将视频文件抽帧并保存为图像数据；

23、s12制作数据集：对收集的数据通过标签进行标注，再通过标签的名称将步骤s11的图像数据进行数据标注形成带有标注信息的数据集，并将数据集划分为训练集、验证集和测试集；

24、s13训练模型：选取yolov8模型作为目标检测模型，输入步骤s12得到的数据集进行模型训练，获得检测垃圾桶状态以及垃圾的目标检测模型。

25、优选地，所述步骤s12中通过标签进行标注时，对于垃圾桶则根据垃圾桶的状态用标签满溢和非满溢表示垃圾桶满溢和非满溢的状态；对于垃圾则根据垃圾的外观将垃圾区分为规则小垃圾、规则大垃圾以及不规则垃圾，其中规则垃圾包括用垃圾袋装好完整的垃圾、规则的白色塑料盒等，规则大垃圾包括大的垃圾塑料袋装好完整的垃圾，不规则垃圾包括衣服、鞋子、纸屑、硬纸板和菜叶。

26、优选地，所述步骤s12中将数据集按照6：2：2的比例划分为训练集、验证集和测试集。

27、与现有技术相比，本发明具有的有益效果为：(1)精确判断垃圾桶的满溢情况，已有的方法很难准确判断垃圾桶的满溢情况，容易产生误判或者漏判，而本发明结合利用深度学习技术和逻辑判别方法，可以根据垃圾与垃圾桶的关系状态，精确判断垃圾桶是否满溢；(2)减少人力资源的浪费；传统的人工监管需要大量的人力资源，而利用监控摄像头设备进行监测，可以减少人力资源的浪费；(3)及时发现满溢风险并预先做出处理，现有的监测方法大多数基于深度学习技术，不能及时地发现满溢风险并预先做出处理，而在结合深度学习基础上进行模型输出后的逻辑处理，可以提前预测垃圾桶是否会满溢，从而提前做出处理，避免出现满溢的情况。