一种厨余垃圾违规投放行为的识别方法与流程

1.本技术属于图像识别技术领域，更具体地说，是涉及一种厨余垃圾违规投放行为的识别方法。


背景技术：

2.垃圾分类的一个重要目的就是为了将垃圾资源化，相较于其他垃圾，厨余垃圾的总量比较大。虽然厨余垃圾的处理方式很多，但由于其含水率高、含盐量高、有机质含量高、热值低等特点，使城市生活垃圾的填埋、焚烧以及堆肥处理过程中出现各种各样的环境问题，不适合与其他垃圾共同处理，所以垃圾分类的第一步就是把厨余垃圾从生活垃圾里分出来，在现阶段这一指标是垃圾分类效果最直接的体现。在垃圾分类的过程中，扔厨余垃圾时要将垃圾倒出，再将垃圾袋扔到其他垃圾的桶中，这是各大城市新版垃圾分类条例中要求的破袋处理。原因是厨余垃圾可以堆肥，但厨余垃圾袋则不然：垃圾袋是塑料制品，不可降解，会造成众人皆知的“白色污染”。不在垃圾分类前端将垃圾袋与厨余垃圾分开收集必将对厨余垃圾的高效回收与资源化产生巨大的负面影响。
3.由于垃圾分类是最新施行的政策，在现有技术中，所以针对厨余垃圾的投放行为只能人工监管，目前还没有有效的自动化监管措施。假如每个厨余垃圾投放点都需要一名环卫工人监管，那么将需要大量的人力资源才能保证厨余垃圾合理地投放，这种大量依赖人工监管的做法无疑大大地增加了环卫企业的用人成本，所以国内目前都是属于无人监管的状态。


技术实现要素：

4.本技术实施例的目的在于提供一种厨余垃圾违规投放行为的识别方法，以解决现有技术对厨余垃圾的投放行过程中存在的监管不到位的技术问题。
5.为实现上述目的，本技术采用的技术方案是：提供一种厨余垃圾违规投放行为的识别方法，包括以下步骤：
6.从视频帧中检测行人；
7.检测到行人手上有垃圾袋，并对行人进行跟踪直至到达厨余垃圾桶区域；
8.对行人进行倾倒动作识别；
9.检测到有效的倾倒动作识别后，继续对行人进行跟踪直至离开达厨余垃圾桶区域；
10.再次判断行人手上是否有垃圾袋；
11.若行人手上有垃圾袋，则判断行人本次的厨余垃圾投放行为合规，反之则判断行人本次的厨余垃圾投放行为违规。
12.优选地，从视频帧中检测行人之前，还包括步骤：
13.通过垃圾桶检测模型检测视频帧中的厨余垃圾桶；
14.对厨余垃圾桶绘制检测框，厨余垃圾桶的检测框区域为厨余垃圾桶区域。
15.优选地，行人到达厨余垃圾桶区域的判定条件为：
16.行人检测框和厨余垃圾桶检测框的iou大于阈值0.5。
17.优选地，行人离开厨余垃圾桶区域的判定条件为：
18.连续3帧行人检测框和厨余垃圾桶检测框的iou小于阈值0.5。
19.优选地，对行人进行倾倒动作识别的方法包括：
20.检测到行人连续出现3帧倾倒动作，则判断倾倒动作有效，反之无效。
21.优选地，所述倾倒动作包括抬手动作、伸手动作以及收手动作。
22.优选地，判断行人本次的厨余垃圾投放行为违规之后，还包括步骤：
23.发出警报信息，提醒行人纠正违规行为。
24.优选地，判断行人本次的厨余垃圾投放行为违规之后，还包括步骤：
25.对行人进行人脸识别，保存人行的违规信息。
26.本技术提供的厨余垃圾违规投放行为的识别方法，与现有技术相比，通过检测到行人手上是否有垃圾袋，并对行人进行跟踪直至到达厨余垃圾桶区域以捕捉是投放厨余垃圾的对象，对行人进行倾倒动作识别以判断垃圾投放是否完成，通过对行人跟踪直至离开达厨余垃圾桶区域后再次检测手上是否有垃圾袋，以自动识别出行人厨余垃圾投放的违规投放行为，进而降低环卫企业的用人成本，提高社区居民环保意识以及资源利用率。
附图说明
27.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
28.图1为本技术实施例提供的厨余垃圾违规投放行为的识别方法的流程示意图；
29.图2为图1中的厨余垃圾违规投放行为的识别方法中从视频帧中检测到行人时的场景示意图；
30.图3为图1中的厨余垃圾违规投放行为的识别方法中检测到行人到达厨余垃圾桶区域时的场景示意图；
31.图4为图1中的厨余垃圾违规投放行为的识别方法中对行人进行倾倒动作识别时的场景示意图；
32.图5为图1中的厨余垃圾违规投放行为的识别方法中行人离开厨余垃圾桶区域时的场景示意图；
33.图6为图1中的厨余垃圾违规投放行为的识别方法中行人离开厨余垃圾桶区域后再次检测行人手中是否有垃圾袋时的场景示意图；
34.图7为图1中的厨余垃圾违规投放行为的识别方法中行人处于抬手动作时的场景示意图；
35.图8为图1中的厨余垃圾违规投放行为的识别方法中行人处于伸手动作时的场景示意图；
36.图9为图1中的厨余垃圾违规投放行为的识别方法中行人处于收手动作时的场景示意图。
具体实施方式
37.为了使本技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
38.需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
39.需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
40.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
41.请一并参阅图1至图6，现对本技术实施例提供的厨余垃圾违规投放行为的识别方法进行说明。所述厨余垃圾违规投放行为的识别方法包括以下步骤：
42.s1：从视频帧中检测行人；
43.s2：检测到行人手上有垃圾袋，并对行人进行跟踪直至到达厨余垃圾桶区域；
44.s3：对行人进行倾倒动作识别；
45.s4：检测到有效的倾倒动作识别后，继续对行人进行跟踪直至离开达厨余垃圾桶区域；
46.s5：再次判断行人手上是否有垃圾袋；
47.s6：若行人手上有垃圾袋，则判断行人本次的厨余垃圾投放行为合规，反之则判断行人本次的厨余垃圾投放行为违规。
48.可以理解的是，在s1中，由于该算法的主体是行人，所以首先需要检测出视频中的所有行人。视频开始后从视频帧中抽帧，然后把抽取的视频帧输入人体检测模型d1进行检测，其中人体检测模型d1为预先训练好的模型，基于yolo框架训练得到。人体检测模型d1的训练数据可以为真实场景下采集的图片经过数据增强得到，以减小数据采集难度以及提高检测精准度。
49.在s2至中s3中，检测到行人之后，把检测结果输入到分类模型c1，判断行人有没有手提垃圾袋，分类模型c1是预先训练好的行人是否手提垃圾袋的二分类模型。
50.若检测到行人手上无垃圾袋，则对下一帧继续进行检测，直至检测到手上有垃圾袋的行人，并对行人进行跟踪直至到达厨余垃圾桶区域。若在跟踪过程中，行人走出了视频的可视范围内，则跟踪结束，继续从视频帧中抽帧检测行人。当然，如检测到多个行人手上有垃圾袋可以同时分别进行跟踪。
51.如果判定结果为继续跟踪行人，则利用deepsort跟踪算法对该行人进行跟踪，跟踪至厨余垃圾桶范围后将该行人检测结果输入到分类模型c2，对该行人进行倾倒动作识别，分类模型c2是预先训练好的行人是否有倾倒动作的二分类模型。该步骤判断倾倒动作
是否有效，为了避免把非倾倒厨余垃圾的行为识别成倾倒厨余垃圾。
52.在s4至中s5中，继续对行人进行跟踪直至离开达厨余垃圾桶区域，再次判断行人手上是否有垃圾袋，若行人手上有垃圾袋，说明行人把在倾倒垃圾时未连同垃圾袋一起扔进厨余垃圾桶，则判断行人本次的厨余垃圾投放行为合规。若行人手上无垃圾袋，说明行人把在倾倒垃圾时连同垃圾袋一起扔进厨余垃圾桶，则判断行人本次的厨余垃圾投放行为违规。
53.本技术提供的厨余垃圾违规投放行为的识别方法，与现有技术相比，通过检测到行人手上是否有垃圾袋，并对行人进行跟踪直至到达厨余垃圾桶区域以捕捉是投放厨余垃圾的对象，对行人进行倾倒动作识别以判断垃圾投放是否完成，通过对行人跟踪直至离开达厨余垃圾桶区域后再次检测手上是否有垃圾袋，以自动识别出行人厨余垃圾投放的违规投放行为，进而降低环卫企业的用人成本，提高社区居民环保意识以及资源利用率。
54.在本技术另一个实施例中，从视频帧中检测行人之前，还包括步骤：
55.通过垃圾桶检测模型d2检测视频帧中的厨余垃圾桶；
56.对厨余垃圾桶绘制检测框，厨余垃圾桶的检测框区域为厨余垃圾桶区域。
57.可以理解的是，厨余垃圾桶的位置由垃圾桶检测模型d2预先确定，其中模型d2是基于yolo框架训练得到的。该检测框可以是最小矩形框，也可以是以最小矩形框的中心进行扩大一定倍数得到的，以提高适应性。
58.进一步地，请一并参阅图3，行人到达厨余垃圾桶区域的判定条件为：
59.行人检测框和厨余垃圾桶检测框的iou(intersection over union)大于阈值0.5。
60.可以理解的是，也即行人检测框和厨余垃圾桶检测框的交并比大于阈值0.5时，则判定行人到达厨余垃圾桶区域，开始对行人进行倾倒动作识别；行人检测框和厨余垃圾桶检测框的交并比小于阈值0.5时，则判定行人未到达厨余垃圾桶区域，将继续跟踪行人。
61.进一步地，请一并参阅图5，行人离开厨余垃圾桶区域的判定条件为：
62.连续3帧行人检测框和厨余垃圾桶检测框的iou(intersection over union)小于阈值0.5。
63.可以理解的是，行人在投放垃圾过程中可能会存在移动情况，为避免造成误识别，将连续3帧行人检测框和厨余垃圾桶检测框的iou小于阈值0.5作为行人离开厨余垃圾桶区域的判定条件，可以降低误识别的情况。
64.在本技术另一个实施例中，请一并参阅图4，对行人进行倾倒动作识别的方法包括：
65.检测到行人连续出现3帧倾倒动作，则判断倾倒动作有效，反之无效。
66.可以理解的是，对行人进行倾倒动作识别的过程中，检测到行人连续出现3帧倾倒动作才判断倾倒动作有效，可以有效减小误识别的概率。若直至行人离开厨余垃圾桶区域都未检测到行人连续出现3帧倾倒动作，则放弃对该行人的跟踪。
67.进一步地，请一并参阅图7至图9，所述倾倒动作包括抬手动作、伸手动作以及收手动作。
68.可以理解的是，由于行人倾倒垃圾过程中需要抬起垃圾袋、伸手倾倒垃圾、收手三个动作，因此，在检测到抬手动作、伸手动作以及收手动作后即可说明倾倒动作完成。
69.在本技术另一个实施例中，判断行人本次的厨余垃圾投放行为违规之后，还包括步骤：
70.发出警报信息，提醒行人纠正违规行为。
71.在本技术另一个实施例中，判断行人本次的厨余垃圾投放行为违规之后，还包括步骤：
72.对行人进行人脸识别，保存人行的违规信息。
73.可以理解的是，例如社区管理员可以通过算法反馈的结果统计多次违规投放的居民，并对其进行批评教育，必要时罚款处理。
74.以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本技术的保护范围之内。