一种基于图像识别的厨余垃圾投递检测方法与系统与流程

本发明涉及垃圾分类领域，具体涉及一种基于图像识别的厨余垃圾投递检测方法与系统。

背景技术：

垃圾分类，是指按一定规定或标准将垃圾分类储存、分类投放和分类搬运，从而转变成公共资源的一系列活动的总称。分类的目的是提高垃圾的资源价值和经济价值，易于后续的处理。垃圾在分类储存阶段属于公众的私有品，垃圾经公众分类投放后成为公众所在小区或社区的区域性准公共资源，垃圾分类搬运到垃圾集中点或转运站后成为没有排除性的公共资源。从国内外各城市对生活垃圾分类的方法来看，大致都是根据垃圾的成分、产生量，结合本地垃圾的资源利用和处理方式来进行分类的。

不过，不是所有人都知道垃圾到底该如何去分，缺乏长期的教育引导，导致大多数人面对摆在眼前的垃圾，很难做好准确的分类。同时，不按分类标准的投递垃圾也导致了后续垃圾处理的复杂程度，如何确定垃圾的投递是否符合标准，如何根据投递情况对相关人员进行教导，也成为了需要解决的问题。而在所有垃圾分类中，厨余垃圾分出的重量和质量是垃圾分类的重点要求，现有技术中对于厨余垃圾的的辨识还不够完善，而厨余垃圾又是一种可通过好氧或厌氧工艺再可回收利用的资源，因此在厨余垃圾投递时要避免其它种类垃圾的混入。在近年各种政策倡导和绿色环保的主流风向，如何更科学地向居民推广普及垃圾分类，也明确了对垃圾进行合理分类投递的政策方针。

技术实现要素：

为了更好的对厨余垃圾的投递进行规范和管理，降低厨余垃圾后期处理的难度，本发明提出了一种基于图像识别的厨余垃圾投递检测方法，包括步骤：

s1：获取垃圾桶内的实时图像信息，并筛选实时图像信息中的边界信息；

s2：检测边界信息并提取出非厨余垃圾对应的边界信息，并与边界信息库进行比对获取该边界信息对应的预设色调；

s3：根据预设色调对相应采样时刻实时图像信息内的边界信息进行渲染并获得渲染图；所述渲染包括渲染边界信息内为对应的预设色调，渲染边界信息外为透明通道；

s4：判断当前采样时刻相较于上一采样时刻，渲染图中对应边界信息内预设色调的像素点是否缺失，若否，更迭上一采样时刻渲染图的颜色，并进入步骤s5；所述更迭包括渲染边界信息内的图像范围为基准色；

s5：判断当前采样时刻的渲染图上覆盖上一采样时刻渲染图后，是否含有未被覆盖的渲染区域，若否，返回步骤s1；

s6：标注该渲染区域为该次投递新增的非厨余垃圾并储存该次投递的预设色调记录。

进一步地，所述步骤s2中，所述非厨余垃圾对应边界信息的提取方法为：判断边界信息是否连续不间断，若边界信息连续不间断则判断为非厨余垃圾。

进一步地，所述步骤s3中，所述基准色为预先设置的、不可被机器识别的颜色。

进一步地，所述步骤s4中，在进行判断前，还包括步骤：

s40：判断渲染图边界信息预设阈值范围内是否渲染有颜色，若是，替换该部分颜色为透明通道。

进一步地，所述步骤s4中若判定像素点缺失，还包括步骤：

s41：更迭边界信息中像素点保持部分的颜色；所述更迭为渲染像素点保持部分对应的图像范围为基准色；

s42：判断更迭后的渲染图是否存在可被机器识别的渲染区域，若是，进入步骤s6，若否，返回步骤s1。

本发明还提出了一种基于图像识别的厨余垃圾投递检测系统，包括：

图像获取模块，用于获取垃圾桶内的实时图像信息，并筛选实时图像信息中的边界信息；

边界提取模块，用于检测边界信息并提取出非厨余垃圾对应的边界信息，与边界信息库进行比对获取该边界信息对应的预设色调；

渲染更迭模块，用于根据预设色调对相应采样时刻实时图像信息内的边界信息进行渲染并获得渲染图；所述渲染包括渲染边界信息内为对应的预设色调，渲染边界信息外为透明通道；

判定模块，用于判断当前采样时刻相较于上一采样时刻，渲染图中对应边界信息内预设色调的像素点是否缺失；

渲染更迭模块，还用于判定模块判定像素点未减少时，更迭上一采样时刻渲染图的颜色；所述更迭包括渲染边界信息内的图像范围为基准色；

标注储存模块，用于将上一采样时刻的渲染图上覆盖至当前采样时刻的渲染图上，并标注未被覆盖的渲染区域为该次投递新增的非厨余垃圾并储存该次投递的预设色调记录。

进一步地，所述非厨余垃圾对应边界信息的提取方法为：判断边界信息是否连续不间断，若边界信息连续不间断则判断为非厨余垃圾。

进一步地，所述基准色为预先设置的、不可被机器识别的颜色。

进一步地，所述渲染更迭模块在判定模块进行像素点缺失判定前，还用于对渲染图边界信息预设阈值范围内渲染有颜色的部分替换该部分颜色为透明通道。

进一步地，若判定模块判定像素点缺失后，

渲染更迭模块，还用于更迭边界信息中像素点保持部分的颜色；所述更迭为渲染像素点保持部分对应的图像范围为基准色；

判定模块，还用于判断更迭后的渲染图是否存在可被机器识别的渲染区域；

标注储存模块，还用于标注该渲染区域为该次投递新增的非厨余垃圾并储存该次投递的预设色调记录。

与现有技术相比，本发明至少含有以下有益效果：

(1)本发明所述的一种基于图像识别的厨余垃圾投递检测方法与系统，其利用厨余垃圾没有相对规范、规整的边界信息这一特点来识别垃圾筒中的非厨余垃圾，从而大大降低了对厨余垃圾识别的难度；

(2)通过对垃圾投递前后采样时刻垃圾桶内的边界信息的渲染、颜色更迭和图像叠加，从而使得叠加后的渲染图能够清楚的判定出新的非厨余垃圾；

(3)在叠加法无法判定出非厨余垃圾后，利用去重，也即是对垃圾投递前后采样时刻垃圾桶内的边界信息渲染，比对边界信息内预设色调像素缺失部分，并对像素保持部分进行机器非可视化处理，从而实现在新的非厨余垃圾重叠在上一非厨余垃圾上时也能够及时准确的辨别出；

(4)通过预设阈值范围内渲染颜色的判定和透明通道化处理，从而有效避免了投递垃圾动态行为造成的垃圾移动导致的图像重叠误差，避免重叠误差导致的杂色对判断的干扰；

(5)处理后的渲染图中仅显示当次投递的垃圾，并可以通过预设色调投递垃圾的种类，将投递的垃圾与每次投递的行为关联起来，从而在后续管理中实现对居民垃圾分类的针对性教育。

附图说明

图1为一种基于图像识别的厨余垃圾投递检测方法与系统的方法步骤图；

图2为一种基于图像识别的厨余垃圾投递检测方法与系统的系统结构图；

图3为叠加法示意图；

图4为去重法示意图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

为了更好的对厨余垃圾的投递进行规范和管理，降低厨余垃圾后期处理的难度，同时实现对不合理垃圾投递行为的追踪教育，如图1所示，本发明提出了一种基于图像识别的厨余垃圾投递检测方法，包括步骤：

s1：获取垃圾桶内的实时图像信息，并筛选实时图像信息中的边界信息；

s2：检测边界信息并提取出非厨余垃圾对应的边界信息，并与边界信息库进行比对获取该边界信息对应的预设色调(根据垃圾的不同分类进行设定的颜色，例如垃圾袋设为绿色色调、易拉罐设为蓝色色调、包装盒设为黄色色调等)；

s3：根据预设色调对相应采样时刻实时图像信息内的边界信息进行渲染并获得渲染图；所述渲染包括渲染边界信息内为对应的预设色调，渲染边界信息外为透明通道；

s4：判断当前采样时刻相较于上一采样时刻，渲染图中对应边界信息内预设色调的像素点是否缺失，若否，更迭上一采样时刻渲染图的颜色，并进入步骤s5；所述更迭包括渲染边界信息内的图像范围为基准色；

s5：判断当前采样时刻的渲染图上覆盖上一采样时刻渲染图后，是否含有未被覆盖(也即是可被机器识别)的渲染区域，若否，返回步骤s1；

s6：标注该渲染区域为该次投递新增的非厨余垃圾并储存该次投递的预设色调记录。

其中，所述步骤s4中，在进行判断前，还包括步骤：

s40：判断渲染图边界信息预设阈值范围内是否渲染有颜色，若是，替换该部分颜色为透明通道。

考虑到垃圾的投递是一种动态行为，投递过程中可能会导致物品一定幅度的移动，所以在完成图像覆盖后可能会产生一定的杂色，在对覆盖合成图像分析新物品时，本申请加入一个预设阈值范围来减小物品移动造成的检测干扰。通过该步骤对误差进行修正后再进入步骤s4。

进一步地，所述步骤s4中若判定像素点缺失，还包括步骤：

s41：更迭边界信息中像素点保持部分的颜色；所述更迭为渲染像素点保持部分对应的图像范围为基准色；

s42：判断更迭后的渲染图是否存在可被机器识别的渲染区域，若是，进入步骤s6，若否，返回步骤s1。

本发明采用边界信息特征比对的方式来对非厨余垃圾的种类进行判断，因此其不受光照强度的影响从而能够实现在多场景下(昼夜均可，因为只需黑白色彩的实时图像信息即可完成边界信息的提取)的垃圾识别。同时，本发明对于厨余垃圾识别的判定方法为：判断边界信息是否连续不间断，若边界信息连续不间断则判断为非厨余垃圾。相较于其它类型的垃圾，厨余垃圾(如果皮、剩菜、残渣等)具有零散、没有固定形状的特性，因此在图像中并没有相对固定、连续不断的边界信息；而其它类型的垃圾(如酒瓶、盒子、碗、塑料袋等)，因其自身传统的结构设计，往往具有连续不间断和/或较大范围的边界信息。基于这一点，本发明通过对边界信息是否连续不间断的判断，实现了对厨余垃圾和非厨余垃圾快速准确的判定，无需逐个对垃圾进行分类评判，而只需在判断出其为非厨余垃圾时进行垃圾分类判定即可。

当然,本发明还在机器中的边界信息库中提前录入了各类非厨余垃圾的边界信息特征，用以对非厨余垃圾进行判断。通过边界信息库，可以将实时图像信息的边界信息与边界信息库存储的各物体的边界特征库进行比对，若与某物体的边界特征相似度超过设置的阈值，则判定边界信息处为该物体，结合预设色调的颜色渲染，进而可以对投递物的识别和清单登记，将投递的垃圾错误分类情况与居民每次投递的行为关联起来，从而更好的根据居民实际投递情况，对居民垃圾分类进行后期针对性的教育。

结合附图，以一个假设案例为例，令t1时刻为投递前的采样时刻，t2时刻为投递后的采样时刻。首先，以新投递入垃圾桶中的非厨余垃圾未与之前的非厨余垃圾影像重叠为例，本发明提出了第一种鉴别方式，也就是对前后采样时刻影像的叠加：

如图3所示，实时图像信息为垃圾桶的内部图像，图像的边界也即是垃圾桶的边界，含有非厨余垃圾一个(对应于图3中的c2)，对t1时刻的实时图像信息进行筛选，并筛选出非厨余垃圾c2，根据边界信息特征与边界信息库的匹配结果，根据对应的预设色调对边界信息内的图像范围进行渲染，获得其渲染图。而后对渲染图进行颜色更迭，所述更迭包括：渲染边界信息内对应的图像范围为基准色(c2，基准色为预先设置的、不可被机器识别的颜色，本实施例中设置为黑色)，渲染边界信息外的图像范围为透明通道(c1，可视为图像背景)。

在对t1采样时刻(对应于上一采样时刻)的图像进行处理后，对t2采样时刻(对应于当前采样时刻，此时投入了新的非厨余垃圾c3)的图像进行基于预设色调的渲染，获得其渲染图(包括非厨余垃圾c2、c3，背景c1)。而后为了让渲染图中仅剩新投递的物品，将更迭后t1采样时刻的渲染图(包括非厨余垃圾c2，背景c1)叠加至t2采样时刻的渲染图上。那么，由于t1时刻的非厨余垃圾c2为不可被机器识别的基准色，背景c1为透明通道，那么叠加后的渲染图，因为c2不可识别、c1为透明通道，那么渲染图上仅留下非厨余垃圾c3(如图3下方)可被识别，此时即判定出了新投递入的非厨余垃圾c3。

而考虑到投递后的非厨余垃圾可能会与之前的非厨余垃圾重叠，第一种鉴别方式已无法鉴别出该情况下的非厨余垃圾，本发明提出了第二种鉴别方式，对影像重复部分的去重：

如图4所示，依旧是按叠加法中的方式对投递前后采样时刻的图像根据边界信息匹配结果得到的预设色调对边界信息内的图像范围进行渲染，获得其渲染图，t1采样时刻的渲染图中包含有非厨余垃圾c2和背景c1，t2采样时刻的渲染图中含有非厨余垃圾c2、c3和背景c1。而为了去除投递前非厨余垃圾的影像，本发明基于图像重复的部分会导致边界信息内对应预设色调的像素点减少这一特点，提出将像素点保持(像素点未缺失)的部分进行颜色更迭，来实现影像的消除。也即是将图4中非厨余垃圾c2对应边界信息范围内未被非厨余垃圾c3对应边界信息遮盖的像素部分用基准色进行替换。那么去重后的渲染图，在c1为透明通道，像素点重复部分为基准色的情况下，仅留下非厨余垃圾c3对应的预设色调可被识别，此时即可判定出新投入的非厨余垃圾c3。

本发明实现了厨余垃圾中杂物的检测，并对每一次的检测和每一次的投递行为关联(通过记录投递时居民的用户信息实现)，有助于居民分类能力的评估，后续可针对居民不正确的垃圾投递分类情况，推送针对性的指导信息，有助于快速提升居民的垃圾自主分类水平。同时可实现厨余垃圾中杂物的检测，在多次连续的垃圾投递检测过程中，检测每一次投递过程是否合格(有新的非厨余垃圾投入为不合格)。

实施例二

为了更好对本发明的技术内容进行说明，本实施例通过系统结构的形式来对本发明进行阐述，如图2所示，一种基于图像识别的厨余垃圾投递检测系统，包括：

图像获取模块，用于获取垃圾桶内的实时图像信息，并筛选实时图像信息中的边界信息；

边界提取模块，用于检测边界信息并提取出非厨余垃圾对应的边界信息，与边界信息库进行比对获取该边界信息对应的预设色调；

渲染更迭模块，用于根据预设色调对相应采样时刻实时图像信息内的边界信息进行渲染并获得渲染图；所述渲染包括渲染边界信息内为对应的预设色调，渲染边界信息外为透明通道；

判定模块，用于判断当前采样时刻相较于上一采样时刻，渲染图中对应边界信息内预设色调的像素点是否缺失；

渲染更迭模块，还用于判定模块判定像素点未减少时，更迭上一采样时刻渲染图的颜色；所述更迭包括渲染边界信息内的图像范围为基准色；

标注储存模块，用于将上一采样时刻的渲染图上覆盖至当前采样时刻的渲染图上，并标注未被覆盖的渲染区域为该次投递新增的非厨余垃圾并储存该次投递的预设色调记录。

所述渲染更迭模块在判定模块进行像素点缺失判定前，还用于对渲染图边界信息预设阈值范围内渲染有颜色的部分替换该部分颜色为透明通道。

若判定模块判定像素点缺失后，

渲染更迭模块，还用于更迭边界信息中像素点保持部分的颜色；所述更迭为渲染像素点保持部分对应的图像范围为基准色；

判定模块还用于判断更迭后的渲染图是否存在可被机器识别的渲染区域；

标注储存模块，还用于标注该渲染区域为该次投递新增的非厨余垃圾并储存该次投递的预设色调记录。

本发明所述的一种基于图像识别的厨余垃圾投递检测方法与系统，其利用厨余垃圾没有相对规范、规整的边界信息这一特点来识别垃圾筒中的非厨余垃圾，从而大大降低了对厨余垃圾识别的难度。通过对垃圾投递前后采样时刻垃圾桶内的边界信息的渲染、颜色更迭和图像叠加，从而使得叠加后的渲染图能够清楚的判定出新的非厨余垃圾。

而在叠加法无法判定出重叠状态的非厨余垃圾后，利用去重，也即是对垃圾投递前后采样时刻垃圾桶内的边界信息渲染，比对边界信息内预设色调像素缺失部分，并对像素保持部分进行机器非可视化处理，从而实现在新的非厨余垃圾重叠在上一非厨余垃圾上时也能够及时准确的辨别出。

通过预设阈值范围内渲染颜色的判定和透明通道化处理，从而有效避免了投递垃圾动态行为造成的垃圾移动导致的图像重叠误差，避免重叠误差导致的杂色对判断的干扰。

经过上述处理后的渲染图中仅显示当次投递的垃圾，并可以通过预设色调投递垃圾的种类，将投递的垃圾与每次投递的行为关联起来，从而在后续管理中实现对居民垃圾分类的针对性指导。

本文中所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。