一种基于GinTrans网络的垃圾分割方法及系统与流程

一种基于gintrans网络的垃圾分割方法及系统
技术领域
1.本发明涉及视觉处理的技术领域，具体涉及一种基于gintrans网络的垃圾分割方法及系统。


背景技术：

2.随着经济发展飞速，人民生活水平提高，产生的垃圾种类越来越复杂，统一的填埋方法已经不能满足保护自然、绿色发展的理念。对垃圾的分类处理可以实现资源的循环利用、减少土壤危害、防止空气污染。要实现绿色环保型社会、实现资源的循环利用，垃圾分类是一个重要的步骤。从每个小家庭、每个各人开始进行垃圾分类，可以节省后续工作大量的人力物力。实现可回收垃圾的循环利用，非可回收物的正确投放、垃圾处理。目前我国开展目前垃圾分类先行先试的46个重点城市中，生活垃圾分类小区覆盖率已达86.6％，生活垃圾平均回收利用率为30.4％，厨余垃圾处理能力从2019年的每天3.47万吨提升到2020年年底的每天6.28万吨。
3.然而，尽管近年来我国生活垃圾分类和处理方面成绩可圈可点，但在部分城市和社区，垃圾分类仍是一个棘手的难题，在多数垃圾分类中心，仍然需要手动分拣，效率低下，因尖锐垃圾划伤还会对人体产生伤害。通过人工智能技术，利用计算机视觉和图像处理分割垃圾，不仅能够大大提升垃圾分拣效率，还可以精准分类，将混在其他垃圾中的可回收垃圾筛选出来，实现资源的高效和循环利用，但现有的垃圾采用的基于视觉的垃圾分类系统还存在的以下问题：1、现有基于传统图像处理的垃圾分割方法，分割精度低；2、现有基于传统深度学习网络的分割方法，模型参数多，计算复杂度高，影响后续的图像处理速度及效率；3、垃圾目标种类繁多，变形、污损严重，目标之间的边界极为不清洗，现有方法无法很好地捕捉细节和轮廓信息，导致分割难度大，误分割率高，影响后续的分类精度。


技术实现要素：

4.本项发明是针对现在的技术不足，提供一种基于gintrans网络的垃圾分割方法。
5.本发明还公开一种图像分割系统。
6.本发明为实现上述目的所采用的技术方案是：
7.一种基于gintrans网络的垃圾分割方法，其包括以下步骤：
8.(1)图像分割系统设置：所述图像分割系统包括图像采集模块、提取模块、切割标识重组模块、重塑融合输出模块、跳跃连接聚合模块及分割输出模块，所述提取模块设有ghostnet网络，所述重塑融合输出模块设有bi-frequency transformer(biftrans block)模块，所述跳跃连接聚合模块设有上采样恢复模块及ghostnet下采样特征提取模块，所述分割输出模块设有分割头模块；
9.(2)图像采集输入：所述图像采集模块连接有图像采集摄像头，所述图像采集摄像头对智能化垃圾回收分拣线上的垃圾进行图像采集并传输到图像采集模块上，图像采集模块采集到的图像作为图像输入数据并输送至提出模块进行处理；
10.(3)特征图提取：提取模块对图像输入数据进行处理，所述提取模块采用ghostnet网络对图像输入数据进行底层特征提取，提取得到输出特征图，并进行下个步骤处理；
11.(4)切割标识重组：所述切割标识重组模块对提取到的输出特征图进行切割操作，通过切割操作将输出特征图网格化，网格化完成后通过线性映射生成标记特征，并将标记特征组成标记特征序列，将标记特征序列作为bi-frequency transformer(biftrans block)模块的输入；
12.(5)重塑融合：所述重塑融合输出模块将输入的标记特征序列进行重塑，并利用bi-frequency transformer(biftrans block)模块内设有的双频混合器从高低不同频率对特征进行融合动作，融合动作得到融合特征输出；
13.(6)跳跃聚合：对融合后的到融合特征输出通过上采样恢复模块恢复成与图像输入数据大小相同的输入图像，所述ghostnet下采样特征提取模块进行对应的同层分辨率特征图进行下材料特征的提取，所述上采样恢复模块得到的输入图像与所述ghostnet下采样特征提取模块得到的同层分辨率特征图进行跳跃链接，从而聚合以不同分辨率级别呈现的特征图像；
14.(7)分割输出：分割输出模块的分割头模块将特征图像生成分割输出，得到目标图像。
15.作进一步改进，所述ghostnet网络设有ghost模块，所述ghost模块的设计如下：
16.(3.1)将所述步骤(2)中的待识别垃圾图像输入数据，通过ghostnet网络进行卷积生成不同分辨率的原始特征图fi′
；
17.(3.2)所述提取模块内含线性运算φ，利用线性运算φ生成ghost特征图作为输出特征图，其公式为f
ij
＝φ
i，j
(fi′
)，其中，fi′
是待识别垃圾图像经过卷积操作得到的第i个原始特征图，φ
i，j
是对第i个原始特征图的第j个线性运算，运算后得到第j个ghost特征图f
ij
。
18.作进一步改进，所述步骤(4)还包括以下步骤：
19.(4.1)将所述步骤(3)中的输出的每一个ghost特征图，进行网格化切割，每个特征图大小为h
×
w，h、w分别为特征图的长和宽，每个网格子特征图大小为s
×
s，s为网格的边长，s可以被h、w整除，共可切割成个网格子特征图；
20.(4.2)将网格化的子特征图进行线性映射，每个网格子特征图标映射成记特征，所有网格子特征图组成标记特征序列xi表示第i个标记特征，i＝1，2，...n为标记特征的序号。
21.作进一步改进，，所述步骤(5)还包括上采样聚合及跳跃链接，其包括以下步骤：
22.(5.1)首先将标记特征序列进行层归一化处理，x为层归一化处理后的标记特征序列，为步骤(4)中得到的标记特征序列；
23.(5.2)将上步中的标记特征序列中的每一个标记特征，先进行频率分解，分解为高频标记特征和低频标记特征；
24.(5.3)对高频特征，首先进行最大池化操作，然后经过一个线性层，再经过一个深度可分离卷积层，池化层、线性层和深度可分离卷积层构成了一个高频特征处理器，输出为y
high
＝dconv(fc(maxpool(x
hihg
)))，其中y
high
为高频特征处理器处理后的特征输出，dconv
为深度可分离卷积处理，fc为线性全连接处理，maxpool为最大池化处理，x
hihg
是由上步骤(5.2)中标记特征分解得到的高频标记特征；
25.(5.4)对低频标记特征，首先进行平均池化操作，然后经过自注意力机制层msa，然后再进行上采样以弥补平均池化操作后的维数降低，平均池化层、自注意力机制层和上采样层构成了一个低频特征处理器，输出为y
low
＝upsample(msa(avepool(x
low
)))，其中y
low
是低频特征处理器处理后的特征输出，upsample是上采样处理，msa是自注意力机制处理，avepool是平均池化处理，x
low
是由上步骤(5.2)中标记特征分解得到的低频标记特征；
26.(5.5)高低频特征融合，对高频和低频特征输出，进行融合，得到融合后的输出yo＝concat(y
high
，y
low
)，其中yo为融合后的特征输出，concat为特征链接函数；
27.(5.6)对融合后的特征输出再次进行层归一化操作；
28.(5.7)归一化操作后通过前馈网络ffn，最终的biftrans block模块输出其中是步骤(4)中的标记特征序列，yo是经过高低频融合后的特征输出，ffn是前馈网络处理，norm是层归一化处理。
29.本发明的有益效果：本发明通过ghostnet的线性变换，用简单的线性变换生成挖掘特征所需的特征图，减少网络参数，降低复杂度，保证后续分割处理效率的同时，提高响应速度；通过利用bi-frequency transformer(biftrans block)模块内设有的双频混合器实现对高频和低频的分频处理特征，实现对高频细节的捕捉，同时又能兼顾低频全局信息，且保证图像处理的速度及处理稳定性，通过在高低频处理特征后进行融合，让ghostnet网络的分割网络更有效地学习垃圾图像数据中的高频和低频信息的综合特征，且提高对于变形、污损严重，边界感模糊的垃圾目标分割的精度及准确性，提高后续的分类效率。
30.下面结合附图与具体实施方式，对本发明进一步说明。
附图说明
31.图1为本实施例的基于gintrans网络的垃圾分割方法的流程示意图；
32.图2为本实施例的gintrans网络结构的示意图；
33.图3为本实施例的ghost模块的结构示意图；
34.图4为本实施例的biftrans block模块的结构示意图；
35.图5为本实施例的双频混合器的结构示意图。
具体实施方式
36.以下所述仅为本发明的较佳实施例，并不因此而限定本发明的保护范围。
37.实施例，参见附图1～图5，一种基于gintrans网络的垃圾分割方法，其包括以下步骤：
38.(1)图像分割系统设置：所述图像分割系统包括图像采集模块、提取模块、切割标识重组模块、重塑融合输出模块、跳跃连接聚合模块及分割输出模块，所述提取模块设有ghostnet网络，所述重塑融合输出模块设有bi-frequency transformer(biftrans block)模块，所述跳跃连接聚合模块设有上采样恢复模块及ghostnet下采样特征提取模块，所述分割输出模块设有分割头模块；
39.(2)图像采集输入：所述图像采集模块连接有图像采集摄像头，所述图像采集摄像头对智能化垃圾回收分拣线上的垃圾进行图像采集并传输到图像采集模块上，图像采集模块采集到的图像作为图像输入数据并输送至提出模块进行处理；
40.(3)特征图提取：提取模块对图像输入数据进行处理，所述提取模块采用ghostnet网络对图像输入数据进行底层特征提取，提取得到输出特征图，并进行下个步骤处理；
41.(4)切割标识重组：所述切割标识重组模块对提取到的输出特征图进行切割操作，通过切割操作将输出特征图网格化，网格化完成后通过线性映射生成标记特征，并将标记特征组成标记特征序列，将标记特征序列作为bi-frequency transformer(biftrans block)模块的输入；
42.(5)重塑融合：所述重塑融合输出模块将输入的标记特征序列进行重塑，并利用bi-frequency transformer(biftrans block)模块内设有的双频混合器从高低不同频率对特征进行融合动作，融合动作得到融合特征输出；
43.(6)跳跃聚合：对融合后的到融合特征输出通过上采样恢复模块恢复成与图像输入数据大小相同的输入图像，所述ghostnet下采样特征提取模块进行对应的同层分辨率特征图进行下材料特征的提取，所述上采样恢复模块得到的输入图像与所述ghostnet下采样特征提取模块得到的同层分辨率特征图进行跳跃链接，从而聚合以不同分辨率级别呈现的特征图像；
44.(7)分割输出：分割输出模块的分割头模块将特征图像生成分割输出，得到目标图像。
45.作进一步改进，所述ghostnet网络设有ghost模块，所述ghost模块的设计如下：
46.(3.1)将所述步骤(2)中的待识别垃圾图像输入数据，通过ghostnet网络进行卷积生成不同分辨率的原始特征图fi′
；
47.(3.2)所述提取模块内含线性运算φ，利用线性运算φ生成ghost特征图作为输出特征图，其公式为f
ij
＝φ
i，j
(fi′
)，其中，fi′
是待识别垃圾图像经过卷积操作得到的第i个原始特征图，φ
i，j
是对第i个原始特征图的第j个线性运算，运算后得到第j个ghost特征图f
ij
。
48.作进一步改进，所述步骤(4)还包括以下步骤：
49.(4.1)将所述步骤(3)中的输出的每一个ghost特征图，进行网格化切割，每个特征图大小为h
×
w，h、w分别为特征图的长和宽，每个网格子特征图大小为s
×
s，s为网格的边长，s可以被h、w整除，共可切割成个网格子特征图；
50.(4.2)将网格化的子特征图进行线性映射，每个网格子特征图标映射成记特征，所有网格子特征图组成标记特征序列xi表示第i个标记特征，i＝1，2，...n为标记特征的序号。
51.作进一步改进，，所述步骤(5)还包括上采样聚合及跳跃链接，其包括以下步骤：
52.(5.1)首先将标记特征序列进行层归一化处理，x为层归一化处理后的标记特征序列，为步骤(4)中得到的标记特征序列；
53.(5.2)将上步中的标记特征序列中的每一个标记特征，先进行频率分解，分解为高频标记特征和低频标记特征；
54.(5.3)对高频特征，首先进行最大池化操作，然后经过一个线性层，再经过一个深度可分离卷积层，池化层、线性层和深度可分离卷积层构成了一个高频特征处理器，输出为y
high
＝dconv(fc(maxpool(x
hihg
)))，其中y
high
为高频特征处理器处理后的特征输出，dconv为深度可分离卷积处理，fc为线性全连接处理，maxpool为最大池化处理，x
hihg
是由上步骤(5.2)中标记特征分解得到的高频标记特征；
55.(5.4)对低频标记特征，首先进行平均池化操作，然后经过自注意力机制层msa，然后再进行上采样以弥补平均池化操作后的维数降低，平均池化层、自注意力机制层和上采样层构成了一个低频特征处理器，输出为y
low
＝upsample(msa(avepool(x
low
)))，其中y
low
是低频特征处理器处理后的特征输出，upsample是上采样处理，msa是自注意力机制处理，avepool是平均池化处理，x
low
是由上步骤(5.2)中标记特征分解得到的低频标记特征；
56.(5.5)高低频特征融合，对高频和低频特征输出，进行融合，得到融合后的输出yo＝concat(y
high
，y
low
)，其中yo为融合后的特征输出，concat为特征链接函数；
57.(5.6)对融合后的特征输出再次进行层归一化操作；
58.(5.7)归一化操作后通过前馈网络ffn，最终的biftrans block模块输出其中是步骤(4)中的标记特征序列，yo是经过高低频融合后的特征输出，ffn是前馈网络处理，norm是层归一化处理。
59.本发明通过ghostnet的线性变换，用简单的线性变换生成挖掘特征所需的特征图，减少网络参数，降低复杂度，保证后续分割处理效率的同时，提高响应速度；通过利用bi-frequency transformer(biftrans block)模块内设有的双频混合器实现对高频和低频的分频处理特征，实现对高频细节的捕捉，同时又能兼顾低频全局信息，且保证图像处理的速度及处理稳定性，通过在高低频处理特征后进行融合，让ghostnet网络的分割网络更有效地学习垃圾图像数据中的高频和低频信息的综合特征，且提高对于变形、污损严重，边界感模糊的垃圾目标分割的精度及准确性，提高后续的分类效率。
60.本发明并不限于上述实施方式，采用与本发明上述实施例相同或近似结构、装置、工艺或方法，而得到的其他用于基于gintrans网络的垃圾分割方法及系统，均在本发明的保护范围之内。