一种多头注意力驱动的厨余垃圾多标签分类方法

本发明涉及图像处理领域，具体涉及一种多头注意力驱动的厨余垃圾多标签分类方法。

背景技术：

1、近年来，深度学习作为提高垃圾分类效率的手段，许多先进的分类算法被提出，然而目前公开的垃圾数据集大多是基于生活垃圾识别而设计的，对真实场景下厨余垃圾分类缺少相关研究，此外，厨余垃圾图像往往包含多个类别，是计算机视觉领域中典型的多标签图像分类。多标签图像分类作为计算机视觉领域任务之一，主要任务是在于准确预测图像中所包含的全部类别，由于在真实世界中，物体通常是多个同时出现的，这也更加符合人体的认知常识。

2、从厨余垃圾多标签分类角度出发，真实场景对模型的实时性要求较高，由于图像背景复杂，物体类别多样，物体标签之间存在关联性，目前的方法针对该问题的处理若是想获得较高的分类精度往往需要较复杂的网络模型，而基本的深度卷积网络在分类精度上无法保证。因此，研究真实场景下智能化的厨余垃圾多标签高效分类算法具有重要的实际价值和意义。

技术实现思路

1、本发明提供一种多头注意力驱动的厨余垃圾多标签分类方法，在降低模型参数量减少带来的性能损失的同时，进一步增强识别能力，提高多标签分类效果。

2、为实现上述技术目的，本发明采用如下技术方案：

3、一种多头注意力驱动的厨余垃圾多标签分类方法，包括：

4、构建厨余垃圾多标签分类数据集，包括厨余垃圾多个不同类别各若干图像，每张图像的标签包括一个或多个类别；

5、构建多头注意力驱动的图卷积轻量化网络模型，包括轻量化的特征提取模块、多头注意力模块和动态图卷积模块；其中，特征提取模块对输入模型的图像提取特征图，提取的特征图送入多头注意力模块处理以加强特征图的类别感知区域，加强类别感知区域后的特征图再送入动态图卷积模块处理以自适应捕捉类别感知区域，输出预测类别；

6、使用构建的厨余垃圾多标签分类数据集训练所述图卷积轻量化网络模型；

7、最终使用训练得到的模型，即厨余垃圾多标签分类模型，对待预测厨余垃圾图像进行多标签分类。

8、进一步地，基于不同季节厨余垃圾的类别分布不同，所述厨余垃圾多标签分类数据集，从一年不同时间段中挑选多种不同类别组合的厨余垃圾图像得到。

9、进一步地，所述轻量化的特征提取模块，使用轻量化主干网络shufflenetv2。

10、进一步地，所述多头注意力模块，包括第一全连接层、缩放点积注意力子模块、第二全连接层、dropout层和归一化层；

11、所述第一全连接层将输入的特征图降维转换为特征图；其中，分别代表了图像的长、宽、以及通道数；

12、所述缩放点积注意力子模块采用多头注意力机制，且每个头均将特征图作为key与value，query则采用一组可学习的参数，计算式为：

13、

14、

15、

16、式中，表示采用多头注意力机制的缩放点积注意力子模块的输出，表示特征拼接，为附加权重矩阵，为缩放点积注意力模块的第个头的输出，分别是缩放点积注意力子模块输入的的query、key、value与对应的权重矩阵相乘得到；为缩放因子；分别为第个头待学习的权重矩阵，是权重矩阵在第i维度的权重；

17、所述第二全连接层、dropout层和归一化层，对缩放点积注意力子模块的输出进一步处理，表示为：

18、

19、式中，表示逐点相加，、、分别表示第二全连接层、dropout层和归一化层的处理；表示多头注意力模块输出的特征图。

20、进一步地，所述动态图卷积模块包括静态图卷积层和动态图卷积层；

21、所述动态图卷积层对静态图卷积层的输出处理，表示为：

22、

23、式中，是动态图卷积层的相关矩阵，而是动态图卷积层的状态更新权重，是为激活函数，为激活函数；是通过将特征图及其全局表示串联而得到的，其中全局表示通过静态图卷积层的输出进行池化、1*1的一维卷积以及激活函数得到；c代表厨余垃圾多标签分类的类别总数目，d1代表静态图卷积层的输出特征图h的维度。

24、进一步地，所述静态图卷积层对输入的特征图处理，表示为：

25、

26、式中，是多头注意力模块输出的特征图，为静态图卷积层的输出特征图，由c个类别对应的特征组成，即；为激活函数，是静态图卷积层的相关矩阵，而是静态图卷积层的状态更新权重。

27、本发明一种多头注意力驱动的厨余垃圾多标签分类方法，利用轻量化网络优化图卷积分类模型，同时引入多头注意力机制减少特征信息的损失，捕捉不同层次的特征信息，加强复杂场景下主干网络的特征提取能力，减少模型参数量减少带来的性能损失，并进一步利用动态图卷积模块实现语义感知区域的自适应捕捉，进一步增强识别能力，提高多标签分类效果。和现有的厨余垃圾分类技术相比，具有如下优势：

28、（1）克服传统gcn方法以普通深度卷积网络作为特征提取主干网精度不高和transformer作为特征提取主干网模型参数量大的缺点，本发明采用shufflenetv2作为特征提取的主干网络，优化网络模型实现轻量化。

29、（2）本发明设计了多头注意力模块和动态图卷积模块优化轻量化图卷积分类网络，减少模型参数量减少带来的性能损失同时，进一步增强识别能力，提高多标签分类效果。

30、（3）具有很强的实用性和泛化能力，本发明不仅应用在目前厨余垃圾多标签分类中取得很好的效果，还在ms-coco和voc 2007数据集上获得优越的多标签分类精度。

技术特征：

1.一种多头注意力驱动的厨余垃圾多标签分类方法，其特征在于，包括：

2.根据权利要求1所述的多头注意力驱动的厨余垃圾多标签分类方法，其特征在于，基于不同季节厨余垃圾的类别分布不同，所述厨余垃圾多标签分类数据集，从一年不同时间段中挑选多种不同类别组合的厨余垃圾图像得到。

3.根据权利要求1所述的多头注意力驱动的厨余垃圾多标签分类方法，其特征在于，所述轻量化的特征提取模块，使用轻量化主干网络shufflenetv2。

4.根据权利要求1所述的多头注意力驱动的厨余垃圾多标签分类方法，其特征在于，所述多头注意力模块，包括第一全连接层、缩放点积注意力子模块、第二全连接层、dropout层和归一化层；

5.根据权利要求1所述的多头注意力驱动的厨余垃圾多标签分类方法，其特征在于，所述动态图卷积模块包括静态图卷积层和动态图卷积层；

6.根据权利要求5所述的多头注意力驱动的厨余垃圾多标签分类方法，其特征在于，所述静态图卷积层对输入的特征图处理，表示为：

技术总结
本发明公开了一种多头注意力驱动的厨余垃圾多标签分类方法，包括：构建厨余垃圾多标签分类数据集，包括厨余垃圾多个不同类别各若干图像，图像标签包括一个或多个类别；构建多头注意力驱动的图卷积轻量化网络模型，包括特征提取模块、多头注意力模块和动态图卷积模块；其中，特征提取模块对输入图像提取特征，然后送入多头注意力模块以加强特征图的类别感知区域，再将其送入动态图卷积模块以自适应捕捉类别感知区域；使用构建的厨余垃圾多标签分类数据集训练所述图卷积轻量化网络模型；最终使用训练得到的分类模型对待预测厨余垃圾图像进行多标签分类。本发明在降低模型参数量减少带来的性能损失的同时，增强识别能力，提高多标签分类效果。

技术研发人员：梁桥康,李进涛,秦海,刘铭峰,柳力元
受保护的技术使用者：湖南大学
技术研发日：
技术公布日：2024/8/16