基于轻量卷积神经网络的特征提取方法

本发明属于人工智能与计算机视觉识别，涉及一种特征提取方法，尤其涉及一种基于轻量卷积神经网络的特征提取方法。

背景技术：

1、图像特征提取是一门交叉性的学科，它既包含在计算机视觉技术中，也包含在图像处理中。通过计算机的分析和处理，来提取图像不变特征，进而解决实际问题。图像特征提取往往涉及数学、物理学、控制理论、计算机科学等多个方面的知识。现如今，图像特征提取技术已经运用到了生活的各个领域，如特定目标的检测、遥感图像分析及医学诊断等。图像特征提取技术不仅创造了新的科学技术成果，而且大大提高了数字化的准确度和准确率。

2、传统的图像特征提取主要利用图像的颜色、形状、纹理等特征进行提取，这种特征提取方法主要依靠设计者的先验知识而且容易受到光照、噪声污染。随着计算机性能的不断提升，针对高性能运算的硬件不断完善，在一定程度上提高了计算机的运算能力和运算速度，现有的高性能计算机可以大规模的矩阵运算。因此基于卷积神经网络的特征提取方法在这段时间内得到了快速发展，针对深度卷积神经网络能够自动的从图像数据中自动学习特征，而非手工设计的特征，所以能够学习到数据中的表面和潜在特征，不易受到环境的影响。

3、卷积神经网络自2012年alexnet被提出以来，网络结构的深度就在不断加深，但是一定深度的深层网络表现的性能呈现更差，resnet网络的提出破解了这一难题，使得网络可以继续得以加深至百层。但是诸如resnet之类的网络模型难以部署在计算能力较弱的移动终端、嵌入式设备等cpu设备。

技术实现思路

1、为了解决背景技术中存在的上述技术问题，本发明提供了一种可提升网络性能同时降低网络复杂度的基于轻量卷积神经网络的特征提取方法。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种基于轻量卷积神经网络的特征提取方法，其特征在于：所述基于轻量卷积神经网络的特征提取方法包括以下步骤：

4、1)选取基础的特征提取网络，所述基础的特征提取网络是pyrorch官方torchvision库中resnet50特征提取网络；

5、2)对步骤1)选取得到的基础的特征提取网络进行改进，获取改进后的特征提取网络；

6、3)采用标准多分类数据集对步骤2)所得到的改进后的特征提取网络进行迭代训练直至训练损失达到收敛，最终得到训练后的特征提取网络；

7、5)对提取目标物进行图像特征提取。

8、作为优选，本发明所采用的步骤2)的具体实现方式包括：

9、2.1)将基础的特征提取网络中卷积核是3×3的普通卷积更替为卷积核是7×7的深度可分离卷积；

10、2.2)通过调整卷积核个数将基础的特征提取网络中的瓶颈结构的残差模块调整至倒置残差形式的瓶颈结构的残差模块；

11、2.3)在基础的特征提取网络中加入通道注意力机制eca。

12、作为优选，本发明所采用的步骤2)的具体实现方式在步骤2.3)之后还包括：

13、2.4)采用组标准化(group normalization，gn)的方式对步骤2.2)中所形成的残差模块中的特征矩阵进行标准化。

14、作为优选，本发明所采用的步骤2)的具体实现方式在步骤2.4)之后还包括：

15、2.5)采用激活函数silu针对特征矩阵进行非线性运算。

16、作为优选，本发明所采用的步骤2)的具体实现方式在步骤2.5)之后还包括：

17、2.6)采用单独的降采样层的同时调整网络瓶颈结构重复比例。

18、作为优选，本发明所采用的基于轻量卷积神经网络的特征提取方法在步骤3)和步骤5)之间还包括：

19、4)对步骤3)得到的训练后的特征提取网络进行效果判定，若效果判定为合格，则将步骤3)得到的训练后的特征提取网络确定为特征提取网络；若效果判定为不合格，则继续执行步骤3)直至效果判定为合格。

20、作为优选，本发明所采用的步骤3)中，标准多分类数据集是imagenet数据集。

21、作为优选，本发明所采用的步骤4)中效果判定的具体实现方式是：使用imagenet数据集中测试集部分对步骤3)得到的训练后的特征提取网络进行测试，查看imagenet的测试集分类的错误率，根据测试集分类的错误率与原基础网络resnet50的错误率的关系来判定是否为合格。

22、作为优选，本发明所采用的判定为合格的依据是：测试集分类的错误率低于原基础网络resnet50的错误率；判定为不合格的依据是：测试集分类的错误率高于原基础网络resnet50的错误率。

23、本发明的优点是：

24、本发明提出一种基于轻量的卷积神经网络的特征提取方法，采用pyrorch官方torchvision库中resnet50分类模型为基础算法进行改进，经过使用卷积核为7×7深度可分离卷积进行卷积操作、调整瓶颈结构至倒置残差结构、加入通道注意力机制、组标准化的方式实现标准化、采用激活函数silu、采用单独的降采样层并调整网络瓶颈结构重复比例等方式提升网络性能降低网络复杂度，利用数据集imagenet用于训练网络模型得到轻量卷积神经网络的特征提取方法。具体而言，使用卷积核7×7深度可分离卷积替代resnet50中3×3的普通卷积，能够提高卷积操作感受野同时减少卷积计算量，同时大大降低模型复杂度；通过调整resnet50瓶颈结构中卷积层的卷积核数量，由原来的卷积核数量呈“压缩-卷积-扩展”改为“扩展-卷积-压缩”的形式，使得深度可分离卷积dw卷积能够提取更多特征，同时模型运行内存效率得到显著提高。增加的通道注意力机制eca，直接在全局平均池化层之后使用自适应函数更改的卷积核个数一维卷积层来完成跨通道间的信息交互，避免了维度缩减，并有效捕获了跨通道交互，使得通道数较大的层可以更多地进行跨通道交互，之后再通过重新调整后与输入特征矩阵逐通道相乘，输出加权后的特征矩阵，整个过程中可训练参数约等于一维卷积的卷积核大小，提高特征提取效率。此外，使用一个卷积层和标准化层完成2倍下采样操作减少网络的碎片度，使得网络更加稳定，同时精简网络中的stage中瓶颈结构的重复数。

技术特征：

1.一种基于轻量卷积神经网络的特征提取方法，其特征在于：所述基于轻量卷积神经网络的特征提取方法包括以下步骤：

2.根据权利要求1所述的基于轻量卷积神经网络的特征提取方法，其特征在于：所述步骤2）的具体实现方式包括：

3.根据权利要求2所述的基于轻量卷积神经网络的特征提取方法，其特征在于：所述步骤2）的具体实现方式在步骤2.3）之后还包括：

4.根据权利要求3所述的基于轻量卷积神经网络的特征提取方法，其特征在于：所述步骤2）的具体实现方式在步骤2.4）之后还包括：

5.根据权利要求4所述的基于轻量卷积神经网络的特征提取方法，其特征在于：所述步骤2）的具体实现方式在步骤2.5）之后还包括：

6.根据权利要求1-5任一项所述的基于轻量卷积神经网络的特征提取方法，其特征在于：所述基于轻量卷积神经网络的特征提取方法在步骤3）和步骤5）之间还包括：

7.根据权利要求6所述的基于轻量卷积神经网络的特征提取方法，其特征在于：所述步骤3）中，标准多分类数据集是imagenet数据集。

8.根据权利要求7所述的基于轻量卷积神经网络的特征提取方法，其特征在于：所述步骤4）中效果判定的具体实现方式是：使用imagenet数据集中测试集部分对步骤3）得到的训练后的特征提取网络进行测试，查看imagenet的测试集分类的错误率，根据测试集分类的错误率与原基础网络resnet50的错误率的关系来判定是否为合格。

9.根据权利要求8所述的基于轻量卷积神经网络的特征提取方法，其特征在于：所述判定为合格的依据是：测试集分类的错误率低于原基础网络resnet50的错误率；判定为不合格的依据是：测试集分类的错误率高于原基础网络resnet50的错误率。

技术总结
本发明属于人工智能与计算机视觉识别技术领域，涉及一种基于轻量卷积神经网络的特征提取方法，包括1）选取基础的特征提取网络，基础的特征提取网络是pyrorch官方torchvision库中Resnet50特征提取网络；2）对步骤1）选取得到的基础的特征提取网络进行改进，获取改进后的特征提取网络；3）采用标准多分类数据集对步骤2）所得到的改进后的特征提取网络进行迭代训练直至训练损失达到收敛，最终得到训练后的特征提取网络；5）对提取目标物进行图像特征提取。本发明提供了一种可提升网络性能同时降低网络复杂度的基于轻量卷积神经网络的特征提取方法。

技术研发人员：梅磊,程闯,谭昕,轩亮
受保护的技术使用者：江汉大学
技术研发日：
技术公布日：2024/1/13