技术特征：
1.一种基于双注意力机制的稀疏剪枝方法，其特征在于：该方法在保证性能精度较好的条件下高效压缩网络模型大小和参数量；根据空间注意力和通道注意力理论，融合通道注意力和空间注意力机制模块筛选注意力位于网络模型中最佳结构，随后根据网络中不同权重所对应的掩码来选择性保留和剔除相对应权重，通过掩码矩阵来更新和完成剪枝操作，同时根据神经网络总体空间损失实时更新掩码矩阵和权重矩阵；通过pytorch深度学习框架来不断更新网络权重，并根据掩码矩阵对神经网络进行剪枝操作；实验结果表明本方法在对公共数据集进行性能测试时识别准确率较高，并且网络中剔除了较多冗余参数，使得网络模型得到有效压缩。2.根据权利要求1所述的一种基于双注意力机制的稀疏剪枝方法，其特征在于：该方法具体包括以下流程：步骤一：构造高效注意力机制模块1)通道注意力利用数据集中样本信息进行高效学习，使神经网络能够做出最佳判断，而空间注意力可以根据任务种类的不同学习到局部关键信息，提高神经网络的预测判别能力，通过将两者有效融合在一起，可以让网络自适应地学习到数据集中的关键信息；2)当数据集被送入神经网络中，首先需对数据进行预处理，随后分双路送入平均池化层和最大池化层，经过池化层分别转化为权重向量；随后通过神经网络将权重向量转化为权重映射并进行激活，生成的特征输出图与初始特征图进行结合进行输出；3)将上述输出转化成空间注意力的特征输入，分别经过平均和最大池化转化为特征权重，随后进行特征图堆叠，使得特征图中各部分的重要性程度得以表达，进而得到通道和空间注意力的图像特征；步骤二：稀疏化网络剪枝操作1)对神经元连接权重引入掩码{0,1}进行剪枝操作，0表示该权重被剔除，1表示相对应权重得以保留；2)m代表掩码矩阵、w表示初始化权重矩阵,w
′
表示更新后的权重矩阵；通过m
×
w＝w
′
来不断调整掩码矩阵和权重矩阵；3)当m
ij
＝1时，表示其对应的权重参数没有被剔除；m
ij
＝0时则表示相对应权重参数被剔除；为有效剔除相关冗余参数及权重，可以将掩码0,1决策问题看成二元随机变量选取问题；4)假设权重掩码m
i
收敛于1(即保留权重)概率为p,则掩码0的概率为1-p；同时网络不同层与层之间的选择相互独立且不受影响，则上述问题的概率条件分布等同于伯努利分布：6)其中w∈r
n
表示网络层中所有参数，p∈[0,1]为掩码的取值范围，||p||0≤k为网络模型稀疏度小于等于k；7)通过不断更新权重参数矩阵和掩码矩阵使得两者进行结合，不断剔除网络中冗余参数，直至得到符合预期稀疏度或剪枝率条件下进行最小损失评估，筛选出符合条件的最佳网络模型。
技术总结
本发明公开了一种基于双注意力机制的稀疏剪枝方法，该方法在保证性能精度较好的条件下高效压缩网络模型大小和参数量。根据空间注意力和通道注意力理论，融合通道注意力和空间注意力机制模块筛选注意力位于网络模型中最佳结构，随后根据网络中不同权重所对应的掩码来选择性保留和剔除相对应权重，通过掩码矩阵来更新和完成剪枝操作，同时根据神经网络总体空间损失实时更新掩码矩阵和权重矩阵。通过Pytorch深度学习框架来不断更新网络权重，并根据掩码矩阵对神经网络进行剪枝操作。实验结果表明本方法在对公共数据集进行性能测试时识别准确率较高，并且网络中剔除了较多冗余参数，使得网络模型得到有效压缩。使得网络模型得到有效压缩。使得网络模型得到有效压缩。
技术研发人员：叶汉民 李志波 蒲立力
受保护的技术使用者：桂林理工大学
技术研发日：2022.08.23
技术公布日：2022/11/18