技术特征：
1.一种基于注意力机制的神经网络正则化方法，其特征在于包括以下步骤：步骤1、批量图像的预处理：包括随机裁剪、随机翻转、正则化操作；步骤2、利用权重共享的编码器网络进行特征提取：将预处理后的训练图像输入resnet模型，从resnet模型的任意中间层提取高维特征图，该中间层之前的网络即是权重共享的编码器网络，提取到的高维特征图将用于之后的特征重构，特征重构后的特征图将重新输入该中间层之后的网络进行训练；步骤3、利用注意力机制进行关键特征筛选：通过步骤2骤得到高维特征图，将这些高维特征图输入注意力提取网络senet，利用注意力机制筛选并提取特征图中的关键特征；步骤4、交换不同目标图像的关键特征：随机选取一张特征图上的关键特征替换另一特征图上的关键特征，得到一张新的重构特征图，该重构特征图包含了两张图像目标的信息；步骤5、当前图像的关键特征和另一图像的补充特征共同组成重构图像的语义信息：重构特征图包含了一张特征图上的关键特征和另一特征图上的补充特征；步骤6、设计一种自适应置信度估计方法，判断重构图像的所属类别：新的重构特征图包含了两张图像的目标信息，利用自适应置信度估计的方法，评估重构特征图所属目标类别的概率大小；步骤7、利用重构图像对神经网络进行训练得到更准确的训练模型：通过上述步骤得到了重构特征图及其标签，因此可以使用重构的特征图进行网络训练，充分挖掘神经网络的学习潜力，增强模型鲁棒性。2.根据权利要求1所述的一种基于注意力机制的神经网络正则化方法，其特征在于步骤(1)中输入的批量图像可以是任意数据集的。3.根据权利要求1所述的一种基于注意力机制的神经网络正则化方法，其特征在于步骤2得到特征图的步骤具体是：将图像输入resnet模型后，随机选择一中间层进行正则化操作；该中间层之前的网络为权重共享的编码器网络；该中间层的输出就是要提取的批量图像的高维特征图，记为其中c、h、w分别表示特征图的通道数、高、宽。4.根据权利要求3所述的一种基于注意力机制的神经网络正则化方法，其特征在于步骤(3)中利用注意力机制进行关键特征筛选的步骤具体是：4-1将步骤2得到的高维特征图输入通道注意力网络senet中，进行注意力评分，注意力得分的越高表示该特征图对分类性能贡献越大；4-2将c个通道的特征图按照注意力得分的高低进行排序。5.根据权利要求4所述的一种基于注意力机制的神经网络正则化方法，其特征在于步骤(4)中的提取目标图像的关键特征，具体是是选择注意力得分最高的部分通道特征图，所述的部分通道是选择c/2个通道。6.根据权利要求5所述的一种基于注意力机制的神经网络正则化方法，其特征在于步骤5中当前图像的关键特征和另一图像的补充特征共同组成重构图像的语义信息，关键特征来自步骤4，补充特征来自另一图像除关键通道之外对应的特征图。7.根据权利要求6所述的一种基于注意力机制的神经网络正则化方法，其特征在于步骤6中自适应置信度估计方法的步骤具体是：6-1根据步骤5得到包含两张图像目标信息的重构特征图；
6-2将重构特征图重新输入resnet模型在步骤2提取的中间层，并进行整个resnet网络的训练，并在最后的网络输出层得到不同类别的预测概率6-3从预测概率中选取重构特征图对应的原图所属的两个类别的概率p
a
和p
b
作为自适应置信度的结果，则自适应置信度为：[λ
a
,λ
b
]＝soft max([p
a
,p
b
])＝[0.67,0.33]6-4重构特征图所对应的原图类别与自适应置信度共同组成重构图像的训练标签，训练的目标函数可表示为：其中，λ
a
，λ
b
分别为目标类别y
a
和y
b
的置信度，使用的是交叉熵损失函数l
ce
，是预测输出。
技术总结
本发明公开了一种基于注意力机制的神经网络正则化方法。本发明步骤：(1)批量图像输入和预处理；(2)利用CNN卷积神经网络进行特征提取；(3)利用注意力机制进行关键特征筛选；(4)交换不同目标图像的关键特征；(5)不同图像的关键特征和非关键特征共同组成重构图像的语义信息；(6)设计一种自适应置信度估计方法，判断重构图像的所属类别；(7)利用重构图像对神经网络进行训练得到更准确的训练模型。本发明通过样本拓充和充分挖掘图像的潜在特征，以提升模型的鲁棒性和整体性能。本发明的优势在于使用注意力机制指导图像特征自适应重构，适用范围广、模型精确度高、鲁棒性强。鲁棒性强。鲁棒性强。
技术研发人员：李建军 李胜炎 周云帆 俞杰 陆奇 唐政 惠国宝 赵露露 田万勇 李新付
受保护的技术使用者：杭州电子科技大学
技术研发日：2021.10.19
技术公布日：2022/2/24