基于多任务自适应模型的轧制金属表面缺陷自动标注方法

本发明属于工业缺陷检测和图像处理，具体涉及基于多任务自适应模型（multi-task adaptive model, mam）的轧制金属表面缺陷自动标注方法。

背景技术：

1、基于深度学习的轧制金属表面缺陷检测方法，依赖于大量标注精确的缺陷图像数据集，以支持模型训练中对缺陷特征的深入学习，从而实现对不同类型工业缺陷的精准定位与分类。数据集的规模与质量对于目标检测算法的性能和鲁棒性至关重要。大规模且高质量的数据集能够为模型训练提供丰富的样本分布，从而显著提升模型在实际检测任务中的准确性和可靠性。然而，获取这样的大规模、高质量的数据集是一个巨大的挑战。标注错误或缺乏详细标注信息的低质量数据可能会导致模型学习到错误的特征模式或无法充分提取目标特征，进而影响目标检测任务的整体性能。诸如coco和imagenet等著名数据集拥有百万级的高质量样本，这些数据经过严格的筛选和标注流程，确保了数据集的高质量。由此可见，规模庞大的精确标注数据集对于训练高性能目标检测模型至关重要。

2、目前，人工标注缺陷数据集的方法存在显著劣势与局限性。人工标注过程劳动密集，标注人员需逐一检查图像，精确绘制边界框或进行像素级标注。然而，工业生产过程中每日生成的数据量可能达到tb级，人工标注难以满足如此高效的数据需求，且成本极为高昂。此外，人工标注质量难以保证，受标注人员的主观判断及疲劳影响，标注结果可能缺乏稳定性。标注人员之间的标注风格差异也会导致标注结果不一致，长期高强度的标注工作进一步加剧疲劳累积，影响标注质量。

3、轧制金属生产工艺中的缺陷检测具有其独特的技术挑战。首先，由于轧制工艺涉及的高强度变形和拉伸，易导致金属表面出现多种不同类型的缺陷，例如划痕、凹陷、气孔、杂质及氧化斑等。这些缺陷形态复杂、分布不均且尺寸差异显著，其中部分缺陷在视觉上难以区分，给传统的单一检测方法带来了极大挑战。此外，轧制工艺的连续性和生产速度要求实时缺陷检测，以避免不合格产品进入后续加工环节。基于以上特点，传统的单任务标注方法难以充分学习到不同缺陷类型的特征，极易导致模型泛化能力不足，难以适应多样化的检测需求。

4、针对上述问题，公开（公告）号为cn118279660a的中国发明专利提出了一种基于深度学习的智能驾驶数据自动标注方法。该方法包括以下步骤：步骤s1，获取智能驾驶数据并对其进行预处理，通过数据增强方法对预处理后的数据进行扩展，随后将数据发送至第一阶段卷积神经网络。通过骨干网络提取多尺度特征，并将这些特征发送至朴素检测器，在后处理后输出初步的一级框定位坐标；步骤s2，扩大一级框的定位范围，获取外扩坐标。该发明提高了标注结果的准确率，并提升了数据标注效率与质量。

5、另一项公开（公告）号为cn118334429b的中国发明专利提出了结合deeplabv3plus网络的工业射线检测缺陷图片快速标注方法。此方法包括以下步骤：步骤1，使用photoshop对部分数据进行标记、裁剪和筛选；步骤2，将处理后的数据划分为训练集和验证集，使用deeplabv3plus网络进行训练；步骤3，在验证集上测试平均交并比和准确率，若达到标准，则对剩余数据进行自动检测标注；步骤4，对已标注数据进行微调以提升标注质量。

6、虽然上述两项发明实现了自动标注的部分功能，但仍存在一些技术瓶颈。首先，它们依赖于单一网络和少量有标签数据来辅助无标签数据的标注，标注精度有限，标注质量容易受到模型预测误差的影响。在单一网络框架中，如果初始标注出现误差，这些误差可能会在后续任务中累积并扩散，影响标注准确性。此外，这些方法通常针对特定的标注任务进行设计与训练，缺乏灵活性，难以适应多种不同的标注需求，且领域间的差异限制了迁移学习的效果。迁移学习要求源领域和目标领域之间具有一定的相似性，当两者差异过大时，单一任务的迁移学习效果显著下降，甚至可能失去标注的实际意义。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的基于多任务自适应模型的轧制金属表面缺陷自动标注方法解决了现有相关方法依赖于单一网络或少量有标签数据进行标注，标注准确性有限，同时针对特定的标注任务训练得到的模型迁移学习效果不足，难以实现不同缺陷类型检测。

2、为了达到上述发明目的，本发明采用的技术方案为：基于多任务自适应模型的轧制金属表面缺陷自动标注方法，包括以下步骤：

3、s1、采集轧制金属表面图像，对其预处理及增强后进行数据标注，构建轧制金属表面缺陷数据集；

4、s2、构建多任务自适应模型，并利用轧制金属表面缺陷数据集对其训练，得到缺陷自动标注模型；

5、所述训练包括依次单次训练和自适应重标记循环机制训练；

6、所述缺陷自动标注模型包括骨干网络、特征提取与融合模块和多任务预测头；所述骨干网络用于提取输入图像从低级到高级的特征信息；所述特征提取与融合模块用于根据骨干网络提取的特征信息，提取具有全局上下文信息和长程依赖关系的多层特征映射，并进行跨层级自适应融合，进而提取roi特征；所述多任务预测头用于利用提取的roi特征同时进行目标检测和实例分割的预测，得到标注结果；

7、s3、将待标注的金属表面图像输入至缺陷自动标注模型中，通过执行目标检测任务输出表面缺陷标注结果。

8、进一步地，所述步骤s2中，所述骨干网络为经过预训练的resnext-50网络，包括依次连接的初始卷积层、最大池化层以及四个阶段的残差块；

9、所述骨干网络提取特征信息的方法具体为：

10、s21、通过初始卷积层对输入图像处理，得到第一特征图；

11、s22、通过最大池化层对第一特征图处理，得到第一特征映射；

12、s23、将第一特征映射依次通过四个阶段的残差块处理，得到对应的第二特征映射、第三特征映射、第四特征映射和第五特征映射；

13、s24、将第一~第五特征映射组成不同的语义层次和空间分辨率的特征映射，作为提取的从低级到高级的特征信息。

14、进一步地，所述步骤s2中，所述特征提取与融合模块包括残差注意力特征金字塔网络、跨层级自适应融合网络和区域提议网络；

15、所述特征提取与融合模块提取roi特征的方法具体为：

16、s25、在残差注意力特征金字塔网络中，基于引入的残差结构的注意力机制，将特征信息中的高层语义信息与低层空间信息融合，得到捕获全局上下文信息和长程依赖关系的多层特征映射；

17、s26、利用跨层级自适应融合网络对多层特征映射进行不同尺度的特征融合，得到各层的融合特征图；

18、s27、利用区域提议网络从融合特征图中生成候选区域，并将生成的候选区域经过非极大值抑制，得到各融合特征图中固定尺寸的roi特征。

19、进一步地，所述步骤s25包括以下分步骤：

20、s25-1、将特征信息中的每一层特征映射进行通道数统一，得到维度统一的特征映射；

21、s25-2、对维度统一的每一层特征映射分别进行上下文注意力计算，并与值矩阵点乘，得到注意力映射后的特征图；

22、s25-3、通过reshape函数将各注意力映射后的特征图调整为输入特征映射的形状，并与原始特征进行残差连接，得到捕获全局上下文信息和长程依赖关系的多层特征映射；

23、其中，第i层的特征映射表示为：

24、

25、式中，表示维度统一的特征映射，表示上下文注意力计算的查询矩阵，表示上下文注意力计算的键矩阵，表示上下文注意力计算的值矩阵，表示缩放因子，表示reshape函数，上标t表示转置运算符。

26、进一步地，所述步骤s26中，第i层的融合特征图表示为：

27、

28、式中，，，表示可学习的融合权重参数，分别对应当前尺度特征、上一级尺度特征的上采样以及下一级尺度特征的下采样，表示第i层的特征映射，表示第i-1层的特征映射，表示第i+1层的特征映射，表示卷积运算，表示上采样，表示下采样。

29、进一步地，所述步骤s27中，所述区域提议网络在各层融合特征图上以滑动窗口的方式生成锚框，并预测每个锚框的目标存在性得分和边界回归参数；

30、其中，目标存在性得分表示为：

31、

32、式中，表示在位置处的特征向量，和分别表示分类分支的权重和偏置；

33、边界回归参数为锚框相对于基础锚框的偏移量，其表示为：

34、

35、式中，和分别为回归分支的权重和偏置；

36、所述区域提议网络的损失函数为：

37、

38、式中，表示锚框的真实标签，表示真实的边界框回归目标，表示平衡系数，和分别表示分类和回归的有效样本数量，表示分类损失，表示回归损失。

39、进一步地，所述多任务预测头包括类别目标检测分支和实例分割分支；其中，所述目标检测分支用于对每个roi特征进行分类和边界框回归，所述实例分割分支用于对每个roi特征内的目标进行像素级掩码预测；

40、所述目标检测分支对每个roi特征进行分类和边界框回归的方法具体为：

41、将roi特征通过两个共享的全连接层提取共享全局特征，将共享全局特征通过分类分支的全连接层输出类别概率分布，同时将共享全局特征通过回归分支的全连接层输出边界框的回归参数；

42、所述实例分割分支采用基于全卷积网络的结构，并引入注意力机制和特征融合策略，其对roi特征内的目标进行像素级掩码预测的方法具体为：

43、s28、将roi特征通过四个连续的卷积层处理，获得卷积特征；

44、s29、将卷积特征分别通过基于全局平均池化的空间注意力机制和基于两个全连接层的通道注意力机制进行特征增强，分别得到应用通道注意力权重的特征图和应用空间注意力的特征图；

45、s30、将应用空间注意力权重和通道注意力权重的特征图进行上采样，并融合低层特征，获得增强融合特征图；

46、s31、将增强融合特征图通过一个卷积层并使用relu激活函数激活，再通过一个卷积层调整其通道数，获得对应的掩码预测结果。

47、进一步地，所述目标检测分支的损失函数为：

48、

49、式中，表示目标检测任务的平衡系数，表示目标检测任务的有效样本数量，表示目标检测任务的分类损失，表示目标检测任务的回归损失，表示真实类别标签，表示预测的目标类别概率分布，表示预测的边界框的回归参数，表示真实的边界框回归目标；

50、所述实例分割分支的损失函数为：

51、

52、式中，表示实例分割任务中参与计算的有效 roi 数量，表示实例分割任务的二元交叉损失，表示实例分割任务的dice损失，表示实例分割任务的边缘感知损失，表示第k层的预测掩码，表示第k层的真实掩码，表示预测掩码的边缘信息，表示真实掩码的边缘信息，和表示权重系数，用于平衡dice损失和边缘感知损失的贡献。

53、进一步地，所述缺陷自动标注模型的损失函数为：

54、

55、式中，表示特征提取与融合模块中区域提议网络的损失函数，表示目标检测分支任务的损失函数，表示实例分割分支的损失函数，和表示可学习的同质不确定参数，用于动态调整目标检测与实例分割任务的损失权重。

56、进一步地，所述步骤s2中，对多任务自适应模型进行训练的方法具体为：

57、a1、对多任务自适应模型中的骨干网络进行预训练，对特征提取与融合模块和多任务预测头中的各层权重参数采用正态分布随机初始化；

58、a2、利用当前训练集对多任务自适应模型进行训练，并在每个训练步长后使用验证集评估其性能指标；

59、a3、当性能指标在连续设定步长阈值内下降幅度小于预设值时，触发早停策略，模型收敛，完成单次训练，进入自适应重标记循环机制训练；

60、a4、在自适应重标记循环机制训练过程中，将未标注的金属表面图像输入至当前多任务自适应模型中，输出对应的标注预测结果；

61、a5、根据标注预测结果的置信度和不确定性，采用预设阈值进行样本筛选，并根据筛选结果形成新的伪标签和/或人工标注数据，并将其加入至训练集，形成扩充训练集，返回步骤a2；

62、a6、重复步骤a2~a5，直到模型性能提升幅度小于预设阈值，完成模型训练，得到缺陷自动标注模型。

63、本发明的有益效果为：

64、（1）本发明中采用多任务学习方法实现缺陷自动标注，不仅能够并行处理多个不同的缺陷检测任务，还能通过共享底层特征层提高标注质量和效率，减少模型对单一类型特征的过拟合。这种方法在不同任务之间实现了协同学习，既共享底层特征，又保留各任务特定差异，不仅有效提升了检测模型对不同缺陷类型的检测精度，也显著加快了标注速度，降低了对人工标注的依赖。

65、（2）本发明是一种基于多任务的高精度自动标注方法，该方法将有助于构建高质量数据集，能够适应轧制金属表面缺陷的复杂性，实现高效特征学习和精准标注，有助于构建高质量数据集，并推动工业缺陷检测自动化进程，最终保证产品质量和工业安全。

66、（3）本发明提供的标注方法显著减少人工成本，提升标注效率，能够广泛应用于轧制工艺金属的工业缺陷检测和数据自动标注场景，适用于复杂工业环境中的缺陷图像自动标注任务。