一种薄膜表面瑕疵图像分类方法及系统与流程

本发明涉及图像识别，尤其涉及一种薄膜表面瑕疵图像分类方法及系统。

背景技术：

1、工业制造中的薄膜，例如锂电池涂布、锂电池隔膜、铝塑膜等，在生产过程中受到环境、加工工艺等因素影响，其表面可能会出现异物、刮伤、胶粒、贴合不良、纤维等表面瑕疵，影响薄膜的质量。工人在薄膜生产过程中，需要对薄膜上的表面瑕疵进行贴标、裁切等处理。由于瑕疵的尺寸较小，在几百至几千微米，使用工业相机拍摄瑕疵图像然后进行自动分类，可以帮助工人更高效地对瑕疵进行处理。

2、目前，表面瑕疵图像的分类方法可以分为基于传统特征工程结合机器学习的分类方法和基于深度学习的分类方法。基于传统特征工程结合机器学习的分类方法，一般使用特征提取算法，如surf特征、gabor滤波器、直方图特征等特征提取瑕疵图像特征得到特征向量，然后使用svm、随机森林等机器学习方法进行分类，这种分类方法依赖于人工选择图像特征，难以对瑕疵特征进行完整地描述，能供分类的类别数少，分类精度较差。基于深度学习的分类方法，使用卷积神经网络、循环神经网络等方法提取特征，然后使用特定的分类头进行分类，尽管这种方法相比较前一种方法具有更好的分类性能，但对于表面瑕疵图像的分类任务而言，不同种类瑕疵之间可能非常相似，深度学习的方法具有较强的提取图像特征的能力，但无法直接表达出不同类别图像之间的特征差异，对于较为相似的类别，很有可能造成混淆。

3、可见，现有技术中的表面瑕疵图像的分类方法存在精度低，难以区分较为相似的类别的问题。

技术实现思路

1、本发明提供了一种薄膜表面瑕疵图像分类方法及系统，以解决现有技术中的表面瑕疵图像的分类方法存在精度低，难以区分较为相似的类别的问题。

2、为了实现上述目的，本发明通过如下的技术方案来实现：

3、第一方面，本发明提供一种薄膜表面瑕疵图像分类方法，包括：

4、s1：对采集到的薄膜表面瑕疵图像进行预处理；

5、s2：确定经过预处理后的薄膜表面瑕疵图像对应的标签嵌入向量；

6、s3：提取所述薄膜表面瑕疵图像的直接图像特征向量和噪声特征向量；

7、s4：融合所述直接图像特征向量和所述噪声特征向量，得到融合特征向量；

8、s5：基于所述标签嵌入向量和所述融合特征向量训练网络模型得到薄膜表面瑕疵图像分类模型；

9、s6：将后续实时采集的薄膜表面瑕疵图像输入所述薄膜表面瑕疵图像分类模型，并获取所述薄膜表面瑕疵图像分类模型输出的分类结果。

10、第二方面，本申请提供一种薄膜表面瑕疵图像分类系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。

11、有益效果：

12、本发明提供的薄膜表面瑕疵图像分类方法，通过提取薄膜表面瑕疵图像的直接图像特征向量和噪声特征向量；融合直接图像特征向量和噪声特征向量，得到融合特征向量；根据标签嵌入向量确定薄膜表面瑕疵图像分类模型；将融合特征向量输入薄膜表面瑕疵图像分类模型，并获取薄膜表面瑕疵图像分类模型输出的分类结果。这样，使用图像生成模型的噪声预测网络作为这里的图像特征提取器，提取“噪声特征”，而不是用于生成图像，然后和另外的卷积网络提取的特征融合，可以更好的分析薄膜表面瑕疵图像的特征，提高识别精度。

13、在进一步的方案中，由于薄膜表面瑕疵图像存在不同类别的瑕疵具有较高相似性的情况，使用了标签嵌入的对比学习方法，在训练过程中，将图像的标签转化为向量输入到模型参与学习训练，将类别标签的标签嵌入向量作为属于这个类别的图像的融合特征向量的中心，使得相同类别的图像融合特征向量更加相似，不同类别的图像特征向量差异更大，能够达到提高不同类别瑕疵图像特征区分度的效果，从而提高区分相似瑕疵图像类别的能力，提高分类准确率。

14、在进一步的技术方案中，不只采用特征向量相似度作为损失计算的唯一指标，同时还增加了全连接层分类头，计算分类交叉熵损失，该分类头的添加能够在训练过程中保证训练的稳定性，同时能够加快促进对比学习分类头的训练。

技术特征：

1.一种薄膜表面瑕疵图像分类方法，其特征在于，包括：

2.根据权利要求1所述的薄膜表面瑕疵图像分类方法，其特征在于，所述s2包括：

3.根据权利要求1所述的薄膜表面瑕疵图像分类方法，其特征在于，所述s3包括：

4.根据权利要求3所述的薄膜表面瑕疵图像分类方法，其特征在于，所述s32包括：

5.根据权利要求1所述的薄膜表面瑕疵图像分类方法，其特征在于，所述s4包括：

6.根据权利要求1所述的薄膜表面瑕疵图像分类方法，其特征在于，所述s5包括：

7.根据权利要求6所述的薄膜表面瑕疵图像分类方法，其特征在于，所述计算交叉熵损失，满足如下关系式：

8.根据权利要求6所述的薄膜表面瑕疵图像分类方法，其特征在于，所述使用所述总损失进行模型训练过程中的权重梯度更新以得到最终的薄膜表面瑕疵图像分类模型，包括：

9.根据权利要求8所述的薄膜表面瑕疵图像分类方法，其特征在于，所述s6包括：

10.一种薄膜表面瑕疵图像分类系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至9中任一项所述方法的步骤。

技术总结
本发明涉及图像识别技术领域，公开了一种薄膜表面瑕疵图像分类方法及系统，该方法通过提取薄膜表面瑕疵图像的直接图像特征向量和噪声特征向量；融合直接图像特征向量和噪声特征向量，得到融合特征向量；根据标签嵌入向量确定薄膜表面瑕疵图像分类模型；将融合特征向量输入薄膜表面瑕疵图像分类模型，并获取薄膜表面瑕疵图像分类模型输出的分类结果。这样，使用图像生成模型的噪声预测网络作为这里的图像特征提取器，提取“噪声特征”，而不是用于生成图像，然后和另外的卷积网络提取的特征融合，可以更好的分析薄膜表面瑕疵图像的特征，提高识别精度。

技术研发人员：毕维林,邓皓文,王恒升,周君,雷中伟
受保护的技术使用者：深圳市佳得设备科技有限公司
技术研发日：
技术公布日：2024/9/2