一种铝型材表面缺陷检测与分类方法及系统与流程

本发明涉及图像处理领域，具体地，涉及一种铝型材表面缺陷检测与分类方法及系统。

背景技术：

缺陷检测是工业生产中不可或缺的一环，在铝型材生产过程中会因为多种原因形成缺陷，缺陷种类主要包括：“不导电”、“擦花”、“角位漏底”、“桔皮”、“漏底”、“喷流”、“漆泡”、“起坑”、“杂色”、“脏点”。不同的缺陷需要经过不同的处理流程进行再加工，防止出厂铝型材出现质量问题。

目前国内铝型材生产工厂主要通过派遣质检员抽查检测生产的产品，但人工检测通常存在检测疏漏、不规范、标准不统一、不熟练等多种问题，并且人工作业只能部分抽检无法实现全量检测，导致工厂生产出的铝型材依然存在不少有缺陷的产品。

基于人工智能算法的自动铝型材缺陷检测方法，凭借其高效、准确、低成本、全量检测等优势，是助力铝型材企业实现转型升级，提升行业竞争力的最优解决方案。

要实现铝型材表面缺陷的检测识别，需先通过检测摄像头实时采集铝型材表面图像，再通过算法分析图像。其难点在于铝型材缺陷存在种类多样、尺寸变化大、金属颜色反光、缺陷样本分布不均等问题，因此采用传统的图像处理和特征工程方法，很难实现准确的缺陷检测，且鲁棒性较低。

技术实现要素：

针对背景技术中的问题，本发明提供了一种基于深度学习的无缺陷样本迁移和多尺度协同的模型训练方法及系统，快速且精准地实现铝型材表面缺陷检测与分类。

为实现上述发明目的，本发明一方面提供了一种铝型材表面缺陷检测与分类方法，所述方法包括：

s1.分别采集铝型材表面正常和表面缺陷图像；

s2.标注铝型材表面缺陷图像的缺陷区域和缺陷类别，基于铝型材表面正常的图像和标注后的有缺陷的图像，获得数据集；

s3.将数据集划分为训练数据集和测试数据集；

s4.使用训练数据集训练神经网络模型；

s5.使用测试数据集评估训练后的模型，基于评估结果判断训练后的模型是否符合预设要求，若不符合则调整模型参数继续训练模型；

s6.采集待处理的铝型材表面缺陷图像，将待处理的铝型材表面缺陷图像输入通过评估的模型，模型输出铝型材表面缺陷检测与分类的结果。

优选的，步骤s5具体包括：使用测试数据集评估训练后的模型，首先将测试数据输入模型进行检测分类，再将检测分类结果与测试数据的标注信息进行比较，通过比较判断模型检验是否通过评估；其中，标注信息包括缺陷的位置信息和缺陷类别，缺陷位置的比较方法为计算模型给出的缺陷区域与标注缺陷区域的面积重合度是否符合预设要求；缺陷类别比较方法为对比模型的缺陷分类结果与标注的缺陷类型是否一致。

优选的，步骤s2具体为使用打标工具标注铝型材表面缺陷图像的缺陷区域和缺陷类别。其中打标工具包括labelme、labelimg。

优选的，调整模型训练参数包括调整模型迭代次数、模型学习率、模型损失函数。

优选的，在神经网络模型训练中，使用无缺陷样本迁移训练方法训练模型，具体包括：

step1，使用铝型材表面缺陷图像初次训练模型；

step2，将铝型材表面正常图像输入初次训练后的模型中进行预测；

step3，整理初次训练后的模型对铝型材表面正常图像的预测结果，将模型检测错误的铝型材表面正常图像加入setp1使用的训练集形成新的训练集；

最后，使用新的训练集再次训练模型。

优选的，在神经网络模型训练中，使用多尺度协同训练方法训练模型，具体包括：

首先，在模型训练过程中，变换输入模型的图像的尺寸，使用最临近点插值算法和均值下采样算法等图像尺寸变换算法得到尺寸为416*416、720*720、1080*1080三个尺寸大小的图像，每个原图像均对应生成三个级别尺寸的图像，由小到大分别记为：第一图像、第二图像、第三图像；所有对应生成的图像都会用于训练模型；所述最临近点差值算法即在图像放大过程中使用离目标像素点最近的左上位置的像素值作为该点的像素值；所述均值下采样算法是把原始图像s*s窗口内的图像变成一个像素点，该像素点的值是窗口内所有像素值的均值；

然后，使用新的训练数据训练模型，模型在训练的过程中生成若干检测候选框，筛选模型生成的检测候选框，第一图像的检测候选框保留尺寸在208*208～312*312之间的，其余直接丢弃；第二图像的检测候选框保留尺寸在240*240～480*480之间的，其余直接丢弃；第三图像的检测候选框保留尺寸在160*160～440*440之间的，其余直接丢弃；

然后，针对每个原图，分别融合其对应生成的第一图像、第二图像、第三图像筛选出的检测候选框，融合方式为：根据检测候选框之间的相对位置信息，将三个尺寸级别筛选的检测候选框还原至原尺寸图像的对应位置，并融合还原后的检测候选框生成融合后的检测框，将融合后的检测框输出至原尺寸的图像；

最后，比对融合后的检测框与训练集的标注信息，计算误差并反馈误差给网络进行逐层优化网络。

本方法采用多尺寸级联网络是指使用训练数据集的多级尺度图片训练模型；在网络结构中添加多个级联检测器，即在网络的浅层、中层、深层都连接一个级联检测器，并以级联的方式连接每个级联检测器。

所述检测候选框，是模型运算数据得出的目标可能出现的位置；在缺陷检测中可以理解为检测出的可能出现缺陷的位置，该检测候选框经过后续过滤融合操作才能给出缺陷的准确位置。

优选的，在神经网络模型训练中，使用级联检测器训练方法训练模型，具体包括：

划分网络层级，根据网络的总层数，将网络由浅及深划分为三层，分别为浅层网络、中层网络、深层网络；

在模型网络结构中，分别在浅层网络、中层网络、深层网络后连接一个级联检测器，并使用级联方式连接这些级联检测器,级联检测器由多个检测器组成，检测器之间也通过级联方式传递结果；

检测器用于输出模型的检测框及分类类别，浅层网络、中层网络、深层网络的检测器分别输出检测框和分类类别，通过级联汇总这些检测器的结果，利用非极大抑制方法融合检测框，分类类别则根据投票原则给出最终类别。

最后将模型最终输出的检测框及分类类别与数据的标注进行比较，计算误差并反馈给网络进行逐层优化。

为实现上述发明目的，本发明另一方面还提供了一种铝型材表面缺陷检测与分类系统，所述系统包括：

图像采集单元，用于分别采集铝型材表面正常和表面缺陷图像；

图像处理单元，用于标注铝型材表面缺陷图像的缺陷区域和缺陷类别，基于铝型材表面正常图像和标注后的缺陷图像，获得数据集；

划分单元，用于将数据集划分为训练数据集和测试数据集；

训练单元，用于使用训练数据集训练神经网络模型；

评估单元，用于使用测试数据集评估训练后的模型，基于评估结果判断训练后的模型是否符合预设要求，若不符合则调整模型参数继续训练模型；

输出单元，用于采集待处理的铝型材表面缺陷图像，将待处理的铝型材表面缺陷图像输入通过评估的模型，输出铝型材表面缺陷检测与分类的结果。

优选的，在利用训练单元对神经网络模型训练中，使用无缺陷样本迁移训练方法训练模型，具体包括：

step1，使用铝型材表面缺陷图像初次训练模型；

step2，将铝型材表面正常图像输入初次训练后的模型中进行预测；

step3，整理初次训练后的模型对铝型材表面正常图像的预测结果，将模型检测错误的铝型材表面正常图像加入setp1使用的训练集形成新的训练集；

最后，使用新的训练集再次训练模型。

优选的，在利用训练单元对神经网络模型训练中，使用多尺度协同训练方法训练模型，具体包括：

首先，在模型训练过程中，变换输入模型的图像的尺寸，使用最临近点插值算法和均值下采样算法等图像尺寸变换算法得到尺寸为416*416、720*720、1080*1080三个尺寸大小的图像，每个原图像均对应生成三个级别尺寸的图像，由小到大分别记为：第一图像、第二图像、第三图像；所有对应生成的图像都会用于训练模型。所述最临近点差值算法即在图像放大过程中使用离目标像素点最近的左上位置的像素值作为该点的像素值；所述均值下采样算法是把原始图像s*s窗口内的图像变成一个像素点，该像素点的值是窗口内所有像素值的均值；

然后，使用新的训练数据训练模型，模型在训练的过程中生成若干检测候选框，筛选模型生成检测候选框，第一图像的检测候选框保留尺寸在208*208～312*312之间的，其余直接丢弃；第二图像的检测候选框保留尺寸在240*240～480*480之间的，其余直接丢弃；第三图像的检测候选框保留尺寸在160*160～440*440之间的，其余直接丢弃；

然后，针对每个原图，分别融合其对应生成的第一图像、第二图像、第三图像筛选出的检测候选框，融合方式为：根据检测候选框之间的相对位置信息，将三个尺寸级别筛选的检测候选框还原至原尺寸图像的对应位置，并融合还原后的检测候选框生成融合后的检测框，将融合后的检测框输出至原尺寸的图像；

最后，比对融合后的检测框与训练集的标注信息，计算误差并反馈误差给网络进行逐层优化。

本系统中多尺寸级联网络是指使用训练数据集的多级尺度图片训练模型；在网络结构中添加多个级联检测器，即在网络的浅层、中层、深层都连接一个级联检测器，并以级联方式连接每个级联检测器，级联检测器由多个检测器组成，检测器之间也通过级联方式传递结果。

所述检测候选框，是模型运算数据得出的目标可能出现的位置；在缺陷检测中可以理解为检测出的可能出现缺陷的位置，该检测候选框经过后续过滤融合操作才能给出缺陷的准确位置。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明中的一种铝型材表面缺陷检测与分类方法及系统，依托于深度神经网络，通过对缺陷铝型材的缺陷区域特征的学习，能够精准定位缺陷区域，并且提高缺陷类别划分的准确率，解决了由于铝型材表面缺陷种类多、大小不一导致的缺陷难以定位及分类的问题。

通过本方法或系统，能够很好地代替人工抽检，减少人力成本支出，并且能够全量检测生产线上的所有产品，避免由于抽检导致的部分有缺陷商品流入市场。

本方法或系统能够嵌入到生产流水线中，实现自动化缺陷检测、分类、修复，提高工厂的生产效率和良品率，提高工厂效益。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

图1是本发明中一种铝型材表面缺陷检测与分类方法的流程示意图；

图2是本发明中无缺陷样本迁移训练方法示意图；

图3是本发明中多尺度协同训练方法示意图；

图4是传统的级联检测器模型训练方法示意图；

图5是本发明中级联检测器模型训练方法示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本发明提供了一种铝型材表面缺陷检测与分类方法，能够快速实现铝型材表面缺陷检测与分类，并且准确率高，对于小目标也能够准确识别。

在本方法中，参见图1所示，具体步骤如下：

s1.采集与保存表面缺陷、表面正常图像；

s2.使用打标工具标注缺陷图像的缺陷区域和缺陷类别；

s3.数据集划分，将数据集划分为训练数据集和测试数据集；

s4.多尺寸级联模型训练，使用训练数据集训练神经网络模型；

s5.模型评估(即评估已训练完成的模型)，使用测试数据集评估模型，将测试数据输入模型进行检测分类，输出缺陷检测及分类结果，将缺陷检测分类结果与测试数据的标注信息进行比较，其中标注信息包括缺陷的位置信息和缺陷类别，缺陷位置的比较方法为计算模型给出的缺陷区域与标注的缺陷区域的面积重合度；缺陷类别比较方法为对比模型的缺陷分类结果与标注的缺陷结果是否一致，计算准确率；若模型效果不佳则调整模型参数(包括迭代次数、学习率、损失函数等)并继续执行s4，进行模型迭代训练，直至模型的效果佳且稳定。

其中，本发明模型训练具体为：

1、使用无缺陷样本迁移训练方法；

2、使用多尺度协同训练方法；

3、在网络结构中添加级联检测器，将卷积神经网络划分为浅、中、深三层，并在每层连接一个级联检测器；

4、使用的级联检测器由三个检测器组成，三个检测器的唯一区别在于设置的过滤阈值不同。

进一步的是，在所述s3步骤中，数据集的采集通过工人根据自身经验拍照记录工厂生产过程中表面存在缺陷的铝型材，并整理同批次的表面正常铝型材合并成模型训练的数据。

进一步的是，在所述s4步骤中，在神经网络模型训练中，本发明设计了无缺陷样本迁移训练方法、多尺度协同训练方法、级联检测器训练方法，使用该方法训练得到的模型能够准确检测缺陷区域，并精准分类缺陷类别。

所述无缺陷样本迁移训练方法，如图2，步骤如下：

step1，使用缺陷图像初次训练模型；

step2，将无缺陷样本图像输入初训模型进行预测；

step3，整理初训模型输出的无缺陷样本的预测结果，将模型检测错误的无缺陷样本加入setp1使用的训练集形成新的训练集；

最后，使用新的训练集再次训练模型，导出模型进行应用。

经过无缺陷样本迁移训练，模型不仅学习到了缺陷的特征，而且学习到了正确样本的信息，这样在缺陷检测过程中有效避免模型将正常样本错误分类为缺陷样本，提高模型的准确率。

所述多尺度协同训练方法，如图3，步骤如下：

首先，在模型训练过程中，变换输入模型图像的尺寸，使用最临近点插值算法生成大于原图像的图像，所述最临近点差值算法即在图像放大过程中使用离目标像素点最近的左上位置的像素值作为该点的像素值；使用均值下采样算法得到小尺寸的图像，所述均值下采样算法是把原始图像s*s窗口内的图像变成一个像素点，该像素点的值是窗口内所有像素值的均值，整理图像作为原图像对应的大中小三个级别尺寸的图像，即每一张训练图像都会生成三张与之对应的不同尺寸的图像；

然后，将新生成的数据输入多尺寸级联网络训练网络模型，产生对应的检测候选框；

在模型选取检测候选框过程中，大尺寸的保留小的检测候选框，小尺寸的保留大的检测候选框，中型尺寸同样保留中型检测候选框。无论图像尺寸如何，模型都会给出检测候选框，检测候选框有大有小，并不是所有检测候选框都包含足够的有效信息，为此就需要筛选检测候选框，见图3，在大尺寸的图像上保留较小的检测候选框，小尺寸的图像保留大的检测候选框，中型尺寸的图像保留中型检测候选框，这里的大中小三种尺寸的图像对应为同一张原图；

最后，融合同一张图不同尺寸下的检测候选框，融合方式为根据相对位置融合大中小三级尺寸保留检测候选框并还原至原尺寸图像的对应位置，输出至原尺寸图像。

所述级联检测器，传统模型输出检测框时会根据模型预测结果与实际缺陷的重合程度设置阈值，当重合大于阈值时，则认为该检测框为有效输出，这种方式会导致模型过拟合，使得部分有效检测无法输出；如图4，使用多个级联检测器，由低到高分别设置每个检测器的阈值，最初的检测框通过这些检测器时会微调检测框位置，最终结合多个检测器的输出结果输出最终检测框及分类类别；如图5，本方法的模型网络结构分别在浅层网络、中层网络、深层网络连接级联检测器，这样设计的网络能够更精准地定位缺陷，并精确分类。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。