基于深度学习的玻璃表面缺陷检测方法与流程

本发明涉及视觉图像处理技术领域，尤其是一种基于深度学习的玻璃表面缺陷检测方法。

背景技术：

resnet全名residualnetwork残差网络。kaiminghe的《deepresiduallearningforimagerecognition》获得了cvpr最佳论文。他提出的深度残差网络在保证网络精度的前提下，将网络的深度达到了152层，后来又进一步加到1000的深度，特征等级随着网络的加深而变高，网络的表达能力也会大大提高。

现有的将深度学习用于工业缺陷检测的案例，主要分为以下几步，第一步是收集样品图片并进行缺陷标注，第二步是设置网络权重参数进行模型训练，第三步是利用测试图片进行检测图片的ok和ng。

因此，现有技术具有以下缺点：

1、现有深度学习检测模型大多用来判断产品的ok/ng，现实情况是不仅需要判断出产品的ok/ng，还需要对ng类型进行分类，基于分类结果进行缺陷规格管控。对于玻璃类产品来说，灰尘和脏污属于脏污类缺陷，是可以通过清洗手段来修复的，划伤、气泡属于破损类缺陷是不可修复的，这两类产品必须区分开来。由于灰尘和白点、线状脏污与划伤的成像特征很相似，现有的传统算法和深度学习的应用案例对于这两类缺陷的区分效果较差。

2、现有深度学习检测模型缺乏定量分析的手段，输出的检测结果不利于缺陷规格的参数管控。现有应用案例往往只能输出产品ng的热度图分数，分数越高产品ng的概率越大，但是热度图分数并不具有实际的物理意义，不便于制程人员对进行缺陷规格的管控。制程人员往往希望以长度、宽度、长宽比、对比度、一定区域内缺陷的数量等直观的参数来定义和管控缺陷的规格。

技术实现要素：

本发明要解决的技术问题是：由于玻璃表面缺陷检测的难点是脏污和灰尘难以避免，容易与真实缺陷混淆；另外，缺陷规格管控尺度较难控制，管控过严，会造成大量过杀导致产品检测良率过低，如果参数管控过松，会造成过多漏检，影响出货品质；为了解决上述问题，提供一种基于深度学习的玻璃表面缺陷检测方法。

本发明解决其技术问题所采用的技术方案是：一种基于深度学习的玻璃表面缺陷检测方法，包括利用残差网络resnet18和残差网络resnet101进行网络模型的训练，网络模型训练完成后，通过训练好的网络模型对样本图像进行缺陷检出以及判别，同时进行缺陷规格管控。

进一步的说，本发明所述的网络模型的训练过程包括以下步骤，

1)按照缺陷检测需求收集各类缺陷样本，并利用成像系统对样本进行图像采集；

2)从图像中分割出待检测区域，将背景区灰度值置0并添加到训练样本图像集中用于缺陷标注；

3)对样本图像进行标注；

4)模型训练，包括缺陷检出网络的训练和缺陷判别网络的训练；

5)利用训练生成的网络模型测试样本图片，统计模型的检出数据和分类数据；

6)将未检出的图片和分类错误的图片进行收集，添加到训练样本中进行标注缺陷，再次训练模型，测试模型，一次次迭代优化模型。

再进一步的说，本发明所述的步骤3)中，标注过程中，采用了本体投影一体标注的方法，具体为，将本体和投影利用标注画笔连接标注成一体。

再进一步的说，本发明所述的步骤4)中，先训练缺陷检出网络，再训练缺陷判别网络；所述缺陷检出网络利用残差网络resnet18将所有缺陷从图像中分割出来，所述缺陷判别网络利用残差网络resnet101对缺陷进行分类。

进一步的说，本发明所述的利用训练好的缺陷检出模型对传入的背景区灰度值置0的图像进行缺陷检出；如果检出缺陷，将缺陷区域图像传递给缺陷判别网络进行下一步缺陷分类；如果未检出可疑缺陷，产品判定为ok品。

进一步的说，本发明所述的缺陷判别网络对于传入的可疑缺陷区域图像进行缺陷类别判别，每个可疑缺陷都会得出一个分类结果。

进一步的说，本发明所述的缺陷规格管控的方式是利用图像处理算法计算出可被数学定义的缺陷参数；如果缺陷参数在管控规格内，那么判定为ok品；如果在管控规格外，那么判定为ng品。

本发明的有益效果是：

1、相较于原来利用传统算法对脏污、灰尘、缺陷进行分类的方法，模型的分类准确率由70％提升到了90％以上。

2、相较于使用深度学习分类结果的得分值来管控缺陷规格，基于传统图像算法对深度学习检测结果的后处理，利用提炼出的长度、宽度、长宽比、对比度等参数来对缺陷进行参数管控，具有更好的管控效果。这些参数具有实际的物理含义，更符合人对缺陷规格的认知。

附图说明

图1是本发明网络训练流程图；

图2是本发明利用训练出的网络进行检测的流程图。

具体实施方式

现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1-2所示的一种基于深度学习的玻璃表面缺陷检测方法，首先利用传统图像处理算法进行图像分割提取检测区，然后利用基于resnet18的深度学习模型对检测区内的图像进行缺陷检出、再利用resnet101对检出缺陷进行分类，将灰尘、脏污和真实缺陷区分开来，最后结合传统图像处理算法进行缺陷规格管控，达到缺陷分类检出和每类缺陷单独规格管控的效果。

模型在训练过程中有以下步骤：

1、样本收集，按照缺陷检测需求收集各类缺陷样本，并利用成像系统对样本进行图像采集。玻璃检测中的缺陷样本包括灰尘、脏污、气泡、划伤、崩边。在样本收集阶段，需要建立好样本库，保持训练样本中各类样本的均衡，防止样本失衡造成的过拟合现象出现。

2、检测区提取，使用基于传统图像处理的方法，从图像中分割出待检测区域，并将背景区域灰度值置0，用于排除背景区的干扰，最后将背景区灰度值置0的图像添加到训练样本图像集中用于缺陷标注。

3、缺陷标注，利用标注软件新建灰尘、脏污、毛丝、气泡、划伤、崩边、ok共7类标签，并对样本图像进行标注。标注过程中，采用了本体投影一体标注的方法、玻璃透明材质的成像特征决定了当光从一定倾斜角度照射在玻璃表面上，遇到灰尘、毛丝等具有凸起特征的物体，成像上会存在投影的现象，其它缺陷不具备此特征。所以在样本标注阶段，本实施例中将灰尘本体和投影，毛丝本体和投影利用标注画笔连接标注成一体。实际测试显示，采用本体投影一体标注方式训练的模型，较采用本体投影分离标注方式训练的模型对灰尘与气泡、毛丝与划伤、脏污的分类能力高，在初期训练样本较少的时候分类准确率高15％，能够更快的达到客户要求的分类准确率。

4、模型训练，模型训练包括缺陷检出网络和缺陷判别网络，先训练缺陷检出网络，再训练缺陷判别网络。其中，缺陷检出网络使用是的resnet18，为2分类模型，该模型负责将所有缺陷从图像中分割出来，模型效果的提升主要依靠训练样本的补充，特别是漏检样本的补充训练。缺陷判别网络为多分类模型，在产品打样阶段往往无法搜集到充足的缺陷样本用于模型训练，以此为基础训练出的模型很容易出现过拟合现象，具体表现为训练出的分类模型在训练集上的测试效果好，在测试集的测试效果差，模型的泛化能力弱。为了解决过拟合问题，本实施例中在分类模型的训练过程中进行了earlystopping，在每一个epoch结束时，计算validationdata的accurary并进行记录到目前为止最好的validationaccurary，当连续10次epoch没达到最佳validationaccurary时，停止迭代。如此训练出的模型在打样阶段和小批量试产阶段的分类效果比较好。在产品进入产能爬坡和正式量产阶段后，随着训练样本的不断补充训练，防止过拟合现象出现的手段就变成了训练样本库的管理，维持各类缺陷的训练样本数量均衡。

5、模型测试，利用训练生成的模型网络测试样本图片，统计模型的检出数据和分类数据。

6、模型优化，将未检出的图片和分类错误的图片收集起来，添加到训练样本中进行标注缺陷，再次训练模型，测试模型，一次次迭代优化模型。

如图2所示的基于缺陷检出网络和缺陷判别网络的产品检测流程，检测流程中有以下步骤：

(1)检测区提取，使用基于传统图像处理的方法，从图像中分割出待检测区域，并将背景区域灰度值置0，用于排除背景区的干扰，最后将背景区灰度值置0的图像传入模型进行检测。

(2)缺陷检测网络，利用训练好的缺陷检出模型对传入的背景区灰度值置0的图像进行缺陷检出，如果检出缺陷，将缺陷区域图像传递给缺陷判别网络进行下一步缺陷分类，如果未检出可疑缺陷，产品判定为ok品。

(3)缺陷判别网络，缺陷判别网络对于传入的可疑缺陷区域图像进行缺陷类别判别，每个可疑缺陷都会得出一个分类结果，本实施例验证项目中共有灰尘、脏污、毛丝、气泡、划伤、崩边6类缺陷，所以分类结果是该缺陷属于每类缺陷的分数，选取最高分数的缺陷类别作为分类结果。

(4)缺陷规格管控，缺陷判别网络判别出的每一类缺陷都需要进行缺陷规格管控，缺陷规格管控的方式是利用传统图像处理算法计算出客户关心的可被数学定义的缺陷参数，如区域长度(区域的最小外接矩形长度length1)，区域宽度(区域最小外接矩形的宽度length2)，区域对比度(区域平均灰度值gray1与区域外5个像素内背景区域平均灰度值gray2的差值)等，如果缺陷参数在管控规格内，那么产品判定为ok品，如果在管控规格外，那么产品判定位ng品(灰尘、脏污、毛丝判定为脏污类ng，划伤、气泡、崩边判定为破损类ng)。

因此，本发明使用基于resnet18的模型来进行缺陷检出、使用基于resnet101的模型来进行缺陷分类。基于resnet18的模型，对于玻璃类平坦背景区域的缺陷分割提取能力出色，能够将灰尘、脏污、毛丝、气泡、划伤、崩边等缺陷提取出来。基于resnet101的模型分类能力出色，本发明中在灰尘、脏污、毛丝、气泡、划伤、崩边等训练样本充足、样本均衡的情况下，训练出的分类模型能够准确对灰尘、脏污、毛丝、气泡、划伤、崩边进行分类。

并且，本发明利用传统图像处理算法对深度学习模型的检测结果进行后处理，进行blob分析和聚类分析，计算出每个缺陷的长度length、宽度width、长宽比aspect、对比度contrast以及缺陷的聚类结果cluster，制程人员利用这些参数对各类缺陷进行单独管控，满足客户分类管控缺陷规格的需求。

以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。