一种手机盖板玻璃缺陷检测与分类方法与流程

本发明属于检测技术领域，涉及一种缺陷检测，具体涉及一种手机盖板玻璃缺陷检测与分类方法。

背景技术：

随着移动互联网时代的到来，智能手机在全球越来越普及。手机盖板玻璃作为智能手机的重要组成部件具有海量的市场需求。手机盖板玻璃制造过程包括：原片玻璃开片、外形及内孔的雕刻、倒角、抛光、硬化、丝印、涂油等步骤。

因此生产过程中不可避免的会出现不良产品，包括开槽、倒边、抛光过程中造成的划伤、凹坑，玻璃表面脏污、油墨点等缺陷。目前大多数的手机盖板玻璃厂家采用人工进行生产过程中的缺陷检测，质检工人在黑暗环境下采用强光照明来查找缺陷。人工检测速度慢、且人工成本高。目前市面上已经出现部分针对手机盖板玻璃的机器视觉缺陷检测设备，这些设备已经能实现手机盖板玻璃的多种缺陷检测。但盖板玻璃生产线实际反馈结果表明，现有的手机盖板玻璃机器视觉缺陷检测设备的稳定性仍不能满足实际需求。

现有的手机盖板玻璃机器视觉缺陷检测方案按图像获取方式的不同可分为三类：基于同轴平行光源的方案、基于多角度光源的方案、基于正弦条纹结构光的方案。

基于同轴平行光源的方案利用同轴平行光源对手机盖板玻璃进行照明，并使用工业相机拍摄图像。基于多角度光源的方案通过在多个角度的设置光源对手机盖板玻璃进行照明，并使用工业相机获取不同角度打光方式下手机盖板玻璃的图像。

基于正弦条纹结构光的方案向盖板玻璃表面投射固定频率的正弦模式结构光，工业相机拍摄经盖板玻璃反射形变了的正弦条纹，形变了的正弦条纹图像经处理后获得增强了缺陷信息的手机盖板玻璃图像。获取手机盖板玻璃图像后，现有方案均通过图像预处理、图像增强、缺陷分割与定位、缺陷分类等主要步骤实现手机盖板玻璃的缺陷检测与分类。手机盖板玻璃属于透明光滑表面材质，易反光且缺陷种类多，现有手机盖板玻璃机器视觉缺陷检测设备不稳定的主要原因既是缺陷图像获取不稳定。

基于同轴平行光源的图像获取方法投射垂直于手机盖板玻璃表面的平行光束，无缺陷表面将平行光束延与入射光相反的方向反射回去，形成垂直于表面的反射光束，反射光束透过同轴平行光源的分光片进入工业相机；当手机盖板玻璃表面出现缺陷时，缺陷对入射的平行光束的漫反射作用使得缺陷区域反射光不能进入工业相机，这使缺陷区域与非缺陷区域图像形成反差。由于手机盖板玻璃表面划伤、明显污迹、墨点缺陷对入射光的漫反射能力强，基于同轴光源的图像获取方法对其具有较好的缺陷获取能力，而轻微透明污迹类的水印、吸管印等缺陷漫反射能力差，造成该类缺陷区域与相邻非缺陷区域对比度低，增加了后续缺陷分割的难度，影响了缺陷检测的稳定性。

基于多角度光源的图像获取方法从多个角度向手机盖板玻璃表面打光。由于不同角度的打光方式对不同类型的缺陷凸显能力不同，基于多角度光源的方法需拍摄多张图片来进行缺陷增强。缺陷位置及缺陷方向在手机盖板玻璃表面的随机性增大了多角度光源的设置难度，同时也影响了缺陷图像获取的稳定性。

基于同轴平行光源与多角度光源的图像获取方案缺少对手机盖板玻璃缺陷的凹凸性测量过程，也是影响缺陷检测稳定性的因素之一。现有的基于正弦条纹结构光的手机盖板玻璃图像获取方案，通过投射正弦条纹模式结构光到手机盖板玻璃表面并通过解析相位的方法获取手机盖板玻璃表面缺陷图像。

基于正弦条纹结构光的图像获取方案虽然对表面损伤型缺陷凸显能力强，但是已经被证明该方法对水印、指纹、轻微透明污点等非表面损伤缺陷不具备检测能力。

技术实现要素：

为了克服上述现有技术的不足，本发明的目的是提供一种手机盖板玻璃缺陷检测与分类方法，基于两种模式结构光的手机盖板玻璃缺陷检测与缺陷分类，克服现有方案中由于部分类型缺陷图像获取不稳定以及缺少缺陷凹凸性测量导致的手机盖板玻璃机器视觉缺陷检测设备的不稳定性。

为了实现上述目的，本发明采用的技术方案是：

一种手机盖板玻璃缺陷检测与分类方法，其特征在于，包括以下步骤：

步骤1，设置检测系统，拍摄反射黑白周期条纹的手机盖板玻璃图像序列；

首先在显示屏上显示黑白周期条纹图像，工业相机拍摄一幅反射黑白周期条纹的盖板玻璃图像；然后将黑白周期条纹在图像内整体右移一个固定步长，工业相机再次拍摄一幅反射黑白周期条纹的盖板玻璃图像；继续移动屏幕上显示的黑白条纹并拍照，直到白条纹扫过一个周期且屏幕上每一个像素点都至少出现在白条纹内部一次；

屏幕上显示的黑白周期条纹图像可表示为：

式中，fdb(x，y)表示黑白周期条纹图像坐标(x，y)处像素的灰度值，δ为黑白周期条纹的周期，δ为黑白周期条纹中白条纹的宽度，δ为δ的4倍，w为黑白周期条纹图像宽度；工业相机拍摄到的经手机盖板玻璃反射并形变了的黑白条纹图像记为idb；

步骤2，拍摄反射正弦条纹的手机盖板玻璃图像序列；

在屏幕上显示多组具有不同周期的正弦条纹图像，同组正弦条纹图像具有相同的周期不同的初始相位；对反射了正弦条纹所有模式的手机盖板玻璃进行图片拍摄；

屏幕上显示的正弦条纹图像包括水平和竖直两个方向，可表示为：

式中，fsy(x，y)表示竖直方向的正弦条纹图像坐标(x，y)处像素的灰度值，fsx(x，y)表示水平方向的正弦条纹图像坐标(x，y)处像素的灰度值；a为常数，决定正弦条纹亮度，t为正弦条纹周期，n为正弦条纹周期为t时需要拍摄的图像数量，工业相机拍摄到的经手机盖板玻璃反射并形变了的正弦条纹图像记为isx，isy；

步骤3，计算手机盖板玻璃缺陷增强图像与解析相位图；

基于反射黑白周期条纹的手机盖板玻璃图像序列合成手机盖板玻璃缺陷增强图像；基于反射正弦条纹的手机盖板玻璃图像序列解析出相位图；手机盖板玻璃缺陷增强图像的获取过程可以表示为：

式中，表示手机盖板玻璃缺陷增强图像坐标为(x，y)的像素灰度值，表示拍摄到的第k长形变了的黑白条纹图像，n为拍摄的形变了的黑白条纹图像总数；

获取解析相位图的过程中，首先按下式计算截断相位图，然后基于时间相位展开法对截断相位图进行展开并滤除载波，获得解析相位图和计算截断相位图的过程可表示为：

式中，为水平和竖直方向的截断相位，n为相移步数；

步骤4，手机盖板玻璃缺陷分割；

首先使用一块无缺陷手机盖板玻璃放置在检测台上的指定位置并基于步骤1和步骤3制备无缺陷手机盖板玻璃增强图像ienhanced，然后对无缺陷手机盖板玻璃增强图片进行均值滤波作为增强图参考模板itemplate；计算无缺陷手机盖板玻璃增强图像与增强图参考模板之差的绝对值图像，对该绝对值图像进行最大值滤波作为增强图参考阈值tthreshold；计算无缺陷手机盖板玻璃增强图片的边缘梯度图genhanced，并对该边缘梯度图进行最大值滤波作为参考梯度阈值gtemplate；

增强图参考模板itemplate、增强图参考阈值tthreshold、参考梯度阈值gtemplate的制备过程可表示为：

itemplate＝kblur*ienhanced

tthreshold＝kmax*abs(ienhanced-itemplate)+δt

gtemplate＝kmax*genhanced+δg

式中kblur为较大尺寸的均值滤波卷积核，kmax为可选尺寸的最大值滤波卷积核，abs()表示取绝对值，δt为调节系数，genhanced为ienhanced的一阶导数边缘梯度图，δg为调节系数。

对待测手机盖板玻璃增强图像idefect，基于增强图参考模板以及增强图参考阈值将其缺陷的主要区域通过图像二值化分割出来；计算待测手机盖板玻璃增强图像的边缘梯度图gdefect，并基于参考梯度阈值将待测缺陷的边缘区域以及对比度不明显的缺陷区域通过图像二值化分割出来；综合待测手机盖板玻璃增强图像缺陷的主要区域二值化结果以及缺陷边缘二值化结果，将待测手机盖板玻璃增强图像二值化，实现缺陷分割；待测手机盖板玻璃增强图像二值化分割的过程可表示为：

式中ibinary_1(x，y)为基于增强图参考模板以及增强图参考阈值的缺陷分割结果，ibinary_2(x，y)为综合了ibinary_1(x，y)与边缘梯度阈值分割的缺陷分割结果；

步骤5，手机盖板玻璃缺陷检测与定位；

通过检测待测手机盖板玻璃二值化图像的边缘的方法进行缺陷检测；通过寻找缺陷边缘的外接矩形的方法确定缺陷的位置并确定缺陷的感兴趣区域；

步骤6，手机盖板玻璃缺陷几何特征提取；

基于缺陷感兴趣区二值图提取缺陷的几何特征；

步骤7，手机盖板玻璃缺陷的分类；

基于缺陷的几何特征，将缺陷划分为点状、线型、面型三种类别的缺陷；对于点状、线型缺陷，利用解析相位图对其进行凹凸性判别，继续将其划分为凹凸点、点状附着物或划伤、线型污迹；最终将手机盖板玻璃缺陷划分为大面积污迹、凹凸点、点状附着物、划伤、线状污迹五大类。

所述步骤1)与步骤2)中的手机盖板玻璃图像拍摄方法，包括黑白周期条纹结构光与正弦条纹结构光的设置方法。

所述的步骤4)中基于混合阈值的图像分割法，包括手机盖板玻璃增强图像参考模板、增强图像参考阈值、梯度阈值的制备方法。

所述的步骤7)中的手机盖板玻璃缺陷分类方法，包括首先基于手机盖板玻璃缺陷增强图像的二值图将缺陷按形状分类，然后基于解析相位图对点状缺陷、线型缺陷进行凹凸性测量，进一步将点状缺陷、线型缺陷划分为凹凸点、点状附着物以及划伤、线型污迹。

本发明具有以下有效增益：

1、基于反射黑白周期条纹手机盖板玻璃图像序列合成手机盖板玻璃增强图像，增强图像逐渐累积缺陷与非缺陷区域的灰度差异，能对所有具有漫反射作用的手机盖板玻璃缺陷进行对比度增强，不仅能凸显划伤、指纹、墨点等缺陷，对轻水印、吸管印、轻微透明污点也具有很强的凸显能力，因而相比当前图像获取方案缺陷获取种类多，图像获取稳定，从增强缺陷信息的角度入手增加了手机盖板玻璃缺陷检测的稳定性，解决了现有方案由于不能稳定地进行缺陷获取而导致的不实用的问题。

2、基于反射正弦条纹的手机盖板玻璃图像序列合成的解析相位图对光滑表面损伤型缺陷(如划伤、凹坑)检测灵敏而对光滑表面非损伤型缺陷(如透明污痕、透明污点)检测不灵敏；基于反射黑白周期条纹手机盖板玻璃图像序列合成的手机盖板玻璃增强图像，对光滑表面损伤型缺陷和光滑表面非损伤型缺陷均可稳定获取，但是其缺陷区分能力差，如划伤与透明污痕在手机盖板增强图上均表现为灰线，凹坑、轻微透明污点在手机盖板增强图上均表现为灰点；手机盖板玻璃的解析相位图能为手机盖板增强图提供缺陷类别区分信息，从而提高缺陷分类准确率。

3、缺陷分割方法，克服了增强图灰度分布不均的影响并通过梯度阈值法对对比度低的缺陷区域进行召回，提高了缺陷检测稳定性。

4、缺陷分类过程基于步骤3)所述的解析相位图对表面损伤型缺陷(如划伤、凹凸点)进行识别，不同于现有方案中仅凭缺陷在图像中的形貌特征进行缺陷分类识别，解析相位图能对缺陷进行真实的凹凸性测量，从而提高凹凸点、划伤两类重点缺陷的识别准确率。

附图说明

图1为手机盖板玻璃检测系统图；

图2为显示屏上显示的黑白周期条纹；

图3为待测手机盖板玻璃与形变了的黑白周期条纹；

图4为显示屏上显示的周期为16像素竖直方向的正弦条纹；

图5为显示屏上显示的周期为256像素竖直方向的正弦条纹；

图6为待测手机盖板玻璃与形变了的正弦条纹；

图7为手机盖板玻璃增强图像；

图8为截断相位图示例；

图9为手机盖板玻璃增强图包含缺陷的区域及其对应的解析相位图；

图10为包含缺陷的手机盖板玻璃区域增强图示例；

图11为无缺陷手机盖板玻璃增强图对应图10中的区域；

图12为图10区域对应的增强图像参考模板；

图13为图10基于增强图像参考模板的二值图；

图14为图10最终的二值化分割结果；

图15为缺陷检测与分类结果示例；

图16为缺陷检测流程图。

具体实施方式

本发明公开一种手机盖板玻璃缺陷检测与分类方法，该方法将黑白周期条纹与正弦条纹两种模式的结构光应用于手机盖板玻璃表面缺陷检测与分类，下面结合附图和具体例子对发明方案进行说明。

步骤1，设置检测系统，拍摄反射黑白周期条纹的手机盖板玻璃图像序列；

检测系统平台包括工业相机、工业镜头、显示屏、检测台、支架、手机盖板玻璃样本、计算机；设置检测系统平台包括调整显示屏平面与检测台之间的角度，设置lcd显示屏亮度为50和对比度75，使手机盖板玻璃在工业相机视场内被显示屏上的条纹所覆盖；调整镜头焦距以及镜头与手机盖板玻璃之间的距离，使得相机向手机盖板玻璃表面聚焦，如图1所示；

通过计算机控制lcd显示屏显示高为1080像素宽为1920像素的黑白周期条纹图像，黑白周期条纹周期为64像素，白条纹宽度16像素，黑条纹宽度48像素，如图2所示；lcd显示屏显示的黑白周期条纹图像可表示为：

计算机控制工业相机拍摄反射黑白周期的条纹的手机盖板玻璃，如图3所示，然后以4个像素为固定步长向右移动屏幕上的黑白条纹并拍照，共获取16张图像，记为k的取值为1到16。

步骤2，拍摄反射正弦条纹的手机盖板玻璃图像序列；

通过计算机控制lcd显示屏显示高为1080像素宽为1920像素的正弦条纹图像；lcd显示屏需要显示水平和竖直两个方向的正弦条纹模式，对每一个方向，lcd显示屏需要两组周期分别为16像素、256像素的正弦条纹，每种周期的正弦条纹改变n次初始相位，n取4或6；图4展示了lcd显示屏上显示的竖直方向周期为16像素的正弦条纹，图5展示了lcd显示屏上显示的竖直方向周期为256像素的正弦条纹。正弦条纹调制幅度取120，周期为16像素且相移步数为4时，显示屏上显示的水平和竖直方向的正弦条纹图像可表示为：

计算机控制工业相机拍摄所有正弦条纹模式下反射正弦条纹的手机盖板玻璃图像序列，记为其中x，y分别表示竖直和水平方向，16与256表示正弦条纹周期，n决定正弦条纹初始相位同时表示每个方向每种周期情况下拍摄的手机盖板玻璃图像的序号；图6展示了竖直方向周期为16像素的正弦条纹模式下拍摄的反射正弦条纹的手机盖板玻璃图像。

步骤3，计算手机盖板玻璃缺陷增强图像与解析相位图；

将步骤1)中拍摄的图片序列进行合成，得到手机盖板玻璃增强图片，图7展示了一张由图片序列合成的手机盖板玻璃增强图片合成手机盖板玻璃增强图片的过程可以表示：

基于步骤2)拍摄到的反射正弦条纹的手机盖板玻璃图像序列进行相位解析；基于四组图像序列分别计算对应的截断相位图截断相位图的计算过程可表示为：

基于截断相位图以及基于三频法(一种时间相位展开法)对截断相位进行展开，获得水平和竖直方向的展开相位图后，构建凹陷滤波器滤除展开相位图载波即可获得水平和竖直方向的解析相位图和图8展示了截断相位图图9展示了手机盖板玻璃缺陷增强图包含缺陷的区域以及该区域对应的解析相位图；

步骤4，手机盖板玻璃缺陷分割；

使用一块无缺陷的手机盖板玻璃制作参考模板及参考阈值；

首先将一块无缺陷手机盖板玻璃放置在检测台上的指定位置，并基于步骤1和步骤3制备无缺陷手机盖板玻璃增强图像ienhanced，然后对无缺陷手机盖板玻璃增强图片进行均值滤波作为增强图参考模板itemplate；计算无缺陷手机盖板玻璃增强图像与增强图参考模板之差的绝对值图像，对该绝对值图像进行最大值滤波作为增强图参考阈值tthreshold；itemplate和tthreshold的制备过程可表示为：

itemplate＝kblur*ienhanced

tthreshold＝kmax*abs(ienhanced-itemplate)+δt

式中kblur选择的是尺寸为30*30的均值滤波卷积核，kmax选择的是尺寸为5*5的最大值滤波卷积核，δt是与itemplate尺寸相同所有元素取值均为18的常系数矩阵；图10为手机盖板玻璃增强图片包含缺陷的区域示例，记为idefect，图11为无缺陷手机盖板玻璃增强图对应图10的区域ienhanced，图12为图11经尺寸为30*30的均值滤波制作的增强图参考模板，记为itemplate；

利用sobel算子计算无缺陷手机盖板玻璃增强图片的一阶导数图作为其边缘梯度图genhanced，对genhanced使用5*5的最大值滤波卷积核进行最大值滤波作为参考梯度阈值gtemplate；gtemplate的制备过程可表示为：

gtemplate＝kmax*genhanced+δg

式中kmax是尺寸为5*5的最大值滤波卷积核，δg是和genhanced尺寸相同且所有元素取值均为8的系数矩阵；

对待测手机盖板玻璃增强图进行缺陷分割；

将待测手机盖板玻璃放置在检测台的指定位置，基于步骤1)与步骤3)计算待测手机盖板玻璃增强图像idefect，然后使用sobel算子计算idefect的一阶导数作为其边缘梯度图gdefect；

基于增强图参考模板以及增强图参考阈值将idefect缺陷的主要区域通过图像二值化分割出来；idefect的主要缺陷区域二值化过程可表示为：

式中ibinary_1是基于增强图参考模板以及增强图参考阈值的二值化分割结果图；

基于参考梯度阈值将待测缺陷的边缘区域以及对比度不明显的缺陷区域通过图像二值化分割出来；综合ibinary_1以及基于参考梯度阈值的图像二值化分割的过程可表示为：

式中ibinary_2(x，y)为综合了ibinary_1(x，y)与边缘梯度阈值分割的缺陷分割结果；图13是基于增强图参考模板以及增强图参考阈值的二值化分割结果图示例，它对应的是图10中缺陷的主要区域的二值化分割结果；图14是图10中缺陷综合了增强图参考模板、增强图参考阈值、参考梯度阈值的二值化分割结果，缺陷的主要区域、缺陷边缘、对比度不明显区域均被正确分割。

步骤5，手机盖板玻璃缺陷检测与定位；

基于canny算子寻找缺陷二值化分割结果图ibinary_2中的缺陷边缘轮廓，然后通过寻找缺陷边缘轮廓最小外接矩形的方法定位缺陷在相机视场中的位置，并将缺陷最小外接矩形区域设定为缺陷的感兴趣区。

步骤6，手机盖板玻璃缺陷几何特征提取；

基于缺陷感兴趣区二值图提取缺陷的伸展度、圆形度、最小外接矩形长宽比、面积、边缘平直度5个几何特征，并将这5个几何特征组合成特征向量对缺陷进行特征表示；

步骤7，缺陷的分类；

基于步骤6)获得的缺陷几何特征使用多分类线性svm模型将缺陷划分为面型缺陷、线型缺陷、点状缺陷三种类型；

基于步骤5)的缺陷检测与定位过程获得的点状缺陷区域以及线状缺陷区域在工业相机视场中的位置信息以及步骤3)中获取的解析相位图，获取点状与线型缺陷感兴趣区对应的解析相位图；

基于缺陷感兴趣二值图将点状与线型缺陷感兴趣区对应的解析相位图划分为缺陷区域和非缺陷区域两部分，计算缺陷感兴趣区解析相位图中非缺陷区域与缺陷区域的解析相位均值mpdeffect与mpnone，若mpdeffect与mpnone之差的绝对值大于阈值δmp，则认为缺陷为非凹凸性缺陷并结束凹凸性判别，其中阈值δmp的取值为25；

否则，计算点状与线型缺陷感兴趣区对应的解析相位图的一阶导数，并计算缺陷区域与非缺陷区域解析相位图一阶导数均值mgdeffect与mgnone；如果mpdeffect与mgdeffect之和大于mpnone与mgnone之和一个阈值δgp，则认为缺陷为凹凸性缺陷，否则为非凹凸性缺陷，其中阈值δgp取6。

综合缺陷的形状和凹凸性信息，将缺陷划分为面型污迹、凹凸点、点状附着物、划伤、线状污迹五大类。图15为检测与分类结果示例，它是图9缺陷区域对应的检测与分类结果，包含两个划伤缺陷、两处大面积污迹缺陷、一处线型污迹缺陷以及两处轻微透明污点缺陷。