一种多层级的智能手机屏幕缺陷检测方法

本发明属于手机屏幕缺陷检测领域，尤其涉及一种多层级的智能手机屏幕缺陷检测方法。
背景技术：
：屏幕作为智能手机的核心组成部分,是人机交互的关键所在,其质量的好坏严重影响着用户对手机的体验。因此，各大手机生厂商对手机屏幕的生产工艺越来越苛刻。但是，手机屏幕在生产的过程中，又极容易受到生产环境和生产工艺的影响。为了防止装有缺陷屏幕的手机流入市场损害消费者的利益，对手机屏幕生厂商自身的信誉造成影响，各大手机屏幕生厂商采取一些必要的手段来对手机屏幕的质量进行检测。传统的检测手段是在生产线上安排工人值守，工人对生产线上的屏幕用肉眼逐一进行检测。但是这种手段存在检测效率慢、人工成本高、缺乏统一的判断标准等缺点。此外，还有一些计算传统计算机视觉技术的手机屏幕缺陷检测技术，但这些方法大多只是针对一种或者几种特定的缺陷类型进行算法设计，一旦遇到新的缺陷，又要针对性的设计新的算法，缺乏通用性。具体而言，在智能手机屏幕外观缺陷任务中，存在的主要难点有：1)缺陷与背景具有较强的关联性。感兴趣区域是否存在缺陷需要结合其所处位置的背景信息综合判断，在不同的背景下，其是否为缺陷存在不确定性。例如异色类缺陷，其判定条件是前景缺陷与背景图像存在色相、明度等显著差异。2)背景信息具有极大的干扰性。对于二维矩形图像与不规则的目标检测区域之间的无关背景区域，具有较大的可能性存在与缺陷相似的区域。3)缺陷种类繁多且界定模糊。由于不同的生产环境、生产标准和生产技术等差异，不同的生产场景下的手机屏幕存在不同类别的缺陷种类，且目前缺乏统一的分类标准，缺陷种类的标定存在因人而异的问题。4)标定数据集质量参差不齐。不同于学术界广泛认同使用的voc、coco等检测数据集，工业界落地应用的数据集需要因任务场景的不同需求进行具体针对的定制化收集。基于主观上标定人员缺乏对人工智能技术的认知匮乏和客观上缺陷样本区分度不高等因素，智能手机屏幕缺陷工业缺陷数据集存在主要两个问题：一是不同类别下的样本数据量相差大，不满足独立同分布条件；二是整体样本数量不够多。上述前三点问题是手机屏幕外观缺陷检测任务中特定的难点问题，其原因在于缺陷的定义因场景而异，第4点问题则是目前各类深度学习算法落地应用的普遍难点。技术实现要素：本发明的目的是克服现有技术中的不足，提供一种多层级的智能手机屏幕缺陷检测方法。这种多层级的智能手机屏幕缺陷检测方法，包括以下步骤：步骤1、人工标注图像中的缺陷，然后对前景缺陷图像和背景图像进行分离；在标注的前景缺陷图像基础上，对前景缺陷图像在颜色和尺寸上进行增强，扩充前景缺陷的样本数量和形态多样性；最后结合增强后的前景缺陷图像和背景图像生成标注可靠且类别均衡、适用于实际生产场景的数据集；步骤1.1、人工标注出少量图像中每个前景缺陷图像所处的矩形区域位置和类别信息，然后对前景缺陷图像和背景图像进行分离；步骤1.2、对前景缺陷图像进行图像降噪处理：采用中值滤波处理图像噪声，将目标点的灰度值设定为目标点周围一区域所有点的中值，使目标点领域像素值更逼近真值，从而剔除独立噪声信号；图像滤波处理降噪后，会降低图像轮廓和边缘的清晰度，采用拉普拉斯算子对降噪后的图像进行锐化处理，增强图像中物体和背景灰度值之间的差距：上式中，f(x,y)为降噪后的图像；为拉普拉斯变换后的图像；c为增强系数，一般取1；g(x,y)为增强后的图像；对前景缺陷图像进行色度、锐度、亮度上的随机调整，对前景缺陷图像进行随机角度的旋转、固定比例范围内的随机缩放；步骤1.3、黑点、脏污、划痕和毛发等四类缺陷，其特征明显，对于异色缺陷，其缺陷特征在于与背景邻近区域的颜色差异，因此经过增强后的缺陷前景很难与背景图像进行普适性的匹配；在随机选取的背景图像区域，对其像素值做调整：上式中，valuenew是增强后的像素值；valueold为原像素值，取值范围为0～255；brightness表示亮度比值，取值为0.9或1.1，brightness取值表示0.9暗异色，brightness取值1.1表示亮异色；exp取值范围为1.5～3，适用于不同形态的异色缺陷；a和b分别表示矩形背景图像区域宽度和高度的一半；factor的几何含义表示某点到缺陷中心的距离和缺陷区域边界到缺陷中心的距离之比，此处取小于1的值，取值为0.95，让缺陷区域包含有一部分背景信息，提升泛化性；centerx和centery表示矩形背景图像区域中心的横纵坐标，并以(centerx，centery)为原点建立直角坐标系，x和y分别表示在矩形背景图像区域内点的横纵坐标；步骤1.4、将前景缺陷图像与目标兴趣检测区域的随机位置进行图像多频段融合，对前景缺陷图像和背景图像构建拉普拉斯金字塔，对每一层进行融合：上式中，上标i表示拉普拉斯金字塔的第i层；表示输出的融合图像的拉普拉斯金字塔的第i层的特征；表示前景缺陷图像的拉普拉斯金字塔的第i层的特征；表示背景图像的拉普拉斯金字塔的第i层的特征；ri表示第i层的融合区域，一般i取值为2；多频段融合在低频处使用较大的尺度融合，避免了前景缺陷与背景的割裂，在高频处使用较小尺度的融合，避免了背景信息对前景缺陷的干扰；步骤2、利用深度残差网络和特征金字塔网络对数据集进行多尺度缺陷区域特征抽取，得到多尺度特征图像；利用特征金字塔网络将多尺度特征图像融合，减少小目标缺陷在训练中的丢失，提高缺陷检测泛化能力，生成具有高级语义的高层特征图，高层特征带有高级语义信息和较大的感受野，适合检测大物体；生成具有低级语义的浅层特征图，浅层特征带有低级的细节语义信息和较小的感受野，适合检测小物体；由区域检测网络提供图像中一系列可能的缺陷候选区，再使用深度残差网络通过跳层连接将深度残差网络的输入、输出加在一起提取缺陷候选区的图像特征；最后将融合全部信息的特征图进行分类，完成目标分类与回归任务；借助深度残差网络最高达152层的卷积，可以更好地学习到图像特征，同时借助特征金字塔网络，提取图像在不同尺度上的特征，将大尺度的位置信息与小尺度的语义信息相结合，对手机屏幕上的小区域缺陷检测任务十分适用；步骤3、基于步骤2中特征图像抽取目标兴趣检测区域，旨在缩小检测区域，提升检测效率和避免背景信息干扰：过滤背景信息，可以大幅度地提高缺陷检测的准确率；通过大尺度锚定的区域检测网络检出不同工位拍摄的待检测图像的目标兴趣检测区域；步骤4：在目标兴趣检测区域用区域检测网络生成待检测潜在缺陷区域，并结合步骤2中特征图像判断每个待检测潜在缺陷区域中是否有缺陷存在，得到缺陷的种类；再抽取等长的特征向量，区域检测网络通过设定不同尺度的锚定，以softmax函数判断每个区域为前景缺陷图像或背景的概率，并对前景缺陷图像候选区域的位置进行回归；步骤5、输出缺陷检测结果。作为优选，步骤4具体包括如下步骤：步骤4.1、对数据集中缺陷样本的尺寸及比例进行统计，进行针对性的锚定尺度的设定；锚定的长宽款比例包括0.2、0.5、1、2和5共五种，像素尺寸包括32像素、64像素、128像素、256像素和512像素共五种，可以更好地筛选出缺陷区域并加速候选框的回归过程；步骤4.2、结合特征图像，对缺陷候选区进行目标兴趣检测区域池化操作，对图像特征进行归一化处理，通过softmax函数将归一化的图像特征映射到缺陷类别的概率分布，其目标函数为：上式中，j(θ)为目标函数，n为样本数，y为标注类别，为预测类别，θ为模型参数，r(θ)为防止过拟合的l2正则项，λ为一个由经验设定的参数项。作为优选，步骤1中缺陷包括毛发、脏污、黑点、划痕和异色。作为优选，步骤2高层特征图中高级语义融合低分辨率语义信息较强的特征图，或高级语义融合高分辨率语义信息较弱但空间信息丰富的特征图。作为优选，步骤3中目标兴趣检测区域指图像中近似矩形的手机屏幕区域。作为优选，步骤3中特征金字塔网络由三部分组成，第一部分通过卷积网络上采样，第二部分从特征图出发下采样，第三部分横向连接，将前两部分同大小的特征图进行融合，得到多尺度的特征图。作为优选，步骤4.2中通过目标兴趣检测区域池化的方式来抽取等长的特征向量，缺陷分类概率的最大值为检测结果的分类类别。本发明的有益效果是：针对缺陷与背景具有较强的关联性和背景信息具有极大的干扰性这两点，本发明提出了在缺陷区域检测网络之间添加一层分割提取工序，用于提取目标待检测的兴趣区域，可以有效地避免背景信息的干扰；针对缺陷种类繁多且界定模糊和标定数据集质量参差不齐这两点，本发明就手机屏幕外观缺陷检测这一特定任务需求提出了图像局部区域增强机制，能够摒弃不同标注人员的主观性差异，并且具有高度的可拓展性，能够适用任务需求的不断扩增；可以有效地提高缺陷的检出能力及缺陷分类的准确性，并提升缺陷检测效率和实时性，满足实际生产需求。本发明通过兴趣检测区域提取，有效地提升了图像预处理的效率，并避免了现有的通用目标检测技术在手机屏幕缺陷检测的小目标检测任务中受背景因素干扰大的问题，并针对实际落地应用的数据集匮乏问题提出了针对性的增强方式，大大降低了前期的人力标注投入，进一步提高了整体方案的效率。附图说明图1为本发明缺陷目标检测整体流程图；图2为本发明缺陷样本增强的流程图；图3为本发明缺陷前景的增强流程图；图4为本发明缺陷检测的流程图；图5为本发明提取多尺度图像特征的特征金字塔网络结构图。具体实施方式下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本
技术领域：
的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。实施例1：一种多层级的智能手机屏幕缺陷检测方法，其整体流程如图1所示，包括：步骤1、如图2，人工标注图像中的缺陷，然后对前景缺陷图像和背景图像进行分离；在标注的前景缺陷图像基础上，对前景缺陷图像在颜色和尺寸上进行增强(如图3所示)，扩充前景缺陷的样本数量和形态多样性；最后结合增强后的前景缺陷图像和背景图像生成标注可靠且类别均衡、适用于实际生产场景的数据集；缺陷包括毛发、脏污、黑点、划痕和异色；步骤1.1、人工标注出少量图像中每个前景缺陷图像所处的矩形区域位置和类别信息，然后对前景缺陷图像和背景图像进行分离；步骤1.2、对前景缺陷图像进行图像降噪处理：采用中值滤波处理图像噪声，将目标点的灰度值设定为目标点周围一区域所有点的中值，使目标点领域像素值更逼近真值，从而剔除独立噪声信号；图像滤波处理降噪后，会降低图像轮廓和边缘的清晰度，采用拉普拉斯算子对降噪后的图像进行锐化处理，增强图像中物体和背景灰度值之间的差距：上式中，f(x,y)为降噪后的图像；为拉普拉斯变换后的图像；c为增强系数，一般取1；g(x,y)为增强后的图像；对前景缺陷图像进行色度、锐度、亮度上的随机调整，对前景缺陷图像进行随机角度的旋转、固定比例范围内的随机缩放；步骤1.3、黑点、脏污、划痕和毛发等四类缺陷，其特征明显，对于异色缺陷，其缺陷特征在于与背景邻近区域的颜色差异，因此经过增强后的缺陷前景很难与背景图像进行普适性的匹配；在随机选取的背景图像区域，对其像素值做调整：上式中，valuenew是增强后的像素值；valueold为原像素值，取值范围为0～255；brightness表示亮度比值，取值为0.9或1.1，brightness取值表示0.9暗异色，brightness取值1.1表示亮异色；exp取值范围为1.5～3，适用于不同形态的异色缺陷；a和b分别表示矩形背景图像区域宽度和高度的一半；factor的几何含义表示某点到缺陷中心的距离和缺陷区域边界到缺陷中心的距离之比，此处取小于1的值，取值为0.95，让缺陷区域包含有一部分背景信息，提升泛化性；centerx和centery表示矩形背景图像区域中心的横纵坐标，并以(centerx，centery)为原点建立直角坐标系，x和y分别表示在矩形背景图像区域内点的横纵坐标；步骤1.4、将前景缺陷图像与目标兴趣检测区域的随机位置进行图像多频段融合，对前景缺陷图像和背景图像构建拉普拉斯金字塔，对每一层进行融合：上式中，上标i表示拉普拉斯金字塔的第i层；表示输出的融合图像的拉普拉斯金字塔的第i层的特征；表示前景缺陷图像的拉普拉斯金字塔的第i层的特征；表示背景图像的拉普拉斯金字塔的第i层的特征；ri表示第i层的融合区域，一般i取值为2；多频段融合在低频处使用较大的尺度融合，避免了前景缺陷与背景的割裂，在高频处使用较小尺度的融合，避免了背景信息对前景缺陷的干扰；步骤2、如图4所示，利用深度残差网络和特征金字塔网络对数据集进行多尺度缺陷区域特征抽取，得到多尺度特征图像；利用特征金字塔网络将多尺度特征图像融合，减少小目标缺陷在训练中的丢失，提高缺陷检测泛化能力，生成具有高级语义的高层特征图，高层特征带有高级语义信息和较大的感受野，适合检测大物体；生成具有低级语义的浅层特征图，浅层特征带有低级的细节语义信息和较小的感受野，适合检测小物体；由区域检测网络提供图像中一系列可能的缺陷候选区，再使用深度残差网络通过跳层连接将深度残差网络的输入、输出加在一起提取缺陷候选区的图像特征；最后将融合全部信息的特征图进行分类，完成目标分类与回归任务；借助深度残差网络最高达152层的卷积，可以更好地学习到图像特征，同时借助特征金字塔网络，提取图像在不同尺度上的特征，将大尺度的位置信息与小尺度的语义信息相结合，对手机屏幕上的小区域缺陷检测任务十分适用；高层特征图中高级语义融合低分辨率语义信息较强的特征图，或高级语义融合高分辨率语义信息较弱但空间信息丰富的特征图；步骤3、如图4所示，基于步骤2中特征图像抽取目标兴趣检测区域，旨在缩小检测区域，提升检测效率和避免背景信息干扰：不同于常规的目标检测任务着眼于整张图像进行目标检测，手机屏幕外观缺陷检测任务只关注特定区域的目标检测，不同工位的图像有着不同的检测兴趣区域，通常检测区域的面积在整张图像的占比在50％～80％不等。缺陷是相对于屏幕外观而定义的，而非绝对的标准，因此检测区域外的背景因素存在极大的干扰，通过对背景信息的过滤，可以大幅度地提高缺陷检测的准确率。传统的边缘轮廓检测算法可以较好地提取屏幕对象所在的图像区域，但存在以下几点问题：1)耗时长，图像裁剪在整个模型检测过程中的时间占比高达50％，是极大影响检测效率的瓶颈问题。2)泛化性差，边缘轮廓检测算法的前置步骤需要将图像进行二值化处理，人为设定的二值化阈值无法适应不同的拍摄工位和光照条件，自适应的二值化算法，如分水岭算法，在某些光照条件下，依然达不到理想的效果，容易造成背景区域干扰因素的误检。不同工位拍摄的待检测图像的兴趣检测区域相对固定，受限于硬件条件存在着不同程度的位置偏差和光照偏差。其图像特征也相对固定，通过大尺度锚定的区域检测网络易于检出。该方法相较于基于边缘轮廓检测的提取方法，由于共用前序步骤的特征图像，可以极大地提高检测时间效率。过滤背景信息，可以大幅度地提高缺陷检测的准确率；通过大尺度锚定的区域检测网络检出不同工位拍摄的待检测图像的目标兴趣检测区域；目标兴趣检测区域指图像中近似矩形的手机屏幕区域；如图5所示，特征金字塔网络由三部分组成，第一部分通过卷积网络上采样，第二部分从特征图出发下采样，第三部分横向连接，将前两部分同大小的特征图进行融合，得到多尺度的特征图；步骤4：如图4所示，在目标兴趣检测区域用区域检测网络生成待检测潜在缺陷区域，并结合步骤2中特征图像判断每个待检测潜在缺陷区域中是否有缺陷存在，得到缺陷的种类；再抽取等长的特征向量，区域检测网络通过设定不同尺度的锚定，以softmax函数判断每个区域为前景缺陷图像或背景的概率，并对前景缺陷图像候选区域的位置进行回归；步骤4.1、对数据集中缺陷样本的尺寸及比例进行统计，进行针对性的锚定尺度的设定；锚定的长宽款比例包括0.2、0.5、1、2和5共五种，像素尺寸包括32像素、64像素、128像素、256像素和512像素共五种，可以更好地筛选出缺陷区域并加速候选框的回归过程；步骤4.2、结合特征图像，对缺陷候选区进行目标兴趣检测区域池化操作，对图像特征进行归一化处理，通过softmax函数将归一化的图像特征映射到缺陷类别的概率分布，其目标函数为：上式中，j(θ)为目标函数，n为样本数，y为标注类别，为预测类别，θ为模型参数，r(θ)为防止过拟合的l2正则项，λ为一个由经验设定的参数项；通过目标兴趣检测区域池化的方式来抽取等长的特征向量，缺陷分类概率的最大值为检测结果的分类类别；步骤5、输出缺陷检测结果。实施例2：在实施例1的基础上，通过使用步骤1生成的数据集进行多层级的卷积神经网络模型训练和测试，实验数据包括5422张真实场景标注数据，实验评价指标为缺陷检出准确率、召回率和f1分数，准确率(precision)表示预测的结果中有多少样本是正确的,召回率(recall)表示预测的结果中有多少正样本被正确检测出来。f1定义如下:正确检出的定义为检出区域与标注区域的iou(重叠度)大于等于0.5，且检出类型与标注类型一致。iou计算的是“预测的区域”和“真实的区域”的交集和并集的面积的比值，实验结果如下表1所示。表1缺陷类别检测结果表缺陷类型准确率召回率f1黑点97.2％93.1％0.95毛发96.1％97.0％0.96划痕95.2％95.1％0.95脏污94.9％93.6％0.94异色93.3％94.7％0.94当前第1页12