一种用于工艺品表面缺陷的冷启动视觉检测方法

1.本发明属于工艺品缺陷检测领域，尤其涉及一种用于工艺品表面缺陷的冷启动视觉检测方法。


背景技术：

2.随着全球市场对于工业制造产品质量要求的提高，工艺品的表面缺陷检测已经越来越成为制造商重视的环节之一，而传统依靠人眼分辨产品是否有缺陷的方法已经不能满足日益严苛的检测需求，而且人工检测存在主观性，受到新旧质检人员的熟练、效率和成本等制约；工艺品的表面缺陷检测逐渐成为制造企业的一块心病。
3.现如今，伴随着视觉硬件的不断发展和人工智能技术的进一步成熟，越来越多的基于机器视觉技术的自动缺陷检测算法被应用于工业生产领域中。但是由于设备及工艺等因素的影响，产品表面的缺陷类型往往五花八门，比如织物生产中方出现的污点、破损，金属产品上的划痕、裂纹、凹凸不平等各种不同类型的缺陷，使得传统的机器视觉算法很难做到对缺陷特征完整的建模和迁移，复用性不大，要求区分工况，这会浪费大量的人力成本。
4.近年来，深度学习在特征提取和定位上取得了非常好的效果，越来越多的学者和工程人员开始将深度学习算法引入到缺陷检测领域中，然而，大部分深度学习模型对于数据和标注的需求是海量的，在一些特殊的领域应用，可能存在一定的“水土不服”的情况，如医疗、工业，其原因是这些领域由于其特殊性无法提供海量的精准标注数据，从而不能支持深度学习模型的训练。


技术实现要素：

5.本发明的目的是克服现有技术中的不足，提供一种用于工艺品表面缺陷的冷启动视觉检测方法。
6.这种用于工艺品表面缺陷的冷启动视觉检测方法，包括以下步骤：
7.s1、融合不同领域缺陷数据集，并对缺陷数据集的数据进行增强，利用增强后的缺陷数据集训练卷积神经网络，得到冷启动视觉检测模型；
8.s2、抽取冷启动视觉检测模型的卷积层特征，构建样本特征池；
9.s202、不同的卷积神经网络用于卷积的激活函数会输出不同特征图片，抽取不同卷积层卷积得到的不同语义特征图；
10.s204、利用平滑算法对每个独立语义的特征图进行局部平滑；
11.s206、以特征通用性和最高分辨率为选择目标，构建样本特征池；
12.s3、采用迭代贪婪逼近算法计算出小规模的子样本特征池，并用子样本特征池替换原有的样本特征池；优化目标函数为：
[0013][0014]
上式中，为样本特征池的子集，m为从原样本特征池中任意抽取的特征样
本，n为从新的子样本特征池中任意抽取的特征样本；
[0015]
通过优化目标函数选择子样本特征池，在子样本特征池中的信息量相比原特征池中的信息量未发生变化的情况下，让子样本特征池中的图片最少；
[0016]
s4、在线工艺品检测时，使用卷积神经网络进行图片特征提取，后将提取的特征信息和样本特征池信息进行比对，基于特征偏离判断是否是缺陷图片。
[0017]
作为优选，步骤s1中缺陷数据集为mvtec ad数据集，包括不同领域(木材，布匹，瓷砖等)中的五种工艺品表面纹理以及十种工艺品；卷积神经网络为resnet或vgg。
[0018]
作为优选，步骤s1中对缺陷数据集的数据进行增强的方式为对数据集中的每一个图片随机做一定的旋转或仿射变化。
[0019]
作为优选，步骤s202具体为：抽取不同卷积层卷积得到的不同语义特征图；
[0020]
φ
i
,
j
＝φ
j
(x
i
)
[0021]
上式中，φ
j
(x
i
)表示从无缺陷分样本x
i
在神经网络φ中的第j层抽取的特征，其中x
i
∈j表示是从卷积神经网络抽取特征所在的网络层，j∈{0,1,2,3,4}；其中表示数据集，n表示数据集中样本的数量；φ表示卷积神经网络；x表示获取到的无缺陷分样本，并且满足y
x
表示样本x的标签，y
x
∈{0,1}，0表示为正常样本，1表示为不正常样本。
[0022]
作为优选，步骤s204具体为：
[0023]
将经过卷积神经网络训练的冷启动视觉检测模型的语义特征图表示为其中c
*
表示深度，h表示高度，w
*
表示宽度；r表示集合，为φ
i,j
的汇总，φ
i,j
表示第i张图片从神经网络的第j层中抽取得到的语义特征图；
[0024]
然后用表示每一个单独样本在卷积神经网络的不同卷积层中抽取的语义特征图，h和w分别表示语义特征图的高度和宽度；通过以下公式对抽取得到的语义特征图进行特征筛选：
[0025][0026]
上式中，a和b分别表示平滑时的像素点位置(就是我们选取哪些像素点进行平滑)，a表示平滑时的像素点的高，b表示表示平滑时的像素点的宽；其中p表示抽取得到的不同语义特征图片的面积大小，表示平滑后的语义特征图：
[0027][0028]
上式中，f
agg
为聚合函数，f
agg
采用不同的聚合方式进行替换；
[0029]
找出平滑时的像素点的宽和高是滑动步长s的正数倍数的经过平滑后的语义特征图：将每一张经过平滑后的语义特征图的高和宽均除以滑动步长s求得余数，并且要求每一张经过平滑后的语义特征图的高和宽分别小于经过卷积神经网络训练的冷启动视觉检测模型的语义特征图的高度和宽度；
[0030]
[0031]
h,w mods＝0,h<h
*
,w<w
*
,h,w∈n}
[0032]
上式中，s是聚合时的滑动步长，表示最终得到的样本特征图合集。
[0033]
作为优选，步骤s206最终得到的样本特征池如下：
[0034][0035]
作为优选，步骤s4具体包括以下步骤：
[0036]
s402、使用卷积神经网络对待检测图片进行不同层级特征的提取；
[0037]
s404、把待检测图片的不同层级图片进行处理，将每一层的特征图片使用双线性插值的方法缩放为标准大小，标准大小为样本特征池中每一层的特征样本大小；为进一步减轻特征图片放大带来的影响，采用高斯核对放大后的特征图片进行平滑处理；
[0038]
s406、计算特征样本偏离样本特征池的得分，其中偏离得分高的被分为有缺陷的图片；
[0039][0040]
s＝||m
test,*
‑
m
*
||2[0041]
上式中，x
test
表示输入待进行缺陷检测的图片，表示样本特征池中的特征，m
test,*
和m
*
分别表示最终得到的、以彼此作为参照的两个相似特征集的样本偏差，相似特征集由待进行缺陷检测的图片后计算得到；最后计算m
test,*
和m
*
的偏离程度得分s，当偏离程度得分超过预先设定的阈值时判断该待进行缺陷检测的图片为有缺陷的图片。
[0042]
作为优选，步骤s404中用于对放大后的特征图片进行平滑处理的高斯核宽为6。
[0043]
本发明的有益效果是：本发明提出一种用于工艺品表面缺陷的冷启动视觉检测方法，利用不同领域缺陷数据集训练的冷启动视觉检测模型和没有缺陷的样本图片，通过构建特征池和计算偏离程度可以较好实现小样本场景下的工艺品表面缺陷检测，以解决在少量样本下，现有工艺品缺陷检测技术存在的缺陷特征无法有效表征的难题。
附图说明
[0044]
图1为本发明实施例搭建的冷启动视觉检测模型流程图；
[0045]
图2为本发明实施例中的构建样本特征池流程图；
[0046]
图3为本发明实施例中利用样本特征图进行缺陷检测的流程图。
具体实施方式
[0047]
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
[0048]
实施例一
[0049]
本技术实施例一提供了一种如图1所示的用于工艺品表面缺陷的冷启动视觉检测方法，包括以下步骤：
[0050]
s1、融合不同领域的缺陷数据集并通过旋转变换进行数据增强，使用增强后的数据集进行训练卷积神经网络，得到冷启动视觉检测模型；
[0051]
s2、从卷积神经网络模型(可以是resnet或vgg等图像特征提取网络)的卷积层特征样本抽取，构建缺陷样本特征池；
[0052]
s202、使用卷积神经网络进行待检测图片的不同层级特征提取；
[0053]
s204、利用平滑算法对每个独立语义的特征图进行局部平滑；
[0054]
s206、以特征通用性和最高分辨率为选择目标，构建缺陷样本特征池；
[0055]
s3、样本特征池进行迭代更新。随着样本数量的增加，样本特征池变得非常大，并且有部分特征重复，采用迭代贪婪逼近算法构建子样本特征池，并替换原有的样本特征池。
[0056]
s4、进行图片缺陷检测时利用冷启动视觉检测模型进行特征提取，后将提取的特征信息和样本特征池信息进行比对，基于特征偏离得分与预设阈值比较判断是否为缺陷图片。
[0057]
s402、使用卷积神经网络(该网络与训练冷启动视觉检测模型要保持一致)进行图片的不同层级特征提取。
[0058]
s404、对待检测图片经过卷积神经网络网络得到的不同层级的特征图片进行处理，将每一层的特征图片使用双线性插值的方法缩放为标准大小(和样本特征池中每一层的特征样本大小相同)。
[0059]
s406、计算特征样本偏离样本特征池的得分，偏离得分大于预设阈值的图片可判定为有缺陷图片。
[0060]
实施例二
[0061]
在实施例一的基础上，如图2所示，步骤s2具体为：
[0062]
步骤s202、不同的神经网络层利用不同的激活函数会输出不同特征图片，对于数据集中，获取到的无缺陷分样本其中y
x
表示样本x的标签，y
x
∈{0,1}，0表示为正常样本，1表示为不正常样本。用φ表示卷积神经网络，φ
i,j
＝φ
j
(x
i
)表示进行的特征抽取，其中j表示是从卷积神经网络抽取出特征信息的网络层，j∈{0,1,2,3,4}。
[0063]
步骤s204、在类卷积神经网络架构的特定情况下，将特征图表示为其中c
*
表示深度，h
*
表示高度，w
*
表示宽度。然后用表示每一个单独样本在不同网络层中抽取的特征图，通过以下的公式进行特征的筛选：
[0064][0065]
其中p表示不同特征图的面积大小，表示平滑后的特征图片，
[0066][0067]
其中f
agg
表示聚合函数，可以采用不同的聚合方式进行替换。
[0068][0069]
[0070]
其中s是聚合时的滑动步长，，表示最终得到的样本特征图合集。
[0071]
步骤s206、以特征通用性和最高分辨率为选择目标，构建样本特征池，最终得到样本池的公式如下：
[0072][0073]
实施例三
[0074]
在实施例一和实施例二的基础上，如图3所示，步骤s4具体为：
[0075]
s402、使用卷积神经网络进行图片的不同层级特征提取，通常是每一个卷积块算是一个层级而不是一个卷积层算是一个层级。
[0076]
s404、为了匹配原始输入分辨率(如可能想使用中间网络特征)，通过双线性插值提高结果。此外，采用高斯核宽σ＝4平滑图片结果。；
[0077]
s406、计算样本偏离得分score，公式如下：
[0078][0079]
score＝||m
test,*
‑
m
*
||2[0080]
其中x
test
表示输入需要缺陷检测的图片，是样本池中的一个特征，m
test,*
和m
*
分别表示最终得到两个相似特征集的样本偏差，最后计算两个数据集合的偏离程度得分score，当偏离程度较大时判断为缺陷。
[0081]
为了进一步证明本实施例中方法的效果，使用超过1万张图片的充电器外观缺陷数据集中的无缺陷样本训练本发明提出的冷启动视觉检测模型，剩下的无缺陷图片和有缺陷图片用于测试，与其他工艺品表面缺陷检测方法的对比结果如下表1所示。
[0082]
表1本发明的检测方法与其他工艺品表面缺陷检测方法的对比结果表
[0083]
方法vggresnetmobilenetyolo v3faster r
‑
cnn本发明准确率85％86.7％88.2％93.5％95.8％98.5％错误率15％13.3％11.8％6.5％4.2％1.5％
[0084]
通过检测性能对比可以看出本发明所提出的缺陷检测比其他方法检测准确率提升了2.5％以上，由于缺陷产品流通到消费者手上对制造商有非常负面的影响，2.5％的检测性能提升具有重要意义。