用于工业瑕疵图像检测的参数自动调节方法与流程

本发明涉及工业领域不良品的检测领域，具体为用于工业瑕疵图像检测的参数自动调节方法。

背景技术：

目前，机器视觉广泛应用于工业领域不良品的检测中，传统算法在机器视觉中占据很大一部分比例，然而传统算法在使用的过程中容易存在以下几个问题：

问题一：传统算法的准确率容易受待检测图像质量的影响。例如，在产品缺陷的检测过程中，产品的污迹、气泡等干扰物容易造成过检，而为了解决过检问题，传统算法往往会开放一些参数(例如：面积、长度、宽度、圆形度、对比度等)，我们称之为参数序列，提供给用户调节，用以降低过检。而我们不能每检测一张图片，都提前设置一组最合适此张图片的参数序列，因此算法工程师会根据已有的某一批次图片，找出一组最适合这一批次图片的参数序列，即最优参数序列(即保证检出率的同时要降低过检率)。寻找最优参数序列是很耗时的，并且即使找到最优参数序列，过检率和检出率依然不能很好平衡。

问题二：用户不知道如何寻找传统算法的最优参数序列。例如，受生产工艺不稳定的影响，某一批产品出现大量的圆形污迹并且产生大量圆形污迹过检，因此要调整参数中的圆形度，从而降低圆形污迹过检。但是大部分用户没有图像处理的基本知识，也不能理解每个参数的意义，从而没有能力寻找到最优参数，因此当生产工艺稍微改变，依然需要算法工程师为他们寻找最优参数序列，这造成需要有算法工程师长期维护此项目，大大增加项目的维护成本。

现有解决传统算法参数序列调整的方法，是算法工程师根据某一批图片，人工调整传统算法参数序列，根据检出和过检情况，找到某一批图像的最优参数序列，当产品生产工艺不稳定时，就要经常性的寻找最优参数序列，非常耗时，而且并不是针对每张图片的最优参数序列，因此过检率依然很高。

例如申请号为pct/cn2013/076536，名称为一种背光模组瑕疵的检测方法及设备，以图像获取单元的拍摄方向与背光模组的表面成多个预设角度，获取含有背光模组中各部件特征的图像；对获取到的含有背光模组中各部件特征的图像进行分析，确定背光模组中各部件存在的瑕疵点。该检测方法及设备，相对于人工检测背光模组瑕疵的方式，可以提高检测效率以及检测的准确率，公开的就是图像检测的传统算法，如上述中的所述准确率容易受待检测图像质量的影响。

又例如申请号为cn201210313815.6，名称为一种用于图像瑕疵检测的检测方法和检测系统，提供了一种用于图像瑕疵检测的检测方法，设置一检测系统，检测系统包括方法处理模块和工作模块；所述方法处理模块和工作模块都包括图像分区模块；所述方法处理模块包括多线程处理模块和图像分区模块；所述工作模块包括高斯平滑处理模块、边框寻找模块、图像分区模块、瑕疵检出模块、形状约束过滤模块、瑕疵标注模块和亮度判断模块；所述工作模块在检测系统工作过程中按照高斯平滑处理模块、亮度判断模块、边框寻找模块、图像分区模块、瑕疵检出模块、形状约束过滤模块和瑕疵标注模块的顺序运行。本发明还提供了一种实现上述方法的检测系统；同理准确率还是会容易受待检测图像质量的影响。

另外，在本发明中指的传统算法是现有技术中通过不带深度学习网络常规的方式进行工业瑕疵图像检测的方法。

技术实现要素：

针对上述问题，本发明的目的在于提供用于工业瑕疵图像检测的传统算法参数自动调节方法，而本发明提供的方法，使用深度学习模型将传统算法参数序列同图片特征融合，从而对传统算法参数序列进行优化，它可以在传统算法调用前针对每一张图片的传统算法参数序列进行优化，因此不需要算法工程师，寻找最优参数序列，同时也能提高检出率，降低过检率。

为实现上述目的，本发明提供如下技术方案：用于工业瑕疵图像检测的参数自动调节方法，包括以下步骤：

寻找对图像能检出瑕疵的一组参数序列，并确定该图像的图像标注；

输入参数序列和待检测图像，引入attention和lstm，进行特征融合，输出经过优化后的参数序列；

基于优化后的参数序列并通过算法对图像检测的参数进行自动调节。

优选的，所述寻找对图像能检出瑕疵的一组参数序列，并确定该图像的图像标注的过程具体包括：寻找一组参数序列，使传统算法对某一张图像检出率为100％，过检率为0％，这组参数序列为这张图像的传统算法参数标注，确定上述图像的图像标注，在二值图中缺陷坐标对应位置为白色，背景坐标对应位置为黑色，这样的二值图为这张图像的图像标注。

优选的，列参数序列中参数包括核心参数和普通参数。

优选的，所述基于优化后的参数序列并通过算法对图像检测的参数进行自动调节具体包括：通过在网络内部对核心参数和普通参数采用不同的损失函数和不同的权重，基于贝叶斯优化来寻找最优的权重超参数集。

优选的，使用贝叶斯优化的过程中，以结果二值图和标定二值图的iou做为评价分数，iou越小超参数得分越高。

优选的，在寻找到最优权重超参数集之后，依据最优权重超参数集重新训练网络；如果存在过检、漏检，使用相同的最优权重超参数集，重新训练神经网络。

优选的，所述最优权重超参数集算法具体包括：

s101：设置传统算法参数序列核心参数和普通参数，初始化权重超参数；

s102：引入attention和lstm，使传统算法参数序列与特征图片融合，从而使训练过程中参数序列是依据图片特征进行优化；

s103：输出模型预测的传统算法参数序列；

s104：多权重超参数集xt，多形式损失函数，对于s101中确定的核心参数、普通参数，采用不同的损失函数，并且损失函数的权重由xt决定，并将不同的损失函数相加组合成一个新的损失函数，其中在xt中，x表示权重超参数集，t表示第几个权重超参数集，t为自然数；

s105：当超参数集为xt时，判断传统算法参数优化神经网络迭代训练是否结束，当累计训练的次数num1！＝epoch1时，训练通过反向传播更新网络参数，进入s102继续训练，num1＝num1+1；当num1＝epoch1，进入s106，其中epoch1网络迭代的次数；

s106：计算xt对应的评价函数值yt，将s103输出的传统算法参数序列，赋值给传统算法，然后以传统算法检测原图，获取结果二值图，根据结果二值图和标记二值图计算iou，iou是评价函数值yt，yt值越小xt越优秀；

s107：依据贝叶斯优化算法计算新的权重超参数集xt+1，xt+1是由前面t个权重超参数集和对应的评价函数值决定的；

s108：判断寻找最优权重超参数集迭代是否结束，当累计迭代的次数num2！＝epoch2时更新权重超参数集xt+1到s104，并将num1置零，重新训练超参为xt+1时传统算法参数优化神经网络，num2＝num2+1，当num2＝epoch2进入s109，其中epoch2寻找最优权重超参数集迭代的次数；

s109：输出最优权重超参数集xbest，在所有的评价函数值中找到最小的值为yl，则xl为最优优权重超参数集xbest。

优选的，具体包括:

步骤(1)：设置传统算法参数序列核心参数和普通参数，导入权重超参数集xbest；

步骤(2)：导入权重超参数集xbest，引入attention和lstm使传统算法参数序列与特征图片融合，从而使训练过程中参数序列是依据图片特征进行优化；

步骤(3)：输出模型预测的传统算法参数序列；

步骤(4)：多权重超参数集xbest，多形式损失函数，对于步骤(1)确定的核心参数、普通参数，采用不一样的损失函数，并且损失函数的权重由xbest决定，并将不同的损失函数相加组合成一个新的损失函数；

步骤(5)：判断传统算法参数优化神经网络迭代训练是否结束，当累计训练的次数num1！＝epoch1时，训练通过反向传播更新网络参数，进入步骤(2)继续训练，num1＝num1+1；当num1＝epoch1，进入步骤(6)，其中epoch1网络迭代的次数；

步骤(6)：保存网络模型，用网络模型预测图片输出的数据集，便是该图片最优传统算法参数序列。

与现有技术相比，本发明的有益效果如下：

1、本发明使用深度学习模型将传统算法参数序列同图片特征融合，从而对传统算法参数序列进行优化，它可以在传统算法调用前针对每一张图片的传统算法参数序列进行优化，因此不需要算法工程师，寻找最优参数序列，同时也能提高检出率，降低过检率。

2、本发明可以在传统算法处理图片前，预测该图片对应的最优传统算法的参数，从而不需要算法工程师从一组图片中根据检出率和过检率的平衡，人工找到最适合改组图片传统算法参数做为最优传统算法参数这个过程，降低维护的人工成本，同时提升了检出率和过检率的比值。

3、本发明的参数调节方法可以适用于所有的传统算法模型的参数调节。

附图说明

图1是本发明提供的寻找最优权重超参数算法的流程图；

图2是本发明提供的寻找最优传统算法参数算法的流程图。。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明提供的用于工业瑕疵图像检测的参数调节方法，包括以下步骤：

确定传统算法参数标注：寻找一组参数序列，使传统算法对某一张图像检出率为100％，过检率为0％，这组参数序列和即为这张像的传统算法参数标注；图像标注：在二值图中缺陷坐标对应位置为白色，背景坐标对应位置为黑色，这样的二值图为这张图像的图像标注。

输入传统算法参数序列和原始图像，并在网络中将参数和图片特征融合，最后输出一个经过优化后的传统算法参数序列。

使用贝叶斯优化来自动调节损失函数之间权重超参数集，其中列参数序列中参数包括核心参数和普通参数，通过在网络内部对核心参数和普通参数采用不同的损失函数和不同的权重，基于贝叶斯优化来寻找最优的权重超参数集，进一步，核心参数和普通参数均可以为多个类别。

在本发明中，使用贝叶斯优化的过程中，以结果二值图和标定二值图的iou做为评价分数，iou越小超参数得分越高，在寻找到最优权重超参数集之后，依据最优权重超参数集重新训练网络；如果存在过检、漏检，使用相同的最优权重超参数，重新训练神经网络。

在本发明中，最优权重超参数算法具体包括：

s101：设置传统算法参数序列核心参数和普通参数，初始化权重超参数；

s102：引入attention和lstm，使传统算法参数序列与特征图片融合，从而使训练过程中参数序列是依据图片特征进行优化；

s103：输出模型预测的传统算法参数序列；

s104：多权重超参数集xt，多形式损失函数，对于s101中确定的核心参数、普通参数，采用不同的损失函数，并且损失函数的权重由xt决定，并将不同的损失函数相加组合成一个新的损失函数，其中在xt中，x表示权重超参数集，t表示第几个权重超参数集，t为自然数；

s105：当超参数集为xt时，判断传统算法参数优化神经网络迭代训练是否结束，当累计训练的次数num1！＝epoch1时，训练通过反向传播更新网络参数，进入s102继续训练，num1＝num1+1；当num1＝epoch1，进入s106，其中epoch1网络迭代的次数；

s106：计算xt对应的评价函数值yt，将s103输出的传统算法参数序列，复制给传统算法，然后以传统算法检测原图，获取结果二值图，根据结果二值图和标记二值图计算iou，iou是评价函数值yt，yt值越小xt越优秀；

s107：依据贝叶斯优化算法计算新的权重超参数集xt+1，xt+1是由前面t个权重超参数集和对应的评价函数值决定的；

s108：判断寻找最优权重超参数集迭代是否结束，当累计迭代的次数num2！＝epoch2时更新权重超参数集xt+1到s104，并将num1置零，重新训练超参为xt+1时传统算法参数优化神经网络，num2＝num2+1；当num2＝epoch2进入s109，其中epoch2寻找最优权重超参数集迭代的次数；

s109：输出最优权重超参数集xbest，在所有的评价函数值中找到最小的值为yl，则xl为最优优权重超参数集xbest。

在本发明中，通过最优权重超参数算法结合传统算法得到本发明的调节方法，如下：

步骤(1)：设置传统算法参数序列核心参数和普通参数，导入权重超参数集xbest；

步骤(2)：导入权重超参数集xbest，引入attention和lstm，传统算法参数序列与特征图片融合，从而使训练过程中参数序列是依据图片特征进行优化；

步骤(3)：输出模型预测的传统算法参数序列；

步骤(4)：多权重超参数集xbest，多形式损失函数，对于步骤(1)确定的核心参数、普通参数，采用不一样的损失函数，并且损失函数的权重由xbest决定，并将不同的损失函数相加组合成一个新的损失函数；

步骤(5)：判断传统算法参数优化神经网络迭代训练是否结束，当累计训练的次数num1！＝epoch1时，训练通过反向传播更新网络参数，进入步骤(2)继续训练，num1＝num1+1；当num1＝epoch1，进入步骤(6)，其中epoch1网络迭代的次数；

步骤(6)：保存网络模型，用网络模型预测图片输出的数据集，便是该图片最优传统算法参数序列。

以下提供本发明一具体实施例

实施例1

参照图1和图2所示，用于工业瑕疵图像检测的参数调节方法，包括以下步骤：

数据标注，寻找一组参数序列，使传统算法对某一张图片检出率为100％，过检率为0％，这组参数序列和即为这张图的参数标注；在二值图中缺陷对应位置为白色，背景对应位置为黑色，这样的二值图为这张图片的图像标注。

将传统算法参数序列与图片特征进行融合，网络最后输出一个经过优化后的传统算法参数序列。

使用贝叶斯优化和iou，来自动调节损失函数之间权重超参数集，从而找到最优的权重超参数集。由于传统算法参数序列中各个参数对于检出率和过检率的贡献不一样，称贡献大的参数为核心参数，贡献小的为普通参数，因此用户要首先定义核心参数和普通参数，在网络内部我们针对核心参数和普通参数采用不同的损失函数和不同的权重，因此采用贝叶斯优化来寻找最优的权重超参数集；使用贝叶斯优化的过程中，需要用一个评价分数来评价改组超参数优劣，以改该超参数训练好的神经网络的输出参数序列，做为传统算法参数的输入，以此来测试原图获取结果二值图，以结果二值图和标定二值图的iou做为评价分数，iou越小超参数得分越高，贝叶斯优化的过程，其实就是寻找全局最小iou过程。

依据最优权重超参数集，重新训练神经网络，获取最优传统算法参数序列。在寻找到最优权重产参数集之后，依据最优权重超参数集重新训练网络；如果存在过检、漏检，由于图像数据分布类似，因此可以使用相同的最优权重超参数集，重新训练神经网络。

其中，寻找最优权重超参数集算法的流程图，如图1，具体如下：

步骤101：设置传统算法参数序列核心参数和普通参数，初始化权重超参数，从而核心参数和普通参数可以使用不同的损失函数、不同的权重超参数。

步骤102：引入attention和lstm，使传统算法参数序列与特征图片融合，从而使训练过程中参数序列是依据图片特征进行优化。

步骤103：输出模型预测的传统算法参数序列。

步骤104：多权重超参数集xt，多形式损失函数，对于步骤101确定的核心参数、普通参数，采用不一样的损失函数，并且损失函数的权重由xt决定，并将不同的损失函数相加组合成一个新的损失函数。(在xt中，x表示权重超参数集，t表示第几个权重超参数集，t＝0,1,2,3,4,...)

步骤105：当超参数集为xt时，判断传统算法参数优化神经网络迭代训练是否结束，当累计训练的次数num1！＝epoch1时，训练通过反向传播更让新网络参数，进入步骤102继续训练，num1＝num1+1；当num1＝epoch1，进入步骤106。(epoch1网络迭代的次数)。

步骤106：计算xt对应的评价函数值yt，将步骤103输出的传统算法参数序列，复制给传统算法，然后以传统算法检测原图，获取结果二值图，根据结果二值图和标记二值图计算iou，iou便是评价函数值yt，yt值越小xt越优秀。

步骤107：依据贝叶斯优化算法计算新的权重超参数集xt+1，xt+1是由前面t个权重超参数集和对应的评价函数值决定的。

步骤108：判断寻找最优权重超参数集迭代是否结束，当累计迭代的次数num2！＝epoch2时更新权重超参数集xt+1到步骤104，并将num1置零，重新训练超参数集为xt+1时传统算法参数优化神经网络，num2＝num2+1；当num2＝epoch2进入步骤109。(epoch2寻找最优权重超参数集迭代的次数)

步骤109：输出最优权重超参数集xbest。在所有的评价函数值中找到最小的值为yl，则xl为最优优权重超参数集xbest。

以及，参照图2，其描述了寻找最优传统算法参数序列算法的流程图，具体如下：

步骤201：设置传统算法参数序列核心参数和普通参数，导入权重超参数集xbest。

步骤202：同步骤102。

步骤203：同步骤103。

步骤204：多权重超参数xbest，多形式损失函数，对于步骤一确定的核心参数、普通参数，采用不一样的损失函数，并且损失函数的权重由xbest决定，并将不同的损失函数相加组合成一个新的损失函数。

步骤205：判断传统算法参数优化神经网络迭代训练是否结束，当累计训练的次数num1！＝epoch1时，训练通过反向传播更新网络参数，进入步骤202继续训练，num1＝num1+1；当num1＝epoch1，进入步骤206。(epoch1网络迭代的次数)

步骤206：保存网络模型，用网络模型预测图片输出的数据集，便是该图片最优传统算法参数序列。

本发明使用深度学习模型将传统算法参数序列同图片特征融合，从而对传统算法参数序列进行优化，它可以在传统算法调用前针对每一张图片的传统算法参数序列进行优化，因此不需要算法工程师，寻找最优参数序列，同时也能提高检出率，降低过检率；以及可以在传统算法处理图片前，预测该图片对应的最优传统算法的参数，从而不需要算法工程师从一组图片中根据检出率和过检率的平衡，人工找到最适合改组图片传统算法参数做为最优传统算法参数这个过程，降低维护的人工成本，同时提升了检出率和过检率的比值。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。