快速编带视觉检测方法与流程

【技术领域】

本发明涉及视觉检测技术领域，具体是快速编带视觉检测方法。

背景技术：

在芯片编带生产过程中，芯片上的字符、引脚和塑封体上不可避免地会出现缺陷，为了保证编带的质量，需要对芯片进行视觉检测，将有缺陷的芯片标记和分类。现有技术中一般利用光学器件进行非接触的感知，获取真实场景的图像，图像经过处理和识别后对缺陷进行识别和分类。但是半导体芯片的速度、精度和密封性要求相对高，目前市面上大部分视觉检测一般采用固定程序将获取的图像与设定值进行比对，每次获取图像时需要定位检测完成一颗芯片后才能识别另一颗，其检测效率低、准确性差，不能满足现代化生产的要求。

技术实现要素：

本发明的目的在于提供一种快速编带视觉检测方法，解决现有技术中编带视觉检测效率低、准确性差的问题。

为解决上述问题，本发明提供技术方案如下：

快速编带视觉检测方法，其特征在于，包括如下处理步骤：

s1，多个检测工位同步获取产品的完整图像；

s2，对产品的图像进行图像预处理以突出图像中的缺陷特征，所述缺陷特征包括边缘缺陷特征和/或纹理缺陷特征；

s3，对边缘缺陷特征的提取：通过边缘检测算法对经步骤s2处理的图像信息进行处理，提取缺陷区域边缘，再用图像分割算法将缺陷边缘从图像中分割出来，并经过数学形态学方法对瑕疵边界进行缺损补偿、填充细小空洞和链接邻近图像特征；

s4，对纹理缺陷特征的提取：通过灰度直方图提取经步骤s2处理的图像信息中的灰度直方图统计特征，其中包括灰度均值、灰度方差、扭曲度、峰度、能量、嫡六维；

s5，将步骤s3和/或步骤s4的输出送入卷积神经网络，经卷积神经网络中的卷积层和池化层的迭代处理后，由基于softmax逻辑回归的全连接层进行识别与分类，获得缺陷分类结果。

如上所述的快速编带视觉检测方法，在步骤s2的图像预处理中采用小波技术。

如上所述的快速编带视觉检测方法，在步骤s5中，启用图像缩小算法对步骤s3和/或步骤s4的输出进行处理后，再送入卷积神经网络。

如上所述的快速编带视觉检测方法，所述卷积神经网络包括多个卷积层和池化层以实现对图像数据的迭代运算，其输出层设置有平坦化模块，该平坦化模块的输出对接全连接层。

如上所述的快速编带视觉检测方法，所述卷积层执行的是将前一层的图像与多个卷积核进行卷积计算，并通过激励函数得到对应的特征图，卷积层的计算公式：

y＝f(wx+b)；其中，w为卷积核的权重；b为偏置；x为输入；y为输出值；f为激励函数。

如上所述的快速编带视觉检测方法，所述卷积核权重w和偏置b通过forward前向传播或者backward反向传播训练调整。

如上所述的快速编带视觉检测方法，所述全连接层将权重矩阵与输入向量相乘再加上偏置，将n个(-∞,+∞)的实数映射为k个(-∞,+∞)的分数，softmax将k个(-∞,+∞)的实数映射为k个(0,1)的概率，同时保证它们之和为1，计算方式具体如下：

其中，x为全连接层的输入，wn×k为权重，b为偏置项，为softmax输出的概率，softmax的计算方式如下：

若拆成每个类别的概率如下：

其中，wj为图中全连接层同一颜色权重组成的向量。

如上所述的快速编带视觉检测方法，纹理缺陷特征参数采用灰度直方图的矩来描述：

函数f(x)表示图像的亮度在各个灰度级上出现的概率，x代表灰度值，令m为x的均值；即：

则均值m的n阶矩为：

其中u1表示图像灰度值的分散程度；u2为方差；u3定义为偏度；u4定义为峰度。

如上所述的快速编带视觉检测方法，在步骤s3中，所述边缘检测算法包括梯度算子、log算子和canny算子中的一种。

如上所述的快速编带视觉检测方法，在步骤s3中，所述图像分割算法包括阈值算法、区域生长和分水岭中的一种。

与现有技术相比，本发明有以下优点：

本发明采用多工位同步获取产品的图像，时效性高，通过多角度图像组合更能反映产品的整体情况，图像经过预处理后提取边缘缺陷特征和纹理缺陷特征，大大提高了图像的准确性；经过提取的图像特征输入到卷积神经网络进行进一步的识别和分类，其检测效率高，检测速度达到了每分钟1500颗以上，而且卷积神经网络可通过机器学习调整和优化，提高识别的准确性和检测速度，全程无需人工进行操作，极大地方便了生产管理，节省人力成本，提高生产效率。

【附图说明】

图1为本发明实施例的卷积神经网络处理流程示意图。

【具体实施方式】

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

请参阅附图1，本实施例提供一种快速编带视觉检测方法。

本实施例包括如下处理步骤：

s1，多个检测工位同步获取产品的完整图像，本身实施例采用6个工位。

s2，对产品的图像进行图像预处理以突出图像中的缺陷特征，所述缺陷特征包括边缘缺陷特征和/或纹理缺陷特征。

具体地，在步骤s2的图像预处理中采用小波技术。采用小波融合的方法既能很好地保留原图片信息，又能突出图像的缺陷边缘等高频信息。

s3，对边缘缺陷特征的提取：通过边缘检测算法对经步骤s2处理的图像信息进行处理，提取缺陷区域边缘，再用图像分割算法将缺陷边缘从图像中分割出来，并经过数学形态学方法对瑕疵边界进行缺损补偿、填充细小空洞和链接邻近图像特征；

具体地，在步骤s3中，所述边缘检测算法包括梯度算子、log算子和canny算子中的一种，本实施例采用canny算子。

具体地，在步骤s3中，所述图像分割算法包括阈值算法、区域生长和分水岭中的一种，本实施例采用阈值算法。

s4，对纹理缺陷特征的提取：通过灰度直方图提取经步骤s2处理的图像信息中的灰度直方图统计特征，其中包括灰度均值、灰度方差、扭曲度、峰度、能量、嫡六维；

具体地，纹理缺陷特征参数采用灰度直方图的矩来描述：

函数f(x)表示图像的亮度在各个灰度级上出现的概率，x代表灰度值，令m为x的均值；即：

则均值m的n阶矩为：

其中u1表示图像灰度值的分散程度，u2为方差，是灰度对比度的量度,表达了灰度值相对于均值的分布情况，描述了直方图的相对平滑程度，可反映图像中纹理的深浅程度。u3定义为偏度，它表达了灰度值相对于均值的对称性，描述了直方图的偏斜度，即直方图分布对称与否的情况，可反映图像中纹理灰度起伏分布。u4定义为峰度，它表示了直方图的相对平坦性，即直方图分布聚集于均值附近还是接近两端的情况，进一步描述了图像中纹理灰度的反差。

s5，将步骤s3和/或步骤s4的输出送入卷积神经网络，经卷积神经网络中的卷积层和池化层的迭代处理后，由基于softmax逻辑回归的全连接层进行识别与分类，获得缺陷分类结果。

具体地，在步骤s5中，启用图像缩小算法对步骤s3和/或步骤s4的输出进行处理后，再送入卷积神经网络，使进入卷积神经网路的图像变小，提高识别和分类速度。

具体地，所述卷积神经网络包括多个卷积层和池化层以实现对图像数据的迭代运算，其输出层设置有平坦化模块，该平坦化模块的输出对接全连接层，如图1所示。

具体地，所述卷积层执行的是将前一层的图像与多个卷积核进行卷积计算，并通过激励函数得到对应的特征图，卷积层的计算公式：

y＝f(wx+b)；其中，w为卷积核的权重；b为偏置；x为输入；y为输出值；f为激励函数。

具体地，所述卷积核权重w和偏置b通过forward前向传播或者backward反向传播训练调整。

forward前向传播：卷积核kernalw覆盖在输入图inputx上，对应位置求积再求和得到一个值并赋给输出图outputy对应的位置。每次卷积核在inputx上移动一个位置，从上到下从左到右交叠覆盖一遍之后得到输出矩阵outputy。如果卷积核的输入图inputx为mx*nx大小，卷积核为mw*nw大小，那么输出图y为(mx-mw+1)*(nx-nw+1)大小。

backforward反向传播：在错误信号反向传播过程中，先按照神经网络的错误反传方式得到尾部分类器中各神经元的错误信号，然后错误信号由分类器向前面的特征抽取器传播。错误信号从子采样层的特征图(subfeaturemap)往前面卷积层的特征图(featuremap)传播要通过一次full卷积过程来完成。这里的卷积和上一节卷积的略有区别。如果卷积核kernalw的长度为mw*mw的方阵，那么subfeaturemap的错误信号矩阵q_err需要上下左右各拓展mw-1行或列，与此同时卷积核自身旋转180度。subfeaturemap的错误信号矩阵p_err等于featuremap的误差矩阵q_err卷积旋转180度的卷积核w_rot180。

具体地，所述全连接层将权重矩阵与输入向量相乘再加上偏置，将n个(-∞,+∞)的实数映射为k个(-∞,+∞)的分数，softmax将k个(-∞,+∞)的实数映射为k个(0,1)的概率，同时保证它们之和为1，计算方式具体如下：

其中，x为全连接层的输入，wn×k为权重，b为偏置项，为softmax输出的概率，softmax的计算方式如下：

若拆成每个类别的概率如下：

其中，wj为图中全连接层同一颜色权重组成的向量。

本发明采用多工位同步获取产品的图像，时效性高，通过多角度图像组合更能反映产品的整体情况，图像经过预处理后提取边缘缺陷特征和纹理缺陷特征，大大提高了图像的准确性；经过提取的图像特征输入到卷积神经网络进行进一步的识别和分类，其检测效率高，检测速度达到了每分钟1500颗以上，而且卷积神经网络可通过机器学习调整和优化，提高识别的准确性和检测速度，全程无需人工进行操作，极大地方便了生产管理，节省人力成本，提高生产效率。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。