一种基于深度学习的保温杯表面的缺陷检测方法与流程

本发明涉及图像处理领域，具体涉及一种基于深度学习的保温杯表面的缺陷检测方法。
背景技术：
：保温杯杯体的主要材质是不锈钢，因为不锈钢具有较高的硬度、较强的抗腐蚀性且具有易塑性加工等优良特性。目前保温杯杯体表面加工制造的方式有很多，包括机械打磨、化学腐蚀、电解抛光、超声波抛光及手工抛光。但不论采用哪种方法，再生产加工过程中都不可避免的会产生各种类型的表面缺陷。当前，主流应用的表面缺陷检测方案有：人工目测法和物理属性法。可是人工目测法易受情绪影响，可靠性和稳定差，效率低且检测成本高。物理属性法检测的材料类型有限，且制造相应的检测设备难度大、成本高。技术实现要素：针对现有技术的不足，本发明提出一种基于深度学习的保温杯表面的缺陷检测方法，具体技术方案如下：一种基于深度学习的保温杯表面的缺陷检测方法，该方法具体包括如下步骤：s1：采集用于训练的若干类的保温杯杯体表面缺陷的图片，采集的训练图片中尽量覆盖所有的缺陷种类，且图片中不包含杯体阴影；s2：对s1获取的保温杯杯体图片进行图像滤波、图像增强和图像分割处理，得到分割后的二值化图像；s3：对所述的二值化图像进行特征提取，获取不同类型缺陷的不同特性的几何特征；s4：根据灰度直方图的统计特征，计算图像的灰度特征；s5：通过灰度共生矩阵对纹理特征进行计算，从而提取纹理特征；s6：提取目标变量中最具代表性的特征，降低特征空间维度，压缩特征数据量，得到数据矩阵；s7：将s6的数据矩阵作为输入、保温杯表面的缺陷类型作为输出，训练bp神经网络，当输出误差小于最小目标误差或者迭代次数超过最大迭代次数时，训练结束，得到训练好的bp神经网络；s8：将实时采集的保温杯杯体表面缺陷的图片经过s1～s6的预处理后，代入训练好的bp神经网络，从而实现保温杯杯体表面的缺陷的实时检测。进一步地，所述的s2的具体步骤如下：s2.1：对于获取的大小为m×n的图像f(x，y)进行二维离散傅里叶变换、高通滤波变换，然后再进行傅里叶逆变换就得到滤除噪声后的图像g(x，y)，具体计算公式如下：g(u，v)＝f(u，v)h(u，v)(3)其中，u，v为频率变量，u＝0，1，2，…，m-1，v＝0，1，2，…，n-1；x，y为图像空间变量，x＝0，1，2，…，m-1，y＝0，1，2，…，n-1；σ为标准差，d(u，v)为点(u，v)到滤波器中心的距离。s2.2：根据下式对图像中的每一个像素做线性扩展，原始图像g(x，y)的灰度范围为[a，b]，线性变化后的图像t(x，y)的范围是[c，d]；s2.3：通过下式消除噪声，再通过公式(6)～(7)求出滤波后图像梯度的幅值|s|和方向θ；i(x，y)＝f(x，y)g(x，y)(7)s2.4：比较8邻域内像素的灰度值，灰度值最大的点即为边缘点，并将其它像素点灰度值置零；设阈值为t1和t2，且t1＞t2，比率为3：1，t1用于限制边缘的最低强度，t2用于提取完整的边缘轮廓；将小于t2的点抛弃，赋0；将大于t1的点立即标记，赋1；将小于t1，大于t2的点使用8联通区域确定，得到分割后的二值化图像。进一步地，所述的几何特征包括缺陷面积s、缺陷紧凑性c、偏心率e、不变矩hu，计算公式如下：其中，p为缺陷区域的边界周长，a为缺陷区域的最小外界椭圆的长轴的长度，a为缺陷区域的最小外界椭圆的短轴的长度；所述的不变矩hu的计算过程如下：(1)依次计算二维图像为f(x，y)的(p+q)阶矩mpq、响应的中心距μpq、归一化的(p+q)阶中心矩ηpq其中，(xc，yc)为缺陷区域的灰度重心坐标，为μpq的初值；(2)根据下式计算描述边界特征的图像的7个不变矩f1＝η20+η02(16)f3＝(η30-3η12)2+(3η21-η03)2(18)f4＝(η30+η12)2+(η21+η03)2(19)f5＝(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2](20)+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)](21)f6＝(η20-η02)2+[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)(22)f7＝(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η12-η03)(η21+η03)[3(η30+η12)2-](η21+η03)2。(23)进一步地，所述的s4中，所述的灰度特征包括均值m、标准差、平滑度r、三阶矩μ3、一致性u、熵e，计算公式如下：r＝1-1/(1+σ2)(26)其中，p(i)为一阶灰度直方图，l为灰度级，i＝0，1，2，…，l-1。进一步地，所述的s5的纹理特征包括能量s1、相关性s2、同质性s3、对比度s4，计算公式如下：p(i，j)为灰度共生矩阵中的元素，σx、σy为灰度共生矩阵中的元素的均值的两个分量，n为二维图像的像素总数。进一步地，所述的s6具体如下：将s3-s5的每一个特征看作一个维，每一个维的数据都减去该维的均值，得到一个新的矩阵，计算新矩阵的协方差矩阵和协方差矩阵的特征值和特征向量，选取最大的特征值对应的特征向量，得到一个新的数据矩阵，作为最终分类器的输入数据。进一步地，所述的s7具体如下：根据s6的降维操作，设置输入的神经元个数为6，输出层神经元个数设置为4，隐含层神经元个数设置为8。s7.1：根据三层前馈神经网络中的神经元个数确定激活函数，隐含层使用正切s型传递函数tansig，输出层使用线性传递函数purelin，训练函数为动态自适应学习率的梯度下降算法trainlm，网络学习函数为带动量项的bp学习规则learngdm，性能分析函数使用均方误差函数mse；s7.2：初始化bp神经网络的权值阈值长度，通过遗传算法对初始化的权值阈值进行优化，再将优化后的权值和阈值作为bp神经网络的初始权值和阈值。s7.3：设置学习率、最小目标误差及最大迭代数；将s6得到的降维后的数据矩阵作为输入数据进行训练，保温杯表面的缺陷类型作为输出，当输出误差小于最小目标误差或者迭代次数超过最大迭代次数时，训练结束，得到训练好的bp神经网络。本发明的有益效果如下：(1)本发明的方法通过对不同类型的缺陷进行多维度特征研究，并对高维特征向量进行降维处理，减少了原始图像中的冗余数据、降低特征空间维数以及弱化噪声的影响；(2)通过基于深度学习的方法对缺陷进行检测，具有良好的可操作性和可持续性，同时检测正确率高，工作的稳定性好。附图说明图1为本发明的基于深度学习的保温杯表面的缺陷检测方法的流程图。具体实施方式下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。本发明的原理为：当工件定位检测器探测到保温杯处于摄像系统感兴趣的区域时，图像采集卡会接收一个外部触发脉冲，并控制相机设备采集多幅图像。相机设备通过镜头的光学成像，将光学信号转换为数字图像信号并存储到终端计算机的内存中。终端计算机设备对采集到的数字图像信号进行预处理，提取有效检测区域，进一步的压缩图像数据，排除不必要的冗余数据。图像预处理包括滤波处理、图像增强、图像分割，接着对缺陷区域进行目标分割提取，经过相关的特征描述选择有效特征信息，然后经过分类器进行模式识别，从而对缺陷域进行检测判断。最后将检测的结果显示出来。如图1所示，本发明的基于深度学习的保温杯表面的缺陷检测方法，该方法具体包括如下步骤：s1：采集用于训练的若干类的保温杯杯体表面缺陷的图片，采集的训练图片中尽量覆盖所有的缺陷种类，且图片中不包含杯体阴影；具体操作时，用高亮度半球形反射光源对被测物体进行均匀散射，同时同一个有大功率led、漫反射板与半反射板与半反射组成的补光照明系统对被测物体进行补光，放置在摄像机轴上，采用分辨率高的工业数字摄像机，得到的图片有很高的图像质量。s2：对s1获取的保温杯杯体图片进行图像滤波、图像增强和图像分割处理，得到分割后的二值化图像，具体步骤如下：s2.1：对于获取的大小为m×n的图像f(x，y)进行二维离散傅里叶变换、高通滤波变换，然后再进行傅里叶逆变换就得到滤除噪声后的图像g(x，y)，具体计算公式如下：g(u，v)＝f(u，v)h(u，v)(3)其中，u，v为频率变量，u＝0，1，2，…，m-1，v＝0，1，2，…，n-1；x，y为图像空间变量，x＝0，1，2，…，m-1，y＝0，1，2，…，n-1；σ为标准差，d(u，v)为点(u，v)到滤波器中心的距离。s2.2：根据下式对图像中的每一个像素做线性扩展，原始图像g(x，y)的灰度范围为[a，b]，线性变化后的图像t(x，y)的范围是[c，d]；变换后的图像体偏亮，与缺陷的对比度加深，将原始图像的灰度值范围拉伸到整个灰度级范围。s2.3：通过下式消除噪声，再通过公式(6)～(7)求出滤波后图像梯度的幅值|s|和方向θ；i(x，y)＝f(x，y)g(x，y)(7)s2.4：比较8邻域内像素的灰度值，灰度值最大的点即为边缘点，并将其它像素点灰度值置零；设阈值为t1和t2，且t1＞t2，比率为3：1，t1用于限制边缘的最低强度，t2用于提取完整的边缘轮廓；将小于t2的点抛弃，赋0；将大于t1的点立即标记，赋1；将小于t1，大于t2的点使用8联通区域确定，得到分割后的二值化图像。s3：对所述的二值化图像进行特征提取，获取不同类型缺陷的不同特性的几何特征；所述的几何特征包括缺陷面积s、缺陷紧凑性c、偏心率e、不变矩hu，计算公式如下：其中，p为缺陷区域的边界周长，a为缺陷区域的最小外界椭圆的长轴的长度，a为缺陷区域的最小外界椭圆的短轴的长度；所述的不变矩hu的计算过程如下：(1)依次计算二维图像为f(x，y)的(p+q)阶矩mpq、响应的中心距μpq、归一化的(p+q)阶中心矩ηpq其中，(xc，yc)为缺陷区域的灰度重心坐标，为μpq的初值；(2)根据下式计算描述边界特征的图像的7个不变矩f1＝η20+η02(16)f3＝(η30-3η12)2+(3η21-η03)2(18)f4＝(η30+η12)2+(η21+η03)2(19)f5＝(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2](20)+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)](21)f6＝(η20-η02)2+[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)(22)f7＝(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η12-η03)(η21+η03)[3(η30+η12)2-](η21+η03)2。(23)s4：根据灰度直方图的统计特征，计算图像的灰度特征；所述的灰度特征包括均值m、标准差、平滑度r、三阶矩μ3、一致性u、熵e，计算公式如下：其中，均值m反映图像总体的灰度水平，标准差反映灰度直方图的离散程度，平滑度r为区域中灰度的相对均匀性的度量；r＝1-1/(1+σ2)(26)其中，p(i)为一阶灰度直方图，l为灰度级，i＝0，1，2，…，l-1；s5：通过灰度共生矩阵对纹理特征进行计算，从而提取纹理特征；纹理特征包括能量s1、相关性s2、同质性s3、对比度s4，计算公式如下：p(i，j)为灰度共生矩阵中的元素，σx、σy为灰度共生矩阵中的元素的均值的两个分量，n为二维图像的像素总数。s6：提取目标变量中最具代表性的特征，降低特征空间维度，压缩特征数据量，得到数据矩阵，具体为：将s3-s5的每一个特征看作一个维，每一个维的数据都减去该维的均值，得到一个新的矩阵，计算新矩阵的协方差矩阵和协方差矩阵的特征值和特征向量，选取最大的特征值对应的特征向量，得到一个新的数据矩阵，作为最终分类器的输入数据。s7：将s6的数据矩阵作为输入、保温杯表面的缺陷类型作为输出，训练bp神经网络，当输出误差小于最小目标误差或者迭代次数超过最大迭代次数时，训练结束，得到训练好的bp神经网络，具体为：根据s6的降维操作，设置输入的神经元个数为6，输出层神经元个数设置为4，隐含层神经元个数设置为8。s7.1：根据三层前馈神经网络中的神经元个数确定激活函数，隐含层使用正切s型传递函数tansig，输出层使用线性传递函数purelin，训练函数为动态自适应学习率的梯度下降算法trainlm，网络学习函数为带动量项的bp学习规则learngdm，性能分析函数使用均方误差函数mse；s7.2：初始化bp神经网络的权值阈值长度，通过遗传算法对初始化的权值阈值进行优化，再将优化后的权值和阈值作为bp神经网络的初始权值和阈值。s7.3：设置学习率、最小目标误差及最大迭代数；将s6得到的降维后的数据矩阵作为输入数据进行训练，保温杯表面的缺陷类型作为输出，当输出误差小于最小目标误差或者迭代次数超过最大迭代次数时，训练结束，得到训练好的bp神经网络。s8：将实时采集的保温杯杯体表面缺陷的图片经过s1～s6的预处理后，代入训练好的bp神经网络，从而实现保温杯杯体表面的缺陷的实时检测。本发明可以获得高质量的图像，有效解决了高反射材料表面的照明问题；对不同类的缺陷进行多维度特征研究，并对高维特征向量进行降维处理，减少了原始图像中的冗余数据、降低特征空间维数以及弱化噪声的影响；另外本发明克服了传统人工检测方法的不足，通过基于深度学习的方法对缺陷进行检测，具有良好的可操作性和可持续性，同时在检测正确率及工作的稳定性上有很好的表现。下面结合一个具体的实施例对本发明的方法进行说明。该实施例中，实验样本如表1所示，计算得到的划痕缺陷在旋转不同角度下的7个不变矩如表2所示。对划痕缺陷进行不同角度的旋转处理，从表2中可以看出，hu矩的值在不同的旋转角度上表现的近似一致，在检测保温杯杯体各个角度的缺陷时，体现hu矩值的一致性，基本满足缺陷区域的hu矩无方向的要求，而不必考虑缺陷方向带来的影响。表1实验样本表2划痕缺陷在旋转不同角度下的7个不变矩hu矩f1f2f3f4f5f6f7原图0.28760.63382.69583.7658-7.155-4.253-7.264旋转30度0.29160.62552.76563.7621-7.254-4.152-7.887旋转60度0.29140.62562.75413.6514-6.992-41122-7.635旋转90度0.28760.62382.69583.7658-7.155-4.253-7.264旋转180度0.28760.62382.69583.7658-7.155-4.253-7.264旋转270度0.28760.62382.69583.7658-7.155-4.253-7.264本实施例采用的bp神经网络输入层有6个神经元，隐含层有8个神经元，输出层有4个神经元，则共有6×8+8×4＝80权值，8+4＝12个阈值，即参与建模的染色体长度为92。然后对遗传算法参数进行设置，种群规模为50，进化次数为200次，交叉概率为0.5，变异概率为0.1，将优化后的权值和阈值作为bp神经网络的初始权值和阈值。设置训练目标误差为0.001，训练迭代次数为1000次，学习率为0.01。分别采用标准的bp神经网络和本发明的方法，最终获得的识别结果如表3和4所示。表3标准bp神经网络识别结果表4遗传算法优化的bp神经网络识别结果表3和表4分别为标准bp神经网络和遗传算法优化的bp神经网络的识别数据，从表中的实验结果可以看出，标准bp神经网络总的正确率在90％，而优化后的bp神经网络总正确率达到了96.2％。因此，采用本发明的方法，网络性能得到较大改善，用遗传算法优化的bp神经网络比标准bp神经网络具有更高的保温杯表面缺陷识别正确率。本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。当前第1页12