基于人类视觉特性的微型磁瓦表面缺陷检测方法与流程
本发明涉及一种微型磁瓦表面缺陷检测方法，具体是基于人类视觉特性的微型磁瓦表面缺陷检测方法。
背景技术：
微型磁瓦是永磁微型直流电机的关键部件，与电磁式电机通过励磁线圈产生磁势源不同，永磁电机是以永磁材料产生恒定磁势源。永磁磁瓦具有使电机结构简单、维修方便、重量轻、体积小、使用可靠、用铜量少、铜耗低、能耗小等诸多特点。磁瓦的性能直接影响到直流无刷电机的性能，但在磁瓦的生产制造过程中，由于原料成分、设备使用情况、加工工艺以及工人操作等因素的影响，在其表面不可避免地会出现一些加工缺陷，例如裂纹、崩烂、压痕、砂眼以及漏磨等。缺陷的存在会对磁瓦的磁性能、使用寿命等带来非常大的影响，有缺陷的磁瓦如果在风力发电、新能源汽车、航空航天等领域使用会产生巨大的安全隐患，甚至直接造成灾难性后果。因此，在磁瓦出厂前必须对其进行质量检测，将含有缺陷的磁瓦剔除出去。
磁瓦的缺陷特征是随机发生的并且没有规律可寻，目前采用人工目测检测缺陷。人工检测方法主要依靠进行过一定培训的质检人员根据自身的经验通过观察、量具测量和触摸等手段来进行磁瓦质量的判定，存在很多局限性和缺点：(1)由于工人的自身能力差异，存在一定的偶然性，评判的标准不一；(2)检测速度非常慢，难以满足目前的生产速度和要求。一般一个娴熟的质检人员检测一个磁材需时三秒左右，而且还需进行下一轮复检，而一般厂家要求5-6个/s。如果要提高检测速度，只能设置多个工位，耗费大量的劳力；(3)检测的结果易受质检人员视觉疲劳、熟练水平、情绪波动等因素的影响，在精度和稳定性上都难以保证，从而导致误判、漏判、错判的情况发生；(4)人为的接触也有一定的几率损坏磁材，直接导致企业的经济损失；(5)检测人员长时间接触磁性材料会对人身体产生头晕、眼花、智力损坏、脱发等不良反应，一般两年后就不能再从事该工作，企业招工非常困难。因此，如何快速精确检验微型磁瓦零件的表面缺陷成为急需解决的问题。
随着“工业4.0”以及“中国制造2025”的提出，高效率、自动化、智能化的生产线将是未来制造业发展的重点。机器视觉检测技术具有非接触式的特点，可以自动、快速、高效地检测出产品的表面缺陷，在产品缺陷检测中的应用越来越广泛。但是，截至目前，利用机器视觉的方法进行微型磁瓦缺陷检测的研究还很少，市场上的微型磁瓦缺陷检测设备更是鲜有报道。通过研究分析现有磁瓦缺陷检测的研究成果，发现存在的主要技术难题如下：
(1)磁瓦的表面图像具有形状非平、颜色暗淡、对比度低等特点，且型号具有多样性，造成算法适应性不强；
(2)成型、烧结和磨加工过程造成磁瓦表面具有复杂的纹理，影响缺陷及其特征的提取，造成误判率高；
(3)微型磁瓦一些表面划痕、裂纹非常细微，成像后的宽度可能还不到一个像素，容易受到干扰，很难检测；
(4)算法缺乏通用性，大多数方法都是针对特定缺陷，而不能同时检测所有类型或几种类型的缺陷。而且大多处理时间较长，不适宜在线使用；
(5)光源复杂，不同的表面、不同的缺陷需不同的光照形式。
微型磁瓦表面缺陷的在线高精度检测往往要求在高生产线速度下，能较准确检出表面的各种类型的缺陷和微小缺陷，因而对机器视觉系统的性能提出了高分辨率、高速、高准确率、鲁棒性强的要求；但另一方面，在计算机视觉中，图像分析与处理算法对效率、鲁棒性、准确性的兼顾往往是难题。正是微型磁瓦表面缺陷在线视觉检测的技术性能要求，使图像处理与分析的算法成为磁瓦表面缺陷视觉检测系统的核心技术。
因此，需要对现有技术进行改进。
技术实现要素：
本发明要解决的技术问题是提供一种高效的基于人类视觉特性的微型磁瓦表面缺陷检测方法。
为解决上述技术问题，本发明提供一种基于人类视觉特性的微型磁瓦表面缺陷检测方法：包括以下步骤：
(1)图像采集，得到图像image；执行步骤2；
(2)通过阈值分割从图像image得到磁瓦图像region；执行步骤3；
(3)磁瓦图像region屏蔽边缘区域，得到屏蔽后的图像；执行步骤4；
(4)屏蔽后的图像结构张量计算；执行步骤5；
(5)缺陷区域提取。
作为对本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的改进：步骤3包括：
3.1)、对磁瓦图像region进行打散操作对远离磁瓦部分的干扰过滤掉，进行闭运算操作以减少磁瓦边缘部分干扰，得到过滤后图像；
令a代表被操作区域的集合，b为闭运算的结构元，则闭运算表示为：
3.2)、尺度变换完成边缘区域屏蔽，得到屏蔽后的图像；
对过滤后图像进行仿射变换；仿射变换包括两部分：水平变换和旋转变换，主要按照一个对应点和两个同位角进行变换并将其返回为齐次变换矩阵，表示为：
其中，hommat2d为上述齐次变换矩阵，r为旋转变换矩阵，t为平移系数；
最后将变换后的图像作为掩模，通过不断地微调整直至尺度变换后的图像与步骤3.1得到的过滤后图像作差后分割出的区域为一整个连通区域，设此时尺度变换函数数ξ发生了n次运算；当尺度变换函数数ξ发生了
作为对本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的进一步改进：步骤4包括：
4.1)对于给定的步骤3.2得到的屏蔽后的图像进行缩放，将其尺寸变换至期望显著图的尺寸，得到缩放后的图像；
4.2)计算缩放后的图像中每一个位置的线性结构张量jσ:
其中，kσ为标准差σ的高斯核函数，*为卷积运算；
4.3)对所有的线性结构张量jσ，求其特征值λ1和λ2，进而计算图像中所有像素位置的|λ1-λ2|，构成矩阵a；计算图像中所有像素位置的|λ1+λ2|，构成矩阵b；
对于任一结构张量，将其表示为
4.4)对矩阵a进行归一化，所的矩阵作为边缘显著图；对矩阵b进行归一化，所得矩阵为角点显著图；
4.5)最终显著图由各通道的显著图的线性组合而获得；
其中，s代表最终显著图，ψ表示图像的规范化，ψ(cl)、ψ(f)和ψ(o)分别表示灰度、边缘以及角点规范化后的显著图。
作为对本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的进一步改进：步骤5包括：
为了描述图像的纹理等属性，提出以不均匀性(inhomogeneity)以及各向同性(isotropy)对图像的特征进行描述，两者计算步骤如下：
inhomogeneity＝trace(jσ)
trace代表计算矩阵的迹，det代表计算矩阵行列式的值；
设某个像素点的不均匀性为pinhomo，各向同性为pisotropy，在实际计算中只有同时满足以下两个条件的像素点才能继续进行计算：
threshinhom、threshshape是人为设定的参数，通过调整这两项参数可以得到不同的处理结果。
作为对本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的进一步改进：在步骤5中：
经过不均匀性、各向同性计算得到相应的协方差矩阵，通过分析协方差矩阵可以得到感兴趣区域点的具体点坐标；遍历协方差矩阵中的点，检测是否存在符合条件的特征点，只要检测到有特征点的存在，就说明存在缺陷点，那么就可以确定这是一个缺陷磁瓦，反之则为正常磁瓦。
作为对本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的进一步改进：若要对步骤5剩下的区域进行更加精细的特征计算并且定位特征点，需要将计算的区域返回至原有的灰度值，这样就必须估计输入图像的噪声质量以及将协方差矩阵的所有分量与噪声方差相乘，噪声均值(mean)与偏差(deviation)的具体计算公式如下：
其中p为图像区域(region)r(步骤3.2得到的屏蔽后的图像)中的任意一个像素，g(p)为区域的灰度值函数；f是图像区域(region)r中的任意一个像素块区域。
作为对本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的进一步改进：
对于偏差精度要求高的情况下，可采用更加详细的计算公式：
其中f是图像区域(region)r中的任意一个像素块区域，(r′,c′)为图像区域的中心，α、β和μ为图像平面的参数。
本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法的技术优势为：
本发明从人体视觉的本质出发，结合尺度变换与结构张量完成对磁瓦表面多种缺陷的检测。相比传统检测算法只能针对单一的缺陷，本系统检测算法不仅可以同时检测掉块、磕边和划痕的缺陷，而且还能适应光照在一定范围内变化的情形。此外，本发明检测方法能够满足企业生产的精度与速度需求，且能够稳定的运行，可以进行生产应用。
本发明的具体优势为：
1)、本发明能够对大多数磁瓦表面微缺陷进行检测，具有较高的普适性。
2)、本发明对打光要求有着相对较大的容错范围，在实际应用中对调试提供了较大的方便。
3)、本发明不仅能够检测磁瓦表面微缺陷，而且能够检测磁瓦在形状和大小方面的缺陷。
4)、本发明能够稳定运行，且便于调试。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明基于人类视觉特性的微型磁瓦表面缺陷检测方法原理流程图；
图2为本发明采集到的磁瓦图像；
图3为本发明截取区域并边缘已屏蔽示意图；
图4为本发明缺陷区域提取方法流程；
图5为本发明磁瓦图像缺陷提取结果示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此。
实施例1、基于人类视觉特性的微型磁瓦表面缺陷检测方法，如图1-5所示，包括
(1)图像采集；执行步骤2；
磁瓦的表面有着复杂的纹理，而且诸多可能出现的缺陷中大多数是微型缺陷甚至某些缺陷的大小与纹理相似，因此对相机的成像要求较高。此外，鉴于实际检测的情况，磁瓦是被放置在快速转动的转盘上的，因此相机是在相对运动中进行图像获取的。综合考虑采用dalsa相机，该型号相机拥有高端ccd/cmos成像传感器的研发能力，能为用户提供多个系列的面阵数字相机以满足不同层次的视觉应用需要，能满足在高速运动情况下进行清晰抓拍的需要。本型号的相机能够满足200万像素的高分成像要求或百万像素分辨率下60fps的高速成像要求。记获取的图像为图像image。
(2)区域截取，得到磁瓦图像region；执行步骤3；
通过阈值分割将磁瓦图像(有灰度分布的)从背景区域(全白，没有灰度分布的)中提取出来；
通过二值化快速从图像image的白色背景中取出磁瓦图像region并对采集到的图像中定位磁瓦的坐标记作region(area,row,column,phi，length1,length2)
其中，area为提取区域的面积，row、column分别代表区域中心的横纵坐标，phi为最小外接矩形的角度，length1、length2为最小外接矩形的长、宽。通过最小外接矩形对磁瓦区域进行位置信息提取，方便下一步对磁瓦区域进行更多的位置操作。
(3)边缘区域屏蔽；执行步骤4；
由于磁瓦四角存在倒角，而且出现缺陷的可能性比较小，在实际检测过程中需要对四角进行屏蔽，否则很容易产生误判并且干扰正常区域的分离以及缺陷区域的提取。此外，由于磁瓦特殊的半圆弧形状，其在二维平面上的投影(即相机捕捉到的图像)是两边为圆弧的矩形，并且圆弧边具有分层灰度梯度的特点，再加上磁瓦实际内表面不统一，因此难以对两边的圆弧和直线统一进行屏蔽。为了解决这一问题，本文提出动态掩模与尺度变换相结合的方法进行磁瓦内表面的提取，具体操作步骤如下：
3.1)、背景区域干扰的屏蔽；在步骤2先进行快速阈值分割，然后进行打散操作对远离磁瓦部分的干扰过滤掉，进行闭运算操作以减少磁瓦边缘部分干扰，得到过滤后图像；
在对步骤1采集到的图像进行快速阈值分割的时候由于背景区域可能带来的灰度干扰，需要进行滤波。灰度干扰分为两种，一种是存在于背景远离磁瓦部分的干扰，一种是邻近磁瓦部分的干扰。前者在进行阈值分割后进行打散操作(打散操作是用来计算输入区域中的所有连通域)，可以把磁瓦部分与这类区域分割开来，在做特征筛选操作可以完成对第一类干扰部分的屏蔽；后者由于与磁瓦部分相邻，在打算操作后不能完全保证分隔开，因此需进行闭运算操作。令a代表被操作区域的集合，b为闭运算的结构元，则闭运算表示为：
考虑到磁瓦形状类矩形的特点，采用矩形结构元对目标区域进行元素，运算时的复杂度为：
其中f1为快速阈值分割得到的区域图像的面积，h为矩形结构元的高，o是代表的是复杂度函数，ld为软件内置系数。
3.2)、尺度变换完成边缘区域屏蔽，得到屏蔽后的图像。
对过滤后图像进行仿射变换。首先要对处理后的图像即提取出的磁瓦区域进行凸型转换，将原本边缘较为不规则的磁瓦区域转为凸型区域(convex)。这是为了方便下一步进行尺度变换时整体区域的规则，更加便于计算。接着将变换后的凸型磁瓦区域做图像旋转，这样有利于磁瓦姿态的矫正以及边缘区域的屏蔽。仿射变换包括两部分：水平变换和旋转变换，主要按照一个对应点和两个同位角进行变换并将其返回为齐次变换矩阵，表示为：
其中，hommat2d为上述齐次变换矩阵，r为旋转变换矩阵，t为平移系数。
最后将变换后的图像作为掩模，通过不断地微调整直至尺度变换后的图像与原来图像(步骤3.1得到的过滤后图像)作差后分割出的区域为一整个连通区域，设此时尺度变换函数数ξ发生了n次运算。磁瓦区域作差不能为一整个连通区域是因为磁瓦本身特殊形状所导致的，这也是磁瓦检测中具有较大难度的一个问题。而作差区域为一整个连通区域时并不能立即停止尺度变换，这是因为在磁瓦边缘区域的灰度值与其余地方相差较大，两个区域连接处的灰度值变化梯度较大，根据显著性原理即对梯度变化较大区域具有强敏感性可以很容易的想到这部分区域会对检测造成很大干扰，因此当尺度变换函数数ξ发生了
尺度变换函数ξ其实就是将磁瓦按照横向和纵向方向上的等比例放缩，微调整实质上就是尺度变换函数ξ的循环。
(4)结构张量计算；执行步骤五；
由于磁瓦表面具有复杂的纹理，要对图像进行出滤波，结构张量相比于gabor滤波器相比计算效率更高，可以有效提取边缘、角点、纹理等信息。具体步骤如下：
4.1)对于给定的图像f(x,y)(步骤3.2得到的屏蔽后的图像)进行缩放，将其尺寸变换至期望显著图的尺寸，得到缩放后的图像；
4.2)计算缩放后的图像中每一个位置的线性结构张量jσ:
其中，kσ为标准差σ的高斯核函数，*为卷积运算。
需要注意的是kσ所代表的高斯滤波也可换成均值滤波，当滤波方式改为均值滤波时参与卷积的是3×3的sobel滤波器。
4.3)对所有的线性结构张量jσ，求其特征值λ1和λ2，进而计算图像中所有像素位置的|λ1-λ2|，构成矩阵a；计算图像中所有像素位置的|λ1+λ2|，构成矩阵b。
对于任一结构张量，将其表示为
4.4)对矩阵a进行归一化，所的矩阵作为边缘显著图；对矩阵b进行归一化，所得矩阵为角点显著图。
4.5)最终显著图可由各通道的显著图的线性组合而获得。在通道特征显著图生成后，一般还需要对特征图进行规范化，以消除不同通道图像像素取值范围之差的影响，并利于不同通道特征显著图组合成最终的视觉显著图。
一般磁瓦输入图像都是单通道的，这是因为一般打光的光源都是白色的，直接归一化即可得到灰度显著图，但是实际实验中磁瓦采用其他的颜色的光(如偏红光)进行打光时其表面的部分缺陷更加突出，可能更适合一些简单的方法，这里说各通道就是说明对于具有多通道的图像本发明也可以使用。
其中，s代表最终显著图，ψ表示图像的规范化，ψ(cl)、ψ(f)和ψ(o)分别表示颜色(灰度)、亮度(边缘)以及轮廓(角点)规范化后的显著图。
(5)缺陷区域提取；
为了描述图像的纹理等属性，提出以不均匀性(inhomogeneity)以及各向同性(isotropy)对图像的特征进行描述，两者计算步骤如下；
inhomogeneity＝trace(jσ)
trace代表计算矩阵的迹，det代表计算矩阵行列式的值；
设某个像素点的不均匀性为pinhomo，各向同性为pisotropy，在实际计算中只有同时满足以下两个条件的像素点才能继续进行计算：
threshinhom、threshshape是人为设定的参数，通过调整这两项参数可以得到不同的处理结果。
经过上述计算(不均匀性、各向同性)，计算得到相应的协方差矩阵(协方差矩阵就是现有的计算方法)，通过分析协方差矩阵可以得到感兴趣区域点的具体点坐标。遍历协方差矩阵中的点，检测是否存在符合条件的特征点，只要检测到有特征点的存在(检测为1)，就说明存在缺陷点，那么就可以确定这是一个缺陷磁瓦，反之则为正常磁瓦。
若要对剩下的区域进行更加精细的特征计算并且定位特征点，需要将计算的区域返回至原有的灰度值，这样就必须估计输入图像的噪声质量以及将协方差矩阵的所有分量与噪声方差相乘，噪声均值(mean)与偏差(deviation)的具体计算公式如下：
其中p为图像区域(region)r(步骤3.2得到的屏蔽后的图像)中的任意一个像素，g(p)为区域的灰度值函数。f是图像区域(region)r中的任意一个像素块区域。
对于偏差精度要求高的情况下，可采用更加详细的计算公式：
其中f是图像区域(region)r中的任意一个像素块区域，(r′,c′)为图像区域的中心，α、β和μ为图像平面的参数。这种偏差计算方式相比于一般的算法差别之处在于前者对于倾斜的图像平面也能够返回0灰度值。
实验一：
1、利用图像采集装置采集磁瓦图像；
2、对采集到的磁瓦图像进行区域截取。
截取磁瓦图像的坐标函数：
region(area,row,column,phi，length1,length2)
其中，旋转中心任意选取，旋转角度phi设置为0度，截取矩形区域长宽自定义，但要满足以下条件：
0<length1<column
0<length2<row
column为采集到的磁瓦图像的列坐标，row为采集到的磁瓦图像的行坐标。
3.对边缘区域的屏蔽操作主要采用了仿射变换和尺度变换的方法，具体操作如下：
(1)先通过快速二值化阈值分割，对图像进行分割并进行打散，分割函数：
屏蔽掉远离磁瓦区域的背景后就要采用矩形结构元进行闭运算来对第二类干扰背景进行屏蔽，本实验中采用11×11的矩形结构元。
(2)对尺度变换后的边缘区域进行屏蔽；
凸型区域进行仿射变换后进行均值滤波以减少表面纹理对实验结果的影响，对所有输入图像的灰度值进行线性平滑，对于边界处理，灰度值反映在图像边缘上，通过构造一个3×3的滤波掩模对变换后的磁瓦区域进行均值滤波。
4.对图像进行结构张量的计算：
通过上述原理中所提出的结构张量计算方法对图像中的每个点进行计算，最终得到每个点的特征值。第二步，为了计算最终的结果点构建两个优化函数。实质上，对于待计算的磁瓦区域，这些优化函数计算每个点到边缘方向的距离(即角点)和梯度方向的平均值。接着由优化函数的局部极小值所提取到的点作为目标点即特征点，最后得到这些点所对应的亚像素精确值的坐标数据。
5.缺陷区域的提取：
本文提出的检测算法中有两部分参数可以进行调整：滤波参数与特征参数。滤波参数包括高斯导数大小(sigmagrad)以及高斯平滑参数(sigmaint)；特征参数包括不均匀度(inhomogeneity)和各向同性(isotropy)阈值。通过调节滤波参数可以获得不同滤波效果，对图像进行不同程度的高斯平滑，完成对纹理因子不同程度的抑制，为后续的特征点计算提供不同复杂度的计算环境。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！