一种电路板上多余物检测方法与流程

1.本发明属于电路板质量检测技术领域，具体涉及一种电路板上多余物检测方法。


背景技术：

2.电路板在工业生产线上组装的过程中，由于生产工艺或人为原因等会导致部分零件或者碎屑掉落在电路板上。遗留的多余物会直接影响到成品合格率，因此对于是否有多余物遗留的检测是现代生产电路板生产过程中不可缺少的一部分。多余物检测在传统方法中一般由人工完成，人工进行多余物检测容易受到注意力以及外界环境等因素的影响。进行检测时很容易出现误检和漏检。因此，自动化的多余物检测对于电路板工业生产中的质量检测具有重要的意义。
3.现有的自动化多余物检测，主要是包括以下几种方式：
4.1、振动检测；利用振动发生器使多余物与电路板分离，从而检测多余物。该方法存在锐利多余物易损伤电路板的问题。
5.2、基于x光的多余物检测；对于纸片、低密度塑料等多余物x光检测难以有好的检测效果。
6.3、基于深度学习的多余物检测；深度学习方法需要多余物的数据集，而对于不确定多余物的形状、颜色、种类的情况，深度学习方法检测准确率较低。


技术实现要素：

7.(一)要解决的技术问题
8.本发明要解决的技术问题是如何提供一种电路板上多余物检测方法，以解决人工方法准确率得不到保障，振动方法可能对电路板造成损伤，神经网络的方法需求较大的多余物数据集且不能很好应对未知类型的多余物的问题。
9.(二)技术方案
10.为了解决上述技术问题，本发明提出一种电路板上多余物检测方法，该方法包括如下步骤：
11.s1、获取标准图片与待测图片步骤：获取无多余物的电路板的照片作为标准图片，获取待检测电路板的照片作为待测图片；
12.s2、目标区域对齐步骤：将待测图片和标准图片的内容的位置对应，用于找寻；
13.s3、待测图片和标准图片的相应位置相减，根据差值的大小判断区域内待测图片和标准图片的的差异，从而找出多余物的区域范围；
14.s4、找出多余物的所在区域，筛选多余物。
15.(三)有益效果
16.本发明提出一种电路板上多余物检测方法，与现有技术相比本发明具有以下优点，仅需对电路板拍照，不会对电路板造成损伤，能够检测出纸片、低密度塑料等x光难以检测出来的多余物，能够应对多余物种类、形状、颜色不确定的情况。因为不需要根据多余物
以及待检测电路板的类型进行适配，特别的本方法适合用于小批量多批次的电路板的多余物检测过程。
附图说明
17.图1为本发明的方法流程图；
18.图2为结构a被结构b膨胀的过程示意图；
19.图3为结构c被结构b腐蚀的过程示意图。
具体实施方式
20.为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
21.本发明所要解决的技术问题在于提供一种电路板上多余物的检测方法及系统，以解决人工方法准确率得不到保障，振动方法可能对电路板造成损伤，神经网络的方法需求较大的多余物数据集且不能很好应对未知类型的多余物的问题。期望能够在性能较低的设备上实现，不同型号电路板，未知种类、形状、颜色的多余物检测。
22.本发明公开了一种电路板上多余物检测方法，包括：(1)获取标准图片与待测图片；(2)分别提取标准图片与待测图片相同数量的特征点，匹配两张图片的特征点，选取匹配程度高的特征点计算单应性矩阵，利用单应性矩阵将待测图片透视变换，形成待测图片与标准图片位置对应；(3)找到标准图片与变换后的待测图片对应位置不同的区域，作为多余物区域；(4)计算多余物区域的相似程度，减少误判。本发明基于机器视觉的方法解决电路板多余物检测的问题，在工业生产监控中将发挥重要作用。
23.为达上述目的，本发明提供了一种电路板上多余物的检测方法及系统，包括：
24.s1、获取标准图片与待测图片步骤：获取无多余物的电路板的照片作为标准图片，获取待检测电路板的照片作为待测图片；
25.s2、目标区域对齐步骤：将待测图片和标准图片的内容的位置对应，用于找寻。
26.s21、图像灰度化步骤：将待测图片与标准图片分别转化为灰度待测图片和灰度标准图片；
27.s22、提取特征点步骤：利用orb方法分别提取灰度待测图片和灰度标准图片的特征点并计算特征点的描述子；
28.s23、匹配并筛选特征点步骤：计算特征点描述子之间的汉明距离，保留其中匹配度最好的前10％特征点。
29.s24、获取灰度待测图片与灰度标准图片的单应性矩阵：以保留的匹配特征点找到灰度待测图片与灰度标准图片的单应性矩阵。
30.s25、对待测图像进行透视变换：彩色待测图片与单应性矩阵相乘，得到变换之后的a图片，该a图片零件的位置与标准图片零件的位置相对应。
31.s3、待测图片和标准图片的相应位置相减，根据差值的大小判断区域内待测图片和标准图片的的差异，从而找出多余物的区域范围：
32.s31、图像灰度化步骤：将a图片转化为黑白a图片；
33.s32、创建黑白标准图片和a图片掩膜：分别创建黑白标准图片和黑白a图片的掩膜
图片，分别对图片和掩膜采取逻辑或操作，将黑白标准图片的掩膜和黑白a图片的掩膜采取逻辑与操作,得到roi(region of interest,感兴趣区域)的掩膜b；
34.s33、两张图片相减：将黑白标准图片和黑白a图片截取掩膜b内区域，再相减，得到差值图片。
35.s34、获取可能是多余物的位置区域：将差值图片二值化，并对图片进行闭运算。
36.s4、找出多余物的所在区域，筛选多余物：
37.s41、找到多余物外接最小矩形：在二值化图像上找出边缘，封闭的图形认为是多余物的轮廓，计算每个多余物的外接矩形；
38.s42、筛选多余物：选择彩色标准图片和彩色a图片的外接矩形对应的区域，利用模板匹配方式，采用归一化相关系数计算相似度；当相似度小于阈值时认为是多余物，当相似度大于阈值时，认为不是多余物，可选的，所述阈值为0.6。
39.本发明的方法具体包括如下步骤：
40.(1)获取标准图片与待测图片步骤：在电路板组装完成之后，利用流水线上摄像头对电路板进行拍照，获得待测图片。利用摄像头，对一个无多余物的合格品进行拍照，获得标准图片。
41.(2)图片相应位置对齐步骤：将待测图片和标准图片对应起来，用于找寻。
42.(21)图像灰度化步骤：将彩色待测图片与彩色标准图片转化为灰度待测图片和灰度标准图片：具体实施时，如果彩色图像中一个像素的红、绿、蓝分量分别为r、g、b，则计算y＝0.30
×
g+0.59
×
g+0.11
×
b，就得到这个像素的灰度值。
43.(22)提取特征点步骤：利用orb(oriented fast and rotated brief)方法分别提取灰度待测图片与灰度标准图片的特征点并计算特征点的描述子：具体实施时，
44.由于fast特征点不具有尺度不变形，采用图像空间金字塔为fast构建尺度不变性，在每一个尺度下的图像中提取fast特征点。
45.使用fast9来提取fast特征点，即在中心点的16邻域中，只要有9个像素点同时都比中心点像素p小或者大，即认为其是特征点。为了避免特征点扎堆的情况出现，将较差的部分滤掉，保留较好那部分特征点，会使得在使用过程中，增加系统的鲁棒性。fast中用极大值抑制来筛选出较好的特征点，统计特征点p1的16邻域中的像素差总和分数s1，对比相邻特征点之间的差异，即s1和s2，在邻域内只保留分数最大的特征点。
46.brief描述子主要是通过比较中心像素点p任意邻域内的n＝256对像素之间的差值来生成二进制描述子的。如公式(1)、(2)所示，任意一对像素点p(x)和p(y)，若p(x)《p(y)，则描述子对应的位置为1，否则置为0。fn(p)为生成的p点的brief描述子
[0047][0048]fn
(p)＝∑
1≤i≤n2i-1
τ(p；xi,yi)
ꢀꢀ
(2)
[0049]
orb在计算brief描述子时建立的坐标系是以特征点为圆心，以特征点和取点区域的形心的连线为x轴建立2维坐标系。采取固定的取点模式使得无论图像如何旋转，orb选取点对的坐标系是固定的，即特征点经过旋转也会保持一致性。
[0050]
固定的取点模式：图像中每个像素点的灰度值视为该点的质量，则可计算以特征点p为圆心，d为半径的圆形区域内的质心q。根据pq的位置与方向的确定可在特征点旋转的
情况下保持每次选点的一致性。
[0051]
以特征点为圆心，d为半径的圆形区域内，以固定的模式取n＝256个点对，例如点对以p(a,b)表示，具有方向性。ia表示a点灰度值，t(p(a,b))表示对点对p(a,b)的描述子计算值，所有n个点对计算的值组合起来就是特征点的描述子。
[0052][0053]
(23)以汉明距离为度量匹配特征点步骤：计算特征点brief描述子之间的汉明距离，保留其中匹配度最好的前10％特征点。汉明距离是两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。即比对256位二进制描述子，统计其中数字不一致的位数作为brief描述子之间汉明距离。
[0054]
(24)获取灰度待测图片与灰度标准图片的单应性矩阵：以保留的匹配特征点求解得到灰度待测图片与灰度标准图片的单应性矩阵单应矩阵约束了同一3d空间点在两个像素平面的2d齐次坐标，设是两个点对应的齐次坐标，表示为将矩阵展开有3个等式，将第3个等式代入前两个等式中可得式中可得由于使用的是齐次坐标系，h矩阵的参数数量为9，所以单应性矩阵h的自由度为8，使用h
33
＝1来进行归一化。即变形得
[0055]
即
[0056]
其中h＝[h
11
,h
12
,h
13
,h
21
,h
22
,h
23
,h
31
,h
32
]
t
[0057]
h共有8个未知参数，需要四上面这样的式子才能求解,所以单应性矩阵求解至少需要4对点对，即得到下式。
[0058][0059]
令则有ah＝0
[0060]
利用奇异值分解(svd),可求解矩阵，得到h，即可得到单应性矩阵h
[0061]
(25)对彩色待测图片进行透视变换：彩色待测图片与单应性矩阵相乘，得到变换之后的a图片，该a图片零件的位置与彩色标准图片零件的位置相对应。如下公式所示，(u，v)为原始图像像素坐标,(x,y)为变换之后的图像像素坐标,h为单应性矩阵。
[0062]
[x,y,1]＝h*[u,v,1]
[0063]
(3)提取多余物在画面中的区域：
[0064]
(31)图像灰度化步骤：将彩色待测图像与彩色标准图像转化为灰度待测图像和灰度标准图像；具体实施时，如果彩色图像中一个像素的红、绿、蓝分量分别为r、g、b，则计算y＝0.30
×
g+0.59
×
g+0.11
×
b，就得到这个像素的灰度值。
[0065]
(32)创建灰度标准图片和灰度待测图片掩膜：分别创建灰度标准图片和灰度待测图片的掩膜图片，生成的掩膜图片是尺寸等于对应灰度标准图片或者灰度待测图片并且所有像素数值为0的图片，分别对图片和掩膜采取逻辑或操作，将标准图片的掩膜和待测图片的掩膜采取逻辑与操作,得到roi(region of interest,感兴趣区域)的掩膜；
[0066]
(33)两张图片相减：将灰度标准图片和灰度待测图片截取roi掩膜内区域，对应位置的灰度值数字相减，得到差值图片。
[0067]
(34)获取可能是多余物的位置区域：将差值图片二值化，按照公式，图片的点(x,y)的二值化之后的灰度值dst(x,y),由原灰度值src(x,y)决定，src(x,y)大于设定阈值thresh的点设为255，否则设为0，一般的thresh取60。
[0068][0069]
会存在待测图片上出现了多余物但是标准图片上对应位置的部分颜色与多余物相同的现象，按照上述二值化操作，可能会造成单个多余物被分割成多个，为了减少单个多
余物被识别成多个的可能的，对二值化之后的a图片进行闭运算，即先进行膨胀操作再进行腐蚀操作，先进行膨胀操作得到图片c，a图片被结构b膨胀的定义为。可以理解为，移动结构b，如果结构b与结构a的交集完全属于结构a的区域内，则保存该位置点，所有满足条件的点构成结构a被结构b膨胀的结果c。
[0070]
然后进行腐蚀操作，图片c被结构b腐蚀的定义为，
[0071]
可以理解为，将结构b在结构c上进行卷积操作，如果移动结构b的过程中，与结构c存在重叠区域，则记录该位置，所有移动结构b与结构c存在交集的位置的集合为结构c在结构b作用下的腐蚀结果为d。
[0072]
(4)筛选多余物
[0073]
(41)寻找轮廓最小外接矩形：在经过闭运算之后的二值化图像d上找出0与255交界的边缘，围成的图形可能是多余物的形状，获得其外接矩形。
[0074]
(42)按照相似度筛选多余物：按照彩色待测图片和彩色标准图片每个外接矩形的位置进行相似度对比，旋转相同角度的彩色待测图片与彩色标准图片，使得外接矩形的边是水平或垂直方向的，计算相似度r(x,y)，一般的利用模板匹配方式采用归一化相关系数，以此判断对应位置是否有多余物。r(x,y)计算方式如下式所示，t表示彩色标准图片对应区域图像，i表示彩色待测图片对应区域图像，切模板图像的宽为w高为ha，即t或i在模板图片上截取下来区域的宽和高为w和ha。x,y分别是外接矩形里最小的横纵坐标值。x',y'代表外接矩形里的另一个点相对于x,y的横纵坐标值增加量。
[0075][0076]
得出的r(x,y)值作为该比对区域的相似度，与相似度阈值0.6比较。如果r(x,y)≥0.6则认为该区域相似程度高，不存在多余物，如果r(x,y)《0.6则认为该区域相似程度低，存在多余物。
[0077]
实施例1：
[0078]
一种多余物检测的方法，其特征在于，所述方法包括：
[0079]
获取标准图片与待测图片。
[0080]
将获取的标准图像和待比对目标图像的内容的位置对应。
[0081]
标准图像与目标图像相应位置相减，根据差值的大小判断区域内目标图像与标准图像的差异，从而找出多余物的区域范围。
[0082]
找出多余物的所在区域，并排除其中多余物可能性较低的区域。
[0083]
进一步地，将获取的标准图像和待比对目标图像的内容的位置对应，具体包括：
[0084]
对所述目标图像和所诉标准图像进行图像灰度化；
[0085]
使用orb方法提取所述目标图像和所述标准图像的特征点；
[0086]
计算所述目标图片与所述标准图片的特征点之间的匹配程度，并按照匹配程度排序，保留匹配程度较高的特征点。
[0087]
基于相似程度高的特征点实现所述目标图像的透视变换。
[0088]
进一步地，利用所述单应性矩阵实现所述目标图像的透视变换，具体包括：
[0089]
基于匹配度好的特征点确定所述目标图像与所述标准图像的单应性矩阵；
[0090]
所述目标图像与所述单应性矩阵相乘得到变换之后的目标透视图像，所述目标透视图像上零件的位置与所述标准图像上零件的位置相对应。
[0091]
进一步地，计算特征点之间的汉明距离来确定特征点的匹配度。
[0092]
进一步地，找出多余物的区域范围，具体包括：
[0093]
将彩色待测图片和彩色标准图片转化为灰度图
[0094]
利用创建掩膜方法获取待测图片和标准图片的共同画面区域
[0095]
在共同区域内标准图片与待测图片作差得到差值图片
[0096]
获取可能是多余物的位置
[0097]
进一步地，获取可能是多余物的位置，具体包括：
[0098]
将差值图片二值化，一般的二值化阈值取值为60
[0099]
对二值化图片进行闭运算，即先进行膨胀操作再进行腐蚀操作。
[0100]
进一步地，找出多余物的区域并排除多余物可能性较低的区域，具体包括：
[0101]
根据二值化图像，找寻其中完整的最外圈的轮廓，然后获取其最小外接矩形
[0102]
找到原始标准图片与待测图片，并进行相同角度的旋转，使得最小外接矩形的边是水平和竖直方向的。
[0103]
排除掉相似程度大于阈值的区域。
[0104]
进一步地，利用模板匹配方式采用归一化相关系数计算相似程度。
[0105]
进一步地，相似程度的阈值一般的取0.6。
[0106]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。