一种表面贴装技术的钢网图像自动配准方法和系统与流程

本发明属于图像处理与光学测量领域，更具体地，涉及一种表面贴装技术的钢网图像自动配准方法。

背景技术：

随着电子技术的飞速发展与进步，PCB电路的集成度和复杂度也在不断提高，贴片元件在电路板总体的元件总数中占到了50％到90％，表面贴装技术(SMT)是目前电子组装行业里最流行的一种技术和工艺。钢网是一种激光切割而成的SMT专用模具，主要功能是帮助锡膏的沉积，目的是将准确数量的锡膏转移到空PCB上的准确位置。目前随着加工工艺以及电子行业的发展越来越好，SMT钢网上开孔的尺寸也越来越小，数量也成几何的增加，多达上千甚至上万个孔尺寸从0.1微米到数厘米的分布。在此之前一般都是通过人工使用放大镜以及其它辅助工具逐个用肉眼进行观察检测钢网孔的好坏，人工视觉检测将消耗大量的时间同时难以保证检测的正确率。因此基于机器视觉的自动检测技术将是未来钢网检测的必然趋势。

大幅面(600*600mm以上)钢网通过单面阵CCD与远心镜头配合电动机械平台进行蛇形扫描成像，图像经过精密拼接形成全幅面图像与矢量设计文件通过特征点进行配准，调用检测算法进行缺陷检测得到质检结果。钢网图像如何与设计文件进行自动并且精密的配准是缺陷检测前的关键。现有的图像配准方法常常需要人为的点选特征点，不具备自动性和高效性；即使有自动配准的方法，现有的自动配准算法只能适用于钢网摆放较小的倾斜和旋转。难以适用于钢网随意的摆放角度、钢网在加工过程中的拉伸变形对配准成功率的影响，以及不具备智能的检测配准效果和自动优化调整配以提高成功率等功能。

技术实现要素：

为了解决现有技术以上技术缺陷及技术问题，本发明提供了一种表面贴装技术的钢网图像自动配准方法，其目的在于自动选取匹配特征点；并就钢网摆放角度的随意性提出了合理的适用方法；加入了内部自动测试匹配效果和二次配准。由此解决现有的钢网配准与缺陷检测方法效率低、适用性差以及不够智能化等技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种表面贴装技术的钢网图像自动配准方法，该方法包括以下步骤：

(1)由钢网设计文件得到钢网设计轮廓，求取设计轮廓最小外接矩形，得到矩形四个顶点的坐标和矩形的长；

(2)提取设计轮廓中所有连通孔的面积和重心坐标，并根据重心坐标生成设计点阵图像；

(3)依次由矩形的4个顶点和设计点阵图像求取4个设计配准点；

(4)采集成品钢网高对比度图像，若成品钢网太大，则采集钢网多个局部图像进行拼接组成完整钢网图像，再使用迭代法进行双线性插值亚像素阈值分割处理图像；求取处理后图像区域最小外接矩形并计算矩形四个顶点的坐标和矩形的长；

(5)提取处理后的钢网图像连通孔的面积和重心坐标，由所有重心坐标生成钢网点阵图像；

(6)依次由矩形的4个顶点和钢网点阵图像求取4个第一配准点；

(7)在钢网点阵图像中分别找到距4个第一配准点最近的4个重心点作为第二配准点；

(8)选取3个设计配准点和对应位置的3个第一配准点进行仿射变换，得到特征仿射矩阵，设计轮廓通过仿射矩阵变换后覆盖在钢网图像上；

(9)对通过仿射矩阵变换的设计轮廓进行自动配准测试，判断是否配准成功，若是则配准结束；否则将失败配准点更换为对应位置的第二配准点继续配准。

进一步地，所述步骤(3)和步骤(6)中配准点求取过程分为以下子步骤：

(11)以矩形的一个顶点为圆心，以R_d为半径画圆，其中，R_d＝kL，L为矩形的长，k为第一半径倍数；k的取值范围为5％＜k＜20％，优选k＝10％；

(12)求圆和点阵图像的交集，判断交集内是否有重心点，有则获取交集内的重心坐标，并执行步骤(34)；否则执行步骤(33)；

(13)k＝2k，更新半径R_d并重画圆，执行步骤(32)；

(14)求矩形顶点和交集内所有重心坐标的距离，取距离最小的重心坐标作为配准点。

进一步地，所述步骤(4)中迭代法进行双线性插值亚像素阈值分割处理图像具体分为以下子步骤：

(41)选择钢网图像前景和背景之间的过渡部分的每个像素进行10×10的插值；

(42)使用迭代法求得钢网图像的阈值，对插值后的钢网图像进行阈值分割。

进一步地，所述步骤(9)中自动配准测试分为以下子步骤：

(91)提取仿射矩阵变换后设计轮廓的连通孔面积和重心坐标，由所有重心坐标生成配准点阵图像；

(92)以所选的3个第一配准点其中一个为圆心，以R_c为半径画圆，其中，R_c＝jl，j为第二半径倍数；j的取值范围为1％＜j＜10％，优选j＝3％；l为4个第一配准点中相距最远两个配准点之间的距离；求得圆和配准点阵图像交集内的重心点坐标，记为第一交集点集合；求得圆和钢网点阵图像交集内的重心点坐标，记为第二交集点集合；

(93)依次对比第一交集点集合内坐标点和第二交集点集合内对应位置坐标点之间的距离，距离大于最大允许偏差的坐标点记为配准失败点，若配准失败点的个数大于配准阈值，则判断当前作为圆心的第一配准点配准失败，并记为失败配准点；否则判断当前作为圆心的第一配准点配准成功；其中，配准阈值取值范围为交集点集合内坐标点总数的30％到50％，优选交集点集合内坐标点总数的40％；最大允许偏差的取值范围为50um到150um，优选100um；

(94)重复步骤(92)和(93)直到3个所选第一配准点都完成自动配准测试，若3个所选第一配准点都配准成功，则配准成功；否则配准失败。

按照本发明的另一方面，提供了一种表面贴装技术的钢网图像自动配准系统，该系统包括以下部分：

设计轮廓外接矩形提取模块，用于由钢网设计文件得到钢网设计轮廓，求取设计轮廓最小外接矩形，得到矩形四个顶点的坐标和矩形的长；

设计点阵图像提取模块，用于提取设计轮廓中所有连通孔的面积和重心坐标，并根据重心坐标生成设计点阵图像；

设计配准点提取模块，用于依次由矩形的4个顶点和设计点阵图像求取4个设计配准点；

钢网图像外接矩形提取模块，用于采集成品钢网高对比度图像，若成品钢网太大，则采集钢网多个局部图像进行拼接组成完整钢网图像，再使用迭代法进行双线性插值亚像素阈值分割处理图像；求取处理后图像区域最小外接矩形并计算矩形四个顶点的坐标和矩形的长；

钢网点阵图像提取模块，用于提取处理后的钢网图像连通孔的面积和重心坐标，由所有重心坐标生成钢网点阵图像；

第一配准点提取模块，用于依次由矩形的4个顶点和钢网点阵图像求取4个第一配准点；

第二配准点提取模块，用于在钢网点阵图像中分别找到距4个第一配准点最近的4个重心点作为第二配准点；

配准模块，用于选取3个设计配准点和对应位置的3个第一配准点进行仿射变换，得到特征仿射矩阵，设计轮廓通过仿射矩阵变换后覆盖在钢网图像上；

配准测试模块，用于对通过仿射矩阵变换的设计轮廓进行自动配准测试，判断是否配准成功，若是则配准结束；否则将失败配准点更换为对应位置的第二配准点继续配准。

进一步地，所述设计配准点提取模块和第一配准点提取模块中配准点求取过程分为以下子模块：

画圆子模块，用于以矩形的一个顶点为圆心，以R_d为半径画圆，其中，R_d＝kL，L为矩形的长，k为第一半径倍数；k的取值范围为5％＜k＜20％，优选k＝10％；

求交集子模块，用于求圆和点阵图像的交集，判断交集内是否有重心点，有则获取交集内的重心坐标，并执行步骤(34)；否则执行步骤(33)；

更新圆子模块，用于更新k＝2k，更新半径R_d并重画圆，执行步骤(32)；

求配准点子模块，用于求矩形顶点和交集内所有重心坐标的距离，取距离最小的重心坐标作为配准点。

进一步地，所述钢网图像外接矩形提取模块中迭代法进行双线性插值亚像素阈值分割处理图像具体分为以下子模块：

插值子模块，用于选择钢网图像前景和背景之间的过渡部分的每个像素进行10×10的插值；

阈值分割子模块，用于使用迭代法求得钢网图像的阈值，对插值后的钢网图像进行阈值分割。

进一步地，所述配准测试模块中自动配准测试分为以下子模块：

配准点阵图像生成子模块，用于提取仿射矩阵变换后设计轮廓的连通孔面积和重心坐标，由所有重心坐标生成配准点阵图像；

配准交集子模块，用于以所选的3个第一配准点其中一个为圆心，以R_c为半径画圆，其中，R_c＝jl，j为第二半径倍数；j的取值范围为1％＜j＜10％，优选j＝3％；l为4个第一配准点中相距最远两个配准点之间的距离；求得圆和配准点阵图像交集内的重心点坐标，记为第一交集点集合；求得圆和钢网点阵图像交集内的重心点坐标，记为第二交集点集合；

配准点判断子模块，用于依次对比第一交集点集合内坐标点和第二交集点集合内对应位置坐标点之间的距离，距离大于最大允许偏差的坐标点记为配准失败点，若配准失败点的个数大于配准阈值，则判断当前作为圆心的第一配准点配准失败，并记为失败配准点；否则判断当前作为圆心的第一配准点配准成功；其中，配准阈值取值范围为所有交集点总数的30％到50％，优选所有交集点总数的40％；最大允许偏差的取值范围为50um到150um，优选100um；

配准判断子模块，用于重复步骤配准交集子模块和配准点判断子模块直到3个所选第一配准点都完成自动配准测试，若3个所选第一配准点都配准成功，则配准成功；否则配准失败。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：

(1)本发明创造性的利用图形的最小外接矩形会随着任意的摆放位置和角度而相应的变化，但配准特征点与矩形顶点绝对最小距离不变的性质特点，可以有效解决随意旋转对配准效果的影响。

(2)本发明巧妙的利用了图像与图像之间的与运算以及自动的增长搜索范围分割特征区域大大降低了寻找特征点的计算量和复杂性。通过采用迭代法选取阈值以及双线性插值亚像素分割保证了配准的精度和之后的检测精度。在保证准确度的前提下可以比经典亚像素边缘检测算法更快速的完成轮廓提取。

(3)本发明技术方案考虑到实际钢网在加工过程中可能存在拉伸以及热力形变和其它难以意料的影响，通过自动测试和自动调整配准点以及二次配准的机制，相较于现有技术配准的成功率更高。

附图说明

图1是本发明方法流程图；

图2设计轮廓文件以及其最小外接矩形和4个顶点示意图；

图3是以第1个顶点为圆心与点阵图交集搜索到的最小距离配准点示意图；

图4是钢网图像亚像素阈值分割示意图；

图5是随意摆放的钢网图像以及其最小外接矩形和4个顶点示意图；

图6是图像中第一配准点以及潜在干扰第二配准点示意图；

图7是钢网图像与文件配准后局部示意图；

图8是钢网图像与文件配准失败示意图；

图9是配准失败进行自动测试二次配准后成功示意图；

图10是钢网图像与设计文件配准后存在孔位偏移的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明方法流程如下：

(1)读取钢网加工Gerber文件，解析孔位置、形状大小等信息得到钢网轮廓矢量文件并显示如图2所示；

求取整个文件区域的最小外接矩形并计算得到矩形左上、右上、左下、右下四个顶点的坐标和矩形的长，如图2中矩形框和4个圆点所示。求取图像的最小外接矩形的步骤为：依次扫描图像的各列寻找每列目标的起点坐标(x1，y1)和终点坐标(x2,y2)得到这一列内的重心坐标为(x,y),计算各列重心坐标(xi,yi)使用最小二乘法进行直线拟合得到水平主轴直线方程y＝k1x+b1。同理对各行求行重心和垂直主轴y＝k2x+b2。真正的重心为水平主轴和垂直主轴的交点。保持水平主轴方向不变向下平移寻找直线与目标是否相交，最后一次相交的直线位置作为外接矩形的下边界。同理可以求得外接矩形的上和左右边界作为初始外接矩形。然后按一定旋转方向和旋转角度间隔旋转初始矩形，找到面积最小的外接矩形作为优选的目标。用直线方程来表示矩形互相垂直的四条边，而直线的交点则为外接矩形的4个顶点。

(2)对设计轮廓文件的所有连通孔区域按照步骤(1)中求重心的方法提取连通孔的面积和重心的坐标，并把重心坐标点生成一幅设计点阵图，如图3中的小圆点所示为设计点阵图。

(3)以矩形的4个顶点为圆心，半径初值为矩形长的10％画圆，与设计点阵图求交集，并获得交集内的重心坐标点。如果没有交集，则圆半径自动增长一倍，重复的画圆求交集直至交集内有重心点为止。求取交集内重心坐标与当前矩形顶点的距离，并取最小距离所对应的坐标点为一个配准特征点。得到与矩形4个顶点距离最近的4个配准点，记为设计配准点。如图3所示，四分之一圆为以左上角顶点为圆心画出来的圆，图中打叉所对应的点为与左上角顶点距离最近的配准点。

(4)对采集拼接好的高对比度钢网图像使用迭代法进行双线性插值亚像素阈值分割如图4所示。选择钢网图像前景与背景之间的过渡部分进行插值。由此对每个像素进行10*10的插值，使用迭代法计算出的阈值对插值后的图像进行阈值分割。求取整个图像区域内的最小外接矩形并计算得到矩形四个顶点的坐标和矩形的长。如图5中矩形框和4个圆点所示，

(5)对钢网亚像素分割后的图像提取孔的面积和重心的坐标，把所有重心坐标点生成一幅点阵的图像，记为钢网点阵图，如图6小圆点所示。

(6)图像外接矩形的4个顶点为圆心，半径初值为矩形长的10％画圆，与钢网点阵图求交集，并获得交集内的重心坐标点。如果没有交集，则圆半径自动增长一倍，重复的画圆求交集直至有交集为止。求取交集内重心坐标与当前矩形顶点的距离，并取最小距离所对应的坐标点为一个配准特征点。得到与矩形4个顶点距离最近的4个第一配准点。如图6中打叉所对应的点为与左上角顶点距离最近的配准点。钢网摆放存在随意性，角度倾斜难以避免，图像的最小外接矩形也会随着摆放的倾斜程度而相应变化，但是与矩形顶点距离最小的特征重心点的绝对性质是不会变化的，因而此方法可以适用于摆放角度的随意倾斜。

(7)考虑到钢网在切割加工过程中随着开孔量的数目和密集度增加会由于热胀冷缩和拉伸造成整体形状一定程度的变形。如果在第一配准点附近有邻近点与矩形顶点距离与第一配准点最小距离非常接近，则把邻近点作为潜在干扰点进行备份，作为可能的第二配准点。如图6中圆圈圈出来的作为潜在干扰点进行备份。

(8)找出3个设计配准点与对应位置的3个第一配准点的坐标进行仿射变换，得出特征仿射矩阵。设计轮廓文件通过仿射矩阵变换后位移、旋转角度和缩放比例都与钢网图像一致且坐标统一。

(9)对配准结果进行自动测试。对步骤(8)仿射变换后的设计轮廓文件提取孔的面积和重心的坐标，把所有重心坐标点生成一幅新的点阵的图像，记为配准点阵图。以步骤(8)中所选的3个第一配准点为圆心，3％的矩形斜边长为半径画圆，求得圆和配准点阵图像交集内的重心点坐标，记为第一交集点集合；求得圆和钢网点阵图像交集内的重心点坐标，记为第二交集点集合；依次对比第一交集点集合内坐标点和第二交集点集合内对应位置坐标点之间的距离，距离大于100um的坐标点记为配准失败点，若配准失败点的个数大于交集点集合内坐标点总数的40％，则判断当前作为圆心的第一配准点配准失败，并记为失败配准点；否则判断当前作为圆心的第一配准点配准成功；3个所选第一配准点都完成自动配准测试后，若3个所选第一配准点都配准成功，则配准成功，如图8所示；若失败，如图7所示，则将配准失败的第一配准点更换为第二配准点后重复自动配准测试继续配准。配准后图像局部如图9所示，可以明显由配准结果看到钢网制作缺陷。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。