一种基于模板匹配与分布特征的焊点识别与定位方法与流程

本发明涉及机器视觉中的特征点识别技术领域，具体涉及一种基于模板匹配与分布特征的焊点识别与定位方法。

背景技术：

在一些机械加工、装配生产线上，由于点焊机的焊接工艺不成熟，有时会出现虚焊、漏焊、焊穿等情况，当家电如冰箱冷凝管上焊点附近出现状况时可能会泄露冷凝管中的含有碳氢化物、氟利昂等成分的制冷剂，这不仅会缩短机器的寿命，还会对人体和环境造成极大的危害。由此，家电的生产厂家需要一套完整的、能够准确识别焊点并在特定的焊点附近检测焊点有无有害气体泄露的检测设备。在检测过程中，焊点的识别与定位是整个焊点检测系统的重点以及难点所在，主要在于：

1)焊点太小，每个焊点图像包含的信息较少，在一个复杂的大环境中只用焊点图像寻找最佳匹配点时，成功识别焊点的概率较低。

2)在光照条件、偏转角度发生变化时，同一焊点区域的像素值的分布有很大不同。

技术实现要素：

为了克服上述现有技术的不足，本发明提供了一种基于模板匹配与分布特征的焊点识别与定位方法，该方法适用于某一型号家电如冰箱检测流水线上冷凝管区域内焊点识别与定位，同时也可应用于其他特征点识别的场景。

本发明在简单的模板匹配上进行改良，使用多级模板匹配，将模板匹配分为l、m、s三级进行：l级为只包含焊点区域的大模板，用来排除拍摄环境因素的干扰、限定冷凝管区域；m级为包含待识别的焊点以及焊点周围环境的中级模板，用于每一个焊点大致区域的判定；s级为仅含有目标焊点图像的小模板，用于焊点位置的确定。在模板制作时制作不同摆放角度条件下的三套模板，在识别过程中先用三套模板中的l级模板依次与待检测图像进行模板匹配，分别求出匹配过程中最佳匹配区域与模板的相关系数，并据此来选择当前图像偏转角度的一套模板进行m、s级的匹配。每一级的匹配都在保证匹配成功率的基础上限定待识别区域，最终提高尺寸小、模板包含信息少的焊点在一幅尺寸大、环境复杂图像中匹配的成功率。

本发明的技术方案具体介绍如下。

一种基于模板匹配与分布特征的焊点识别与定位方法，具体步骤如下：

1)在家电的焊点检测流水线上利用相机对到达指定待检测位置的若干相对相机平面偏转角度不同、光照条件不同的产品进行拍摄，得到焊点区域内分布特征和焊点位置特征类似的不同产品的多幅图像，并选取焊点区域内分布特征典型的一个产品，拍摄其与相机平面夹角为-15°、0°、15°，即偏转角度为-15°、0°、15°时的三幅图像；

2)对步骤1)采集的同一家电不同摆放角度的三幅图像分别按照l、m、s三级模板来截图，制作偏转角度为-15°、0°、15°的三套模板；其中l级为包含整个焊点区域的大模板，m级为包含待识别的焊点以及焊点周围环境的中级模板，s级为仅含有焊点图像的小模板；3)除了被用于截图制作模板的图像外，以步骤1)中拍摄的其它图像作为待识别图像，将待识别图像依次与不同偏转角度的l级模板进行匹配，按照式(1)求出l级模板与当前l级模板覆盖被搜索图区域的互相关归一化系数γ(u，v)，将l级模板在被搜索图上平移，最终求出每一个子图像与l级模板图像的归一化矩阵，并求出矩阵中的最大的值以及它的位置；再用相关系数最大所在的相应偏转角度的一套模板中的m、s级依次进行模板匹配，模板匹配后，原待检测图像中只保留匹配区域，若同一焊点在相同偏转角度的三套模板中的匹配成功率大于90％时，则得到目标焊点；

式中待识别图像为f，模板图像为t，(u，v)为当前模板矩阵中心点的坐标，(x，y)从模板矩阵的左上方到右下方依次移动，为模板图像矩阵的均值，代表模板图像内每一像素点的灰度值减去均值的绝对值之和，为被模板覆盖区域矩阵的均值。

4)当步骤3)中识别成功率小于90％，则在用步骤3)方法进行l、m级匹配后，在拍摄的rgb图像中提取焊点区域内颜色特征明显的g通道图像，采用大津算法来进行二值化，区分焊点区域和背景区域，并用图像形态学中的膨胀与腐蚀运算方法来使得图像中的裂痕与噪声点消弭；

5)在二值图像中给每一个连通区域做标签，找到面积最大的连通区域，用和目标焊点像素大小相同的窗口根据焊点所在位置从连通区域的边缘开始依次移动搜索，当白色色素占比为90％以上时停止搜索，得到目标焊点的位置信息。

本发明中，步骤1)中，家电为冰箱；焊点区域内分布特征为冷凝管排布特征。

本发明中，步骤2)中，当最大的互相关归一化系数大于阈值γ时，即匹配成功，匹配区域为归一化系数最大位置的中心点，大小为模板尺寸的区域。

本发明中，步骤4)中，用图像形态学中的膨胀与腐蚀运算方法来使得图像中的裂痕与噪声点消弭时，先用腐蚀算法对噪声点消弭，再用膨胀算法对图像进行裂痕弥合。

和现有技术相比，本发明的有益效果在于：

1)本发明在模板匹配的基础上进行改进，运用简单的几种算法结合来进行焊点检测，无需除相机外其他探测仪器，相比于现有焊点识别技术中基于cnn模型、深度学习模型或采用x射线、超声波等技术手段，a)对计算机的硬件要求较低，节约仪器成本；b)原理简单、操作方便，节省结构搭建、模型训练的时间，缩短研发周期。

2)本发明针对不同特征的目标点，结合焊点区域的颜色特征、焊点在焊点区域上的分布特点，运用多级模板匹配、大津算法、图像形态学、窗口搜索法等相关的运算来进行焊点搜寻，相较传统的模板匹配，a)不易受外部光照变化的影响，b)不易受偏转角度变化的影响，鲁棒性更强。

3)本发明在模板特征不明显、尺寸小时有更高的准确率，本发明的平均匹配精度达到96.26％，相较于传统模板匹配的27.78％有了明显的提升。

附图说明

图1是多级模板匹配的过程。

图2是针对特征不明显焊点进行位置搜寻的过程。

图3是多级模板匹配与焊点分布特征定位的焊点的算法流程。

具体实施方式

下面结合附图对本发明进一步说明，图3展示了整个多级模板匹配与焊点分布特征定位的焊点的流程。

实施例1

实施例中，以家电为冰箱为例，对冰箱的焊点进行识别和定位的方法的具体步骤如下：

1)首先在冰箱焊点检测流水线上某一相机的位置以及高度，使其能够完整的拍摄到冰箱冷凝管区域以及周围的部分背景，当流水线上的产品到达指定待检测位置时进行拍摄，得到多幅相对相机偏转角度、冷凝管排布以及焊点位置有些许差异的待识别图像，并选取冷凝管排布较为典型的一个产品，拍摄其与相机平面夹角为-15°、0°、15°时，即偏转角度为-15°、0°、15°时的三幅图像。

2)在这三幅图像中分别按照l、m、s三级模板来截图，制作不同偏转角度的三套模板。l级为包含整个冷凝管区域的大模板，用于判定当前冰箱与相机平面夹角最接近的角度以及冷凝管区域的限定，如图1中的1所示；m级为只包含待识别的焊点以及焊点周围环境的中级模板，用于每一个焊点大致区域的判定，如图1中的2、3、4、5、6所示；s级为仅含有焊点图像的小模板，用于精确匹配，如图1中的7、8、9、10、11所示。在模板匹配时按照式(1)求出模板与当前模板覆盖被搜索图区域的互相关归一化系数，将模板在被搜索图上平移，最终求出每一个子图像与模板图像的归一化矩阵并求出矩阵中的最大的值以及它的位置。当最大的归一化系数大于阈值γ＝0.7时，即可认为匹配成功，匹配区域的中心点为此时模板的中心点，大小为模板的尺寸。

式中待识别图像为f，模板图像为t，(u，v)为当前模板矩阵中心点的坐标，(x，y)从模板矩阵的左上方到右下方依次移动，为模板图像矩阵的均值，代表模板图像内每一像素点的灰度值减去均值的绝对值之和，为被模板覆盖区域矩阵的均值。

在识别过程中先用三套模板中的l级模板依次与待检测图像进行模板匹配，分别求出匹配过程中最佳匹配区域与模板的相关系数，并据此来选择最接近当前图像偏转角度的一套模板进行m、s级的匹配。

3)用步骤1)中拍摄的其他照片进行实验，同一焊点图像在所有图像中的匹配成功率大于90％时，通过分析不成功案例中焊点的特点，重新制作符合所有匹配要求的焊点模板来进一步提高识别成功率，若识别成功率小于90％，则考虑模板匹配与区域增长和形态学处理的方法来进行定位。

4)针对特征不明显或随摆放角度像素分布、光照条件变化较大的目标点，则结合步骤2)，将m级匹配结果保存，m级图像一般为冷凝管，焊点用于封住冷凝管所以一般处于末端。在拍摄的rgb图像中，取出冷凝管颜色特征明显的g通道灰度图像来进行二值化，为了排除光照变化对图像二值化的影响，采用大津算法来进行阈值t的求解，其具体操作过程如下：假设二值化阈值t＝2，则灰度图像中小于阈值的像素为背景，其余像素为前景，分别计算式(2)～(6)的背景与前景的像素占比、平均灰度值、灰度累计值，并由此计算式(7)此阈值条件下的类间方差，将阈值从2依次向上递增，分别计算t为不同值时的类方间差，用遍历法求出使类间方差最大时的阈值。

μ＝μb·ωb+μp·ωp(6)

g＝ωb·ωp·(μb-μp)²(7)

式中nsum为图像中所有像素的个数，n1为背景像素个数，n2为前景像素个数，r为单通道灰度分级，在8位整数型灰度图像中为256，ωb为背景像素占比，ωp为前景像素占比，μb为背景平均灰度值，μp为前景平均灰度值，μ为灰度累计值，g为类间方差，p(i)代表灰度级为i的比例，t为当前阈值。

5)二值化后的图像已经能够区分冷凝管区域和背景区域，但此时图像中还有一些细小的裂痕和小的噪声点。先用式(8)所示半径为2的圆形结构按照式(9)对图像进行腐蚀使小的噪声点消弭，然后用半径为5的圆形结构按照式(10)对图像进行膨胀来弥合裂痕：

式中b为结构元素，a为原始图像。

6)中级模板m中大部分为目标焊点相连的冷凝管，但也有少部分其他冷凝管，在经过步骤4)、5)后也保留在图像中，为了防止下一步焊点搜索时定位到其他冷凝管，需要在二值图像中给每一个连通区域做标签，找到面积最大的连通区域，用和目标焊点像素大小相同的窗口根据焊点所在位置从连通区域的边缘开始依次移动搜索，当白色色素占比为90％以上时停止搜索，此时窗口定位的就是目标焊点。步骤4)、5)、6)的过程如图2所示，图2中101、102为待识别的目标焊点。实验结果表明，在偏转角度为0°时平均识别准确率为97.90％，偏转角度为-15°时平均识别准确率为95.28％，偏转角度为15°时平均识别准确率为94.44％；正常光照条件下平均识别准确率为96.74％，光线较暗条件下平均识别准确率为95.00％，总体平均识别准确率为96.26％。