一种PCB元器件表面3D字符分割方法与流程

一种pcb元器件表面3d字符分割方法
技术领域
1.本发明涉及自动光学检测技术领域，具体涉及一种pcb元器件表面3d字符分割方法。


背景技术：

2.随着电子信息技术的快速发展，印刷电路板(pcb)应用越来越广泛，为准确高效地对其进行检测，自动光学检测技术(aoi)逐渐发展起来且已被应用于实际生产。目前，aoi技术主要采用2d视觉检测方法，但是由于元器件表面字符印刷方式不同，元器件字符凹凸性不同、颜色和大小多样，2d字符识别系统的鲁棒性低，准确性不足。而pcb的3d点云(3d-pcb)数据中的高度信息能有效增强pcb的2d图像(2d-pcb)中的字符信息，提高字符与背景的对比度。
3.目前传统的ocr技术识别2d图像的字符流程已经相对成熟。但复杂环境下，字符定位分割的准确率仍较低，还需要进一步的研究。pcb元器件字符识别属于复杂场景下的字符识别，板上不仅元器件众多，各个元器件的材料、高低还各不相同，并且元器件字符喷码方式多样，还存在划痕、杂物等干扰。这些因素会导致pcb元器件字符图像出现粘连、字符与背景无色差等问题。
4.申请人检索了现有技术中与本技术最接近的一篇对比文件《字符分割方法、系统、计算机设备和存储介质》(cn202110716440.7)，该方法通过基于垂直投影和连通域相结合，对图像中的文字进行单个分割，但其并未采用水平投影和滴水算法，并不适用于3d字符的分割。


技术实现要素：

5.为了解决上述传统ocr技术存在的问题，本发明设计了一种pcb元器件表面3d字符分割方法，本方法解决了现有pcb元器件字符形式多样、背景复杂等因素对字符识别的影响，为后续pcb字符识别提供了基础，具体技术方案如下：
6.一种pcb元器件表面3d字符分割方法，其特征在于，所述分割方法包括以下步骤：
7.s1、采集图像信息，对图像信息进行预处理，得到图像picture1；
8.s2、计算所述图像picture1中连通域的最小外接矩形，得到所述最小外接矩形的位置信息；
9.s3、根据所述位置信息计算出仿射变换所需要的旋转矩阵，通过所述旋转矩阵对所述图像picture1进行校正得到图像picture2；
10.s4、对所述图像picture2进行字符串连通域分析，并分别计算每个连通域垂直于图像边界的最小垂直外接矩形，得到字符串最小垂直外接矩形的初始位置坐标；
11.s5、将整个字符区域沿水平方向投影得到字符串的宽度信息；
12.s6、根据所述字符串最小垂直外接矩形的高度和初始位置筛选非字符标记；
13.s7、将处理完的字符串区域沿垂直方向进行投影，根据拟合曲线的波谷位置分割
字符候选区域，得到每个分割出的字符区域；
14.s8、根据所述字符区域的面积和最大宽度判断是否为粘连字符；如果所述字符区域存在粘连字符，则用滴水算法对所述粘连字符进行处理；如果所述字符区域不存在粘连字符，则输出单个字符图像；
15.s9、判断滴水算法处理后的图像是否还存在粘连字符，即观察分割出的图像宽度是否远大于单个字符宽度。
16.进一步的，所述s5包括以下具体步骤：
17.s5.1、找到水平投影图像中低于阈值t0的波谷位置，并计算各所述波谷之间的间距，得到字符串的宽度信息；
18.s5.2、分析字符串的宽度信息，过滤掉过窄的区域，得到正确的波谷位置，并记录目前所存在的字符串宽度的平均值。
19.进一步的，所述水平投影图像中存在若干个波峰和若干个波谷。
20.进一步的，所述s6的筛选具体步骤如下：当所述字符串连通域最小垂直外接矩形的高度大于设定的字符宽度，删除该非字符标记，并按照之前记录的波谷位置分割字符串。
21.进一步的，所述s9的筛选具体步骤如下：若所述滴水算法处理后的图像还存在粘连字符，则根据垂直投影的波谷位置更新水滴初始位置的横坐标x0重复采用滴水算法对其进行处理；若不存在粘连字符，则输出单个字符图像。
22.进一步的，所述滴水算法包括以下具体步骤：
23.s8.1、设置水滴低落的初始位置为(x0,y0)，水滴的当前坐标位置为(xd,yd)，下一个坐标位置为(x
d+1
,y
d+1
)，运动路径为td，当前位置的重力势能为wd；
24.s8.2、根据垂直投影的波形图，找到水滴滴落初始位置的x0坐标，并计算出下一个坐标位置(x
d+1
,y
d+1
)；
25.s8.3、判断所述坐标位置(x
d+1
,y
d+1
)是否超出图像的边界，若超出，则继续s8.2中水滴移动的计算，同时设立参数n0作为坐标下移的次数，若n0》8，则水滴邻域点的像素往左下移动一次；
26.s8.4、根据计算出的运动路径td遍历图像所有像素，将所有路径的像素值置为0，生成模板图像picture3md(x,y)，扩大所述模板图像的路径轮廓，通过公式分离字符串连通域，并利用连通域的分割方法分割出字符，所述公式如下所示：
27.o(x,y)＝i(x,y)*md(x,y)
28.其中，o(x,y)为输出图像，i(x,y)为输入图像。
29.进一步的，所述预处理为将经过膨胀和腐蚀操作后的字符串连通域相连，并断开字符串连通域与图像边缘的连接。
30.进一步的，所述位置信息包括旋转角度θ、位置及其中心坐标(m,n)。
31.与现有技术相比，本发明的有益效果是：
32.本发明利用连通域分析和最小外接矩形确定字符整体区域的偏转角度以及中心位置，并根据偏转角度校正字符串的位置，对完整的字符候选区域进行更加精准的分割，得到更加准确的互相分离的单个字符。
附图说明
33.图1为本发明的方法流程图。
具体实施方式
34.以下通过具体实施方式的描述对本发明作进一步说明，但这并非是对本发明的限制，本领域技术人员根据本发明的基本思想，可以做出各种修改或改进，但是只要不脱离本发明的基本思想，均在本发明的保护范围之内。
35.参阅图1，本发明提供的一种实施例如下:
36.s1、图像预处理，经过膨胀和腐蚀的操作后，将字符串连通域相连，并断开字符串连通域与图像边缘的连接，得到图像picture1；
37.s2、计算图像picture1中连通域的最小外接矩形，得到外接矩形的旋转角度θ、及其位置和中心坐标(m,n)；
38.s3、根据所述旋转角度θ和所述中心坐标(m,n)计算出仿射变换所需要的旋转矩阵，通过所述旋转矩阵对所述图像picture1进行校正得到图像picture2；
39.s4、对所述图像picture2进行字符串连通域分析，并分别计算每个连通域垂直于图像边界的最小垂直外接矩形，得到字符串最小垂直外接矩形的初始位置坐标(xf,yf)；
40.s5、将整个字符区域沿水平方向投影得到字符串的宽度信息；找到水平投影图像中低于阈值t0的波谷位置，并计算各所述波谷之间的间距，得到字符串的宽度信息wg(g＝1,2,3...)；分析字符串的宽度信息，过滤掉过窄的区域，得到正确的波谷位置，并记录目前所存在的字符串宽度的平均值w
mean
；
41.s6、根据所述字符串最小垂直外接矩形的高度h3和位置信息筛选非字符标记；当所述字符串连通域最小垂直外接矩形的高度h3大于设定的字符宽度，删除该非字符标记，并按照之前记录的波谷位置分割字符串；
42.s7、将处理完的字符串区域沿垂直方向进行投影，根据拟合曲线的波谷位置分割字符候选区域，得到每个分割出的字符区域；
43.s8、根据所述字符区域的面积和最大宽度判断是否为粘连字符；如果所述字符区域存在粘连字符，则用滴水算法对所述粘连字符进行处理；如果所述字符区域不存在粘连字符，则输出单个字符图像；所述滴水算法如下所述：
44.设置水滴低落的初始位置为(x0,y0)，水滴的当前坐标位置为(xd,yd)，下一个坐标位置为(x
d+1
,y
d+1
)，运动路径为td，当前位置的重力势能为wd；
45.根据垂直投影的波形图，找到水滴滴落初始位置的x0坐标，并计算出下一个坐标位置(x
d+1
,y
d+1
)；
46.判断所述坐标位置(x
d+1
,y
d+1
)是否超出图像的边界，若超出，则继续s8.2中水滴移动的计算，同时设立参数n0作为坐标下移的次数，根据实验，若n0》8，则水滴邻域点的像素往左下移动一次；
47.根据计算出的运动路径td遍历图像所有像素，将所有路径的像素值置为0，生成模板图像picture3(md(x,y))，扩大所述模板图像的路径轮廓，通过公式分离字符串连通域，并利用连通域的分割方法分割出字符，所述公式如下所示：
48.o(x,y)＝i(x,y)*md(x,y)
49.其中，o(x,y)为输出图像，i(x,y)为输入图像；
50.s9、判断滴水算法处理后的图像是否还存在粘连字符，即观察分割出的图像宽度是否远大于单个字符宽度；若所述滴水算法处理后的图像还存在粘连字符，则根据垂直投影的波谷位置更新水滴初始位置的横坐标x0重复采用滴水算法对其进行处理；若不存在粘连字符，则输出单个字符图像。
51.本方法十分适用pcb元器件字符识别这种复杂环境下的字符识别，大幅缩小元器件材料、高低、字符喷码方式、刮痕及杂物等因素对字符识别的影响，为后续pcb字符识别提供了基础，本方法利用连通域分析和最小外接矩形确定字符整体区域的偏转角度以及中心位置，并根据偏转角度校正字符串的位置，对完整的字符候选区域进行更加精准的分割，得到更加准确的互相分离的单个字符。
52.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变，因此，举凡所述技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。