一种基于主动视觉的轮胎表面字符检测方法

1.本发明涉及一种图像检测方法，具体涉及一种轮胎表面字符检测方法。


背景技术：

2.随着国民经济的不断增长，我国居民的生活水平有了很大的提升，私家车已经成为了人们出行的重要选择。据国家公安部交管局统计，截至2020年底，全国机动车保有量达 3.72亿辆，其中汽车2.81亿辆。汽车的普及给人们的出行带来了无数的便捷，特别是滴滴打车等网约车平台的出现直接改变了人们的出行方式。但与此同时大量机动车在马路上行驶，使得道路交通环境愈加复杂，道路交通安全问题也日益严重。
3.近年来交通事故频发，全国每年有数万人丧生于交通事故，其中机动车零部件失控失效是造成交通事故的主要原因之一。发生在高速公路上的交通事故是由于轮胎故障引起的，因此轮胎的质量直接影响到公共交通安全。
4.轮胎模具是轮胎生产线上的硫化成型装备，其侧壁上的字符携带产品的信息，包括轮胎的尺寸和一些关键的限制，如下图所示，有承载能力、最大速度和直径等，这些对轮胎生产厂家而言非常重要。在模具生产过程中，可能存在字符漏印、多印和错印等错误情况，另外，模具清理不彻底导致硫化后字符在轮胎上可能有深有浅，影响模具质量，将带来严重的经济损失。因此，仔细检测轮胎模具的字符是轮胎模具生产中的一个重要步骤。
5.目前，几乎所有的制造商都通过人工实现这个检测任务。然而，人工检测的方式消耗大量时间，效率低。随着轮胎模具产量的增加，需要投入大量质检员以保质保量完成字符检测任务。可是，这将加大制造商的劳动力成本。此外，长时间的工作使得质检员产生视觉疲劳，检测的效率和可靠性将显着降低。由于人工检测字符存在诸多不稳定因素，因此需要一套稳定可靠的轴承字符缺陷检测系统来取代人工检测，以满足制造商对轮胎模具质量的要求。
6.针对人工检测存在的效率低、可靠性低、易出错的问题，本发明提出了一种基于机器视觉的轮胎模具表面字符检测方法。


技术实现要素：

7.本发明的目的是为了解决人工检测轮胎模具表面字符存在的效率低、可靠性低、易出错的问题，而提出一种基于主动视觉的轮胎表面字符检测方法。
8.一种基于主动视觉的轮胎表面字符检测方法，所述方法通过以下步骤实现：
9.步骤一、对三维测量系统进行系统标定，系统标定主要包括对摄像机的标定、对激光器的标定以及对转台转轴的标定；其中，
10.对摄像机的标定是指计算摄像机的内参数、外参数以及畸变参数的标定；
11.对激光器的标定是指对激光器发射出的激光平面进行图像处理以及对平面方程进行求取，利用搭建好的旋转平台和靶标图像，从不同角度采集多幅带有线结构光的棋盘格图像，对激光条纹进行图像处理，包括二值化、去噪、光条提取与细化，从而获取光条的中
心线，获取激光光条中心线所有点的二维图像坐标，进而求出中心线上点在三维摄像机坐标系下的坐标，对这些点云坐标进行最小二乘法拟合求得激光平面的平面方程；
12.对转台转轴的标定是指确定转轴坐标系与摄像机坐标系间的转换关系；
13.步骤二、旋转待测目标并在旋转过程中采集待测目标的多幅图像，把这些采集到的图像分成两部分，一部分进行图像处理，之后转换为极坐标空间，之后拼接图像，把拼接完成的图像用模板匹配算法进行字符识别；另一部分经过光条细化，之后基于系统参数和光条图像坐标，获取光条图像对应的三维坐标，获得被测物体整个轮廓的点云坐标，获取待测物体轮廓。
14.优选地，所述的摄像机的标定采用张正友法进行标定，其步骤为：
15.1)打印棋盘格，贴到一个平面物体表面；
16.2)固定相机，移动棋盘格图案，使用摄像机拍摄不同角度的棋盘格图案，为了获得高质量的效果，拍摄至少15幅图片；
17.3)在图像中检测棋盘格角点；
18.4)求解相机内部参数矩阵和畸变矩阵
19.优选地，所述的对激光器发射出的激光平面进行图像处理的过程为：
20.将任意一个三维空间平面表示为以下形式：
21.ax+by+cz+d＝0(1)
22.因此，光平面标定的目的即为求取上述方程中的四个系数：a、b、c、d，通过获取至少三个不位于同一空间直线上、但位于光平面上的已知空间点进行求解，故标定光平面的关键，在于获取位于其上的不少于三个的非共线空间点；
23.点a、b、c、d为四个位于被测物体表面上的三维点，投影至图像平面上的像素点则记为a、b、c、d，简比sr定义为：
[0024][0025]
从简比引申出交比cr：
[0026][0027]
交比不变性是指指成像前后的点所构成的交比保持不变，表示为：
[0028]
cr(a,b；c,d)＝cr(a,b；c,d)(4)
[0029]
利用交比不变性进行光平面标定，基于标定板所具有的特征及其所建立的世界坐标系，获悉水平线h1上的三个标记点a、b、c的三维坐标，通过对标定板图像执行标记提取操作而获取到与三个标记点a、b、c对应的像素点a、b、c的二维坐标，通过求取像素化的水平线h1与光条的交点获得像素点d，最后，将对应已知的七个点的坐标信息代入式(4)，即求得点d1的坐标信息，同理，得到点d2、d3…
的坐标信息；
[0030]
d1、d2、d3…
均位于同一激光线上，还需将标定板移动到另一处位置，以采集另一条线上的标定点，对光平面进行拟合优化即求得四个系数。
[0031]
优选地，所述的对转台转轴的标定过程为：
[0032]
第一，建立三个坐标系；
[0033]
根据三维激光扫描仪拍摄时的位置建立摄像机坐标系o-xyz，摄像机的成像平面
为yoz平面，光轴为x轴，坐标原点o为光轴与成像平面的交点；
[0034]
根据转台所在位置建立转台坐标系o-xyz，以旋转台的中心轴向为z轴，x轴和y轴所在的xoy平面垂直于z轴且与转台所在平面平行；
[0035]
转台坐标系o-xyz绕z轴旋转可得到旋转后的坐标系o
′‑
x
′y′z′
；
[0036]
第二，设转台坐标系绕相机坐标系的x、y、z三个坐标轴转动的角度分别为α，β，γ，旋转台坐标系的坐标原点o在摄像机坐标系下的坐标为t
x
，ty和tz，则摄像机坐标系到转台坐标系之间的齐次变换矩阵为：
[0037][0038]
在o-xyz坐标系中，x轴和y轴分别与z轴垂直，且三者的方向没有具体约束；在o-xyz坐标系绕o-xyz坐标系旋转时，x轴、y轴和z轴三者的旋转运动是一体的，只需保证它们自身的相互垂直。可以认为在旋转过程中，x轴和y轴分别旋转α和β后，z轴的旋转角度为零，则式(5)写为：
[0039][0040]o′‑
x
′y′z′
坐标系到o-xyz坐标系的转换为绕转轴中心z轴的旋转，设定逆时针旋转θ角度，则两者的齐次变换矩阵为：
[0041][0042]
设定点云数据中的某点在o-xyz坐标系的坐标为p，当转台顺时针旋转θ(θ》0)角度后，该点在o
′‑
x
′y′z′
坐标系的坐标为p
′
；将待拼接点云从o-xyz坐标系统一转换到o
′‑
x
′y′z′
坐标系下，实现点云数据的拼接，坐标系转换方式为：
[0043]
p'＝t-1
r-1
p(8)
[0044]
由式(7)可知，当转台和相机的空间信息确定，标定旋转台中心轴线即可确定转换矩阵t，转台每次旋转的角度值θ固定，即可确定旋转矩阵r，从而完成点云数据的获取；
[0045]
第三，转台转轴标定；
[0046]
使用基于圆锥体的转轴标定方法；基于圆锥体的转轴标定方法是将圆锥体作为靶标物置于旋转台之上，每次扫描记录圆锥体的顶点坐标信息，其顶点的运动轨迹是以旋转轴为中心的空间圆，且该空间圆的法向量垂直于转轴所在的平面。根据扫描得到的顶点坐
标拟合出空间圆的方程，求解出转台中轴的标定参数；
[0047]
在标定时使用胶性物质将圆锥体固定在旋转台上，使得圆锥体与转台在旋转过程中可以保持相对静止；设定圆锥体顶点p为研究对象，将其在o-xyz下的三维坐标记为 p0(x0,y0,z0),p1(x1,y1,z1),转台每隔45度旋转一次，旋转一周一共进行8次拍摄，最终得到8个圆锥体的顶点坐标，使用geomagic studio软件对顶点坐标数据进行拟合；最终拟合得到一个空间三维圆，获得其圆心坐标和空间三维圆法向指向。
[0048]
优选地，所述的光条中心线提取的过程采用曲线拟合法，具体为：
[0049]
曲线拟合法是利用曲线例如二次曲线等拟合处理好的激光光条图像，利用激光条纹的光强分布将离散点拟合成曲线，将曲线的局部极大值点作为激光光条中心；曲线拟合法的精度较高，而且不易受到外界影响。
[0050]
优选地，所述的基于模板匹配的字符识别算法采用基于边缘的模板匹配法，所述的基于边界的模板匹配算法的核心是图像边缘检测具体为：
[0051]
基于搜索的方法检测边缘，首先计算边缘强度的度量；然后估计边缘的局部方向；最后在图像上使用x方向和y方向上的梯度或导数来匹配；
[0052]
在获取了需要匹配的模板后，将模板中的像素点i表示为而像素点i的水平、垂直方向梯度强度表示为对于待搜索图像，其在像素坐标(u,v)点处的梯度表示为
[0053]
在匹配的过程中，使用相似度score来衡量模板与搜索图像中目标的匹配程度；对于搜索图像中像素点(u,v)处与模板的相似度score
uv
使用式进行计算：
[0054][0055]
式(9)中，n表示模板中像素点的总个数，当搜索图中某个位置的score
uv
为1，则表明该位置的边缘图案与模板边缘完全匹配；
[0056]
对m个点的选取原则采用式(10)的选取方式，
[0057][0058]
其中，scorem表示搜索图像素点中的第m个点的相似度值，如果第m个点不满足式(10) 所述条件，则排除该点；g表示算法搜索的贪婪度，取值范围为(0，1)，贪婪度控制了点的利用率，当g设置为0时，所有相关点都需要参与到匹配计算中；g越大则表示匹配过程利用的点越少，虽然可以提高算法的运行速度，但是会使得算法的鲁棒性下降。score
min
则表示最低相似度值，为算法的设置参数。
[0059]
本发明的有益效果为：
[0060]
本发明能够自动检测判断是否存在字符错误情况同时检测字符印的深浅情况，标注出发生错误的地方，以便于及时发现问题模具并返回重造，以减少因字符出错带来的经
济损失，并提高生产效率。
[0061]
具体地：
[0062]
1.本发明方法的检测过程不存在人为因素的影响，所以检测过程以及检测结果非常稳定。
[0063]
2.本发明降低了现有检测方法涉及的检测系统的构建成本，为提高轮胎模具产品质量提供有效地保障。
[0064]
3.本发明方法适用范围广，可以面向多个型号的轮胎模具产品。
附图说明
[0065]
图1为本发明的方法流程图；
[0066]
图2为本发明涉及的摄像机成像系统交比不变性原理示意图；
[0067]
图3为本发明涉及的利用交比不变性进行光平面标定示意图；
[0068]
图4为本发明涉及的旋转拼接中的坐标系；
[0069]
图5为本发明涉及的圆锥体标定示意图；
[0070]
图6为本发明涉及的边缘模板的匹配效果。
具体实施方式
[0071]
具体实施方式一：
[0072]
本实施方式的一种基于主动视觉的轮胎表面字符检测方法，如图1所示，所述方法通过以下步骤实现：
[0073]
步骤一、对三维测量系统进行系统标定，系统标定主要包括对摄像机的标定、对激光器的标定以及对转台转轴的标定；其中，
[0074]
对摄像机的标定是指计算摄像机的内参数、外参数以及畸变参数的标定；
[0075]
对激光器的标定是指对激光器发射出的激光平面进行图像处理以及对平面方程进行求取，利用搭建好的旋转平台和靶标图像(例如棋盘格)，从不同角度采集多幅带有线结构光的棋盘格图像，对激光条纹进行图像处理，包括二值化、去噪、光条提取与细化，从而获取光条的中心线，获取激光光条中心线所有点的二维图像坐标，进而求出中心线上点在三维摄像机坐标系下的坐标，对这些点云坐标进行最小二乘法拟合求得激光平面的平面方程；
[0076]
对转台转轴的标定是指确定转轴坐标系与摄像机坐标系间的转换关系；
[0077]
步骤二、旋转待测目标并在旋转过程中采集待测目标的多幅图像，把这些采集到的图像分成两部分，一部分进行图像处理，之后转换为极坐标空间，之后拼接图像，把拼接完成的图像用模板匹配算法进行字符识别；另一部分的多幅线结构光图像，经过光条细化，之后基于系统参数和光条图像坐标，获取光条图像对应的三维坐标，获得被测物体整个轮廓的点云坐标，获取待测物体轮廓。
[0078]
具体实施方式二：
[0079]
与具体实施方式一不同的是，本实施方式的一种基于主动视觉的轮胎表面字符检测方法，所述的摄像机的标定采用张正友法进行标定，其步骤为：
[0080]
1)打印棋盘格，贴到一个平面物体表面；
[0081]
2)固定相机，移动棋盘格图案，使用摄像机拍摄不同角度的棋盘格图案，为了获得高质量的效果，拍摄至少15幅图片；
[0082]
3)在图像中检测棋盘格角点；
[0083]
4)求解相机内部参数矩阵和畸变矩阵
[0084]
具体实施方式三：
[0085]
与具体实施方式一或二不同的是，本实施方式的一种基于主动视觉的轮胎表面字符检测方法，所述的对激光器发射出的激光平面进行图像处理的过程为：
[0086]
将任意一个三维空间平面表示为以下形式：
[0087]
ax+by+cz+d＝0(1)
[0088]
因此，光平面标定的目的即为求取上述方程中的四个系数：a、b、c、d，通过获取至少三个不位于同一空间直线上、但位于光平面上的已知空间点进行求解，故标定光平面的关键，在于获取位于其上的不少于三个的非共线空间点。
[0089]
如图2所示为针孔摄像机成像系统的交比不变性原理示意图，其中，点a、b、c、d为四个位于被测物体表面上的三维点，投影至图像平面上的像素点则记为a、b、c、d，简比sr定义为：
[0090][0091]
从简比引申出交比cr：
[0092][0093]
交比不变性是指指成像前后的点所构成的交比保持不变，表示为：
[0094]
cr(a,b；c,d)＝cr(a,b；c,d)(4)
[0095]
利用交比不变性进行光平面标定，如图3所示，其中，π表示一个由等间距水平线和垂直线所构成的平面标定板，l表示激光发射器所产生的一字型激光线，该激光线与标定板上的某一水平线hi相交于点di。
[0096]
基于标定板所具有的特征及其所建立的世界坐标系，获悉水平线h1上的三个标记点a、b、c的三维坐标，通过对标定板图像执行标记提取操作而获取到与三个标记点a、b、c对应的像素点a、b、c的二维坐标，通过求取像素化的水平线h1与光条的交点获得像素点d，最后，将对应已知的七个点的坐标信息代入式(4)，即求得点d1的坐标信息，同理，得到点d2、d3…
的坐标信息；
[0097]
从示意图可以看到，d1、d2、d3…
均位于同一激光线上，此时还无法确定唯一的光平面，因此，还需将标定板移动到另一处位置，以采集另一条线上的标定点，至此，已获悉足够多的非共线点集，对光平面进行拟合优化即求得四个系数。
[0098]
具体实施方式四：
[0099]
与具体实施方式三不同的是，本实施方式的一种基于主动视觉的轮胎表面字符检测方法，所述的对转台转轴的标定过程为：
[0100]
点云数据的获取主要基于三维扫描系统中各坐标系之间的转换，
[0101]
第一，建立如图4a和4b所示的三个坐标系；
[0102]
根据三维激光扫描仪拍摄时的位置建立摄像机坐标系o-xyz，摄像机的成像平面
为yoz平面，光轴为x轴，坐标原点o为光轴与成像平面的交点；
[0103]
根据转台所在位置建立转台坐标系o-xyz，以旋转台的中心轴向为z轴，x轴和y轴所在的xoy平面垂直于z轴且与转台所在平面平行；
[0104]
转台坐标系o-xyz绕z轴旋转可得到旋转后的坐标系o
′‑
x
′y′z′
；
[0105]
第二，设转台坐标系绕相机坐标系的x、y、z三个坐标轴转动的角度分别为α，β，γ，旋转台坐标系的坐标原点o在摄像机坐标系下的坐标为t
x
，ty和tz，则摄像机坐标系到转台坐标系之间的齐次变换矩阵为：
[0106][0107]
在o-xyz坐标系中，x轴和y轴分别与z轴垂直，且三者的方向没有具体约束；在o-xyz坐标系绕o-xyz坐标系旋转时，x轴、y轴和z轴三者的旋转运动是一体的，只需保证它们自身的相互垂直。可以认为在旋转过程中，x轴和y轴分别旋转α和β后，z轴的旋转角度为零，则式(5)写为：
[0108][0109]o′‑
x
′y′z′
坐标系到o-xyz坐标系的转换为绕转轴中心z轴的旋转，设定逆时针旋转θ角度，则两者的齐次变换矩阵为：
[0110][0111]
设定点云数据中的某点在o-xyz坐标系的坐标为p，当转台顺时针旋转θ(θ》0)角度后，该点在o
′‑
x
′y′z′
坐标系的坐标为p
′
；将待拼接点云从o-xyz坐标系统一转换到o
′‑
x
′y′z′
坐标系下，实现点云数据的拼接，坐标系转换方式为：
[0112]
p'＝t-1
r-1
p(8)
[0113]
由式(7)可知，当转台和相机的空间信息确定，标定旋转台中心轴线即可确定转换矩阵t，转台每次旋转的角度值θ固定，即可确定旋转矩阵r，从而完成点云数据的获取；
[0114]
第三，转台转轴标定；
[0115]
目前常用的旋转台标定方法有三种：基于圆柱体的转轴标定的方法，基于标定球的转轴标定方法和基于棋盘格标定板转轴标定方法。
[0116]
通过对以上三种标定方法的比较分析，本发明使用基于圆锥体的转轴标定方法；该方法在满足精度要求的前提下，可以对旋转台中心轴线进行快速标定。
[0117]
基于圆锥体的转轴标定方法是将圆锥体作为靶标物置于旋转台之上，每次扫描记录圆锥体的顶点坐标信息，其顶点的运动轨迹是以旋转轴为中心的空间圆，且该空间圆的法向量垂直于转轴所在的平面。根据扫描得到的顶点坐标拟合出空间圆的方程，求解出转台中轴的标定参数；图5为圆锥体标定示意图。
[0118]
在标定时使用胶性物质将圆锥体固定在旋转台上，使得圆锥体与转台在旋转过程中可以保持相对静止；设定圆锥体顶点p为研究对象，将其在o-xyz下的三维坐标记为 p0(x0,y0,z0),p1(x1,y1,z1),转台每隔45度旋转一次，旋转一周一共进行8次拍摄，最终得到8个圆锥体的顶点坐标，使用geomagic studio软件对顶点坐标数据进行拟合；最终拟合得到一个空间三维圆，获得其圆心坐标和空间三维圆法向指向。
[0119]
具体实施方式五：
[0120]
与具体实施方式一、二或四不同的是，本实施方式的一种基于主动视觉的轮胎表面字符检测方法，所述的光条中心线提取的过程采用曲线拟合法，具体为：
[0121]
曲线拟合法是利用曲线例如二次曲线等拟合处理好的激光光条图像，利用激光条纹的光强分布将离散点拟合成曲线，将曲线的局部极大值点作为激光光条中心；曲线拟合法的精度较高，而且不易受到外界影响。
[0122]
传统的结构光条纹中心的提取方法可以分为提取几何中心和提取能量中心两个方向。以提取几何中心为代表的方法为阈值法，该方法容易受到噪声的影响，提取精度较差。因此有学者提出了自适应阈值法、变阈值重心法、亚像素变阈值质心法等改进方法，一定程度上改善了传统阈值法的缺陷，但仍未能达到高精度要求。提取能量中心的方法假设激光发生器的出射光线的强度服从高斯分布，从结构光条纹的形成原理和灰度特性分析出发，具备相对更加高的准确性，成为研究的热门。提取能量中心的方法主要有灰度重心法、梯度重心法、灰度属性邻域法、方向模板法、steger方法等，灰度重心法处理速率快，易受环境噪声影响；梯度重心法与灰度属性邻域法具有一定的精度、抗噪性和鲁棒性，但难以满足高精度测量；方向模板法处理速率快，但提取精度不高、易受环境影响；steger方法精度高、稳定性高，但运算量很大，很难实现结构光条纹实时性提取。
[0123]
本发明在方向模板法的基础上提出了自适应方向模板提取线结构光条纹中心方法，很好地解决了以上几种方法的局限性，既满足了精度的要求又满足了实时性的要求。物体的表面和环境的亮度都会影响采集到的灰度图像。因此，对采集到的灰度图像进行中值滤波、二值化、形态闭操作等预处理。分割待计算区域，提取中心(roi区域)。然后利用轮廓搜索算法检测光条的边界。从而得到光条的宽度，生成自适应的方向模板。为了获得较快的运算速度与较高的精度，自适应方向模板法分为图像预处理与中心点提取两个步骤。由于方向模板法针对每一行中心线的提取互相独立，因此自适应方向模板法针对每一行结构光条的宽度生成对应的模板。
[0124]
采用自适应方向模板法提取结构光条纹中心，能够有效地提高在结构光条纹粗细不均匀情况下提取中心的准确性，在实际使用中，能够很好的适应由于激光发生器激光不均匀、投射面反射率较高而造成激光条纹的粗细不均匀的情况，同时通过图像预处理减少了计算量，具有一定的实用价值。
[0125]
具体实施方式六：
[0126]
与具体实施方式五不同的是，本实施方式的一种基于主动视觉的轮胎表面字符检
测方法，所述的基于模板匹配的字符识别算法采用基于边缘的模板匹配法，所述的基于边界的模板匹配算法的核心是图像边缘检测具体为：
[0127]
基于搜索的方法检测边缘，首先计算边缘强度的度量，通常是一阶导数表达式，如梯度大小；然后估计边缘的局部方向，如梯度方向；最后在图像上使用x方向和y方向上的梯度或导数来匹配；基于边界的模板匹配算法主要包含两个步骤：(1)创建基于边缘的模型； (2)使用模型在图像中搜索；
[0128]
在获取了需要匹配的模板后，即可进行匹配工作。将模板中的像素点i表示为而像素点i的水平、垂直方向梯度强度表示为对于待搜索图像，其在像素坐标(u,v)点处的梯度表示为
[0129]
在匹配的过程中，使用相似度score来衡量模板与搜索图像中目标的匹配程度；对于搜索图像中像素点(u,v)处与模板的相似度score
uv
使用式进行计算：
[0130][0131]
式(9)中，n表示模板中像素点的总个数，当搜索图中某个位置的score
uv
为1，则表明该位置的边缘图案与模板边缘完全匹配；边缘模板进行匹配的效果如图6所示。
[0132]
为了加快匹配速度，在总数为n的模板像素点中选取m个像素点参与相似度的计算，从而使得匹配过程不需要所有像素点都参与其中，以此提高模板匹配的速度。
[0133]
对m个点的选取原则采用式(10)的选取方式，
[0134][0135]
其中，scorem表示搜索图像素点中的第m个点的相似度值，如果第m个点不满足式(10) 所述条件，则排除该点；g表示算法搜索的贪婪度，取值范围为(0，1)，贪婪度控制了点的利用率，当g设置为0时，所有相关点都需要参与到匹配计算中；g越大则表示匹配过程利用的点越少，虽然可以提高算法的运行速度，但是会使得算法的鲁棒性下降。score
min
则表示最低相似度值，为算法的设置参数。
[0136]
本发明的实施例公布的是较佳的实施例，但并不局限于此，本领域的普通技术人员，极易根据上述实施例，领会本发明的精神，并做出不同的引申和变化，但只要不脱离本发明的精神，都在本发明的保护范围内。