基于立体视觉的焊接执行参数在线检测方法
【专利摘要】本发明属于焊接检测技术领域，涉及一种基于立体视觉的焊接执行参数在线检测方法；克服了现有技术存在的无法准确预判焊接程序是否可达到理想焊接效果的问题；包括以下步骤：1、搭建基于立体视觉的焊接路径检测系统；2、进行摄像机标定；3、利用摄像机获取焊点图像；4、预处理焊点图像；5、获取焊点空间坐标；6、将焊点空间坐标拟合成图像并分析图像；本发明准确获得焊接轨迹、焊接方向、各方向焊接进量和焊接速度参数，获取以上参数不受焊接人员经验水平主观因素限制，提高了准确率；在结构上采用双目立体视觉技术，提高了焊接执行参数的检测效率；本发明所获取的实验曲线直观准确，便于分析得出是否可达到理想焊接效果的结论。
【专利说明】
基于立体视觉的焊接执行参数在线检测方法
技术领域
[0001] 本发明属于焊接检测技术领域，涉及一种针对点焊机器人焊接执行参数的在线检 测方法，更具体地说，本发明涉及一种基于立体视觉的焊接执行参数在线检测方法。
【背景技术】
[0002] 传统的汽车点焊机器人，焊枪的焊接路径在程序的控制下运动，路径是固定不变 的，即使焊接件存在一定缺陷时，焊枪的焊接位置也不能够及时有效的进行校正，从而在最 终焊接完成之后，使实际的焊接位置偏离了理想焊接位置，从而造成各种点焊质量问题，达 不到理想的焊接效果。资料显示有是焊接误差可达到5mm-10mm，从而导致最终的焊点出现 各种各样的缺陷，使焊接的强度和刚度达不到要求，影响白车身的刚度和强度，对汽车的正 常行驶影响可能不大，但是却在汽车发生紧急情况时留下安全隐患;还将影响轿车白车身 的造型美观以及误差、装配精度等，进而影响汽车整车的质量安全和使用性能。
[0003] 目前，对车身零部件大多采用人工目测的方法进行焊接缺陷检测，但是由于焊接 缺陷多种类别以及检测技术员的技术水平差异都决定了焊接缺陷检测不仅受客观因素的 影响，同时也会受主观因素的影响;为了达到理想的焊接效果，需要在焊接时同步检测焊接 执行参数，包括焊接方向、焊接各方向进量以及焊接速度，预估是否可以达到预定效果，从 而选择继续焊接还是停止焊接，便可以实施对焊接执行过程的监控，保证焊接质量。
[0004] 随着计算机技术、传感器技术及图像处理技术的发展，计算机视觉检测在工业生 产中的应用范围逐渐扩大，而且其检测精度也有了大幅度的提高。所谓视觉检测即把图像 当作检测和传递信息的手段或载体加以利用的检测方法。由于视觉检测主要采用智能化、 数字化的处理技术，在检测过程中需要人为控制的部分很少，能够满足在线检测的要求，具 有非接触、测量速度快、自动化程度高等优点，为在线检测提供了新的途径。
[0005] 针对点焊接执行参数的检测，没有文献报导采用计算机视觉技术进行非接触检 测。
【发明内容】
[0006] 本发明所要解决的技术问题是克服了现有技术存在的无法准确预判焊接程序是 否可达到理想焊接效果的问题，提供了一种基于立体视觉的焊接执行参数在线检测方法。
[0007] 为解决上述技术问题，本发明是采用如下技术方案实现的：
[0008] -种基于立体视觉的焊接执行参数在线检测方法，包括以下步骤：
[0009] 步骤1:搭建基于立体视觉的焊接路径检测系统；
[00?0]步骤2:进彳丁摄像机标定；
[0011] 步骤3:利用摄像机获取焊点图像；
[0012] 步骤4:预处理焊点图像；
[0013] 步骤5:获取焊点空间坐标；
[0014] 步骤6:将焊点空间坐标拟合成图像并分析图像。
[0015] 技术方案步骤1中所述的搭建基于立体视觉的焊接路径检测系统是指：
[0016] 设置位于焊接件正上方的两部摄像机，摄像机内部存在固定坐标系，摄像机位置 需满足如下条件:摄像机相对世界坐标系y轴旋转角Φ;两台摄像机内部坐标系y轴保持与 世界坐标系y轴平行对齐。
[0017] 技术方案步骤2中所述的进行摄像机标定包括以下步骤：
[0018] 1)采用CAD软件绘制标定模版：
[0019] 标定模板是一个9 X 9的棋盘格，其规格尺寸是270_ X 270_;
[0020] 2)获取特征角点图像坐标：
[0021] 将两部摄像机固定保持不动，不断变换标定模版与成像平面之间的角度与方位， 两部摄像机对标定模版采集16幅图像；
[0022] 将拍摄得到的16幅图像中左下角的摄像机棋盘格标靶图像进行特征角点提取，每 个摄像机棋盘格标靶图像能够提取100个角点，16幅图像总共得到1600个特征角点图像坐 标；
[0023] 3)利用matalab标定工具箱完成摄像机标定：
[0024] 在得到标定平面上棋盘格标靶图像特征角点坐标以及对应点的空间坐标以后，利 用matalab工具箱完成标定，计算得到两部摄像机的内外部参数。
[0025] 所述摄像机的内部参数有八个，分别为摄像机光轴与图像的交点（cx，cy)，摄像机 镜头在X轴y轴方向的焦距(fX，f y)，摄像机镜头的径向畸变(Iu，k2)，摄像机镜头的切向畸变 (p!，p2)，两台摄像机共16个内部参数；
[0026] 所述摄像机的外部参数有三个，分别为摄像机绕世界坐标系y轴的旋转角Φ，摄像 机在世界坐标系中x、z方向的位移为TX，T Z。
[0027] 技术方案步骤3中所述利用摄像机获取焊点图像是指：
[0028] 利用两台摄像机同时获取焊点图像，利用左摄像机获取的图像称之为左图像，利 用右摄像机获取的图像称之为右图像。
[0029]技术方案步骤4中所述的预处理焊点图像包括以下步骤：
[0030] 1)调整所获每副图像的灰度阈值，去除图像中除亮点以外的图像背景；
[0031] 2)移除金属镕滴，通过计算区域内的亮点，只保留与焊接有关的最大亮点，移除其 他全部亮点。
[0032] 技术方案步骤5中所述的获取焊点空间坐标包括以下步骤：
[0033] 1)获取左右图像中焊点二维坐标(x，y):
[0034]利用重心算法计算出经预处理后图像中焊点的坐标，左图像中的焊点坐标表示为 (1，7)1^，右图像中焊点坐标表示为(1，7)[?;
[0035] 2)对于步骤1)中的焊点二维坐标进行校正，得到校正坐标(Xn，yn):
[0036] 利用镜头光轴与坐标轴的关系，将获取的图像的二维坐标(x，y)带入等式（1)进行 计算，获得(Xn，yn)为校正过的坐标
[0037]
(1)
[0038]其中（Cx，cy)为摄像机光轴与图像相交的点，（fx，f y)是镜头分别在X轴y轴的焦距；
[0039] 3)对步骤2)中经过校正的二维坐标(χη，yn)进行畸变修正，得到畸变修正(x。、yc):
[0040] 将上一步所获得(Xn，yn)代入以下迭代程序(2)，进行畸变修正： 则
⑵
[0042] 其中，程序(2)中的(Xc；、y。)是进行畸变修正过的焊点坐标;kr是与lu、k 2有关的径向 畸变；A Xt和Δ yt是与P1、P2相关的分别在X轴、y轴的切向畸变量;工差t〇l = 10_6;
[0043] 经迭代程序运算，所获得的经过畸变修正的焊点二维坐标为(xc、yc);
[0044] 4)计算焊点空间坐标P:
[0045] 焊点的空间坐标是通过左右图像焊点的二维坐标(^ + ^^^丄并结合摄像机 的相对位置计算得到；
[0046] 空间坐标计算方法采用P = Zr · (Xhyc^l)R方法计算；
[0047]求得焊点空间坐标P只需求得右摄像机坐标系Z轴系数Zr;
[0048] 将^力九、（叉。力)[?带入等式(3)中，求得2[?，求得焊点空间坐标？；
[0049]
(3).
[0050] 其中，Φ为摄像机绕y轴的旋转角，T=(TX，TZ)'表示摄像机在x-z平面的位移。
[0051] 技术方案步骤6中所述将焊点空间坐标拟合成图像并分析图像是指：
[0052] 1)在获取焊点三维坐标后，由χ，ζ坐标生成X-Z图，X-Z图与摄像机有相同视角，通 过X-Z图能够清楚地了解焊接是如何执行的，能够知道焊接电极的移动路径；
[0053] 2)在获取焊点三维坐标后，由y，z坐标生成的Y-Z图，通过Y-Z图显示了电极的垂直 移动，能够知道电极头在垂直方向进量；
[0054] 3)在获取焊点三维坐标后，由δα)与z(i)生成的δ(ζ)图，δ(ζ)图显示一段垂直线 段波动，通过这段垂直线段的形状和斜率，能够判断出焊接是否匀速和焊接方向：
[0055] 如果垂直线段的形状是线性的，表明焊接是匀速进行的，反之则是变速的；
[0056]斜率表明焊接方向；
[0057] Z(i)表示第i个焊点的Z坐标，δ(?)表示当前焊接长度所占焊接总长度的百分比；
[0058] δα)的计算如公式(4)所示：
[0059]
⑷
[0060] 其中η表示所有的焊点数量，参数i和j分别从0遍历到η、从0遍历到指定位置。
[0061] 与现有技术相比本发明的有益效果是：
[0062] 1、本发明所述的基于立体视觉焊接执行参数检测方法可实现在线检测，可在焊接 执行的同时准确获得焊接轨迹、焊接方向、各方向焊接进量和焊接速度，这些参数的获取不 受焊接人员经验水平等主观因素限制，提高了准确率。
[0063] 2、本发明所述的基于立体视觉焊接执行参数检测方法在结构上采用双目立体视 觉技术，提高了焊接执行参数的检测效率。
[0064] 3、本发明所述的基于立体视觉焊接执行参数检测方法所获取的实验曲线直观准 确，便于分析得出是否可达到理想焊接效果的结论。
【附图说明】
[0065] 下面结合附图对本发明作进一步的说明：
[0066] 图1是本发明所述的基于立体视觉焊接执行参数检测方法的总体流程图；
[0067] 图2是本发明所述的基于立体视觉焊接执行参数检测方法获取焊点图像装置的示 意图；
[0068] 图3-a为本发明所做试验所获得的焊接图像的X(Z)图；
[0069] 图3-b为本发明所做试验所获得的焊接图像的Y(Z)图；
[0070] 图3-C为本发明所做试验所获得的焊接图像的δ(ζ)图。
【具体实施方式】
[0071] 下面结合实例并结合附图，对本发明的技术方案说明如下：
[0072] 现有一块开槽的钢板，但槽型附近有两个孔，且两个孔的直径大于槽的宽度，在利 用焊接机器人自动焊接时，由于这个缺陷的存在，且在焊接过程中没有及时调整焊接执行 参数，极其容易出现如裂纹，熔渣，小气泡等焊接缺陷。现在以此钢板为例进行试验。
[0073] 参阅图1，一种基于立体视觉的焊接执行参数在线检测方法，整个检测过程主要分 成4个阶段：1.搭建基于立体视觉的焊接路径检测系统；2 .进行摄像机标定;3 .利用摄像机 获取焊点图像;4.预处理焊点图像;5.获取焊点空间坐标;6.将焊点空间坐标拟合成图像并 分析图像。
[0074] 具体内容如下：
[0075] 1、搭建基于立体视觉的焊接路径检测系统
[0076] 参阅图2是本发明设计的一种基于立体视觉的焊接执行参数在线检测系统的简化 示意图，6为焊接件的焊缝示意图，焊接电极5正在实施焊接工序，利用对称设置的一号摄像 机1和二号摄像机2分别采集焊点3的左右两幅图像。
[0077]检测时，一号摄像机1和二号摄像机2均位于焊接件正上方1.5米处，两者间的水平 距离为0.5m。一号摄像机1和二号摄像机2采用的是北京大恒图像设备公司生产的型号为 DH-HV1302UM-T，分辨率为 1248*1024和焦距为 12.5-75mm 的 CCTV&VIDEO 摄像机镜头。
[0078]世界坐标系如图2中所示，摄像机内部存在固定坐标系，摄像机位置需满足如下条 件:摄像机相对世界坐标系y轴旋转角Φ ;两台摄像机内部坐标系y轴保持与世界坐标系y轴 平行对齐。为了避免电火花和过多的热量损伤镜头，要求将中性密度片安装在镜头前。 [0079] 2、进行摄像机标定；
[0080] 必须首先对一号摄像机1和二号摄像机2进行标定，获取摄像机的相关内外参数， 才能建立起实际待测物空间位置和图像坐标之间的对应的非线性关系，利用这种非线性关 系，才能计算检测图像特征点对应的空间坐标。
[0081] 对于每部摄像机有八个内部参数要确定，摄像机光轴与图像的交点（Cx，Cy)，摄像 机镜头在X轴y轴方向的焦距(f X，f y )，摄像机镜头的径向畸变(Iu，k2 )，摄像机镜头的切向畸 变(Pl，p2)，两台摄像机共16个内部参数。
[0082] 对于每部摄像机有三个外部参数要确定，摄像机绕世界坐标系y轴的旋转角Φ，摄 像机在世界坐标系中x、z方向的位移为TX，T Z。
[0083] 标定步骤如下所示；
[0084] 1)采用CAD软件绘制标定模版：
[0085] 标定模板是一个9 X 9的棋盘格，其规格尺寸是270mm X 270mm。
[0086] 2)获取特征角点图像坐标：
[0087] 将两摄像机1、2固定在适当位置并保持不动，之后不断变换标定模版与成像平面 之间的角度与方位，两摄像机对标定模版采集16幅图像。
[0088] 将拍摄得到的16幅图像中左下角的摄像机棋盘格标靶图像进行特征角点提取，每 个摄像机棋盘格标靶图像可以提取100个角点，16幅图像总共得到1600个特征角点图像坐 标。
[0089] 3)利用matalab标定工具箱完成摄像机标定
[0090] 在得到标定平面上棋盘格标靶图像特征角点坐标以及对应点的空间坐标以后，即 可利用matalab工具箱完成标定，计算得到摄像机1、2的内外部参数。
[0091] 3、利用摄像机获取焊点图像
[0092] 利用两台摄像机同时获取焊点图像，利用左摄像机获取的图像称之为左图像，利 用右摄像机获取的图像称之为右图像。
[0093] 4.、预处理焊点图像
[0094]焊点图像预处理的具体步骤包括：
[0095] 1)调整所获每副图像的灰度阈值，目的是为了去除图像中除亮点以外的图像背 景；
[0096] 2)移除金属镕滴:移除金属镕滴的具体方法为通过计算区域内的亮点，只保留与 焊接有关的最大壳点，移除其他全部壳点。
[0097] 5、获取焊点空间坐标
[0098] 1)获取左右图像中焊点二维坐标(x，y)
[0099] 利用重心算法计算出经预处理后图像中焊点的坐标，左图像中的焊点坐标表示为 (1，7)1^，右图像中焊点坐标表示为(1，7)[?。
[0100] 2)对于步骤1)中的焊点二维坐标进行校正，得到校正坐标(Xn，yn)
[0101] 利用镜头光轴与坐标轴的关系，将获取的图像的二维坐标U，y)带入等式（1)进行 计算，获得(xn, yn)为校正过的坐标，
[0102]
⑴
[0103]其中（Cx，cy)为摄像机光轴与图像相交的点，（fx，f y)是镜头分别在X轴y轴的焦距。 [0104] 3)对步骤2)中经过校正的二维坐标(Xn，y n)进行畸变修正，得到畸变修正（X。、yc) 将上一步所获得(Xn，yn)代入以下迭代程序(2)，进行畸变修正 则
⑶
[0106] 其中，程序(2)中的(Xc；、y。)是进行畸变修正过的焊点坐标;kr是与lu、k 2有关的径向 畸变；八^和八7*是与1)1、1)2相关的分别在1轴、7轴的切向畸变量;工差切1 = 1(^6;经迭代程 序运算，我们所获得的经过畸变修正的焊点二维坐标为(x。、^)。
[0107] 4)计算焊点空间坐标P;
[0108] 焊点的空间坐标是通过左右图像焊点的二维坐标(^，^^、（^^。^并结合摄像机 的相对位置计算得来的，
[0109] 空间坐标计算方法为P = Zr · (xc，yc，l)R亦可用P = Zl · (1。，7。，1)1^，以下采用？= Zr ·(叉。，7。，1)[?方法计算。
[0110] 故可知求得焊点空间坐标P只需求得右摄像机坐标系Z轴系数Zr。
[0111 ] 将(叉。，7。九、（叉。，7。)[?带入等式(3)中，求得2[?，即求得焊点空间坐标？。
[0112]
⑶
[0113] 其中，Φ为摄像机绕y轴的旋转角，Τ=(Τχ，Τζ)τ表示摄像机在x-z平面的位移。
[0114] 6、将焊点空间坐标拟合成图像并分析图像
[0115] 1)在获取焊点三维坐标后，由χ，ζ坐标生成X-Z图，X-Z图与摄像机有相同视角，通 过X-Z图可以清楚地了解焊接是如何执行的，即能够知道焊接电极的移动路径；
[0116] 2)在获取焊点三维坐标后，由y，z坐标生成的Y-Z图，通过Y-Z图显示了电极的垂直 移动，能够知道电极头在垂直方向进量；
[0117] 3)在获取焊点三维坐标后，由δα)与Z(i)生成的δ(Ζ)图，δ(Ζ)图会显示一段垂直 线段波动，通过这段垂直线段的形状和斜率，可以判断出焊接是否匀速和方向。
[0118] 如果垂直线段的形状是线性的，那么表明焊接是匀速进行的，反之则是变速的。
[0119] 斜率表明焊接方向。
[0120] Z(i)表示第i个焊点的Z坐标，δ(?)表示当前焊接长度所占焊接总长度的百分比。δ (i)的计算如公式(4)所示，
[0121]
.⑷
[0122]其中η表示所有的焊点数量，参数i和j分别从0遍历到η，从0遍历到指定位置。
【主权项】
1. 一种基于立体视觉的焊接执行参数在线检测方法，其特征在于，包括以下步骤： 步骤1:搭建基于立体视觉的焊接路径检测系统； 步骤2:进彳丁摄像机标定； 步骤3:利用摄像机获取焊点图像； 步骤4:预处理焊点图像； 步骤5:获取焊点空间坐标； 步骤6:将焊点空间坐标拟合成图像并分析图像。2. 根据权利要求1所述的一种基于立体视觉的焊接执行参数在线检测方法，其特征在 于： 步骤1中所述的搭建基于立体视觉的焊接路径检测系统是指： 设置位于焊接件正上方的两部摄像机，摄像机内部存在固定坐标系，摄像机位置需满 足如下条件:摄像机相对世界坐标系y轴旋转角Φ ;两台摄像机内部坐标系y轴保持与世界 坐标系y轴平行对齐。3. 根据权利要求1所述的一种基于立体视觉的焊接执行参数在线检测方法，其特征在 于： 步骤2中所述的进行摄像机标定包括以下步骤： 1) 采用CAD软件绘制标定模版： 标定模板是一个9 X 9的棋盘格，其规格尺寸是270mm X 270mm; 2) 获取特征角点图像坐标： 将两部摄像机固定保持不动，不断变换标定模版与成像平面之间的角度与方位，两部 摄像机对标定t旲版米集16幅图像； 将拍摄得到的16幅图像中左下角的摄像机棋盘格标靶图像进行特征角点提取，每个摄 像机棋盘格标靶图像能够提取100个角点，16幅图像总共得到1600个特征角点图像坐标； 3) 利用matalab标定工具箱完成摄像机标定： 在得到标定平面上棋盘格标靶图像特征角点坐标以及对应点的空间坐标以后，利用 matalab工具箱完成标定，计算得到两部摄像机的内外部参数。4. 根据权利要求3所述的一种基于立体视觉的焊接执行参数在线检测方法，其特征在 于： 所述摄像机的内部参数有八个，分别为摄像机光轴与图像的交点（cx，cy)，摄像机镜头 在X轴y轴方向的焦距(f X，f y )，摄像机镜头的径向畸变(lu，k2 )，摄像机镜头的切向畸变(P1， P2)，两台摄像机共16个内部参数； 所述摄像机的外部参数有三个，分别为摄像机绕世界坐标系y轴的旋转角Φ，摄像机在 世界坐标系中χ、ζ方向的位移为TX，TZ。5. 根据权利要求1所述的一种基于立体视觉的焊接执行参数在线检测方法，其特征在 于： 步骤3中所述利用摄像机获取焊点图像是指： 利用两台摄像机同时获取焊点图像，利用左摄像机获取的图像称之为左图像，利用右 摄像机获取的图像称之为右图像。6. 根据权利要求1所述的一种基于立体视觉的焊接执行参数在线检测方法，其特征在 于： 步骤4中所述的预处理焊点图像包括以下步骤： 1) 调整所获每副图像的灰度阈值，去除图像中除亮点以外的图像背景； 2) 移除金属镕滴，通过计算区域内的亮点，只保留与焊接有关的最大亮点，移除其他全 部亮点。7.根据权利要求1所述的一种基于立体视觉的焊接执行参数在线检测方法，其特征在 于： 步骤5中所述的获取焊点空间坐标包括以下步骤： 1) 获取左右图像中焊点二维坐标(x，y): 利用重心算法计算出经预处理后图像中焊点的坐标，左图像中的焊点坐标表示为(X， 7)1，右图像中焊点坐标表示为&，7)1?; 2) 对于步骤1)中的焊点二维坐标进行校正，得到校正坐标(xn，yn): 利用镜头光轴与坐标轴的关系，将获取的图像的二维坐标(x，y)带入等式（1)进行计 算，获得(χη，yn)为校正过的坐标其中（cx，Cy)为摄像机光轴与图像相交的点，（fx，fy)是镜头分别在X轴y轴的焦距； 3) 对步骤2)中经过校正的二维坐标(Xn，yn)进行畸变修正，得到畸变修正(X。、yc): 将上一步所获得(Xn，yn)代入以下迭代程序(2)，进行畸变修正：其中，程序(2)中的（Xc；、y。)是进行畸变修正过的焊点坐标;kr是与有关的径向畸 变；Δ以和Δ yt是与P1、P2相关的分别在X轴、y轴的切向畸变量;工差t〇l = l(T6; 经迭代程序运算，所获得的经过畸变修正的焊点二维坐标为(x。、^); 4) 计算焊点空间坐标P: 焊点的空间坐标是通过左右图像焊点的二维坐标(^^。^、（^^。^并结合摄像机的相 对位置计算得到； 空间坐标计算方法采用P = Zr · 方法计算； 求得焊点空间坐标P只需求得右摄像机坐标系Z轴系数Zr; 将(χ。，y。)L、（χ。，y。)R带入等式⑶中，求得ZR，求得焊点空间坐标P; 其中，Φ为摄像机绕y轴的旋转角，Τ=(Τχ，Τζ)τ表示摄像机在x-z平面的位移。8.根据权利要求1所述的一种基于立体视觉的焊接执行参数在线检测方法，其特征在 于： 步骤6中所述将焊点空间坐标拟合成图像并分析图像是指： 1) 在获取焊点三维坐标后，由x，z坐标生成X-Z图，X-Z图与摄像机有相同视角，通过X-Z 图能够清楚地了解焊接是如何执行的，能够知道焊接电极的移动路径； 2) 在获取焊点三维坐标后，由y，z坐标生成的Y-Z图，通过Y-Z图显示了电极的垂直移 动，能够知道电极头在垂直方向进量； 3) 在获取焊点三维坐标后，由δ(?)与Z(i)生成的δ(Ζ)图，δ(Ζ)图显示一段垂直线段波 动，通过这段垂直线段的形状和斜率，能够判断出焊接是否匀速和焊接方向： 如果垂直线段的形状是线性的，表明焊接是匀速进行的，反之则是变速的； 斜率表明焊接方向； Z(i)表示第i个焊点的Ζ坐标，δ(?)表示当前焊接长度所占焊接总长度的百分比； S(i)的计算如公式(4)所示：其中η表示所有的焊点数量，参数i和j分别从0遍历到η、从0遍历到指定位置。
【文档编号】G06T7/00GK106056603SQ201610367047
【公开日】2016年10月26日
【申请日】2016年5月30日
【发明人】崔岸, 杨宇佳, 骆亚微, 张晗, 张士展, 李彬, 张世广, 戴文硕
【申请人】吉林大学