线之间的差值，求出实际焊点线 与理论焊点线之间的差值，就是焊接机器人需要的补偿量。
[0069] 1)对摄像机图像中车门冲压板件翻边线的初始采集图像进行图像预处理：
[0070] 由于摄像机2、5拍摄的图像具有较多的无用背景，而且图像容易受到车门内板表 面反光以及噪声影响，因此需要剔除无用的背景减少图像处理时间以及复杂程度，并且对 图像反光进行调整并对噪声进行降噪处理，对摄像机2、5拍摄的车门外板表面初始检测图 像进行图像预处理的步骤如下：
[0071] I. 1)将摄像机采集的真彩图像转化为灰度图像：将激光倾斜打在冲压板件的翻 边线上，采用两个摄像机采集图像，分别得到左右两幅图像，所采集的原始图像为RGB图 像，即真彩图像，将RGB图像转化成灰度图像，变化成一个数据矩阵，这样会简化运算过程， 提尚计算效率，进而提尚整体图像处理运算效率。
[0072] 1.2)获取目标区域并对目标区域进行图像增强：对灰度图像中的目标区域图像 进行剪切操作，获得摄像机图像中车门翻边线和激光线的局部区域图像，剔除无用背景区 域，对获取区域进行图像增强，增强目标区域内激光线与周围区域的对比，同时进行逻辑运 算，降低图像整体灰度，提高运算速度。
[0073] 在通常情况下，摄像机的拍照范围大于所需要的目标范围，会将许多不必要的，多 余的信息包括在内，本发明采用的是图像参数式裁剪对目标区域进行剪切提取，获取需要 区域；
[0074] 得到目标区域图像后，对目标区域进行图像增强，以增强目标区域内激光线与周 围区域的对比，实现对图像的进一步处理和分析，同时也提高图像质量的过程，为了提高运 算速度，对目标图像进行逻辑运算，降低图像整体灰度。
[0075] 1. 3)对图像进行灰度调整，进行逻辑运算后的图像，激光线区域与周围环境对比 度不明显，因此要对图像进行灰度的调整，即把原本不清晰的图像变得清晰，或者抑制图像 的某些不需要的特征从而使另外一些目标特征得到增强，从而使处理后的图像的视觉效果 得到增强。
[0076] L 4)图像降噪；
[0077] 在实验过程中，由于实验条件和摄像机质量的限制，往往会使拍摄到的图像受到 图像噪声的影响，产生少许失真，因此为了得到精度比较高的结果，一般采用中值滤波对灰 度增强后的图像进行降噪处理。
[0078] 中值滤波的效果十分依赖滤波窗口大小的选择，如果窗口太大则会使边缘模糊， 窗口太小会使降噪效果不好，计算效率比较低。因此必须对中值滤波的算法进行改进。
[0079] 参阅图6,中值滤波的原理是在滤波时，每一次排序时对所有像素值进行排序是没 有必要的，以使用如式（1)所示3X3的模板为例，当程序在图中从左到右移动时，每次变化 的仅仅是第三列的3个值，而后两列的值已经在上一次操作中已经排列好了，因此我们只 需要在这个有序的序列中利用改进算法依次插进第三列的三个新值即可。通过以上对排序 原理的分析可知，只需要对窗口模板内的所有像素灰度值进行排序一次，再根据模板的移 动方向，按顺序插入第3个值即可。本发明采用冒泡排序法，将3个像素灰度值一次插入到 6个有序序列中，再采用折半法查找插入，最多只需要10次比较即可完成，因此采用改进算 (1) 法提高了计算效率，实用性好。
【主权项】
1. 一种基于立体视觉的车门点焊机器人路径校正方法，其特征在于，该方法使用一种 基于立体视觉的车门焊接补偿量获取系统，包括设置在车门外板流水线轨道斜上方的一字 激光器、对称设置在一字激光器两侧且位于车门外板流水线轨道正上方的两台摄像机，以 及与一字激光器和两台摄像机连接的终端设备； 该车门点焊机器人路径校正方法包括以下步骤： 步骤一、摄像机标定：搭建好所述基于立体视觉的车门焊接补偿量获取系统后，在实际 采集待测车门表面图像之前，首先利用张正友标定方法对两台摄像机进行标定，获取摄像 机的内外参数，以建立实际待测物空间位置和图像坐标之间的非线性关系，进而计算检测 图像特征点对应的空间坐标； 步骤二、焊接机器人补偿量获取：一字激光器发射激光倾斜打在冲压板件的实际翻边 线上，激光线发生偏折，折点就在翻边线上，通过翻边线上的点拟合出冲压板件的实际翻边 线；车门实际翻边线与理论翻边线之间的差值即等效于车门实际焊点线与理论焊点线之间 的差值； 步骤三、模拟焊接机器人补偿量实现：在获取焊接机器人补偿量后，利用机器人运动学 逆解理论，求取焊接机器人步进电机的实际变化量，通过编程控制步进电机运动，最终实现 焊接机器人在正确的位置进行焊接。
2. 按照权利要求1所述的一种基于立体视觉的车门点焊机器人路径校正方法，其特征 在于，所述步骤一摄像机标定的具体过程为： 利用张正友标定方法，标定模板是一个9X9的棋盘格，两摄像机固定，之后不断变换 标定模版与成像平面之间的角度与方位，两摄像机对标定模版采集16幅图像；对摄像机标 定模版图像进行特征角点提取，每个摄像机标定模版图像可以提取100个角点，根据张正 友标定方法，世界坐标系设定在棋盘格图像最左上角处的一个角点上，Z方向坐标值取为 零，棋盘格特征角点在X和Y方向的世界坐标可得知，在得到平面图像特征角点坐标以及对 应点的空间坐标以后，计算得到摄像机的内外部参数。
3. 按照权利要求1所述的一种基于立体视觉的车门点焊机器人路径校正方法，其特征 在于，所述步骤二焊接机器人补偿量获取包括以下具体步骤： 1) 对摄像机图像中车门冲压板件翻边线图像进行图像预处理； 2) 获取冲压板件的实际翻边线与激光线交点的空间坐标； 3) 旋转实际翻边线与理论翻边线，获取焊接补偿量。
4. 按照权利要求3所述的一种基于立体视觉的车门点焊机器人路径校正方法，其特征 在于，所述步骤1)对摄像机图像中车门冲压板件翻边线图像进行图像预处理具体包括以 下过程： I.1)将摄像机采集的真彩图像转化为灰度图像； 1.2)获取目标区域并对目标区域进行图像增强； 1. 3)图像灰度调整； 1. 4)图像降噪； 1.5)灰度图像的二值化处理。
5. 按照权利要求3所述的一种基于立体视觉的车门点焊机器人路径校正方法，其特征 在于，所述步骤2)获取冲压板件的实际翻边线与激光线交点的空间坐标具体包括以下过 程： 2.1)对经过所述步骤1)处理后的图像进行图像腐蚀处理，提取激光线的骨架； 2.2)霍夫变换求出冲压板件实际翻边线与激光线交点的图像坐标； 2. 3)对冲压板件的实际翻边线与激光线交点进行三维重建。
6.按照权利要求3所述的一种基于立体视觉的车门点焊机器人路径校正方法，其特征 在于，所述步骤3)旋转实际翻边线与理论翻边线，获取焊接补偿量包括以下具体过程： 3. 1)采用曲线拟合工具对所述步骤2)获得的冲压板件实际翻边线与激光线交点的空 间坐标点进行拟合，得到的空间曲线即实际翻边线； 3. 2)获得冲压板件的理论翻边线； 3. 3)旋转实际翻边线和理论翻边线，计算焊接补偿量：将实际翻边线和理论翻边线旋 转，分别投影到X-Y平面，X-Z平面和Z-Y平面上，分别获得X方向、Y方向和Z方向的补偿 量。
【专利摘要】本发明公开了一种基于立体视觉的车门点焊机器人路径校正方法，使焊接机器人在焊点位置进行智能化的精确焊接。包括以下步骤：步骤一、摄像机标定：搭建好基于立体视觉的车门焊接补偿量获取系统后，在实际采集待测车门表面图像之前，首先利用张正友标定方法对两台摄像机进行标定，获取摄像机的内外参数；步骤二、焊接机器人补偿量获取：通过翻边线上的点拟合出冲压板件的实际翻边线，车门实际翻边线与理论翻边线之间的差值即等效于车门实际焊点线与理论焊点线之间的差值；步骤三、模拟焊接机器人补偿量实现：在获取焊接机器人补偿量后，利用机器人运动学逆解理论，求取焊接机器人步进电机的实际变化量。
【IPC分类】G06T7-00
【公开号】CN104766333
【申请号】CN201510187628
【发明人】崔岸, 骆亚微, 徐文强, 张士展, 李彬, 戴文硕, 张世广
【申请人】吉林大学
【公开日】2015年7月8日
【申请日】2015年4月20日