基于嵌入式平台的焊缝寻位跟踪3D视觉传感器及跟踪方法与流程

文档序号：19319063发布日期：2019-12-04 00:19阅读：556来源：国知局

本发明属于焊接机器人技术领域，具体涉及一种基于嵌入式平台的焊缝寻位跟踪3d视觉传感器及跟踪方法。

背景技术：

焊接技术是工业生产中非常重要的一项工艺，在多个领域具有广泛应用。焊接机器人由于具有可重复、可编程和精度高等优点而被广泛地应用于焊接领域，从而极大地提高了焊接效率和焊接质量。但是现有的焊接机器人一般为“示教再现”型机器人，即需要人工参与耗时冗长的标校工作，该类焊接机器人缺乏“柔性”。因此，为了提高焊接的柔性程度，可以采用传感器来获取待焊接工件的焊缝信息。在众多传感器中，视觉传感方式由于具有非接触、高精度和信息量大等优点而被广泛应用。所以，设计合理、高效的视觉传感器在提高机器人焊接的自动化水平上显得尤为重要。

目前，国内外研究比较成熟的焊缝传感器为激光主动立体视觉传感器，具有焊缝寻位和跟踪功能，此类传感器主要缺陷如下：

1)工作的前提是焊缝在传感器视场范围内，传感器安装于机器人机械臂上后，需要人工操作机器人将机械臂引导至传感器视场范围内，因此此类传感器集成于焊接机器人后需人工参与引导，无法自动在大范围内搜索焊缝位置，即容差能力弱，无法适应焊接场景常见的下料、组对和装夹偏差；

2)传感器焊缝信息提取多基于pc平台进行，具有环境适应性差、功耗和体积大缺点。

因此，研制功能强大、适应工业现场使用的焊缝传感器具有重大意义。

技术实现要素：

为解决现有技术中存在的上述缺陷，本发明的目的在于提供一种基于嵌入式平台的焊缝寻位跟踪3d视觉传感器。该传感器集成于焊接机器人系统后，可减少当前焊接机器人领域人工参与程度，提高焊接效率和自动化程度。

本发明的另一目的在于提供一种所述传感器的焊缝寻位跟踪3d视觉跟踪方法，通过激光主动立体视觉弥补被动立体视觉环境适应性差的不足，提升焊缝定位精度，解决激光主动立体视觉传感器需人工示教焊缝起点以及基于先验信息工作的问题。

本发明是通过下述技术方案来实现的。

一种基于嵌入式平台的焊缝寻位跟踪3d视觉传感器，包括：

被动立体视觉组件，在覆盖整个工件范围内获取工件图像信息，并将工件图像信息输入至嵌入式图像处理电路；

激光主动立体视觉组件，在工件焊缝范围内获取焊缝图像信息，并将工件焊缝图像信息输入至嵌入式图像处理电路；

嵌入式图像处理电路，根据被动立体视觉组件的图像信息得到焊缝大致位置，进而引导焊接机器人运动至焊缝附近；根据激光主动立体视觉组件的焊缝图像信息解算获得寻位模式下焊缝的精确位置和跟踪模式下焊缝的实时位置信息，并传输至焊接机器人控制系统。

优选的，所述被动立体视觉组件包括至少一对图像采集单元ⅰ、ⅱ，一对图像采集单元呈一定夹角δ布置。

优选的，所述夹角δ与待焊工件大小,图像采集单元i、ii参数以及一对图像采集单元的基线距有关，确定方法如下：

第一步：根据图像采集单元选型确定相机视场：lx和ly分别为所选图像采集单元的耙面尺寸，f为图像采集单元中镜头的焦距，h为图像采集单元的工作距离；

第二步：一对图像采集单元光轴相互平行且光轴与基线距垂直时，重叠视场为其中b为图像采集单元的基线距；

第三步：一对图像采集单元按照光轴相互平行，且光轴与基线距垂直，此时δ＝0°，根据需求视场大小确定是否增大该δ角度，在保证基线距b不变的情况下，倾斜一对图像采集单元使得一对图像采集单元光轴间夹角δ＞0°。

优选的，所述激光主动立体视觉组件包括激光器和主动立体视觉相机；所述动立体视觉相机前端设有镜头和窄带滤光片；所述激光器相对于主动立体视觉相机呈一定角度α设置，所述α角设为25°-30°。

优选的，所述被动立体视觉组件的图像采集单元ⅰ、ⅱ和主动立体视觉相机为工业相机或ccd/cmos传感器组成的图像采集电路；所述ccd/cmos传感器组成的图像采集电路包括依次连接的ccd/cmos传感器、传感器信号接收电路、信号解析电路和通讯接口电路，电源电路连接ccd/cmos传感器、传感器信号接收电路、信号解析电路和通讯接口电路。

优选的，所述激光器为一字线激光器。

优选的，所述激光主动立体视觉组件的测量视场较被动立体视觉组件小，激光主动立体视觉组件的长度方向视场覆盖局部焊缝长度，宽度方向视场若为v型焊缝，需完全覆盖；若为其它类型焊缝需覆盖焊缝拐点并留有余量。

优选的，所述嵌入式图像处理电路包括arm+fpga架构处理器，所述arm+fpga架构处理器分别连接ddr存储电路、flash存储电路、时钟电路、网口通讯电路、usb通讯电路、jtag下载电路、电源接口和通讯接口，电源转换电路为所述图像处理电路的各个组成电路供电；

所述arm+fpga架构的嵌入式处理平台为xilinxzynq7000、ultrascale+系列zynq平台、arm+fpga组合嵌入式平台或arm+dsp+fpga组合嵌入式平台。

本发明相应地给出了一种所述传感器的基于嵌入式平台的焊缝寻位跟踪3d视觉跟踪方法，包括如下步骤：

步骤1，将3d视觉传感器本体与焊接机器人系统相连；

步骤2，嵌入式图像处理电路标定被动立体视觉组件和激光主动立体视觉组件与焊接机器人的坐标转换关系；

步骤3，被动立体视觉组件搜索工件上的待焊焊缝位置，并根据步骤2获得的坐标转换关系解算待焊焊缝位置的三维坐标；

步骤4，将解算待焊焊缝位置的三维坐标输出至焊接机器人控制单元，并控制焊接机器人携带3d视觉传感器本体运动至待焊焊缝起点附近；

步骤5，根据焊缝形状和工件是否存在热变形情况，启动激光主动立体视觉组件的工作模式为焊缝跟踪模式或焊缝寻位模式；

步骤6，嵌入式图像处理电路控制激光主动立体视觉组件工作，在焊缝寻位工作模式下，控制焊接机器人带动3d视觉传感器本体从当前位置开始沿待焊焊缝方向推扫，根据获取的多个位置的图像特征信息，提取待焊焊缝起点和终点信息；

步骤7，通过以太网口直接与焊接机器控制系统通讯，焊缝寻位模式下输出步骤6得到的焊缝起点和终点位置信息，引导焊接机器人焊枪起弧和灭弧；

步骤8，嵌入式图像处理电路控制激光主动立体视觉组件工作，在焊缝跟踪工作模式下，输出焊缝实时跟踪点位置，引导焊接机器人焊枪按实际焊缝执行焊接任务。

优选的，所述步骤6)提取待焊焊缝起点和终点信息，具体步骤如下：

61)对激光主动立体视觉组件采集到的工件图像信息进行滤波处理，设置获取感兴趣区域；

62)对感兴趣区域的图像进行滤波、去除弧光和飞溅干扰操作；

63)对激光线进行细化，并利用海森矩阵提取激光中心线像素坐标；

64)利用激光器投射面与主动立体视觉相机之间的关系解算出激光中心线上各像素点在物理空间中的三维坐标；

65)对激光中心线上的无效点得到的在物理空间中的三维坐标进行插补，并对插补点进行特殊标记；

66)焊接机器人带动3d视觉传感器本体沿焊缝方向推扫，在下一个位置获取图像，重复步骤61)至65)，得到此位置激光中心线上各像素点在物理空间中的三维坐标；

67)以此重复步骤61)至66)，获取n个位置的激光中心线上各像素点在物理空间中的三维坐标，并根据n组三维坐标点集标记凸变点；

68)控制焊接机器人在运动至上述步骤得到的凸变点位置处，减小焊接机器人推扫步长，带动3d视觉传感器本体并沿焊缝方向推扫，重复步骤61)至67)，以此实现精确定位焊缝起点；

69)根据被动立体视觉组件工作模式提取的焊缝终点坐标，控制焊接机器人运动至焊缝终点处；

610)重复步骤61)至68)，以此精确提取焊缝终点位置。

优选的，所述步骤8)激光主动立体视觉工作模式中，焊缝在线跟踪功能提取焊缝实时位置信息的具体实施步骤如下：

81)对激光主动立体视觉组件采集到的工件图像信息进行滤波处理，设置获取感兴趣区域；

82)对感兴趣区域的图像进行滤波、去除弧光和飞溅干扰操作；

83)对激光线进行细化，并利用海森矩阵提取激光中心线像素坐标；

84)利用激光器投射面与相机之间的关系解算出激光中心线上各像素点在物理空间中的三维坐标；

85)对激光中心线上的无效点得到的在物理空间中的三维坐标进行插补，并对插补点进行特殊标记；

86)焊接机器人带动3d视觉传感器本体沿焊缝方向推扫，在下一个位置获取图像，重复81)至85)的步骤，得到此位置的激光中心线上各像素点在物理空间中的三维坐标；

87)重复步骤81)至86)，获取n个位置的激光中心线上各像素点在物理空间中的三维坐标，并根据n组点集标记凸变点，此坐标即为焊缝特征点坐标；

88)焊接机器人带动传感器沿焊缝方向推扫，得到第n+i个位置激光中心线上各像素点在物理空间中的三维坐标，同时扔掉第i根激光中心线上各像素点在物理空间中的三维坐标，根据新得到的n根激光中心线上各像素点在物理空间中的三维坐标点云数据精确提起焊缝特点坐标；

89)重复步骤81)至88)，直至提取至焊缝终点停止。

本发明由于采取以上技术方案，其具有以下有益效果：

1.本发明通过采用被动立体视觉和主动立体视觉相结合的方式，激光主动立体视觉弥补被动立体视觉环境适应性差的不足，同时发挥被动立体视觉可在大视场范围内搜索焊缝目标的优势，在被动立体视觉焊缝定位的基础上进一步提升焊缝定位精度。

2.本发明中的被动立体视觉组件的解算结果可为激光主动立体视觉提供焊缝起始位置先验信息，解决激光主动立体视觉传感器工作需人工示教焊缝起点以及基于先验信息工作的问题。

3.本发明的图像处理电路核心为嵌入式平台，无需单独配备工业计算机，提升系统的环境适应性，并减小体积和功耗。

4.本发明的嵌入式图像处理平台选用arm+fpga架构进行图像处理，可充分发挥arm和fpga的优势，在arm上移植linux操作系统可调用opencv机器视觉库开发图像处理算法，利用fpga多任务并行处理能力处理图像提升图像处理速度，满足焊接领域中焊缝在线跟踪的实时性要求。

5.本发明的3d视觉传感器输出可直接通过以太网口与焊接机器人控制系统通信，引导焊接机器人执行焊接任务，无需经过工控机转接，从而简化焊接机器人集成系统复杂度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1为以双目被动立体视觉组件为例，本发明所涉及的基于嵌入式平台的嵌入式智能焊缝寻位跟踪3d传感器的组成示意图；

图2为以双目被动立体视觉组件为例，本发明所涉及的基于嵌入式平台的智能焊缝寻位跟踪3d传感器的结构示意图；

图3为ccd/cmos传感器组成的图像采集电路组成；

图4为嵌入式图像处理电路组成框图；

图5为本发明基于嵌入式平台的嵌入式智能焊缝寻位跟踪3d传感器的操作流程；

图6为被动立体视觉组件检测过程；

图7为激光主动立体视觉组件焊缝寻位模式检测方法；

图8为激光主动立体视觉组件焊缝跟踪模式检测方法。

图中：1、图像采集单元ⅰ；2、图像采集单元ⅱ；3、激光器；4、主动立体视觉相机；5、镜头ⅰ；6、镜头ⅱ；7、镜头ⅲ；8、滤光片；9、嵌入式图像处理电路。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

如图1、图2所示，本发明一种基于嵌入式平台的焊缝寻位跟踪3d视觉传感器包括：被动立体视觉组件、激光主动立体视觉组件和嵌入式图像处理电路；其中，被动立体视觉组件，在覆盖整个工件范围内获取工件图像信息，并将工件图像信息输入至嵌入式图像处理电路。激光主动立体视觉组件，在工件焊缝范围内获取焊缝图像信息，并将工件焊缝图像信息输入至嵌入式图像处理电路。嵌入式图像处理电路，根据被动立体视觉组件的图像信息得到焊缝大致位置，进而引导焊接机器人运动至焊缝附近；根据激光主动立体视觉组件的焊缝图像信息解算获得寻位模式下焊缝的精确位置和跟踪模式下焊缝的实时位置信息，并传输至焊接机器人控制系统。

如图2所示，被动立体视觉组件包括至少一对被动立体视觉图像采集单元ⅰ1、ⅱ2，被动立体视觉图像采集单元ⅰ1、ⅱ2上分别设有光学镜头ⅰ5、ⅱ6；一对被动立体视觉图像采集单元呈一定夹角δ布置。被动立体视觉组件中的图像采集单元参数相同，光学镜头ⅰ5、ⅱ6参数相同，分别安装于图像采集单元的前端面上，图像采集单元通过安装转接件固定于固定装置上。

一对图像采集单元呈一定夹角δ布置，该夹角与待焊工件大小,图像采集单元i、ii参数以及一对图像采集单元的基线距有关，确定方法如下

第二步：一对图像采集单元光轴相互平行且光轴与基线距垂直时，重叠视场为其中b为图像采集单元的基线距；

第三步：一对图像采集单元按照光轴相互平行，且光轴与基线距垂直，此时δ＝0°，根据需求视场大小确定是否增大该δ角度，在保证基线距b不变的情况下，倾斜一对图像采集单元使得一对图像采集单元光轴间夹角δ＞0°,此方式可扩大采集单元视场以满足实际视场需求。

在一个实施例中，待焊接工件尺寸为600*240*120mm，待焊工件上的焊缝为搭接和直角焊缝，所选图像采集单元的耙面尺寸为2/3″，镜头焦距为8mm，被动立体视觉组件工作距离为650mm，一对图像采集单元的基线距离b＝60mm，根据夹角确定方法确定夹角：

第一步：相机视场为：

第二步：相机重叠视场即为被动立体视觉组件的视场，为：

第三步：确定夹角，由于相机视场已完全覆盖工件，此处δ＝0°。根据需求视场大小确定是否增大该δ角度，在保证基线距b不变的情况下，倾斜一对图像采集单元使得一对图像采集单元光轴间夹角δ＞0°，可扩大视场范围直至满足实际视场需求。

另外，激光主动立体视觉组件包括激光器和主动立体视觉相机；主动立体视觉相机前端设有镜头ⅲ和窄带滤光片8；滤光片8在光学前端前方安装并通过转接件固定在传感器外壳上，线结构光激光器3与图像采集单元的光轴呈α角度，α角度范围为25-30°

在一个具体实施例中，所选激光器最佳工作距离为200mm，激光器与激光立体视觉相机4的基线距为102mm，根据图像处理算法以及相机内参标定结果得到激光立体视觉相机4与镜头组成的图像采集单元光轴与激光平面的交点坐标，进而得到此交点同光心的距离为h＝242mm，计算得到该夹角

所述α角度可根据结构布局情况，通过光路折转保证。

激光主动立体视觉组件中的图像采集单元和光学镜头参数与被动立体视觉组件中参数不同，参数不同体现在图像采集单元的采集帧频以及图像分辨率上，光学镜头参数主要体现在焦距上。

被动立体视觉组件测量视场覆盖待焊接工件，而激光主动立体视觉组件视场覆盖待焊接焊缝局部，在小视场内提升焊缝寻位和跟踪精度。

激光主动立体视觉组件的激光器投射至工件表面，由于激光线与工件表面的对比度差异，从而弥补了被动立体视觉组件的环境适应性问题。

如图3所示，图像采集单元ⅰ、ⅱ和主动立体视觉相机为工业相机或ccd/cmos传感器组成的图像采集电路；ccd/cmos传感器组成的图像采集电路包括依次连接的ccd/cmos传感器、传感器信号接收电路、信号解析电路和通讯接口电路，电源电路连接ccd/cmos传感器、传感器信号接收电路、信号解析电路和通讯接口电路。其中激光器为一字线激光器。

激光主动立体视觉组件的测量视场较被动立体视觉组件小，激光主动立体视觉组件的长度方向视场覆盖局部焊缝长度，宽度方向视场根据焊缝类型确定，若为v型焊缝，需完全覆盖；若为其它类型焊缝需覆盖焊缝拐点并留有余量。

在一个具体实施例中，待焊接工件上的焊缝为搭接焊缝和直角焊缝，因此为减小图像处理的数据量，所述激光主动立体视觉组件的视场确定为激光条纹长度方向60mm，宽度方向以激光条纹线为中心，左右30mm。

如图4所示，嵌入式图像处理电路9包括arm+fpga架构处理器，arm+fpga架构处理器分别连接ddr存储电路、flash存储电路、时钟电路、网口通讯电路、usb通讯电路、jtag下载电路、电源接口和通讯接口，电源转换电路为所述图像处理电路的各个组成电路供电。

arm+fpga架构嵌入式处理平台，可为arm+fpga架构的嵌入式处理平台为xilinxzynq7000、ultrascale+系列zynq平台、arm+fpga组合嵌入式平台或arm+dsp+fpga组合嵌入式平台。

ddr存储电路用于存储被动立体视觉和激光主动立体视觉图像采集单元获取的图像数据；通讯电路用于和被动立体视觉、激光主动立体视觉以及焊接机器人控制系统进行数据交互；下载电路用于下载并固化软件程序。嵌入式图像处理电路通过安装转接件固定，通过3路网口或usb通讯接口与图像采集单元和主动立体视觉相机连接，通过电源接口与激光器连接，为激光器供电；通过1路网口通讯接口输出数据，该接口可直接焊接机器人进行数据交互，引导焊接机器人执行焊接任务。

运行于嵌入式图像处理电路的软件有3种工作模式，分别为标定模式、被动立体视觉组件工作模式和激光主动立体视觉工作模式，其中，激光主动立体视觉工作模式主要实现寻位模式下焊缝的精确定位和跟踪模式下焊缝的实时位置信息解算，激光主动立体视觉工作模式需执行机构的配合，一般安装于焊接机器人的焊枪上。

运行于嵌入式图像处理电路的软件运行环境为linux的ubuntu系统，可在处理平台arm端移植该系统。

运行于嵌入式处理电路的软件涉及的图像处理算法可在arm端和fpga端运行，基础通用图像处理算法可在arm端调用opencv机器视觉库函数。

为满足焊缝跟踪的实时性需求，可将图像处理软件涉及的复杂耗时软件算法在fpga端实现，提升图像处理性能。

如图5～图8所示，本发明相应的给出了一种基于嵌入式平台的焊缝智能3d传感器的具体操作方法，步骤如下：

步骤1，将3d视觉传感器本体通过安装定位孔固定安装于焊接机器人上；

步骤2，嵌入式图像处理电路的图像处理软件工作于标定模式，标定被动立体视觉组件和激光主动立体视觉部分与焊接机器人的坐标转换关系；

步骤3，切换软件工作模式至被动立体视觉工作模式，通过该模式大范围搜索工件上的待焊焊缝位置，并根据步骤2获得的转换矩阵解算焊缝位置的三维坐标，为激光主动立体视觉组件工作提供焊缝起点先验信息，工作流程如图6所示。

被动立体视觉工作模式解算焊缝位置三维坐标具体步骤如下：

31)被动立体视觉工作模式对采集到的工件的图像信息进行滤波处理，增强细节信息，去除干扰点；

32)根据被动立体视觉组件的内外参数对图像进行畸变校正；

33)利用sgbm方法对被动立体视觉组件获取的图像进行立体匹配，获取视差图；

34)对视差图进行优化处理；

35)利用视差图生成工件的三维点云数据；

36)对三维点云进行处理，提取焊缝的起始点和终止点；

37)根据提前标定的被动立体视觉组件和焊接机器人系统的坐标系转换关系，将焊缝起点和终点以及焊接路径转换至焊接机器人坐标系下。

步骤4，步骤3的解算结果输出至焊接机器人控制单元，并控制传感器运动至待焊接焊缝起点附近；

步骤5，根据焊缝形状和工件是否存在热变形情况，启动激光主动立体视觉组件的工作模式为焊缝跟踪模式或焊缝寻位模式；

步骤6，嵌入式图像处理电路控制激光主动立体视觉组件工作，在焊缝寻位工作模式下，控制焊接机器人带动3d视觉传感器本体从当前位置开始沿待焊焊缝方向推扫，根据获取的多个位置的图像特征信息，提取待焊焊缝起点和终点信息，工作流程如图7所示；

步骤6)提取待焊焊缝起点和终点信息，具体步骤如下：