一种基于双目视觉的管棒材拆捆系统的制作方法

本发明涉及智能制造技术领域，特别涉及一种基于双目视觉的管棒材拆捆系统。

背景技术：

近年来，国内外对工业机器人技术的发展越来越重视。随着我国人口结构的变化，劳动人口已经逐年下降到72％，劳动者工资成本急剧上升，许多企业感觉到工荒和利润率下降，使用机器人降低生产成本成为企业提升竞争力的必然选择。

钢铁工业是自动化程度较高的流程工业之一，特钢棒材精整过程由矫直、拆捆与探伤等多个工序构成，存在诸多转运频繁、环境恶劣、劳动繁重、安全风险大的作业过程，急需推动工业机器人的工程化应用，进一步提升生产效率和产品质量。截止2017年，国内钢铁行业的机器人密度为4台以下，远低于制造业的平均水平49台，距离发达国家200台以上的水平差距巨大。未来，我国钢铁行业的机器人密度将达到70台，局部工序可达400台以上。以特钢棒材精整过程作为切入点，推动冶金工业机器人的研发与工程化应用具有重要意义。

当前，在特钢棒材精整生产线上首先需要对管棒材进行拆捆和打捆操作。打捆已经有现成的专机，而拆捆需要依赖人工操作，劳动强度大，成本高。因此利用拆捆机器人系统，完成智能化自动拆捆具有十分重大的研究意义。在当前的工业生产中，对于机械臂的使用多采用示教系统，然而工业环境复杂多变，实际拆捆位置与理想位置可能存在很大误差，特钢棒材精整区域转运频繁、危险及人工作业繁重。

因此，为了解决现有技术中的问题，需要一种基于双目视觉的管棒材拆捆系统。

技术实现要素：

本发明的目的在于提供一种一种基于双目视觉的管棒材拆捆系统，其特征在于，所述系统包括上位机、机器人控制器、机器人、移动轨道和末端执行器，其中，

所述末端执行器上安装第一影像装置、第二影像装置和位移传感器，所述位移传感器用于在管棒材表面形成水平激光线，所述第一影像装置和第二影像装置，用于拍摄管棒材、水平激光线的图像，以及水平激光线发生畸变的图像，

所述移动轨道，用于机器人在所述移动轨道上移动；

所述上位机，用于获取所述所述第一影像装置和第二影像装置拍摄的图像，并对图像进行处理；

所述机器人控制器，用于接收上位机的指令，并控制机器人执行指令，所述机器人，执行上位机的指令。

在一个较佳的实施例中，机器人在拆捆之前，对机器人进行手眼标定。

在一个较佳的实施例中，第一影像装置、第二影像装置拍摄管棒材以及水平激光线的图像，发送至上位机进行处理，包括：

预处理，对图像进行二值化处理，将图像上的像素点的灰度值设置为0或255；

提取水平激光线区域，通过阈值分割的方法提取所述水平激光线区域。

在一个较佳的实施例中，通过如下阈值分割的方法提取水平激光线区域：

输入图像f(i，j)，进行如下变换输出图像g(i，j)：

其中t为阈值；

通过上述图像变换，对图像进行分割，提取水平激光线区域。

在一个较佳的实施例中，通过霍夫变换对所述水平激光线区域中的几何形状分离，提取水平激光线。

在一个较佳的实施例中，上位机建立图像平面坐标系和双目视觉坐标系，对图像平面坐标系与双目视觉坐标系进行三维空间坐标转换，

确定提取的水平激光线上的点在双目视觉坐标系中的三维坐标，通过机器人工具坐标与双目视觉坐标转换，获取水平激光线上的点在机器人工具坐标系中的三维坐标；

通过曲线拟合计算水平激光线的直线度。

在一个较佳的实施例中，当第一影像装置、第二影像装置拍摄的水平激光线图像发生畸变，将拍摄的图像发送至上位机进行处理，包括：

通过三角形原理对发生畸变的位置进行信息提取，计算获取第一影像装置和第二影像装置公共视场内畸变位置的三维尺寸，及其畸变内一点的位置坐标。

在一个较佳的实施例中，将计算得到畸变点坐标(x，y，z)反馈至机器人控制器，控制器根据坐标z轴，控制末端执行器下压剪切绑丝。

本发明上位机根据管棒材的拆捆请求可自动判断拆捆工位是否可用，利用行车将管棒材吊入指定工位；机器人接受上位机信号，由双目视觉引导机器人调整末端执行器位姿并使水平激光线水平打在管棒材表面上；机器人沿移动导轨移动并根据工业相机和结构光协同合作来获取绑丝缝隙位置，上位机通过机器人控制器调节末端执行器运动使金属锯片到达绑丝位置并切割绑丝；上位机通过机器人控制器调整末端进给量控制电机开始运转，金属锯片切割完绑丝后伺服电机停止运转，电磁铁通电并将绑丝吸去，机器人将绑丝放到指定位置并开始下一次切割绑丝作业；所述绑丝被全部放到指定位置后，机器人回到初始位置，等待上位机移动指令，上位机等待下一个拆捆作业请求。本发明能够准确确定绑丝的位置，并在管棒材之间的缝隙出剪切绑丝有效方式对管棒材的损伤。

本发明具有以下有益效果：

一、本发明克服了传统人工拆捆工作量大，劳动强度高的诸多弊端，使用机器视觉引导机器人完成自动切割绑丝的任务，成本低、效率高。

二、本发明使用机器视觉引导，可解决传统机械臂示教自动化程度低、当工业生产发生变化得重新示教、生产精度低的诸多问题。通过机器视觉引导可实时完成切割任务，自动化程度高。

三、本发明使用相机和激光器的识别特征组合具有成本低，工作效率高的优点。

四、将工业相机安装在机械臂末端，让其引导机器人完成自动切割绑丝的任务。本发明能够全方位覆盖机器人的识别区域，并且能够识别绑丝的深度。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1是本发明基于双目视觉的管棒材拆捆系统框图。

图2是本发明基于双目视觉的管棒材拆捆系统的结构示意图。

图3是本发明末端执行器的剖面视图。

图4是图3中的a-a视图。

图5是本发明一个实施例中第一影像识别装置与安装架的连接示意图。

图6是图3的右侧视图。

图7是图4的b向视图。

图8是本发明一种基于双目视觉的管棒材拆捆方法的流程图。

图9是水平激光线打在管棒材上的示意图。

图10是本发明一种拆捆机器人末端执行器使用过程的示意图。

图11是图10中末端执行器工作区域的放大图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

为了使本发明得以清晰的说明，首先对本发明基于双目视觉的管棒材拆捆系统进行说明，如图1所示本发明基于双目视觉的管棒材拆捆系统框图，如图2所示本发明基于双目视觉的管棒材拆捆系统的结构示意图，基于双目视觉的管棒材拆捆系统包括上位机100、机器人控制器200、机器人600、移动轨道500、末端执行器400和双目视觉系统300。

移动轨道500，用于机器人600在移动轨道500上移动。机器人控制器200，用于接收上位100的指令，并控制机器人600执行指令。机器人600，在机器人控制器200控制下执行上位机100的指令。

双目视觉系统300包括第一影像装置和第二影像装置，安装在末端执行器400，与位移传感器配合进行对绑丝进行定位。双目视觉系统300直接与上位机通信，将采集的图像发送至上位机100进行图像处理。

上位机100，用于获取第一影像装置和第二影像装置拍摄的图像，并对图像进行处理。

末端执行器400上安装第一影像装置、第二影像装置和位移传感器，位移传感器用于在管棒材表面形成水平激光线，第一影像装置和第二影像装置，用于拍摄管棒材、水平激光线的图像，以及水平激光线发生畸变的图像(具体在下文中拆捆过程中详细说明)。

下面通过具体的实施例对本发明末端执行器的结构进行说明，如图3所示本发明末端执行器的剖面视图，图4所示图3中的a-a视图，图5所示本发明一个实施例中第一影像识别装置与安装架的连接示意图，图6所示图3的右侧视图，图7所示图4的b向视图。结合图3至图7，根据本发明的实施例，末端执行器，包括支架，在支架前端安装磁吸机构，磁吸机构包括至少一根螺杆202，螺杆上套设压簧203，螺杆202一端固定磁压头201，另一端穿过压簧座204，使磁压头201带动螺杆202运动过程中压缩压簧203。在一些实施例中，压簧座204直接焊接与支架上，在一些较佳的实施例中，压簧座204可以采用螺栓等方式可拆卸的固定下支架上。在一些较佳的实施例中，磁压头可以采用永磁材料制成，在另一些较佳的实施例中，磁压头采用电磁铁，通电产生磁性吸走剪切后的绑丝。

支架上设有一用于连接机器人机械臂法兰盘106的连接板105，架体通过定位销、螺栓等零件与机器人末端的法兰盘连接在一起，在剪切绑丝时。架体向外延伸。

根据本发明的实施例，磁压头201通过螺栓固定于磁压头座206上，在磁压头座206上开设通孔，螺杆202穿过通孔与磁压头座206固定。

根据本发明的实施例，螺杆202穿过压簧座204的一端具有卡块205，压簧203回弹后，卡块205被压簧座卡住，防止螺杆202滑出压簧座204。更进一步地，实施例中在压簧203外部套设铜套，用于保护压簧。

根据本发明的实施例，选用两根螺杆203，但不限于此，在一些实施例中可以选用一根螺杆、或者多根螺杆。

支架上设有横向支撑板104，在支架后端安装驱动机构301，在驱动机构301固定于横向支撑板104上，在磁吸机构与驱动机构之间的空间103内安装剪切机构，驱动机构带动剪切机构剪切捆绑绑丝。

剪切机构包括金属锯片401，金属锯片401本体为一圆形锯片，金属锯片401通过轴端轴套402安装于驱动轴303上，随驱动电轴旋转运动完成剪切作业。驱动轴303的末端安装有轴端轴套402，用来防止金属锯片401从驱动轴303上滑落。

在一些较佳的实施例中，磁吸机构与驱动机构之间的空间103为矩形框体，矩形框体的第一侧面101上固定磁吸机构。矩形框体的第二侧面102设置横向支撑板104。驱动机构301的驱动轴303穿过矩形框体的第二侧面102，剪切机构的金属锯片401通过轴端轴套402安装于驱动轴303上。

根据本发明的实施例，驱动机构301选用功率为0.75kw，转速为1470r/min的电机，用于驱动剪切机构。驱动机构安装在电机座302上，通过螺栓将电机座302固定于横向支撑板104上。

在一些实施例中，驱动电机选用全封闭、自扇冷三相鼠笼型一般用途的电机。在满足功率要求的前提下具有高效、节能、启动力矩大、噪音低、振动小、可靠性高等优点。

在一些实施例中，使用金属罩代替横向支撑板104，使电机置于金属罩内，保护电机(驱动机构)。

根据本发明的实施例，支架一侧安装一检测机构，所检测机构包括安装架500，在安装架上布置位置对称的第一影像识别装置501和第二影像装置502，第一影像识别装置501与第二影像装置502中间布置一位移传感器505。在一些实施例中，为了防止机器作业时损伤镜头，在有镜头的相机另一端安装相机罩。

本实施例中，位移传感器采用激光传感器，一方面发射激光探测剪切过程中需要剪切的绑丝程度，避免剪切过程中划伤管材或者棒材，另一方面发出的水平激光线打在管棒材表面，对绑丝(钢丝绑绳)定位。第一影像识别装置501和第二影像装置502选用工业数字相机水星mer系列，镜头信号为v1214-mp。

根据本发明的实施例，在检测需要剪切的绑丝的位置时，第一影像装置501的中心延长线、第二影像装置502的中心延长线与位移传感器505的中心延长线汇聚于一点。即第一影像装置501的镜头视线方向、二影像装置502的视线方向与位移传感器的激光三线汇聚于一点。根据本发明的实施例，安装架500呈“l”型结构，第一影像识别装置501和第二影像装置502，通过连接结构布置于安装架上。

如图4和图5所示，实施例中示例性的以第一影像识别装置的安装为例，连接结构包括连接杆5031，连接杆5031一端与第一影像识别装置501固定，本实施例中采用焊接方式固定。连接杆另一端穿过安装架500的第一连接板503，通过第一螺母5032和第二螺母5034固定，在第一螺母5032与第二螺母5034之间安装锥形垫圈5035和球形垫圈5033，使连接杆能够带动第一影像装置501转动，调整第一影像装置501的中心延长线、第二影像装置502的中心延长线和位移传感器505的中心延长线汇聚于一点(图7中的o点)。

位移传感器505采用螺栓固定在安装架500的第一连接板503上，位置处于第一影像识别装置501和第二影像装置502中间，本实施例中使用m6*30螺钉、m6螺母、垫圈固定安装位移传感器505。对于第一影像装置501、第二影像装置502和位移传感器505的安装，其末端的与金属锯片401末端垂直方向和水平方向均具有一定的距离，以防止损伤第一影像装置501、第二影像装置502和位移传感器505。

如图6所示，安装架500整体上通过第二连接板504固定支架上，本实施例中采用螺栓的方式进行固定，在另一些实施例中，直接将第二连接板504焊接在支架上。

如图8所示本发明基于双目视觉的管棒材拆捆方法的流程框图，根据本发明的实施例，一种基于双目视觉的管棒材拆捆方法包括如下方法步骤：

步骤s101、末端执行器安装相机和位移传感器。在末端执行器400上安装第一影像装置、第二影像装置和位移传感器，并确保三者在同一平面上。第一影像装置、第二影像装置和位移传感器安装在末端执行器400的一侧，且第一影像装置、第二影像装置的识别区域为机械臂工作范围。调整端执行器400姿态，使机器人端执行器400的z方向垂直向下，机器人在拆捆之前，对机器人进行手眼标定，。

步骤s102，检查管棒材到位信息。

通过上位机100的人机界面向机器人控制器200发送拆捆作业请求，上位机100判断当前工位是否可用。

若工位可用(溜床上的夹持装置空闲)，则通过起重机将成捆管棒材调入可用工位，管棒材到位后由溜床上的传感器向上位机100发送到位信号。

步骤s103、上位机给机器人发送动作指令。

管棒材到位后，上位机100发送动作指令，夹持装置夹持管棒材。同时末端执行器400安装的位移传感器505发出的水平激光线打在管棒材表面，机器人600沿移动轨道500移动。

步骤s104、相机通过双目视觉识别方法识别绑丝和管棒材缝隙。

第一影像装置501、第二影像装置502拍摄管棒材以及水平激光线的图像，如图9所示水平激光线打在管棒材上的示意图，位移传感器505发出的水平激光线901打在管棒材902a表面，机器人600沿移动轨道500移动寻找绑丝903。

根据本发明的实施例，双目视觉识别方法识别绑丝及棒材缝隙的位置具体包括如下方法：

第一影像装置501、第二影像装置502拍摄图像发送至上位机100处理，根据本发明的实施例，第一影像装置501、第二影像装置502拍摄管棒材以及水平激光线的图像，发送至上位机进行处理，包括：

预处理，对图像进行二值化处理，将图像上的像素点的灰度值设置为0或255。

提取水平激光线区域，通过阈值分割的方法提取所述水平激光线区域。

根据本发明的实施例，通过如下阈值分割的方法提取水平激光线区域：

输入图像f(i，j)，进行如下变换输出图像g(i，j)：

其中t为阈值；

通过上述图像变换，对图像进行分割，提取水平激光线区域。

通过霍夫变换对水平激光线区域中的几何形状分离(例如，直线，圆等)，提取水平激光线。

上位机建立图像平面坐标系和双目视觉坐标系，对图像平面坐标系与双目视觉坐标系进行三维空间坐标转换，

确定提取的水平激光线上的点在双目视觉坐标系中的三维坐标，通过机器人工具坐标与双目视觉坐标转换，获取水平激光线上的点在机器人工具坐标系中的三维坐标；

通过曲线拟合计算水平激光线的直线度。

通过水平直线度检测调整末端执行器位姿，使位移传感器的水平激光线水平打向管棒材(即水平激光线与管棒材的轴线平行)，并确保第一影像装置501、第二影像装置502识别区域无遮挡物。

当拍摄到的水平激光线901图像发生畸变，即在水平激光线901上出现畸变点904，则上位机向机器人控制器200发送指令，机器人控制器200控制机器人600停止移动，同时，机器人控制器200控制机器人600的末端执行器400摆动。

机器人控制器控制机器人末端执行器400摆动(沿x轴方向移动)寻找管棒材缝隙905。管棒材缝隙905的识别有两种判别方法：

1，图像中偏移水平激光线的两个点进行标记，激光线断开处为两个标记点，当二者之间的距离超过一定的阈值时判定为管棒材缝隙。

2，若距离没有超过规定的阈值，那么由于水平激光线在移动过程中光线会发生变化以及当其移动到辊缝中间位置时，水平激光线照射到两个管棒材的凹陷处，激光线会出现消失的特征。

根据本发明的实施例，采用第2中方式寻找管棒材缝隙，当第一影像装置501、第二影像装置502拍摄到的管棒材902a表面的水平激光线901消失，末端执行器400停止摆动，此时认为，水平激光线901落入到管棒材902a与管棒材902b之间的管棒材缝隙905中。

第一影像装置501、第二影像装置502对畸变点重新拍照，并根据重新拍摄的图像计算出畸变点的坐标，并将计算结果反馈至控制器。

根据本发明的实施例，当第一影像装置501、第二影像装置502拍摄的水平激光线发生畸变，将拍摄到的发生畸变点的图像发送至上位机进行处理，包括：

通过三角形原理对发生畸变的位置进行信息提取，计算获取第一影像装置和第二影像装置公共视场内畸变位置的三维尺寸，及其畸变内一点的位置坐标。

将计算得到畸变点坐标(x，y，z)反馈至控制器。

步骤s105：机器人控制器控制机器人执行绑丝剪切。

根据本发明的的实施例，上位机将畸变点坐标(x，y，z)发送给机器人控制器200，机器人控制器200根据坐标z轴，控制机器人600的机械臂带动末端执行器400下压完成绑丝剪切。

步骤s106：重复步骤s104至s105，完成全部绑丝切割。上位机100向机器人控制器200发送指令，机器人控制器200控制机器人600沿移动移动轨道移动，重复步骤s104和和步骤s105，完成全部绑丝的剪切。

下面对本发明绑丝的切割过程进行说明，如图10所示本发明一种拆捆机器人末端执行器使用过程的示意图，图11所示图10中末端执行器工作区域的放大图。

绑丝(钢丝绑绳)800捆绑的管棒材902运送至溜床上，管棒材到位后，上位机100发送动作指令，夹持装置夹持管棒材通过夹持装置夹持。

第一影像装置501、第二影像装置502通过双目视觉识别方法识别绑丝及绑丝缝隙位置。机器人最后一节机械臂带动末端执行器旋转摆动至磁压头201正对绑丝903的位置，机械臂控制末端执行器下压(图11中的c方向)，磁压头201在压簧弹力的作用下压紧绑丝903，驱动机构带动剪切机构的金属锯片401切断绑丝903。在剪切过程中，位移传感器505检测剪断深度，防止绑丝903剪断后，金属锯片损伤管棒材902。

夹持装置打开，管棒材902溜到溜床底部，剪切后磁压头201将剪切下来的绑丝通过磁性吸走，机器人控制机械臂将绑丝防置到合适的地方。在一些较佳的实施例中，磁压头201采用电磁铁，使得绑丝的吸走和放置更加方便，例如，在磁压头201下压过程中，磁压头201通电产生磁性，绑丝切断后吸走绑丝，机器人控制机械臂将绑丝运输的核实位置时，磁压头201断电，绑丝与磁压头201分离，落入指定位置。

本发明上位机根据管棒材的拆捆请求可自动判断拆捆工位是否可用，利用行车将管棒材吊入指定工位；机器人接受上位机信号，由双目视觉引导机器人调整末端执行器位姿并使水平激光线水平打在管棒材表面上；机器人沿移动导轨移动并根据工业相机和结构光协同合作来获取绑丝缝隙位置，上位机通过机器人控制器调节末端执行器运动使金属锯片到达绑丝位置并切割绑丝；上位机通过机器人控制器调整末端进给量控制电机开始运转，金属锯片切割完绑丝后伺服电机停止运转，电磁铁通电并将绑丝吸去，机器人将绑丝放到指定位置并开始下一次切割绑丝作业；所述绑丝被全部放到指定位置后，机器人回到初始位置，等待上位机移动指令，上位机等待下一个拆捆作业请求。本发明能够准确确定绑丝的位置，并在管棒材之间的缝隙出剪切绑丝有效方式对管棒材的损伤。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。