基于机器视觉的门架式纸盘精确定位抓取系统及控制方法与流程

本发明属于视觉控制技术领域，具体涉及一种基于机器视觉的门架式纸盘精确定位抓取系统及控制方法。

背景技术：

柔性棒料成型过程中，外面需要窄条纸带加以包裹，持续提供窄条纸带的换盘接纸机目前采用的是单垛纸盘自动更换技术，在纸盘垛进入换盘工位前，必须将纸盘整齐地码放在单垛纸盘手推车上，并利用手推车的机械定位来保证纸盘垛进入换盘工位时纸盘的准确定位。由于纸盘换盘频率较快，纸盘垛也需频繁更换，因此，单单依靠手推车的机械定位，不能保证纸盘定位的精确性，后续给换盘接纸带来了工作的不稳定性。

为了减少纸盘垛的频繁更换，一个改进是采用四垛纸盘供纸盘机构，即将从纸盘生产厂家采购的四垛纸盘在一个底盘上的纸盘架，利用车间agv车一次性送入换盘工位，但该项改进进一步带来了纸盘位置的不确定性，仅依靠agv车的初步机械定位不能满足纸盘抓取的定位要求，使得抓取的难度大大增加，很容易由于定位不精准导致抓取失败。

技术实现要素：

发明目的：本发明的目的是为了解决现有技术中的不足，提供一种应用机器视觉进行纸盘定位，并指导机械手进行抓取的纸盘精确定位抓取系统及其控制方法。

技术方案：本发明所述的一种基于机器视觉的门架式纸盘精确定位抓取系统，包括位移系统，视觉定位系统和定位抓取控制系统；

所述的位移系统包括x轴位移机构、y轴位移机构和z轴位移机构，所述x轴位移机构包括联结轴、联轴器、x轴主带轮、x轴从带轮、皮带、x轴滑轨、x轴移动平台以及x轴伺服电机，所述联结轴两端均设有联轴器、x轴主带轮，所述联结轴端部设有x轴伺服电机，通过所述x轴伺服电机驱动联结轴上的x轴主带轮转动，所述x轴主带轮通过皮带带动x轴从带轮转动，所述皮带带动x轴移动平台在x轴滑轨上移动；所述y轴位移机构包括y轴丝杆、y轴主带轮、y轴从带轮、皮带、y轴滑轨、y轴移动平台以及y轴伺服电机，所述y轴伺服电机与y轴主带轮连接，所述y轴主带轮通过皮带与y轴从带轮连接，所述y轴从带轮与y轴丝杆连接，所述y轴丝杆与y轴移动平台活动连接，所述y轴移动平台设在y轴滑轨上，所述y轴滑轨设在x轴移动平台上；所述z轴位移机构包括z轴丝杆、z轴主带轮、调节轮、z轴从带轮、皮带、z轴移动平台以及z轴伺服电机，所述z轴主带轮连接有z轴伺服电机，所述z轴主带轮通过皮带与调节轮、z轴从带轮连接，所述z轴从带轮与z轴丝杆连接，所述z轴丝杆与z轴移动平台活动连接；

所述的视觉定位系统包括数据采集模块、dsp处理器、cpld驱动模块、sdram存储模块，所述dsp处理器的输入端与数据采集模块连接，所述dsp处理器同时与cpld驱动模块、sdram存储模块连接，所述cpld驱动模块与所述数据采集模块连接；

所述的定位抓取控制系统包括显示系统、plc控制系统、运动控制驱动系统，所述plc控制系统输入端与显示系统电连接，所述plc控制系统输出端与运动控制驱动系统电连接，所述运动控制驱动系统与位移系统中的x轴伺服电机、y轴伺服电机、z轴伺服电机电连接，所述plc控制系统的输入端还连接有dsp处理器的输出端。

进一步的，所述x轴滑轨包括两道相互平行的轨道，所述轨道分别靠近两侧的x轴主带轮。

进一步的，所述x轴滑轨两侧分别设有x轴主带轮、x轴从带轮。

进一步的，所述x轴移动平台设置在两轨道之间。

进一步的，所述y轴滑轨包括两道相互平行的轨道，两轨道均设置在x轴移动平台上。

进一步的，所述z轴主带轮、调节轮、z轴从带轮、皮带及z轴伺服电机均设置在z轴移动平台上，并随z轴移动平台同步升降。

进一步的，还包括直线光轴，所述直线光轴与z轴丝杆平行设置并贯穿所述y轴移动平台，所述直线光轴与z轴丝杆底部设有机械手和摄像头。

进一步的，所述数据采集模块包括摄像头、电平转换模块和a/d转换模块，所述摄像头分别与电平转换模块、a/d转换模块电连接，a/d转换模块输出端与dsp处理器输入端连接，电平转换模块输入端与cpld驱动模块电连接。

本发明还公开了上述一种基于机器视觉的门架式纸盘精确定位抓取系统的控制方法，包括如下步骤：

(1)首先plc控制系统控制位移系统移动对应纸盘的理想抓取位置后，进行机械手的第一次下降，下降到相机的拍摄焦距；

(2)视觉定位系统中的图像采集系统开始工作，将当前理想区域图像采集到sdram中，dsp处理器根据圆心找取算法，计算出实际圆心坐标与理想抓取位置坐标的偏移量，将此偏移量送至plc控制系统的处理器中；

(3)plc控制系统根据偏移量进行伺服电机控制，伺服电机带动机械手主体进行x轴，y轴的移动，达到抓取的纸盘的实际圆心上方，同时机械手二次下降，下降到纸盘内圆中，张开卡爪，将纸盘抓取。

进一步的，步骤(2)的具体流程如下：

首先，对于整个四垛纸盘建立世界坐标系，规定标准的四垛理想纸盘的各自坐标点为oi(xi,yi)(i＝1,2,3,4)，此坐标点的建立对于后续的圆心找取形成一基准点，虚线正方形框内的区域是相机实际采集区域，理想条件下，圆心和采集区域中心重合；通过区域标定后，标定出四个纸盘内圆所在四个区域，四个区域分为区域a1'，区域a2'，区域a3',，区域a4'；

抓取第一盘纸盘时首先将机械手移动到a1'内的基准点，采集纸盘中心图像，对采集到的一帧rgb彩色图像进行灰度化，减少处理器的运算的复杂程度；

对灰度化后的图像，采用最大类间方差法的算法来获取这一帧灰度图像的阈值c，根据此阈值对此幅灰度图像进行二值化，将像素值大于阈值c的设置为255，即白色，将像素值大于阈值c的设置为0，即黑色，于是，纸盘内圆在图像中为黑色区域，而纸带部分为白色区域；

对二值图像进行滤波处理，除去可能影响到圆心判定的噪点，使处理结果更加准确；

遍历区域a1'的黑色像素点，寻找出在区域内x轴最大像素点的x坐标x1max和x轴最小像素点的x坐标x1min，y轴最大像素点的y坐标y1max和x轴最小像素点的y坐标y1min，于是，定义此区域a1'的圆心坐标o1'(x1',y1')，其中则实际纸盘坐标与理想圆盘坐标之间的偏移量为△x1＝x1'-x1,△y1＝y1'-y1。将此偏移量(△x1,△y1)通过rs485通讯方式传入到plc中；

同样的原理，实现第二区域a2'内的第二纸盘，第三区域a3'内的第三纸盘，第四区域a4'内的第四纸盘的圆心定位。

有益效果：本发明在于提供一种基于机器视觉的门架式纸盘精确定位抓取系统，有益效果主要表现在：

1.充分利用门架式纸盘系统结构的空间，采用四垛纸盘供纸盘机构，减少单垛纸盘更换的频率。

2.利用机器视觉进行精确定位，纸盘不需额外工作时间进行精准堆垛，纸盘可由出厂堆垛状态进入门架空间，适应性和通用性提高。

3.通过以plc+运动控制模块为核心控制系统以及伺服驱动三轴运动控制机构实现定位运动，定位精度高，控制简单。

附图说明

图1是本发明的位移系统结构主视图；

图2是图1的侧视图；

图3是纸盘理论抓取位置和纸盘实际抓取位置示意图；

图4是本发明视觉定位系统控制硬件框图；

图5是本发明视觉图像处理及中心定位算法的流程框图；

图6是本发明纸盘定位抓取控制系统框图；

图7是本发明控制系统中定位抓取整体控制流程图。

具体实施方式

下面结合具体实施例对本发明的技术方案作进一步详细说明。

一种基于机器视觉的门架式纸盘精确定位抓取系统，包括位移系统，视觉定位系统和定位抓取控制系统。

如图1和图2所示，所述的位移系统包括x轴位移机构、y轴位移机构和z轴位移机构。本发明的位移系统结构设计中包含了x轴、y轴、z轴三个轴向的运动。其中x轴、y轴用以控制机械手在纸盘上方的行进方向，确定最终需要抓取的正投影位置，z轴用来下放机械手至纸盘的中心，为正确的抓取纸盘做好准备。

所述x轴位移机构包括联结轴2、联轴器1、x轴主带轮25，26、x轴从带轮17，12、x轴皮带5，24、x轴滑轨、x轴移动平台27以及x轴伺服电机4，所述联结轴2两端均设有联轴器1、x轴主带轮25，26，所述联结轴2端部设有x轴伺服电机4。x轴伺服电机4通过联结轴2连接有两个联轴器和两个x轴主带轮。每个x轴主带轮通过皮带连接有从带轮。x轴滑轨包括两道相互平行的轨道31，所述轨道31分别靠近两侧的x轴主带轮，同时轨道31与皮带相互平行。通过所述x轴伺服电机4驱动联结轴上的x轴主带轮转动，x轴主带轮分别通过各自的皮带带动x轴从带轮转动，同时皮带带动x轴移动平台27在各自的轨道上移动，x轴移动平台27设置在两轨道31之间。

所述y轴位移机构包括y轴丝杆19、y轴主带轮23、y轴从带轮20、y轴皮带21、y轴滑轨、y轴移动平台28以及y轴伺服电机22，所述y轴伺服电机22与y轴主带轮23连接，所述y轴主带轮23通过y轴皮带21与y轴从带轮20连接，所述y轴从带轮20与y轴丝杆19连接，所述y轴丝杆19与y轴移动平台28活动连接，所述y轴移动平台28设在y轴滑轨上，y轴滑轨也包括两道相互平行的y轴轨道11，且两轨道均设在x轴移动平台27上。y轴位移机构由y轴伺服电机22驱动y轴主带轮23转动，从而带动y轴从带轮20转动，从而带动y轴丝杆19转动，最终带动y轴移动平台28在y轴向上的水平位移。

所述z轴位移机构包括z轴丝杆14、z轴主带轮9、调节轮7、z轴从带轮6、z轴皮带8、z轴移动平台29以及z轴伺服电机10，所述z轴主带轮9连接有z轴伺服电机10，所述z轴主带轮9通过z轴皮带8与调节轮7、z轴从带轮6连接，所述z轴从带轮6与z轴丝杆14连接，所述z轴丝杆14与z轴移动平台29活动连接。其中z轴主带轮9、调节轮7、z轴从带轮6、z轴皮带8及z轴伺服电机10均设置在z轴移动平台29上，并随z轴移动平台29同步升降。

为了保证z轴轴向升降过程的平稳性，还包括起导向作用的直线光轴，直线光轴可以采用多根，如图1所示，采用了直线光轴13、15，达到稳定升降的作用。所述直线光轴与z轴丝杆14平行设置并贯穿所述y轴移动平台28，所述直线光轴与z轴丝杆底部设有机械手16和摄像头30(如图2所示)。z轴丝杆底部还对称安装有激光测距传感器，在摄像头30下降抓拍纸盘中心区域图像时，自动测定摄像头距离纸盘的高度为摄像头的拍摄焦距，保证抓拍图像的清晰。

如图4所示，本发明中的视觉定位系统包括数据采集模块、dsp处理器、cpld驱动模块、sdram存储模块，所述dsp处理器的输入端与数据采集模块连接，所述dsp处理器同时与cpld驱动模块、sdram存储模块连接，所述cpld驱动模块与所述数据采集模块连接。其中数据采集模块包括摄像头、电平转换模块和a/d转换模块，所述摄像头分别与电平转换模块、a/d转换模块电连接，a/d转换模块输出端与dsp处理器输入端连接，电平转换模块输入端与cpld驱动模块电连接。cpld驱动模块只能发出时序为3.3v的ttl电平信号，因此中间需要有一电平转换模块，将3.3v电平转换为5v电平以此驱动摄像头。摄像头信号由a/d转换模块转换为数字量送入dsp处理器中，cpld控制a/d转换时序，dsp处理器将采集到的数据存入到sdram中方便读取和处理。

机器视觉定位在本发明中是一个重要的组成部分，定位的精准度直接影响到机械手抓取的准确性。圆心提取的本质是从一张含有圆形或椭圆标志物的图片中，选择一定点坐标系，提取出各个标志圆的圆心在这个坐标系中的坐标。因此这个坐标系的选择将是影响最终结果的形式的关键。

首先，如图3所示，对于整个四垛纸盘建立世界坐标系，规定标准的四垛理想纸盘的各自坐标点为oi(xi,yi)(i＝1,2,3,4)，此坐标点的建立对于后续的圆心找取形成一基准点(即前述理论抓取位置)，虚线正方形框内的区域是相机实际采集区域，理想条件下，圆心和采集区域中心重合，图3右图是随机堆垛状态下的图像采集区域和实际圆心间的位置关系示意图。通过区域标定后，标定出四个纸盘内圆所在四个区域，四个区域分为区域a1',区域a2',区域a3',区域a4'。下面以在区域a1'中定位第一盘纸盘圆心为例说明定位原理：

如图5所示，抓取第一盘纸盘时首先将机械手移动到a1'内的基准点，采集纸盘中心图像，对采集到的一帧rgb彩色图像进行灰度化，减少处理器的运算的复杂程度，对于处理器而言，一幅灰度图像，相较于原彩色图像，其主要信息不会丢失，而且处理数据大大减少。

进一步的，对灰度化后的图像，采用最大类间方差法的算法来获取这一帧灰度图像的阈值c，根据此阈值对此幅灰度图像进行二值化，将像素值大于阈值c的设置为255，即白色，将像素值大于阈值c的设置为0，即黑色。于是，纸盘内圆在图像中为黑色区域，而纸带部分为白色区域。

进一步的，对二值图像进行滤波处理，除去可能影响到圆心判定的噪点，使处理结果更加准确。

遍历区域a1'的黑色像素点，寻找出在区域内x轴最大像素点的x坐标x1max和x轴最小像素点的x坐标x1min，y轴最大像素点的y坐标y1max和x轴最小像素点的y坐标y1min，于是，定义此区域a1'的圆心坐标o1'(x1',y1')，其中则实际纸盘坐标与理想圆盘坐标之间的偏移量为△x1＝x1'-x1,△y1＝y1'-y1。将此偏移量(△x1,△y1)通过rs485通讯方式传入到plc中。

同样的原理，可以实现第二区域a2'内的第二纸盘，第三区域a3'内的第三纸盘，第四区域a4'内的第四纸盘的圆心定位。

根据上述视觉处理算法，dsp处理器从sdram中提取图像进行处理，每次计算出四盘纸盘的其中一个需要抓取的纸带圆心(xi',yi')和指定点(xi,yi)的差值(△x,△y)，将此差值通过rs-485通讯方式传送到plc中。

如图6所示，本发明的定位抓取控制系统包括显示系统、plc控制系统、运动控制驱动系统，所述plc控制系统输入端与显示系统电连接，所述plc控制系统输出端与运动控制驱动系统电连接，所述运动控制驱动系统与位移系统中的x轴伺服电机、y轴伺服电机、z轴伺服电机电连接，所述plc控制系统的输入端还连接有dsp处理器的输出端。

其中，显示系统由一块触摸屏通过以太网和plc控制器相连接，可以很好的提供人机界面，方便观察系统运行状态。plc控制系统由三菱公司的fx5u控制器组成，用以接收和处理数据，并发出信号给相关执行机构。运动控制驱动系统由4轴定位模块，驱动器和相关电机组成，用以控制机械手移动。

如图7所示，为本发明的一种基于机器视觉的门架式纸盘精确定位抓取系统的整体控制方法流程，包括如下步骤：

(1)首先plc控制系统控制位移系统移动对应纸盘的理想抓取位置后，进行机械手的第一次下降，下降到相机的拍摄焦距；

(2)视觉定位系统中的图像采集系统开始工作，将当前理想区域图像采集到sdram中，dsp处理器根据圆心找取算法，计算出实际圆心坐标与理想抓取位置坐标的偏移量，将此偏移量送至plc控制系统的处理器中(详见上述描述)；

(3)plc控制系统根据偏移量进行伺服电机控制，伺服电机带动机械手主体进行x轴，y轴的移动，达到抓取的纸盘的实际圆心上方，同时机械手二次下降，下降到纸盘内圆中，张开卡爪，将纸盘抓取。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。