一种抓取轴类工件指定部位进行上料的方法

1.本发明涉及自动上料的方法，尤其涉及一种使用机器视觉进行定位并用六自由度串联机械臂抓取轴类零件进行上料的方法。


背景技术：

2.在自动化上下料领域，往往需要设计复杂的机构来保证运动的轨迹以及精确的位置。这些设备往往只能适应一小类或几种类似的工件，缺乏通用性。另一方面，随着多自由度机械臂的发展，机械臂的定位精度和重复定位精度有了较大的提升。在计算工件的位置时，往往会采用相机作为传感器。通过合适算法，相机能够得到工件的位姿，且精度能满足大部分上下料的需求。
3.轴类零件是工件中的一大类，主要在车床上加工。目前已经有了不少针对轴类工件的上下料设备。其中不少设备是将机器视觉和机械臂结合，从而进行抓取作业。例如中国专利cn209036140u中公开了一种用于车床的机器人自动上下料装置，该装置可以利用机械臂对工件进行抓取，但被夹取测试物必须被放于平台指定区域内，采用模板匹配仅确定工件的重心位置用于抓取。在一篇上下料论文中(论文参见吴高德,陈俊华,詹建民,马剑强,刘年福,周甫.单目视觉在棒料全自动上下料系统中的应用[j].传感器与微系统,2017,36(1):157
‑
160.)，描述了识别棒料位姿并抓取的一种方法，但针对对象仅是光轴，且抓取点仍为中心点。目前抓取设备大部分只是抓取质心或几何中心，难以指定轴的抓取的位置。在实际生产加工中，轴类零件的成型往往需要多道工序，不同工序中三爪卡盘需要夹紧轴不同的位置，这就对上料的灵活性产生了要求。
[0004]
对轴类工件进行上料时，涉及到轴线的求取。中国专利cn108335332a中公开了一种测量轴线三维姿态的方法。该方法采用最小旋转外接矩形逼近左右图像中匹配到的轴轮廓。有一篇会议论文(丁宁,路士州,许超,王延刚,毛维顺,刘鑫.基于单目机器视觉的阶梯轴零件分类与定位[a].中国高科技产业化研究会智能信息处理产业化分会.第十四届全国信号和智能信息处理与应用学术会议论文集[c].中国高科技产业化研究会智能信息处理产业化分会:《计算机工程与应用》编辑部,2021:5.)采用最小外接矩形求取平面上轴线的角度。通过最小外接矩形来求得轴线的方法，要求与矩形接触处的轮廓是清晰的。而实际上由于光源存在倾斜，轴的轮廓边缘有黑影或反光，这会导致该方法获取的轴线角度不准确。


技术实现要素：

[0005]
本发明的目的在于克服已有技术的缺点，提供一种能自动识别料框且能指定轴类工件待抓取部位和卡盘夹持部位的自动上料的方法。
[0006]
本发明一种抓取轴类工件指定部位进行上料的方法，包括以下步骤：
[0007]
步骤一、连接设备并在敞口料箱边框顶部的四个角处粘贴特定颜色的矩形贴纸；
[0008]
所述的敞口料箱为无顶的矩形体，料箱内平放若干个无重叠轴类零件，轴类工件所在区域为料箱内容纳轴类零件的矩形区域；
[0009]
所述的连接设备过程为：将末端执行器安装在机械臂末端上，并将末端执行器的控制线连接至机械臂外部的视觉控制器上，视觉控制器与机械臂的控制系统连接，所述的机械臂为六自由度串联机械臂，所述的末端执行器包括固定在机械臂末端的末端执行器支架，在所述的末端执行器支架上左右平行间隔设置有两个工业相机，在所述的末端执行器支架底部安装有两个舵机，在每一个所述的舵机底部输出轴安装有一个夹臂，两个夹臂左右平行间隔设置，在所述的两个夹臂相对的内侧的下部分别设置有用于夹紧轴类工件的凹槽，在所述的视觉控制器内保存有待抓取上料的轴类工件模板图片，所述的待抓取上料的轴类工件模板图片是将一个待抓取上料的轴类工件以轴线水平的方式放置拍摄的模板图片，并在模板图片上用绿色圆和蓝色圆分别标注工件待夹取点和卡盘夹持点，轴类工件模板图片大小与图片中轴类工件的最小外接矩形相等，待抓取上料的轴类工件模板图片中工件的轴线与模板图片默认的图片坐标系的x轴平行；
[0010]
步骤二、在视觉控制器中从左侧相机拍摄的敞口料箱的俯视图片中分割出敞口料箱中轴类工件所在区域，具体步骤为：
[0011]
第一步，启动机械臂，将两个工业相机移动到敞口料箱的上方，两个工业相机将各自拍摄得到的敞口料箱的俯视图片传输给视觉控制器，视觉控制器采用张正友标定法将左右相机的俯视图片合成三维点云图，所述的三维点云图包含左侧俯视图片中每一个像素点在默认的相机坐标系下的三维坐标，根据左侧俯视图片像素点的像素坐标可以查找三维点云图对应像素点在默认相机坐标系下的三维坐标；
[0012]
第二步，通过视觉控制器在左侧俯视图片中找到四个特定颜色的矩形贴纸，将每个矩形贴纸各自的中心视为一个点，根据这四个点构建一个新矩形r
cl
，新矩形r
cl
的中心点p
cl
的像素坐标即为敞口料箱中心点p
cl
在左侧俯视图片中的像素坐标，查找三维点云图中与料箱中心点p
cl
对应的像素点的三维坐标，得到料箱中心点p
cl
在相机坐标系下的三维坐标，然后视觉控制器向机械臂的控制系统输出料箱中心点p
cl
的三维坐标，控制系统将相机坐标系下料箱中心点p
cl
的三维坐标转换为机械臂工具坐标系下的料箱中心点坐标或者在视觉控制器中利用手眼标定得到的变换矩阵，将相机坐标系下料箱中心点p
cl
的三维坐标转换为机器人坐标系下的料箱中心点坐标，再传输给控制系统，控制系统控制机械臂带动工业相机运动至料箱中心点p
cl
上方；
[0013]
第三步，在左侧俯视图片中，在四个特定颜色矩形贴纸的16个角点中，以离料箱中心点p
cl
最近的4个角点为新角点，构建矩形r
cc
，在左侧俯视图片中分割出矩形r
cc
区域，作为轴类工件所在区域；
[0014]
步骤三、在轴类工件所在区域，先识别出各个轴类工件的粗轮廓l
c
，将各个轴类工件的粗轮廓l
c
的外边缘作为轴类工件的外轮廓l
w
，具体步骤如下：
[0015]
在视觉控制器中采用python程序调用canny算法，在轴类工件所在区域进行轴类工件的外轮廓识别，分别得到所有轴类工件的外轮廓；然后对所有轴类工件的外轮廓进行着色和描粗处理，从而将可能存在的轮廓断点消除，形成一个完整的粗轮廓l
c
；最后选择一个待抓取上料的轴类工件，将该待抓取上料的轴类工件的粗轮廓l
c
的外边缘作为轴类工件的外轮廓l
w
；
[0016]
步骤四、在视觉控制器中使用python程序，利用轮廓矩的原理，计算选定的待抓取上料的轴类工件的外轮廓l
w
在当前左侧俯视图片中的质心p
c
位置；然后拟合出外轮廓l
w
的
轴线，并计算外轮廓轴线在左侧俯视图片坐标系下与x轴的夹角θ
i
；
[0017]
步骤五、根据视觉控制器内保存的待抓取上料的轴类工件模板，获得轴类工件模板图片中轴类工件最小的外接矩形图片，记为r
m
；然后通过将左侧俯视图片旋转θ
i
并进行相关度计算，在左侧俯视图片中获得与轴类工件模板中轴类工件最小外接矩形图片r
m
恰好匹配的待抓取的轴类工件最小外接矩形图片，记为r
cm
；
[0018]
步骤六、根据轴类模板图片中轴类工件待夹取点和卡盘夹持点在模板图片默认的图片坐标系下的像素坐标，获得左侧俯视图中待夹取的轴类工件的待夹取点和卡盘夹持点像素坐标；然后，结合步骤二求得的三维点云图以及步骤四求得的质心p
c
的像素坐标，找到三维点云图中与待夹取点、卡盘夹持点、质心p
c
对应的像素点的三维坐标，得到轴类工件待夹取点、轴类工件卡盘夹持点、轴类工件质心p
c
在相机坐标系下的三维坐标；
[0019]
步骤七、视觉控制器向机械臂的控制系统发送信号，控制系统将相机坐标系下轴类工件待夹取点、卡盘夹持点、工件质心p
c
在相机坐标系下的三维坐标，转换为机械臂工具坐标系下的三维坐标或者在视觉控制器中利用手眼标定得到的变换矩阵，将相机坐标系下的三维坐标转换为机器人坐标系下的三维坐标，再传输给控制系统；然后，控制系统控制机械臂末端先运动至轴类工件质心p
c
的正上方，同时控制机械臂的第六个旋转关节绕着垂直方向旋转θ
i
+90
°
；接着机械臂带动末端执行器运动至轴类工件待夹取点正上方，两个舵机进行相对旋转，带动夹臂绕舵机的输出轴旋转，使得两个夹臂的凹槽处夹紧轴类工件，从而抓取轴类工件；
[0020]
步骤八、视觉控制器根据三爪卡盘中心点、轴类工件被夹取点以及卡盘夹持点各自在机器人坐标系下的三维坐标，计算出机械臂末端在三爪卡盘附近的送料位置点在机器人坐标系下的三维坐标，并将坐标输出给控制系统，然后控制系统控制机械臂运动至送料位置点，轴类工件被送入三爪卡盘后，机械臂控制系统发送信号给机床，卡盘自动夹紧，待卡盘夹紧后，夹臂松开工件；
[0021]
步骤九、机械臂重新运动至料箱中心点p
cl
上方，按照步骤三选择一个待上料的轴类工件，然后重复步骤四至步骤九，直至轴类工件所在区域内无工件，视觉控制器在显示屏上显示提醒，并向机械臂控制系统发出待机信号，机械臂待机。
[0022]
与现有技术相比，本发明具有以下有益效果：
[0023]
实用性强：在多工序加工阶梯轴等轴类零件中，需要对不同的圆柱面进行车削等加工，这就要求夹具紧轴类零件的不同圆柱面，让待加工的圆柱面出现在夹具外，对于精加工过的圆柱面，应当减少抓取和碰触。不同工序有不同的抓取要求。本发明可满足上料时，将轴类零件的指定圆柱面、圆柱端送入夹具，同时让轴类零件在指定的部位被夹具夹紧，避免损伤精加工面，更贴近实际的生产实践。另外，本发明利用轴类轮廓的对称性，来求取轴类工件的轴线，而非最小外接矩形，获取轴线更加稳定可靠；
[0024]
适用性广：本发明是利用视觉进行轮廓识别，用末端夹臂进行抓取，可适应光轴、阶梯轴等各类尺寸合适的轴孔类零件；
[0025]
灵活性高：本发明利用图像特征进行料箱定位，利用机器视觉确定轴类工件的位姿。因此，对料箱和工件的位置约束少。料箱位置可以在相机视野范围内任意变动，轴类零件可以任意角度平放。
附图说明
[0026]
图1是末端执行器与机械臂安装示意图。
[0027]
图2是末端执行器组成图。
[0028]
图3是视觉控制器示意图。
[0029]
图4是根据轮廓计算轴线角度的程序流程图。
[0030]
图5是根据步骤二中的识别工件所在区域的流程图。
具体实施方式
[0031]
以下结合附图和具体实施例对本发明加以详细说明。
[0032]
如附图所示，本发明的一种抓取轴类工件指定部位进行上料的方法，包括以下步骤：
[0033]
步骤一、连接设备并在敞口料箱4边框顶部的四个角处粘贴特定颜色的矩形贴纸11；
[0034]
所述的敞口料箱4为无顶的矩形体，料箱内平放若干个无重叠轴类零件。轴类工件所在区域为料箱4内容纳轴类零件的矩形区域，即：敞口料箱4除去边框后的矩形区域。
[0035]
所述的连接设备过程为：将末端执行器2安装在机械臂1末端上，并将末端执行器2的控制线连接至机械臂外部的视觉控制器9上。视觉控制器9与机械臂1的控制系统3连接，可以传递信息。所述的机械臂1为六自由度串联机械臂，所述的六自由度串联机械臂采用现有结构即可，如：可以采用湖南博创有限公司研制的型号为lt1850
‑
d
‑
6的通用串联六自由度机械臂，所述的末端执行器2包括固定在机械臂1末端的末端执行器支架6，在所述的末端执行器支架6上左右平行间隔设置有两个工业相机5，在所述的末端执行器支架6底部安装有两个舵机7，所述的舵机7为可以控制旋转角度的电机，采用现有结构即可，如：可以采用达盛舵机ds3218，在每一个所述的舵机7底部输出轴安装有一个夹臂8。两个夹臂8左右平行间隔设置，在所述的两个夹臂8相对的内侧的下部分别设置有用于夹紧轴类工件的凹槽，所述的视觉控制器9可采用树莓派4b等可运行python的硬件系统，在所述的视觉控制器9上有显示屏10显示提示信息。在所述的视觉控制器9内保存有待抓取上料的轴类工件模板图片，所述的待抓取上料的轴类工件模板图片是将一个待抓取上料的轴类工件以轴线水平的方式放置拍摄的模板图片，并在模板图片上用绿色圆和蓝色圆分别标注工件待夹取点和卡盘夹持点。轴类工件模板图片大小与图片中轴类工件的最小外接矩形相等。待抓取上料的轴类工件模板图片中工件的轴线与模板图片默认的图片坐标系的x轴平行。所述的图片坐标系是以待抓取上料的轴类工件模板图片的左上角为原点，水平向右为x轴，竖直向下为y轴。所述的待抓取上料的轴类工件模板图由待上料的轴类工件决定，不同种类的轴类工件在上料前，需将对应种类的工件模板保存在视觉控制器9内。
[0036]
本方法中的图片坐标系均是以每个图片各自的左上角为原点，水平向右为x轴，竖直向下为y轴。
[0037]
步骤二、在视觉控制器9中从左侧相机拍摄的敞口料箱4的俯视图片中分割出敞口料箱4中轴类工件所在区域，流程如图5所示，具体步骤为：
[0038]
第一步，启动机械臂1，将两个工业相机5移动到敞口料箱4的上方，两个工业相机5将各自拍摄得到的敞口料箱4的俯视图片(包含敞口料箱4边框顶部和敞口料箱4内部放置
的轴类工件)传输给视觉控制器9。视觉控制器9采用张正友标定法(张正友标定法参见zhang,zhengyou.a flexible new technique for camera calibration.[j].ieee transactions on pattern analysis&machine intelligence,2000.；张正友.一种灵活的摄像机标定新技术[j].ieee模式分析与机器智能学报,2000.)将左右相机的俯视图片合成三维点云图，所述的三维点云图包含左侧俯视图片中每一个像素点在默认的相机坐标系下的三维坐标，根据左侧俯视图片像素点的像素坐标可以查找三维点云图对应像素点在默认相机坐标系下的三维坐标。所述的默认相机坐标系以左相机的相机透镜几何中心为原点，左相机的相机透镜几何中心到右相机的的相机透镜几何中心连线为x轴正方向，垂直于左右相机的相机透镜几何中心连线竖直向下为y轴正方向，以左相机沿光轴向外为z轴正方向。
[0039]
第二步，通过视觉控制器9在左侧俯视图片中找到四个特定颜色的矩形贴纸11，将每个矩形贴纸各自的中心视为一个点，根据这四个点构建一个新矩形r
cl
。由于特定颜色矩形贴纸放置在敞口料箱4四个角处，因此新矩形r
cl
的中心点p
cl
的像素坐标即为敞口料箱4中心点p
cl
在左侧俯视图片中的像素坐标。查找三维点云图中与料箱中心点p
cl
对应的像素点的三维坐标，得到料箱中心点p
cl
在相机坐标系下的三维坐标。然后视觉控制器9向机械臂1的控制系统3输出料箱中心点p
cl
的三维坐标，控制系统3将相机坐标系下料箱中心点p
cl
的三维坐标转换为机械臂工具坐标系下的料箱中心点坐标或者在视觉控制器中利用手眼标定得到的变换矩阵(所述的手眼标定参见tsai r y,lenz r k.a new technique for fully autonomous and efficient 3d robotics hand/eye calibration[j].ieee transactions on robotics&automation,1989,5(3):345
‑
358.；tsai r y,lenz r k.一种全自主高效三维机器人手眼标定新技术[j].ieee机器人技术与自动化学报,1989,5(3):345
‑
358.)，将相机坐标系下料箱中心点p
cl
的三维坐标转换为机器人坐标系下的料箱中心点坐标，再传输给控制系统3。控制系统控制机械臂1带动工业相机4运动至料箱中心点p
cl
上方(由于料箱可能会被人为移动，料箱有可能整体偏右或者偏左。为了最后拍摄的图片有一个良好的视野(即料箱居中)，通过算出料箱中心点p
cl
，可将工业相机4移动到料箱中心点p
cl
正上方)。
[0040]
本步骤中寻找特定颜色的矩形贴纸11的过程如下：
[0041]
步骤101，将左相机拍摄的左侧俯视图片，在视觉控制器9的python程序中由rbg颜色空间图转换为hsv颜色空间图(hsv颜色空间转换参见smith a r.color gamuts transform pairs[j].acm
‑
siggraph 78conf.proc,1978.；smith a r.色域变换对[j].第78届acm
‑
siggraph会议,1978.)。
[0042]
步骤102，在hsv颜色空间图中，判断像素点的hsv值是否在预先设定的hsv阈值内。将符合hsv阈值的像素块图像转换成黑白掩膜，并寻找黑白掩膜图像中的轮廓。然后计算找到的轮廓与标准矩形轮廓的误差值，如果误差值小于预设值，则视为找到了符合要求的矩形。当仅找到四个符合要求的矩形后，则认为找到了四个特定颜色的矩形贴纸。
[0043]
第三步，在左侧俯视图片中，在四个特定颜色矩形贴纸的16个角点中，以离料箱中心点p
cl
最近的4个角点为新角点，构建矩形r
cc
，在左侧俯视图片中分割出矩形r
cc
区域，作为轴类工件所在区域。
[0044]
步骤三、在轴类工件所在区域，先识别出各个轴类工件的粗轮廓l
c
，将各个轴类工
件的粗轮廓l
c
的外边缘作为轴类工件的外轮廓l
w
，具体步骤如下：
[0045]
在视觉控制器9中采用python程序调用canny算法，在轴类工件所在区域进行轴类工件的外轮廓识别，分别得到所有轴类工件的外轮廓。然后对所有轴类工件的外轮廓进行着色和描粗处理，从而将可能存在的轮廓断点消除，形成一个完整的粗轮廓l
c
。最后选择一个待抓取上料的轴类工件，将该待抓取上料的轴类工件的粗轮廓l
c
的外边缘作为轴类工件的外轮廓l
w
。所述的canny算法具体参见：canny j.a computational approach to edge detection[j].ieee transactions on pattern analysis and machine intelligence,1986,pami
‑
8(6):679
‑
698.；canny j.一种边缘检测的计算方法[j].ieee模式分析与机器智能学报,1986,pami
‑
8(6):679
‑
698.。轴类工件的外轮廓l
w
距离轴类工件的真正边缘有一段距离，并不是真正的轴类工件外轮廓。但外轮廓l
w
具有连续、清晰的特点，适合用于描述工件的大致位置与姿态。
[0046]
步骤四、在视觉控制器9中使用python程序，利用轮廓矩的原理，计算选定的待抓取上料的轴类工件的外轮廓l
w
在当前左侧俯视图片中的质心p
c
位置。然后拟合出外轮廓l
w
的轴线，并计算外轮廓轴线在左侧俯视图片坐标系下与x轴的夹角θ
i
，所述的左侧俯视图片坐标系是以左侧俯视图片的左上角为原点，水平向右为x轴，竖直向下为y轴。
[0047]
计算外轮廓l
w
质心p
c
位置以及外轮廓l
w
轴线与当前左侧俯视图片坐标系的x轴夹角的具体过程如下：
[0048]
步骤101，根据轮廓矩的原理(轮廓矩原理参见hu m k.visual pattern recognition by moment invariants[j].ire transactions on information theory,1962,8(2):179
‑
187.；hu m k.基于不变矩的视觉模式识别[j].信息论学报,1962,8(2):179
‑
187.)，求出轴类工件外轮廓l
w
的零阶矩m
00
和两个一阶矩m
01
、m
10
，并求得轴类工件外轮廓l
w
质心p
c
的横纵坐标为x0和y0，公式如下所示：
[0049][0050][0051][0052][0053][0054]
x——外轮廓l
w
中的各点在当前左侧俯视图片坐标系下的x方向的坐标值；
[0055]
y——外轮廓l
w
中的各点在当前左侧俯视图片坐标系下的y方向的坐标值；
[0056]
f(x,y)——(x,y)在当前图片坐标系下对应的像素值；
[0057]
m
00
——图像的零阶矩；
[0058]
m
10
——图像的x方向一阶矩；
[0059]
m
01
——图像的y方向一阶矩；
[0060]
x0——外轮廓质心在当前左侧俯视图片坐标系下的x方向的值；
[0061]
y0——外轮廓质心在当前左侧俯视图片坐标系下的y方向的值；
[0062]
步骤102，过外轮廓质心p
c
构造一条直线l
p
，x
i
、y
i
表示构造的直线l
p
上任意一点的横纵坐标，k为直线l
p
的斜率，由于构造的直线l
p
过质心p
c
，所以可建立方程：
[0063]
y
i
＝k
·
(x
i
‑
x0)+y0[0064]
步骤103，x
j
，y
j
分别表示左侧俯视图片坐标系下外轮廓l
w
上点的横纵坐标，以所有外轮廓l
w
上的点到所构造的直线l
p
的距离的平方和，建立估值函数e(k)：
[0065][0066]
通过改变k的值，可得到不同斜率下的估值函数e(k)。估值函数e(k)越小，所构造的直线l
p
与轴类工件实际轴线的夹角越小。
[0067]
步骤104，设轴类工件实际轴线与左侧俯视图片坐标系x轴所成角度为α，所构建的直线l
p
与左侧俯视图片坐标系x轴所成角度为θ
i
，初始角度为0度。步长dθ初始值为2度。
[0068]
步骤105，利用斜率公式k
i
＝tan(θ
i
)，得到角度θ
i
对应的斜率k
i
。将k
i
带入估值函数中，计算出相应的估值函数e(k
i
)。
[0069]
步骤106，利用角度变化规律θ
i+1
＝θ
i
+dθ可得θ
i+1
。然后，利用斜率公式可得k
i+1
，将k
i+1
带入估值函数，得到e(k
i+1
)。
[0070]
步骤107，当连续两次计算得到的角度值θ
i+1
和θ
i
的差值的绝对值大于等于0.1度，则需要根据e(k
i+1
)与e(k
i
)的大小比较结果，对步长dθ进行不同处理。如果e(k
i+1
)≤e(k
i
)，说明估值函数变小，保持步长dθ不变，并重复步骤105
‑
107；如果e(k
i+1
)＞e(k
i
)，说明估值函数变大，则令步长dθ变为相反数并缩小一半，再重复步骤105
‑
107。否则，认为当前的θ
i
基本不变，已收敛于所设的α，可视为θ
i
约等于α，即θ
i
等于轴类工件实际轴线与左侧俯视图片坐标系x轴所成角度。步骤104
‑
107的具体流程如图4所示。
[0071]
步骤五、根据视觉控制器9内保存的待抓取上料的轴类工件模板，获得轴类工件模板图片中轴类工件最小的外接矩形图片，记为r
m
。然后通过将左侧俯视图片旋转θ
i
并进行相关度计算，在左侧俯视图片中获得与轴类工件模板中轴类工件最小外接矩形图片r
m
恰好匹配的待抓取的轴类工件最小外接矩形图片，记为r
cm
。
[0072]
本步骤中获得与工件模板中轴类工件最小外接矩形图片r
m
恰好匹配的轴类工件最小外接矩形图片r
cm
的具体步骤为：
[0073]
步骤101，将左侧俯视图片旋转θ
i
，使步骤四的左侧俯视图片中选定的轴类工件的轴线处于水平状态，接着将轴线处于水平状态的待抓取的轴类工件的最小外接矩形图片r
c
从旋转后的左侧俯视图片中裁剪下来，同时获取从旋转后的左俯视图中裁剪下来的最小外接矩形图片r
c
的左上角点和右下角点在旋转前左侧俯视图片中对应的像素坐标(x
rcl
,y
rcl
)、(x
rcr
,y
rcr
)。然后将从旋转后的左俯视图中裁剪下来的最小外接矩形图片r
c
缩放至与模板图片中轴类工件最小的外接矩形图片r
m
同一尺寸，缩放比例为k
p
。最后将从旋转后的左俯视图中裁剪下来的最小外接矩形图片r
c
旋转180
°
，获得r
c
旋转后的矩形图片，记为r
c
'。由于矩形图片r
m
中轴类工件轴线与矩形图片r
c
中轴类工件轴线均水平，因此轴线平行。轴线平行且同一尺寸后，会出现两种情况：矩形图片r
c
与矩形图片r
m
恰好匹配(此时称轴类工件轮廓处于正方向)；矩形图片r
c
与矩形图片r
m
相差180
°
(此时称轴类工件轮廓处于反方向)。矩
形图片r
c
和矩形图片r
c
'其中一个是处于轮廓正方向，即其中一个为所求的矩形图片r
cm
。
[0074]
步骤102，利用归一化相关匹配法进行图片相关度计算(图像匹配实现方法参见bradski g,kaehler a.opencv library.2014.；bradski g,kaehler a.opencv库.2014.)，获得r
c
与r
m
的相关度以及r
c
'与r
m
的相关度，将与r
m
相关度大的r
c
或者r
c
'作为与工件模板中轴类工件最小外接矩形图片r
m
恰好匹配的待抓取的轴类工件最小外接矩形图片，记为r
cm
。
[0075]
通过判断相关度大小，可确定轮廓正方向。如果r
c
与r
m
的相关度大，则认为矩形图片r
c
是恰好匹配的待抓取的轴类工件的最小外接矩形图片r
cm
；如果r
c
'与r
m
的相关度大，则认为矩形图片r
c
'是恰好匹配的待抓取的轴类工件的最小外接矩形图片r
cm
。
[0076]
步骤六、根据轴类模板图片中轴类工件待夹取点和卡盘夹持点在模板图片默认的图片坐标系下的像素坐标，获得左侧俯视图中待夹取的轴类工件的待夹取点和卡盘夹持点像素坐标。然后，结合步骤二求得的三维点云图以及步骤四求得的质心p
c
的像素坐标，找到三维点云图中与待夹取点、卡盘夹持点、质心p
c
对应的像素点的三维坐标，得到轴类工件待夹取点、轴类工件卡盘夹持点、轴类工件质心p
c
在相机坐标系下的三维坐标。
[0077]
根据模板图片中轴类工件的待夹取点和卡盘夹持点在模板图片默认的图片坐标系下的像素坐标，获得左侧俯视图片中待夹取的轴类工件待夹取点和卡盘夹持点的像素坐标的具体步骤如下：
[0078]
步骤101，待夹取点在模板图片默认的图片坐标系下的像素坐标为x
rmc
、y
rmc
。由于r
m
与r
cm
恰好匹配，因此待夹取点和卡盘夹持点在r
m
和r
cm
中一一对应，即待夹取点在矩形图片r
cm
坐标系下的像素坐标也为x
rmc
、y
rmc
。
[0079]
步骤102，从步骤五的步骤101中已知缩放比例为k
p
，r
c
的左上角点在旋转前左侧俯视图片中对应像素坐标为x
rcl
，y
rcl
；r
c
的右下角点在旋转前左侧俯视图片中对应的像素坐标为x
rcr
，y
rcr
。从步骤四中已知旋转角为θ
i
。设x
lc
，y
lc
为待夹取点在旋转前左侧俯视图片的像素坐标。
[0080]
如果r
cm
对应r
c
，则
[0081]
x
lc
＝x
rcl
+(x
rmc
·
cos(θ
i
)
‑
y
rmc
·
sin(θ
i
))
·
k
p
；
[0082]
y
lc
＝y
rcl
+(y
rmc
·
cos(θ
i
)+x
rmc
·
sin(θ
i
))
·
k
p
；
[0083]
如果r
cm
对应r
c
'，则
[0084]
x
lc
＝x
rcr
+(x
rmc
·
cos(θ
i
+180)
‑
y
rmc
·
sin(θ
i
+180))
·
k
p
；
[0085]
y
lc
＝y
rcr
+(y
rmc
·
cos(θ
i
+180)+x
rmc
·
sin(θ
i
+180))
·
k
p
；
[0086]
步骤103，由于卡盘夹持点与待夹取点性质类似，同理可得卡盘夹持点在左侧俯视图坐标系下的像素坐标。
[0087]
步骤七、视觉控制器9向机械臂的控制系统3发送信号，控制系统将相机坐标系下轴类工件待夹取点、卡盘夹持点、工件质心p
c
在相机坐标系下的三维坐标，转换为机械臂工具坐标系下的三维坐标或者在视觉控制器9中利用手眼标定得到的变换矩阵，将相机坐标系下的三维坐标转换为机器人坐标系下的三维坐标，再传输给控制系统3。然后，控制系统3控制机械臂1末端先运动至轴类工件质心p
c
的正上方，同时控制机械臂的第六个旋转关节(第六个旋转关节为行业内默认的通用串联六自由度机械臂的关节顺序所指的旋转关节，所述的第六个旋转关节在机械臂末端处。)绕着垂直方向旋转θ
i
+90
°
。由于末端执行器2固定在机械臂末端，因此末端执行器2与机械臂关节六旋转同样角度，从而保证夹臂8的夹取
方向能恰好符合夹取轴类工件的要求。接着机械臂1带动末端执行器2运动至轴类工件待夹取点正上方，两个舵机7进行相对旋转，带动夹臂8绕舵机7的输出轴旋转，使得两个夹臂8的凹槽处夹紧轴类工件，从而抓取轴类工件。
[0088]
本步骤先运动到轴类工件质心，再运动到轴类工件待夹取点，将平移运动分成了两段是为了确认质心的计算是否正确，便于后续查找问题。另外，在运动到轴类工件质心的过程中，还旋转了第六个旋转关节，调整了夹取的姿态。
[0089]
步骤八、由于机床位置一般不变动，三爪卡盘处的中心点在机器人坐标系下的三维坐标可预先获得。视觉控制器9根据三爪卡盘中心点、轴类工件被夹取点以及卡盘夹持点各自在机器人坐标系下的三维坐标，计算出机械臂末端在三爪卡盘附近的送料位置点在机器人坐标系下的三维坐标(送料位置点＝卡盘中心点+(待夹取点
‑
卡盘中心点))，并将坐标输出给控制系统3，然后控制系统3控制机械臂1运动至送料位置点，轴类工件被送入三爪卡盘后，机械臂控制系统3发送信号给机床，卡盘自动夹紧。待卡盘夹紧后，夹臂8松开工件。
[0090]
步骤九、机械臂重新运动至料箱中心点p
cl
上方，按照步骤三选择一个待上料的轴类工件，然后重复步骤四至步骤九，直至轴类工件所在区域内无工件，视觉控制器在显示屏上显示提醒，并向机械臂控制系统发出待机信号，机械臂待机。