专利名称：开放式工业机器人视觉控制平台的制作方法
技术领域：
本发明属于通用的工业机器人控制系统，其突出的特点是将计算机视觉、多机器人协调、实时控制等技术引入开放式工业机器人控制系统中，增加了开放式工业机器人控制系统适应未知环境的能力，使开放式工业机器人控制系统的功能更加强大。
目前现存的用于工业机器人的视觉控制系统还存在许多不完善的地方，不能满足机器人在未知环境下识别、处理问题的要求。市场上几乎没有比较成功的产品级的工业机器人视觉控制系统，该领域的研究基本处于实验室阶段。
发明内容
本发明为一种多功能开放式的机器人视觉控制平台。首先，本发明可以完成目前所有的工业机器人的视觉功能，包括立体视觉、视觉伺服、手眼协调以及多机器人的视觉协调等；其次，本发明具有开放的结构体系，可以控制多种类型的工业机器人、伺服控制器、视频设备(包括视频采集卡和CCD摄像头)，能够更加灵活地控制工业机器人，更加方便地增加或改变其硬件配置，实现不同的功能，使现有的机器人生产进一步适应现代工业生产小批量多品种的要求；最后，本发明也可以作为一种实验平台，通过在其上层开发基于不同操作系统的控制软件，可以对以前只能通过计算机仿真的各种控制策略进行实验，为未来工业机器人的研究及开发提供一种实验平台。
本发明与
图1中的不同之处在于增加了外接的PC机I1，使用户可以根据自己的实际需要编制和修改控制程序。
配置了多个位置固定和可随机器人末端移动的CCD摄像头(D2、D3、D4、D5...)，综合实现了立体视觉、视觉伺服、手眼协调。
配置了通过开放式工业机器人控制器控制的可多自由度调节的云台(Y1、Y2...)，可自由控制CCD摄像头的姿态及拍摄角度。
配置了通过开放式工业机器人控制器控制的光线强度可调的照明设备(L1...)，能够根据实际需要调节光强。
可由一台控制器控制多台机器人，在视觉环境下实现多机器人(R1、R2...)协调。
计算机配置多套操作系统，可根据不同时序要求进行选择。
本发明的技术核心还在于将开放式工业机器人控制器应用于机器人视觉系统，通过计算机连接多个不同型号的CCD摄像头，并且通过开放式工业机器人控制器控制云台和照明设备。图2为该控制平台具体的连线示意图，图中I1为工业计算机(PC)；A2为开放式工业机器人控制器；D2、D3为位置固定的CCD摄像头，D2、D3的数据线连接到A2中的视频采集卡的视频端口上；D4和D5为固定在机器人末端的CCD摄像头，数据线也连接到A2中的视频采集卡的视频端口，其位置随机器人末端的变化而变化；Y1、Y2为D1和D2的云台，Y1、Y2的基本运动是通过安装在其转动轴上的伺服电机驱动的，Y1、Y2的伺服电机与A2的伺服输出端口相连，其姿态可通过机器人控制器A2控制；L1为一可以调光的照明灯，它通过一个调光控制装置(图3中C6)与A2相连，光强的调节也是通过A2实现的；R2和R3为两台工业机器人，它们的驱动线和信号线都连接到A2，R2和R3的运动规划及姿态调整都通过A2控制。
图2的工作原理如下计算机通过插在其PCI总线上的视频采集卡与CCD摄像头相连，采集卡为多路输入，可以根据不同的需要选用不同的摄像头，首先由多路摄像头采集图像并通过视频线传送到计算机，由计算机分析得到所需要的立体视觉，从该立体视觉信号中可提取出所需要的各种信息(如物体位置、颜色等)。根据所得到的信息，通过特定的算法规划出机器人的运动轨迹，然后分解到各个关节。计算机把各个关节的运动参数传到开放式机器人控制器A2，控制器内的伺服包输出的驱动信号可以驱动机器人R2和R3的伺服电机，控制机器人的运动。R2和R3各个关节的位置通过安装在关节电机上的码盘得到。在R2和R3的末端也安装有CCD摄像头D4和D5，他们也与计算机内的视频采集卡相连，其采集的图像信号随着机器人末端位置和姿态的变化而变化，在进行手眼协调时，计算机综合分析D4、D5取得的图像信号和R2、R3的关节位置，对机器人进行路径规划。在位置固定的D2、D3下面都装有可控云台，云台的控制也通过控制器A2中的伺服包驱动。CCD摄像头的采样图像效果受光线强度影响很大，于是设计A2有一路输出控制一盏可调光的照明灯L1，如果D2～D5采样得到的图像效果不理想，系统可自动根据实际需要调节L1的光强。计算机I1内部采用多操作系统，所有操作系统都可支持系统内的硬件，用户可以在不同的操作系统环境下根据不同的需要编制用户程序。
图3为开放式机器人控制器内部驱动部分连线图，图中C1为多轴运动控制器PMAC2-PCR(简称PMAC)，它可以插在工业计算机上的ISA总线的插槽上，C2和C3为YASKAWA绝对码盘转换器ACC-8D-OPTION9，C4为信号匹配转换器ACC-8E，C5也为信号匹配转换器ACC-8F，C6为电压调节电路，C2、C3、C4、C5和C6均安装在A2内部；C1的JMAC1端口与C2的P6口连接，JMAC2和JMAC4端口分别与C4和C5的JMACH口连接；C2和C4的J1、J2端口相连，C3和C5的J1、J2端口相连，C2的P5端口与C3的P6端口相连；S1、S2和S3分别是两类不同类型的伺服包，S1和S2是电压信号输入型伺服包，输入电压为0～6V，S3是脉宽调制(PWM)输入型伺服包，输入为PWM波；C2的P1和P2端口分别连接到S1和S2的EO端口，C4的TB3和TB5端口分别连接到S2和S1的CI端口，TB4端口与C6相连。M1和M3为机器人伺服电机，M2为云台调整电机，M1、M2和M3分别与伺服包S1、S2和S3相连；E1、E2和E3分别为M1、M2和M3的码盘信号输出单元(ENCODER)；L1为光线强度可调的照明灯，与C6相连。
图3的工作原理如下通过运行在工业计算机上编制的控制程序发出电压控制信号，通过C1上的JMAC2接口传送给C4，再由C4经过放大传送给伺服包S1，进而形成伺服电机M1的驱动脉冲，另外计算机还控制多轴运动控制器(PMAC)产生另一路PWM信号，并通过JMAC4传给接口板C5，再由C5的P5端口输出给需要PWM输入信号的伺服包S3，伺服电机M3的驱动信号就来自S3。
机器人各个关节的位置的变化是通过安装在伺服电机上的码盘产生的，由于伺服包不相同，所以码盘信号的传递途径也是不同的。由E1产生的M1的码盘信号先送给S1，再通过S1的EO(ENCODE OUTPUT)端口传递给绝对码盘转换器C2，C2将绝对码盘信号转换为增量码盘信号，绝对码盘信号和增量码盘信号都传回PMAC；而M3的码盘信号是由E3产生后直接传递给C3，C3的信号又经C2和C5分别产生绝对信号和增量信号，并最终通过PMAC上的JMAC1和JMAC4汇总到PMAC。这样计算机就得到了两种伺服电机的码盘信号，通过计算机程序就可以解读这些码盘信号，以确定机器人各关节的位置和运动状态。
云台的调整是通过安装在云台上的伺服电机M2的转动实现的，M2与M1的调节类似，所不同的在于S1的驱动信号来自于C4的TB5，而S2的驱动信号来自于C4的TB3。
照明光线强度的调整也是通过控制器来实现的，计算机根据摄像头采样图像的情况输出一个调节电压给C1，C1将此信号传送给C4，C4的TB4端口输出一个0～6V的电压信号给电压调节电路C6，C6的输出根据其输入成线性变化，因此，可以调节L1的亮度。
本发明提出的开放式工业机器人视觉平台的主要优点如下将开放式工业机器人控制器运用到视觉系统中，采用开放式的结构，用户一方面可以根据自己的需要灵活定制硬件配置，另一方面可以在本控制平台的基础上进行二次开发，完成一些原有系统所不具备的任务；具有自动光线强度调节功能，可以很好地克服由于光线变化给视觉系统的特征信息提取和辨识带来的影响；系统采用开放式工业机器人控制器控制CCD摄像头的云台，可以通过调节云台的姿态灵活调节摄像头的视角，克服了手动调节精度低且调节一致性差的缺点；采用包括位置固定的和安装在机器人末端的多台CCD摄像头，可同时实现立体视觉和手眼协调功能；计算机安装包括Windows、实时Linux、VXWorks以及QNX在内的多套操作系统，可以适应从离线编程到实时操作等不同时序要求的任务。离线编程时，计算机通过摄像头取得视觉信息，经过二值图像的提取和平滑，再通过图像细线化得到由细线条构成的线图形。一次性提取线图形中的细化线作为机器人末端的执行路径，即可规划出机器人各个关节的运动参数。计算机将指令传送给开放式机器人控制器，控制机器人的运动；实时操作时，计算机实时采集位置固定和移动的摄像头的信息，得到机器人末端位置姿态以及未知环境的视觉信息，将多路视觉信息进行二值化、细线化处理，然后融合各路信息进行综合处理，形成机器人各个关节的运动参数，然后通过开放式机器人控制器将指令传递给工业机器人，控制机器人每一步的运动，实现视觉跟踪。
具体实施例方式
本控制平台通过图3所示的电路实现了对不同机器人的伺服电机、多自由度云台和可调光照明灯的控制。在实施例中，搭建了由一台工业机器人、一台开放式工业机器人控制器、两部CCD摄像头、一块视频采集卡和一部可控云台等部件组成的开放式工业机器人视觉平台。工业计算机可采用ADVANTECH-610，采用安川YASKAWA MOTOMAN SK10型机器人本体作为控制对象，两种伺服包分别采用日本安川YASKAWACACR-SR15SZ1SD-Y214型单轴驱动伺服包和DELTA TAU四轴驱动伺服包，前者是电压控制型的伺服包，用于驱动机器人的S、L、U和R四个关节，后者是PWM波控制型的伺服包，用于驱动机器人腕部的B和T两个关节，摄像头采用SONY Digital Hyper HAD彩色摄像头、视频采集卡选用PCI总线的OK-C80/M采集卡，云台选用Y3030W室内云台。
本发明是实现工业机器人的视教再现和视觉跟踪的装置。
视教再现时，计算机通过固定位置的摄像头取得一幅图片的映像，经过二值图像的提取和平滑，再通过图像细线化得到由细线条构成的线图形。提取线图形中的细化线作为机器人末端的执行路径，即可规划出机器人各个关节的运动参数，按照前述的原理，计算机将指令传送给控制器，控制器将指令发给各个关节，控制机器人的运动，这样，机器人就可把固定摄像头所拍摄的图像在图板上绘制出来。机器人视觉控制处理的结果能基本反映输入图像的特征，为开放式机器人控制器的规划提供了基础。机器人用笔画出的图像则完全是机器人视觉控制处理结果的复现，达到了视觉控制的效果。
视觉跟踪是通过固定位置的摄像头和安装在机器人末端的移动摄像头共同实现的。计算机首先通过固定位置的摄像头取得的图像，判断出机器人末端与工作台的相对位置，并控制机器人末端向工作台移动，位置获取和运动指令下达都是实时进行的。在机器人末端夹装一支绘图笔，当绘图笔末端接近工作台面时，引入移动摄像头的图像信息，可以取得工作台上事先绘好的曲线的映像。分析得到其起始点，并将末端绘图笔靠近该点，同时采集旁边固定位置摄像头获得的信息，形成立体视觉，可以较精确的定位。定位后，计算机根据移动摄像头所获取的目标曲线形成控制指令，通过控制器驱动机器人末端跟踪目标曲线，同时固定位置的摄像头辅助定位。这样就可以完成视觉跟踪等任务。由于该任务要求实时性较高，因此操作系统选择实时Linux系统。
本发明采用开放式工业机器人控制器代替了传统的结构封闭的机器人控制器，实现了固定摄像头和移动摄像头的信息融合，通过开放式工业机器人控制器实现云台的多自由度调整和照明光线强度的自动调节，并且设计了多操作系统结构。该发明使机器人用户可以通过计算机灵活地调整和改变机器人的视觉作业任务，可以在开放的视觉平台上构筑新的适应各自不同生产要求的上层控制软件。因此可以便捷地为机器人增添一些出厂时不具备的功能，提高了用户对机器人的控制能力。该创作对于提高工业机器人的控制精度，增加其对未知环境的适应能力，拓展机器人在工业生产中的应用具有重要的作用。
权利要求
1.一种由开放式工业机器人控制器、多路图像采集装置、多自由度可控云台、自动调光装置以及工业计算机构成的开放式工业机器人视觉控制平台，其特征在于a.工业计算机与工业机器人控制器相连，开放式工业机器人控制器与多个固定在机器人末端的CCD摄像头相连，还与多个位置固定的CCD摄像头相连，该CCD摄像头置于云台上，云台与开放式工业机器人控制器相连，开放式工业机器人控制器还连接一照明设备，该控制器与多个机器人相连，并控制多个机器人的位置及姿态；b.开放式工业机器人视觉控制平台的内部驱动部分采用绝对码盘转换器、信号匹配转换器、伺服包、电压调节电路、伺服电机与多轴运动控制器(PMAC)互相配合的体系结构；多轴运动控制器C1(PMAC)插在工业计算机上的ISA总线的插槽上，C1的JMAC1端口与绝对码盘转换器C2的P6端口连接，C2的P5端口与绝对码盘转换器C3的P6端口相连，C2的J1端口连接信号匹配转换器C4的J1端口，C2的J2端口连接C4的J2端口；C2的P1端口连接伺服包S1的EO端口，S1还与伺服电机M1连接，M1通过码盘E1与S1连接，C2的P2端口与伺服包S2的端口EO连接，S2与伺服电机M2连接，M2通过码盘E2与S2连接；C3的J1端口与信号匹配转换器C5的J1连接，C3的J2端口与C5的J2连接；C1的JMAC2端口与C4的JMACH端口连接，C4的TB5端口连接伺服包S1的CI端口，TB4端口连接电压调节电路C6，C6与照明灯L1连接，端口TB3连接伺服包S2的CI端口；C1的JMAC4端口连接信号匹配转换器C5的JMACH端口，C5的P5端口连接伺服包S3的CI端口，S3与伺服电机M3连接，M3通过码盘E3与C3的P1端口连接。
2.一种如权利要求1所述的开放式工业机器人视觉控制平台，其特征在于照明设备L1为能够根据实际需要调节光强的照明灯。
3.一种如权利要求1所述的开放式工业机器人视觉控制平台，其特征在于安装Windows、实时Linux、VXWorks以及QNX多套操作系统，可以适应从离线编程到实时操作不同时序要求的任务。离线编程时，计算机通过摄像头取得视觉信息，经过二值图像的提取和平滑，再通过图像细线化得到由细线条构成的线图形，一次性提取线图形中的细化线作为机器人末端的执行路径，即可规划出机器人各个关节的运动参数，计算机将指令传送给开放式机器人控制器，控制机器人的运动；实时操作时，计算机实时采集位置固定和移动的摄像头的信息，得到机器人末端位置姿态以及未知环境的视觉信息，将多路视觉信息进行二值化、细线化处理，然后融合各路信息进行综合处理，形成机器人各个关节的运动参数，再通过开放式机器人控制器将指令传递给工业机器人，控制机器人每一步的运动，实现视觉跟踪。
全文摘要
开放式工业机器人视觉控制平台属于通用的工业机器人控制系统，其突出特点是将开放式工业机器人控制器运用到机器人的视觉控制系统中，通过多CCD摄像头的装置采集并融合多路视觉信息，通过开放式机器人控制器控制云台和可调光的照明设备，其计算机安装多套操作系统，可以完成不同时序要求的控制任务。作为一种开放式的机器人视觉系统，该控制平台对于提高机器人控制精度，增加机器人对未知环境的适应能力具有重要的作用，可使现有的机器人生产更加适应现代化工业生产小批量多品种的要求，进一步拓展机器人在工业生产中的应用领域。
文档编号B25J19/00GK1417006SQ0114159
公开日2003年5月14日 申请日期2001年11月9日 优先权日2001年11月9日
发明者谭民, 梁自泽, 李国亮, 景奉水, 王跃 申请人:中国科学院自动化研究所