专利名称：三维复合材料预制件机器人缝合系统的制作方法
技术领域：
本发明涉及三维复合材料预制件制造技术，具体为一种三维复合材料
预制件机器人缝合系统，国际专利主分类号拟为Int.Cl.A61B 17/00 (2006. 01)。
背景技术：
复合材料具有质量轻、强度高、耐烧蚀等特点，已广泛应用于航空、航 天、军工等尖端领域，并扩展到汽车、建筑、能源、环保、生物医疗和运动 器械等方面，成为世界各国竞相重资投入的研究领域。但复合材料预制件制 造成本昂贵，生产效率很低。因此，如何在保证三维复合材料性能优势的前 提下实现预制件生产的自动化和柔性化，縮短生产周期，降低生产成本，已 经成为应用复合材料亟待解决的关键问题。
复合材料缝合技术因其易于实现预制件生产过程的自动化和机械化，生 产效率高，已经成为复合材料研究领域的焦点。良好的复合材料缝合技术能 提高预制件穿过厚度方向层间断裂韧性、层间疲劳韧性和强度等性能；和编 织等技术相结合可以使构造一些结构复杂的或者巨大的预制件更为方便，且 有较好的连接强度，并可以代替胶接和金属铆接等连接方法，用于航天飞 机、火箭和飞船等复合材料的制造过程中。这项技术已经在航空、航天等领 域得到了应用，在美国航空航天局(NASA)、美国空军和法国空中客车公司的 项目中都得到了应用。不过，目前的复合材料缝合技术多是使用工业缝纫 机在二维平面或者弯曲度不大的平面上进行的，缝合的角度和灵活性受到很 大的限制，特别是难以对形状复杂的三维预制件进行缝合操作。
六轴工业机器人自由度大，工作效率高，已经在制造业中得到了广泛应用。为了提高复合材料预制件制造技术的自动化和机械化程度，提高生产效 率，降低生产成本，扩大复合材料的应用范围，人们发明了机器人单面缝合 技术。它借助于工业机器人引导单面缝纫机完成缝合操作，自动化程度高， 工艺性能好，能够提高复合材料预制件穿过厚度方向的各种力学性能，与编 织等其他制造技术结合可以生产形状复杂的预制件，易于实现预制件生产过 程的自动化和机械化，生产效率高，对降低复合材料预制件生产成本，提高 复杂形状预制件的生产效率意义重大。基于工业机器人和单面缝纫机的复合
材料缝合系统已由德国的KSL公司研制成功，并在汽车工业、航空和航天等 方面得到了广泛应用，其技术已在法国空中客车公司用于生产机翼、挡板等 部件，大大降低了飞机的制造成本。
但目前的纺织三维复合材料缝合机器人多为示教再现机器人，编程复 杂、效率低，灵活性差，只能按照事先设定的轨迹进行缝合，对工装和定位 装置的精度依赖性强。对不同形状和尺寸的工件进行缝合时必须更换工装和 定位装置。另外，在缝合过程中， 一些尺寸大、刚性差的工件(如飞机机翼 和导弹外壳等)受缝针的作用易产生变形，或由于大型件接口一致性不好， 可能使实际接缝偏离预先示教轨迹。因此示教机器人在此情况下缝合误差 大，质量难于保证。
机器视觉具有高效率和非接触性的特征。其在纺织检测中的应用越来越 广，机器视觉跟踪系统能克服示教机器人的缺点，大大提高缝合机器人的灵 活性和智能性。在申请人检索文献的范围内，三维复合材料预制件机器人缝 合系统具体技术和工艺一直未见披露，也未见有关接缝机器人视觉跟踪技术 的报道。
发明内容
针对现有技术的情况，本发明要解决的技术问题是，设计一种三维复合 材料预制件机器人缝合系统，该缝合系统具有自动跟踪接缝和自动调整运动轨迹的智能化缝合功能，性能稳定、灵敏度和精确度高等特点，可实现纺织 三维复合材料预制件缝合过程的智能化和自动化。
本发明解决所述技术问题的技术方案是设计一种三维复合材料预制件 机器人缝合系统，该缝合系统包括机器人、单面缝纫机、结构光视觉传感器 和图像处理单元；所述的单面缝纫机与结构光视觉传感器的外壳连接在一 起，并固定在机器人手臂的末端；所述的结构光视觉传感器包括激光器和 CCD摄像机，分别固定在结构光视觉传感器外壳内，所述CCD摄像机的光轴 中心线与激光器的激光结构光面成30° -60°角，并与缝合物的工件表面垂 直；所述图像处理单元包括图像采集卡、PC机及图像处理程序库，所述的 图像处理程序库包括缝合物类型判别模块、图像预处理模块、图像后处理模 块和控制量输出模块；所述的CCD摄像机通过视频数据线与图像采集卡相 连，图像采集卡安装在PC机主板插槽内，PC机通过串口与机器人相连。
与现有技术相比，本发明缝合系统克服了现有示教机器人缝合系统灵活 性差、误差大、质量难于保证等缺点，采用了与现有技术不同的复合材料预 制件图像处理方法，主要表现在l.采用结构光视觉传感技术，利用激光作 为结构光，图像特征点检测和特征参数提取针对激光线进行，而非整个复合 材料缝合物图像，具有抗杂光干扰能力强、待处理数据量少，处理速度快的 特点；2.图像处理模块采用对比度增强、二值化、中值滤波和膨胀、腐蚀及 骨架提取等方法相结合的技术，有效地解决了纺织复合材料表面不平整，存 在大量花节和毛剌，激光条纹不连续，粗细不一，图像噪声多等问题；3.采 用纵坐标比较法快速检测特征点，精度高，数度快，实时性好。本发明缝合 系统实现了三维复合材料预制件的自动化和智能化缝合，可以工业化实施应 用。
图1是本发明缝合系统一种实施例的结构示意图。 图2是本发明缝合系统一种实施例的结构原理示意图。
图3是本发明缝合系统一种实施例的图像处理程序库模块框图。
图4 (a)是本发明缝合系统一种实施例采集到的一种碳纤维三维复合
材料预制件的缝合搭接接缝激光图像。
图4 (b)是本发明缝合系统一种实施例直接二值化的一种碳纤维三维
复合材料预制件的缝合搭接接缝激光图像。
图4 (c)是本发明缝合系统一种经图像处理程序库处理后的一种碳纤
维三维复合材料预制件的缝合搭接接缝激光图像。
图5是本发明缝合系统一种实施例图像处理程序库结构图。
具体实施例方式
下面结合实施例及其附图进一步叙述本发明，但实施例不限制本发明的 权利要求。
本发明设计的三维复合材料预制件机器人缝合系统(简称缝合系统，参 见图1_3),该缝合系统包括机器人10、单面缝纫机4、结构光视觉传感 器及其外壳2和图像处理单元；所述的单面缝纫机4与结构光视觉传感器的 外壳2连接在一起，并固定在机器人10的手臂末端；所述的结构光视觉传 感器包括激光器3和CCD摄像机1，分别固定在结构光视觉传感器外壳2 内；所述图像处理单元包括图像采集卡9、 PC机8及图像处理程序库，图像 处理程序库包括缝合物类型判别模块、图像预处理模块、图像后处理模块和 控制量输出模块；所述的CCD摄像机1通过视频数据线与图像采集卡9相 连，图像采集卡9安装在PC机8的主板插槽内，PC机8通过串口与机器人 IO相连。
基于机器人10和单面缝纫机4的缝合系统已有文献报道(参见赵诺萍， 哈.偌得，西.赫兹伯尔.使用缝纫机的纺织材料预制件制备及机织玻璃纤维
缝合物的弯曲性能.中国有色金属学会会刊(英文版).2005.4 (15) .ZHAO Nuo-ping，H. R5del，C. Herzber. Preparation of textile preform with sewing machines and bending properties of stitched woven glass fibre fabrics. Trans. Nonferrous Met. Soc. China. 2005. 4 (15))， 但该 技术未涉及结构光视觉自动跟踪系统。本发明缝合系统的突出特点是将结构 光视觉传感器及其外壳2和图像处理单元应用到三维复合材料预制件机器人 缝合系统中，通过独特的图像处理技术实现了接缝的自动跟踪，提高了缝合 系统的稳定性、灵敏度和精确度。
本发明缝合系统所述的CCD摄像机(简称摄像机)1和激光器3固定在 结构光传感器外壳(简称传感器外壳)2内，摄像机1的光轴中心线与激光 器3的激光结构光面5成30-60°角，实施例采用了 45°角，并与缝合物 (即三维复合材料预制件)6的工件表面垂直；单面缝纫机4和传感器外壳 2连接并固定在机器人10的手臂末端上；激光结构光面5投射到缝合物6 接缝表面形成激光条纹，摄像机1可以随时采集该接缝的激光条纹图像。
本发明缝合系统的一种实施例中，所述的机器人采用KUKA六自由度工 业机器人，负载最大150kg;单面缝纫机采用RS530 2- Needle缝纫机；摄 像机采用WAT-250D工业摄像机，分辨率为352X288;激光器采用半导体激 光器，功率10mw，波长为635nm;图像采集卡采用海康威视DH-4000系列采 集卡；计算机采用PC机，配置为CPU Intel Pentium(R)4，内存(256M)， 硬盘(40GB)。本发明缝合系统的缝合实施例针对的是典型碳纤维三维编织 物复合材料的搭接工件。
本发明缝合系统的工作过程(参见图1、 2)如下缝合物6放置于工 作台7上，摄像机1采集缝合物6的激光条纹图像，通过图像采集卡9送到 PC机8中，PC机8调用缝合物6的图像处理程序库中的对应模块进行接缝 激光图像处理。处理后的图像在PC机8的显示屏上显示，并提取激光线的 特征点坐标，确定接缝左右位置和高度参数，经过算法转化成控制信号送给
机器人10，并控制机器人10的手臂带动单面缝纫机4沿接缝运动，完成对 缝合物6接缝的缝合操作。
本发明缝合系统所述的图像处理程序库采用模块化设计，包括缝合物类 型判别模块、图像预处理模块、图像后处理模块和控制量输出模块(参见图 3)。其中缝合物类型判别模块采用灰度统计方法判定缝合物类型，对不同 缝合物采用不同的二值化阈值；图像预处理模块分别采用窗口处理、对比增 强、二值化、中值滤波、膨胀和腐蚀运算对图像进行预处理；图像后处理模 块采用骨架提取方法取得激光条纹的中心线(激光线)，检测特征点坐标； 控制量输出模块计算单面缝纫机4的偏移量，向机器人10输出控制量。本 发明所述的图像处理程序库适用于对不同类型缝合物的图像处理，例如适用 于典型的碳纤维编织物预制件(黑色)和玻璃纤维编织物预制件(白色)的 图像处理等。
本发明缝合系统的软件原理框图如图5所示。针对缝合物6的特点，本 领域技术人员根据所述的原理/计算方法和工艺要求不难给出该软件的具体 程序。本发明所采用的窗口处理、对比增强、二值化等方法是图像处理领域 通用算法，其本身为现有技术，但在申请人检索范围内未见有采用所述处理 方法应用于机器人缝合系统。
作为本发明缝合系统一个典型应用实施例的碳纤维三维编织物复合材料 预制件搭接接缝的激光条纹图像如图4 (a)所示。由于编织、机织等纤维的 三维复合材料预制件缝合物的表面不平整，存在花节和毛剌，二值化后的图 像激光条纹粗细不一，不连续，噪声多(参见图4(b))，信号不真实。因 此针对这一特点，本发明设计的图像预处理模块采用了中值滤波和数学形态 学处理方法对激光图像进行处理，有效地排除了噪声的干扰。另外由于缝合 物花节和毛剌的影响，激光线曲折且非连续，常规的斜率分析等一般的方法 不再适用，本发明的图像后处理模块釆用了一种新的特征点检测算法——纵 坐标对比法。与其他检测算法相比，该算法在检测缝合物激光线特征点时，
速度快，精确度高，满足系统实时性的要求。本发明实施例标定特征点后的
激光线(中心线)图像如图4(c)所示。
本发明缝合系统中所述的特征点是用来计算单面缝纫机4偏移量的基准 点，根据所述特征点的横、纵坐标变化量来求得单面缝纫机4的偏移量，并 进一步计算输出控制量。结合搭接缝合物6激光图像的特点，所述的特征点 选取激光条纹中心线与搭接缝合物上方的一块缝合物的交点为特征点。由于 两块缝合物搭接缝边缘的象素点(即激光线左右两个断点处)与其它象素点 相比，两断点象素点的tl坐标相差很大，因此采用纵坐标对比法来检测特征 点。所述的纵坐标对比法具体算法如下
设f (m)是激光线第m列上象素点的纵坐标，f (n)是第n列象素点纵坐 标，则两点的纵坐标变化量K为
K= f (n) —f (m)
当满足以下四个条件时，第m和n列两象素点就是断点，第m列象素点 即为所求特征点
1) 第m和n列象素点灰度值非零；
2) 第m和n列之间的象素点灰度值为零；
3) K= (2.5 — 3.5) s;
4) f (m) 〈 f (n)，
其中s为缝合物的厚度值(mm)，厚度越大，K值越大。实施例的缝 合物6的厚度为5mm， k值取15。
本发明未述及之处适用于现有技术。
本发明是针对当前复合材料领域对新型制造设备的迫切需求，有效利用 结构光视觉传感技术，并融合数字图像处理技术研制出的(纺织)复合材料 三维预制件机器人缝合系统。该系统采用激光器发出的结构光作为辅助光投 射到缝合物表面，使用非接触式视觉传感器CCD摄像机采集接缝激光图像，再经过图像处理，提取激光线特征参数，转化成机器人运动控制信号，使机 器人引导单面缝纫机完成三维复合材料预制件的缝合，可以完成对碳纤维、 玻璃纤维等纺织复合材料三维结构复合材料预制件接缝的跟踪，实现缝合过 程的全自动化，适用于各种复杂形状复合材料预制件的自动缝合(单面缝 合)，不仅精度高，而且运行可靠。
权利要求
1.一种三维复合材料预制件机器人缝合系统，该缝合系统包括机器人、单面缝纫机、结构光视觉传感器和图像处理单元；所述的单面缝纫机与结构光视觉传感器的外壳连接在一起，并固定在机器人手臂的末端；所述的结构光视觉传感器包括激光器和CCD摄像机，分别固定在结构光视觉传感器外壳内，所述CCD摄像机的光轴中心线与激光器的激光结构光面成30-60°角，并与缝合物的工件表面垂直；所述图像处理单元包括图像采集卡、PC机及图像处理程序库，所述的图像处理程序库包括缝合物类型判别模块、图像预处理模块、图像后处理模块和控制量输出模块；所述的CCD摄像机通过视频数据线与图像采集卡相连，图像采集卡安装在PC机主板插槽内，PC机通过串口与机器人相连。
2. 根据权利要求1所述的三维复合材料预制件机器人缝合系统，其特 征在于所述CCD摄像机的光轴中心线与激光器的激光结构光面成45°角。
3. 根据权利要求1所述的三维复合材料预制件机器人缝合系统，其特 征在于所述的机器人为六自由度工业机器人，负载最大150kg;单面缝纫机 为2- Needle缝纫机；摄像机为工业摄像机，分辨率为352X288;激光器 为半导体激光器，功率10mw，波长为635nm;图像采集卡为海康威视DH_ 4000系列采集卡；PC机配置为CPU Intel Pentium(R)4， 256M内存，40GB 硬盘。
4. 根据权利要求l一4任一项所述的三维复合材料预制件机器人缝合 系统，其特征在于所述的图像后处理模块采用纵坐标对比法检测特征点，所 述的特征点为激光线(激光条纹中心线)与搭接缝合物上方的一块缝合物边缘的交点，具体算法如下设f (m)是激光线第m列上象素点的纵坐标，f (n)是第n列象素点纵坐 标，则两点的纵坐标变化量K为K= f (n) — f (m)当满足以下四个条件时，第m和n列两象素点就是断点，第m列象素点 即为所求特征点1) 第m和n列象素点灰度值非零；2) 第m和n列之间的象素点灰度值为零；3) K= (2,5 — 3.5) s;4) f (m) 〈f (n)，其中s为缝合物的厚度值(mm)。
全文摘要
本发明涉及一种三维复合材料预制件机器人缝合系统，该缝合系统包括机器人、单面缝纫机、结构光视觉传感器和图像处理单元；单面缝纫机与结构光视觉传感器的外壳连接在一起，并固定在机器人手臂的末端；结构光视觉传感器包括激光器和CCD摄像机，分别固定在结构光视觉传感器外壳内，CCD摄像机的光轴中心线与激光器的激光结构光面成30-60°角，并与缝合物的工件表面垂直；图像处理单元包括图像采集卡、PC机及图像处理程序库，图像处理程序库包括缝合物类型判别模块、图像预处理模块、图像后处理模块和控制量输出模块；CCD摄像机通过视频数据线与图像采集卡相连，图像采集卡安装在PC机主板插槽内，PC机通过串口与机器人相连。
文档编号D05B23/00GK101205662SQ20071015036
公开日2008年6月25日 申请日期2007年11月26日 优先权日2007年11月26日
发明者姜海珍, 岳建锋, 李亮玉 申请人:天津工业大学