一种基于机器视觉的孔位识别方法与流程

本发明涉及精密测量技术领域，尤其涉及一种基于机器视觉的孔位识别方法。

背景技术：

碳纤维复合材料(简称cfrp)以其高比强度、高耐热性、低比重、耐腐蚀性好等优点，在新型飞机的蒙皮等大型零部件得到了快速而广泛的应用。为了方便装配往往需要在cfrp样件表面进行制孔，传统的飞机装配制孔主要以手工制孔为主，缺点是效率较低、孔径存在缺陷等。现代飞机制造中对短周期、高质量、长寿命的要求更加严格，自动化机械制孔相较于人工制孔效率较高且制孔精度高，因此，自动化制孔技术在飞机数字化装配领域得到广泛的应用。

自动化制孔就是由自动控制系统控制机器人，利用安装在机器人手臂末端的多功能末端执行器对cfrp样件进行制孔，在制孔前对cfrp样件上待钻孔位的定位识别将直接关系到制孔的精度和制孔的质量，因此cfrp样件待钻孔孔位的自动识别是自动化制孔技术中的一个关键的技术问题，现有的孔位自动识别方法一般较为复杂且效率低下。

技术实现要素：

针对现有技术存在的上述问题，本发明的要解决的技术问题是：发明一种简单高效且识别准确性高的孔位自动识别方法。

为解决上述技术问题，本发明采用如下技术方案：

一种制孔机器人系统，包括控制部分、机械臂、多功能末端执行器、高分辨率高速相机和报警装置。

所述控制部分包括处理器和存储器，所述控制部分分别与机械臂、多功能末端执行器和高分辨率高速相机电连接。

所述多功能末端执行器与机械臂的末端连接，所述高分辨率高速相机安装在多功能末端执行器上。

一种基于机器视觉的孔位识别方法，所述一种基于机器视觉的孔位识别方法使用制孔机器人系统，所述一种基于机器视觉的孔位识别方法包括如下步骤：

s100：对cfrp样件待制孔位置进行记号划线，通过专用装夹装置固定cfrp样件；

s200：所述高分辨率高速相机对cfrp样件进行图像采集，并将采集的cfrp样件图像传入存储器内；

s300：所述处理器对s200采集的cfrp样件图像进行处理，获得图像坐标系下的记号划线的交点坐标；

s400：所述处理器将图像坐标系下的记号划线的交点坐标转换为机器人坐标系下的交点坐标；

s500：所述控制部分控制机械臂带动多功能末端执行器运动到记号划线的交点坐标。

作为优选，所述s300具体包括如下步骤：

s310：所述控制部分利用opencv视觉库对cfrp样件图像依次进行灰度化、二值化、腐蚀处理；

s320：所述控制部分对经s310处理后的cfrp样件图像进行n*m等分，并将等分图像以动态数组的形式存入控制部分的存储器内；

s330：令i＝1；

s340：所述处理器利用霍夫变换算法对动态数组中的等分图像进行记号划线提取，如果等分图像中有记号划线，则提取记号划线的端点坐标，然后执行s380；否则执行s350；

s350：令i＝i+1；

s360：若i≤n*m，则执行s340；否则执行s370；

s370：所述控制部分停止图像处理，且控制部分控制报警装置进行报警提醒；

s380：所述处理器根据所提取记号划线的端点坐标，建立图像坐标系下的记号划线的直线方程；

s390：所述处理器联立所建立的记号划线的直线方程，求解记号划线的交点坐标，然后将交点坐标存入存储器的指定文件夹内。

作为优选，所述s400具体包括如下步骤：

s410：所述控制部分利用九孔阵列图像法求出高分辨率高速相机的内参数和手眼矩阵，控制部分利用光学测量仪测出机器人坐标系和刀具坐标系之间的转换矩阵；

s420：所述处理器根据高分辨率高速相机的内参数求出相机坐标系下的记号划线的交点坐标；

s430：所述处理器利用手眼矩阵将相机坐标系下的记号划线的交点坐标转换为刀具坐标系下的记号划线的交点坐标；

s440：所述处理器利用转换矩阵将刀具坐标系下的记号划线的交点坐标转换为机器人坐标系下的记号划线的交点坐标。

在钻孔前对cfrp样件待钻孔位置进行记号划线，安装在制孔执行器上的相机采集cfrp样件图像，然后对采集的cfrp样件图像进行灰度化、二值化、腐蚀预处理并等分处理，提取记号划线的端点坐标求解出记号划线的交点坐标，进而转换为机器人坐标系下的交点坐标，最后机械臂带动多功能末端执行器运动到记号划线交点处，完成准确制孔。本发明，简单易行，减少了人工定位的耗时，有效地提高了钻孔效率。

作为优选，所述高分辨率高速相机为sp-5000c-cxp4相机。该相机具有帧率高、像素尺寸小、动态范围高、噪声小等优点，具有同时控制模拟和数字增益的功能，4芯minibnc连接器可以实现高速、高分辨率输出。该相机可以提高对cfrp样件图像采集的速度和准确性，且高质量的图像有利于后续的处理，可以有效提高孔位识别的速度和准确性。

作为优选，所述记号划线用白色记号笔画。白色的记号划线的反射效果相较于其他颜色更好，使相机获得的cfrp样件图像中记号划线更加清晰便于后续处理识别。cfrp样件为暗色，白色的记号划线与cfrp样件表面颜色差异较大，有利于提高对记号划线的端点坐标识别的速度和准确性，从而保证制孔位识别的精准度。

作为优选，所述记号划线在cfrp样件图像中为两条相交直线。以两条直线的交点来标记待钻孔位，操作简单且准确。处理器利用两条直线的端点来求解交点坐标简单且快速，大大提高了本方法的高效性和准确性。

相对于现有技术，本发明至少具有如下优点：

1.本方法中，在钻孔前对cfrp样件待钻孔位置进行记号划线，安装在制孔执行器上的相机采集cfrp样件图像，然后对采集的cfrp样件图像进行灰度化、二值化、腐蚀预处理并等分处理，提取记号划线的端点坐标求解出记号划线的交点坐标，进而转换为机器人坐标系下的交点坐标，最后机械臂带动多功能末端执行器运动到记号划线交点处，完成准确制孔。本发明，简单易行，减少了人工定位的耗时，有效地提高了钻孔效率。

2.本方法可推广到其他材料的表面识别中，对于灵活运用数字图像处理技术有很好的借鉴意义。

3.本方法中，采用白色记号笔进行记号划线，白色的记号划线的反射效果相较于其他颜色更好，使相机获得的cfrp样件图像中记号划线更加清晰便于后续处理识别。cfrp样件为暗色，白色的记号划线与cfrp样件表面颜色差异较大，有利于提高对记号划线的端点坐标提取的速度和准确性，从而保证制孔位识别的精准度。

4.本方法中，记号划线在cfrp样件图像中为两条相交直线，以两条直线的交点来标记待钻孔位，操作简单且准确；处理器利用两条直线的端点来求解交点坐标简单且快速，大大提高了本方法的高效性和准确性。

附图说明

图1是本发明中一种基于机器视觉的孔位识别方法的流程图；

图2是本发明中一种制孔机器人系统的整体结构图；

图3是本发明中多功能末端执行器结构示意图；

图4是本发明实施例提供所用相机采集的图像；

图5是本发明实施例预处理后的采集图像；

图6是本发明实施例最终结果的采集图像；

图7是本发明实施例图像坐标系下的交点坐标。

图中，1-控制部分，2-显示器，3-机械臂，4-多功能末端执行器，5-连接法兰，6-高分辨率高速相机。

具体实施方式

下面结合附图对本发明作进一步详细说明。

实施例1：参见图1-7，一种制孔机器人系统，包括控制部分1、机械臂3、多功能末端执行器4、高分辨率高速相机6和报警装置。

所述控制部分1包括处理器和存储器，所述控制部分1分别与机械臂3、多功能末端执行器4和高分辨率高速相机6电连接。

所述多功能末端执行器4与机械臂3的末端连接，所述高分辨率高速相机6安装在多功能末端执行器4上。具体实施时，多功能末端执行器4通过连接法兰5与机械臂3的末端连接。

实施例2：参见图1-7，一种基于机器视觉的孔位识别方法，所述一种基于机器视觉的孔位识别方法使用实施例1中的制孔机器人系统，所述一种基于机器视觉的孔位识别方法包括如下步骤：

s100：对cfrp样件待制孔位置进行记号划线，通过专用装夹装置固定cfrp样件；

s200：所述高分辨率高速相机6对cfrp样件进行图像采集，并将采集的cfrp样件图像传入存储器内；

s300：所述处理器对s200采集的cfrp样件图像进行处理，获得图像坐标系下的记号划线的交点坐标；

s400：所述处理器将图像坐标系下的记号划线的交点坐标转换为机器人坐标系下的交点坐标；

s500：所述控制部分1控制机械臂3带动多功能末端执行器4运动到记号划线的交点坐标。

所述s300具体包括如下步骤：

s310：所述控制部分1利用opencv视觉库对cfrp样件图像依次进行灰度化、二值化、腐蚀处理；

s320：所述控制部分1对经s310处理后的cfrp样件图像进行n*m等分，并将等分图像以动态数组的形式存入控制部分1的存储器内；

s330：令i＝1；

s340：所述处理器利用霍夫变换算法对动态数组中的等分图像进行记号划线提取，如果等分图像中有记号划线，则提取记号划线的端点坐标，然后执行s380；否则执行s350；

s350：令i＝i+1；

s360：若i≤n*m，则执行s340；否则执行s370；

s370：所述控制部分1停止图像处理，且控制部分1控制报警装置进行报警提醒；

s380：所述处理器根据所提取记号划线的端点坐标，建立图像坐标系下的记号划线的直线方程。具体实施时，cfrp样件图像的记号划线中一条直线l1的端点坐标分别为a(x1,y1)和b(x2,y2)，另一条直线l2的端点坐标分别为c(x3,y3)和d(x4,y4)；

直线方程l1:

直线方程l2:

s390：处理器联立所建立的记号划线的直线方程，求解记号划线的交点坐标，然后将交点坐标存入存储器的指定文件夹内；具体实施时，交点坐标为(x,y)。

所述s400具体包括如下步骤：

s410：所述控制部分1利用九孔阵列图像法求出高分辨率高速相机6的内参数和手眼矩阵，控制部分1利用光学测量仪测出机器人坐标系和刀具坐标系之间的转换矩阵；

s420：所述处理器根据高分辨率高速相机6的内参数求出相机坐标系下的记号划线的交点坐标；

s430：所述处理器利用手眼矩阵将相机坐标系下的记号划线的交点坐标转换为刀具坐标系下的记号划线的交点坐标；

s440：所述处理器利用转换矩阵将刀具坐标系下的记号划线的交点坐标转换为机器人坐标系下的记号划线的交点坐标。

所述高分辨率高速相机6为sp-5000c-cxp4相机。

所述记号划线用白色记号笔画。

所述记号划线在cfrp样件图像中为两条相交直线。

本发明限定的一种基于机器视觉的孔位识别方法的工作原理如下：

在cfrp样件钻孔前，对cfrp样件待钻孔位置进行记号划线，控制部分1控制机械臂3运动，使多功能末端执行器4到达cfrp样件附近，多功能末端执行器4上的高分辨率高速相机6采集cfrp样件图像，然后控制部分对采集的cfrp样件图像进行灰度化、二值化、腐蚀预处理并等分处理，提取记号划线的端点坐标求解出记号划线的交点坐标，进而转换为机器人坐标系下的交点坐标，最后控制部分控制机械臂3带动多功能末端执行器4运动到记号划线交点处，完成准确制孔。本发明，简单易行，减少了人工定位的耗时，有效地提高了钻孔效率。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。