一种自动化机械臂单目视觉伺服系统及方法与流程

本发明涉及lng接收站天然气运输领域，具体涉及一种自动化机械臂单目视觉伺服系统及方法。

背景技术：

1、在lng接收站不断建设和接收能力稳步提升的背景下，陆上lng运输市场需求日益迫切。然而，当前lng接收站在自动化和智能化方面仍然存在不足，装车和卸车操作主要依赖人工，导致劳动强度大，且存在一定的安全隐患。因此，三桶油、管道公司等业主单位对装车设备的自动控制和智能管控需求愈发迫切。市场迫切需要一款安全可靠、工程适用、且能够实现自动控制和智能管理的自动化装车系统。

技术实现思路

1、本发明的目的在于提出一种自动化机械臂单目视觉伺服系统及方法，能够精确获得运输车集管法兰的精确位姿，从而实现机械臂与集管法兰自动对接。

2、实现本发明目的的技术解决方案为：

3、一种自动化机械臂单目视觉伺服系统，包括；

4、标志物—机械臂标定模块，用于获取臂上标志物坐标系和机械臂末端坐标系间的变换矩阵；

5、法兰识别定位模块，用于识别法兰，并计算法兰与相机坐标系间的变换矩阵；

6、标志物识别定位模块，在机械臂上设置一固定aruco标签，采用aruco标签的解码方式实时得到aruco标签与相机坐标系间的变换矩阵，通过坐标变换得到机械臂末端与相机坐标系间的变换矩阵；

7、法兰-机械臂标定模块，基于标志物—机械臂标定模块、法兰识别定位模块、标志物识别定位模块的变换矩阵，获取机械臂末端和目标法兰坐标系间的变换矩阵。

8、进一步地，获取臂上标志物坐标系和机械臂末端坐标系间的变换矩阵具体包括：

9、步骤1-1，固定相机和目标法兰，在法兰上设置一与法兰同心aruco标签，通过解码aruco标签得到aruco标签与相机坐标系间的变换矩阵tac，即法兰与相机坐标系间的变换矩阵；

10、步骤1-2，将机械臂末端与法兰面紧贴，使机械臂末端坐标系与法兰坐标系重合；

11、步骤1-3，通过识别并解码机械臂臂上aruco标签，得到相机与臂上标志物坐标系间的变换矩阵tbc；

12、步骤1-4，根据步骤1-1以及步骤1-3得到的两个变换矩阵计算得到臂上标志物坐标系和机械臂末端坐标系间的变换矩阵。

13、进一步地，臂上标志物坐标系和机械臂末端坐标系间的变换矩阵

14、进一步地，所述法兰识别定位模块包括粗略识别模块、精确识别模块和计算模块，其中，

15、所述粗略识别定位模块由相机拍摄图像，并且对所采集到的图像进行预处理，采用yolo神经网络模型对法兰螺栓孔进行识别，得到法兰螺栓孔的粗略中心点坐标，根据中心点坐标采用pnp算法对法兰进行初步位姿估计；

16、所述精确识别定位模块，由相机拍摄图像，采用yolo神经网络模型对法兰进行识别，裁剪法兰图像，并对裁剪后的感兴趣区域进行图像预处理，采用canny算法进行边缘检测得到法兰边缘，采用边缘连接方法的椭圆检测算法aamed对法兰边缘进行椭圆拟合，根据拟合的椭圆方程计算法兰位姿；

17、所述计算模块基于粗略识别定位模块和精确识别定位模块的位姿估计确定真实法兰位姿，即法兰与相机坐标系间的变换矩阵。

18、进一步地，真实法兰位姿为粗略识别定位模块和精确识别定位模块估计的位姿中较小法向量夹角所对应的法兰位姿。

19、进一步地，所述机械臂末端和目标法兰坐标系间的变换矩阵为:

20、

21、其中，tb为臂上标志物坐标系和机械臂末端坐标系间的变换矩阵，t为法兰与相机坐标系间的变换矩阵，ta为机械臂末端与相机坐标系间的变换矩阵。

22、一种自动化机械臂单目视觉伺服方法，包括：

23、通过标志物—机械臂标定模块获取臂上标志物坐标系和机械臂末端坐标系间的变换矩阵；

24、通过法兰识别定位模块识别法兰，并计算法兰与相机坐标系间的变换矩阵；

25、通过标志物识别定位模块得到机械臂末端与相机坐标系间的变换矩阵；

26、通过法兰-机械臂标定模块获取机械臂末端和目标法兰坐标系间的变换矩阵。

27、一种计算机存储介质，所述计算机存储介质存储有可执行程序，所述可执行程序被处理器执行实现所述的视觉标定方法的步骤。

28、与现有技术相比，本发明的有益效果为：本发明通过手眼标定模块标定出标志物与机械臂末端坐标系间的转换矩阵，目标法兰识别定位模块进行法兰识别以及位姿估计，并根据先验知识区分左右法兰，估计法兰与相机坐标系间的变换矩阵；通过标志物识别定位模块实时获取机械臂臂上标志物位姿从而得到机械臂末端位姿，通过坐标变换将法兰位姿转换到机械臂末端坐标系，精确获得运输车集管法兰的精确位姿，实现机械臂与集管法兰自动对接；本发明实现自动对接，同时提高了安全性。

技术特征：

1.一种自动化机械臂单目视觉伺服系统，其特征在于，包括；

2.根据权利要求1所述的一种自动化机械臂单目视觉伺服系统，其特征在于，获取臂上标志物坐标系和机械臂末端坐标系间的变换矩阵具体包括：

3.根据权利要求2所述的一种自动化机械臂单目视觉伺服系统，其特征在于，臂上标志物坐标系和机械臂末端坐标系间的变换矩阵

4.根据权利要求1所述的一种自动化机械臂单目视觉伺服系统，其特征在于，所述法兰识别定位模块包括粗略识别模块、精确识别模块和计算模块，其中，

5.根据权利要求4所述的一种自动化机械臂单目视觉伺服系统，其特征在于，真实法兰位姿为粗略识别定位模块和精确识别定位模块估计的位姿中较小法向量夹角所对应的法兰位姿。

6.根据权利要求1所述的一种自动化机械臂单目视觉伺服系统，其特征在于，所述机械臂末端和目标法兰坐标系间的变换矩阵为:

7.一种基于权利要求1-6任一所述系统的自动化机械臂单目视觉伺服方法，其特征在于，包括：

8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有可执行程序，所述可执行程序被处理器执行实现权利要求7所述的视觉标定方法的步骤。

技术总结
本发明提供一种自动化机械臂单目视觉伺服系统及方法，该系统包括，手眼标定模块，目标法兰识别定位模块标志物识别定位模块；其中手眼标定模块，用于标定出标志物与机械臂末端坐标系间的转换矩阵，目标法兰识别定位模块，包括法兰识别以及法兰位姿估计，法兰识别用于识别目标法兰，并根据先验知识区分左右法兰；法兰位姿估计用于估计法兰与相机坐标系间的变换矩阵；标志物识别定位模块，用于实时获取机械臂臂上标志物位姿从而得到机械臂末端位姿，通过坐标变换将法兰位姿转换到机械臂末端坐标系，实现引导功能。

技术研发人员：胡旭杰,陈赟,朱人杰,宋新伟,潘旭冉,李磊,刘宇晨,张来旭,赵宣鉴,张进
受保护的技术使用者：连云港杰瑞自动化有限公司
技术研发日：
技术公布日：2025/2/20