机器人末端的正交视觉伺服控制方法及装置

本申请涉及图像处理领域，尤其涉及一种机器人末端的正交视觉伺服控制方法及装置。

背景技术：

1、自动装配是指以自动化机械代替人工劳动的一种装配技术。自动装配技术以机器人为装配机械，同时需要柔性的外围设备。对准是自动装配领域的重要研究内容，对准的精度影响后续插入操作的质量，进而影响整体装配效果。

2、利用机器视觉完成图像匹配、目标识别以及位姿测量是装配机器人智能化的关键技术。通过这些技术可以引导、控制机器人在复杂未知环境下自主完成各种装配作业。轴、孔零件的装配在机器人装配任务中占很大比例，应用机器视觉技术来获取目标装配轴孔工件的精确位姿信息，进而引导机器人快速装配，正在成为自动化、智能化装配的重要研究领域。

3、在传统的手眼系统(eye-to-hand，eth)双目视觉系统中，由于图像视觉伺服的点特征的图像坐标对其沿相机坐标系各轴运动的灵敏度不同，使得对准误差在不同方向上有所不同，这会导致算法收敛速度慢，进而影响对机器人末端的位置控制的效率和精度。

技术实现思路

1、本申请实施例提供一种机器人末端的正交视觉伺服控制方法及装置，用以解决相关技术中对机器人末端的位置控制效率低和精度低的技术问题。

2、第一方面，本申请实施例提供一种机器人末端的正交视觉伺服控制控制方法，包括：

3、基于第一映射矩阵完成正交双目视觉系统的标定；所述第一映射矩阵用于表示特征点在相机坐标系中的坐标与特征点在图像坐标系中的坐标之间的映射关系；

4、基于标定之后的正交双目视觉系统确定目标在图像坐标系中的坐标，以及机器人末端在图像坐标系中的坐标；

5、确定所述目标在图像坐标系中的坐标和所述机器人末端在图像坐标系中的坐标的差值；

6、基于所述差值控制所述机器人末端移动到所述目标位置。

7、在一些实施例中，基于第一映射矩阵完成正交双目视觉系统的标定，包括：

8、确定所述第一映射矩阵；

9、控制机器人末端沿第一相机的预设方向执行至少3次位移完成标定；所述第一相机为正交双目视觉系统中的两个相机中的其中一个。

10、在一些实施例中，所述确定所述第一映射矩阵，包括：

11、确定第二映射矩阵；所述第二映射矩阵用于表示所述第一相机的相机坐标和第二相机的相机坐标的映射关系；所述第二相机为正交双目视觉系统中的两个相机中的另一个；

12、基于所述第二映射矩阵、第三映射关系和第四映射关系，确定所述第一映射矩阵；所述第三映射关系用于表示所述第一相机的图像坐标与所述第一相机的相机坐标的映射关系，所述第四映射关系用于表示所述第二相机的图像坐标与所述第二相机的相机坐标的映射关系。

13、在一些实施例中，所述第一映射矩阵为：

14、

15、其中，(xoc1c2，yoc1c2，zoc1c2)为所述第一相机的相机坐标系原点在所述第二相机的相机坐标系中的坐标，kx为x轴上从成像坐标到图像坐标的放大系数，ky为y轴上从成像坐标到图像坐标的放大系数，(x1c1，y1c1)为特征点在所述第一相机中的归一化成像平面上的成像点坐标，(xc1，yc1，zc1)为特征点在所述第一相机的相机坐标系中的坐标。

16、在一些实施例中，每次位移的范围大于0，小于40毫米。

17、在一些实施例中，所述方法还包括：

18、基于目标检测方法确定所述特征点。

19、第二方面，本申请实施例还提供一种机器人末端的正交视觉伺服控制装置，包括：

20、第一标定模块，用于基于第一映射矩阵完成正交双目视觉系统的标定；所述第一映射矩阵用于表示特征点在相机坐标系中的坐标与特征点在图像坐标系中的坐标之间的映射关系；

21、第一确定模块，用于基于标定之后的正交双目视觉系统确定目标在图像坐标系中的坐标，以及机器人末端在图像坐标系中的坐标；

22、第二确定模块，用于确定所述目标在图像坐标系中的坐标和所述机器人末端在图像坐标系中的坐标的差值；

23、第一控制模块，用于基于所述差值控制所述机器人末端移动到所述目标位置。

24、在一些实施例中，所述第一标定模块包括第一确定子模块，第一控制子模块，其中：

25、所述第一确定子模块用于确定所述第一映射矩阵；

26、所述第一控制子模块用于控制机器人末端沿第一相机的预设方向执行至少3次位移完成标定；所述第一相机为正交双目视觉系统中的两个相机中的其中一个。

27、在一些实施例中，所述第三确定子模块包括第一确定单元、第二确定单元，其中：

28、所述第一确定单元用于确定第二映射矩阵；所述第二映射矩阵用于表示所述第一相机的相机坐标和第二相机的相机坐标的映射关系；所述第二相机为正交双目视觉系统中的两个相机中的另一个；

29、所述第二确定单元用于基于所述第二映射矩阵、第三映射关系和第四映射关系，确定所述第一映射矩阵；所述第三映射关系用于表示所述第一相机的图像坐标与所述第一相机的相机坐标的映射关系，所述第四映射关系用于表示所述第二相机的图像坐标与所述第二相机的相机坐标的映射关系。

30、在一些实施例中，所述第一映射矩阵为：

31、

32、其中，(xoc1c2，yoc1c2，zoc1c2)为所述第一相机的相机坐标系原点在所述第二相机的相机坐标系中的坐标，kx为x轴上从成像坐标到图像坐标的放大系数，ky为y轴上从成像坐标到图像坐标的放大系数，(x1c1，y1c1)为特征点在所述第一相机中的归一化成像平面上的成像点坐标，(xc1，yc1，zc1)为特征点在所述第一相机的相机坐标系中的坐标。

33、在一些实施例中，每次位移的范围大于0，小于40毫米。

34、在一些实施例中，所述装置还包括：

35、第三确定模块，用于基于目标检测方法确定所述特征点。

36、第三方面，本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述机器人末端的正交视觉伺服控制方法。

37、第四方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述机器人末端的正交视觉伺服控制方法。

38、第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述机器人末端的正交视觉伺服控制方法。

39、本申请实施例提供的机器人末端的正交视觉伺服控制方法及装置，通过确定的平移点交互矩阵，能够准确反映出正交双目视觉系统对特征点沿系统中各坐标轴的运动灵敏度是均衡的，进而提高了对机器人末端的位置控制的效率和精度。

技术特征：

1.一种机器人末端的正交视觉伺服控制方法，其特征在于，包括：

2.根据权利要求1所述的机器人末端的正交视觉伺服控制方法，其特征在于，基于第一映射矩阵完成正交双目视觉系统的标定，包括：

3.根据权利要求2所述的机器人末端的正交视觉伺服控制方法，其特征在于，所述确定所述第一映射矩阵，包括：

4.根据权利要求3所述的机器人末端的正交视觉伺服控制方法，其特征在于，所述第一映射矩阵为：

5.根据权利要求2所述的机器人末端的正交视觉伺服控制方法，其特征在于，每次位移的范围大于0，小于40毫米。

6.根据权利要求1所述的机器人末端的正交视觉伺服控制方法，其特征在于，所述方法还包括：

7.一种机器人末端的正交视觉伺服控制装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述机器人末端的正交视觉伺服控制方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述机器人末端的正交视觉伺服控制方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述机器人末端的正交视觉伺服控制方法。

技术总结
本申请提供一种机器人末端的正交视觉伺服控制方法及装置，所述方法包括：基于第一映射矩阵完成正交双目视觉系统的标定；基于标定之后的正交双目视觉系统确定目标在图像坐标系中的坐标，以及机器人末端在图像坐标系中的坐标；确定所述目标在图像坐标系中的坐标和所述机器人末端在图像坐标系中的坐标的差值；基于所述差值控制所述机器人末端移动到所述目标位置。本申请实施例提供的机器人末端的正交视觉伺服控制方法及装置，通过确定的平移点交互矩阵，能够准确反映出正交双目视觉系统对特征点沿系统中各坐标轴的运动灵敏度是均衡的，进而提高了对机器人末端的位置控制的效率和精度。

技术研发人员：郝甜甜,徐德
受保护的技术使用者：中国科学院自动化研究所
技术研发日：
技术公布日：2024/1/13