一种视觉传感器与触觉传感器位置关系的标定方法及其应用

本发明属于多模态传感器位置关系标定相关，更具体地，涉及一种视觉传感器与触觉传感器位置关系的标定方法及其应用。

背景技术：

1、机器人的灵巧操作是机器人研究领域的难点之一，依靠单一的传感器难以实现高精度灵巧操作。目前，灵巧操作大多建立在视觉与触觉传感器融合使用的基础上。而视觉传感器与触觉传感器相互之间位置关系的标定则是视觉与触觉传感器融合使用的基础，视觉传感器与触觉传感器的标定方法可以大致分为直接式标定和间接式标定两类。

2、直接标定的方法，在触觉传感器上的固定位置粘贴特征标记，用视觉传感器拍摄包含有特征标记的图片，进一步得到两个传感器坐标系之间的刚体变换矩阵，这种方法主要有以下两个缺点：

3、1.需要保证视觉传感器能够拍摄到触觉传感器及其周边位置，对两个传感器布置的相对位置有较高要求，泛用性不强；

4、2.特征标记是临时粘贴的，难以保证严格的位置精度，标定误差大。

5、第二类是间接标定的方法，先通过标定板利用张正友标定法对视觉传感器进行标定，得到视觉传感器相对于标定板的刚体变换矩阵，再通过测量得到标定板与机械臂基座的位置关系，最后综合预先已知的触觉传感器相对于机械臂基座的位置关系得到两个传感器坐标系之间的刚体变换矩阵，这种方法主要有以下两个缺点：

6、1.标定板不能被视觉传感器以及触觉传感器同时识别，这导致标定过程繁琐，需要求解多个位置关系；

7、2.标定板与机械手基座的位置关系依靠外部测量手段得到，精度难以保证。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种视觉传感器与触觉传感器位置关系的标定方法及其应用，其用于解决视觉传感器与触觉传感器相互之间位置关系的标定过程繁杂的问题。

2、为实现上述目的，按照本发明的一个方面，提供了一种视觉传感器与触觉传感器位置关系的标定方法，该方法包括以下步骤：

3、(1)装配标定块，所述标定块为立方体结构，其多个表面均设置有标识区域，所述标识区域包括第一部分及第二部分，所述第一部分为开设于所述标识区域的凹槽，所述第二部分为所述标识区域开设所述凹槽后自动形成，且所述凹槽底面的填充色与所述第二部分的填充色不同；

4、(2)触觉传感器测量其与标定块接触区域的点云模型m1，对点云模型m1降采样后得到新点云模型m′1，进而采用icp算法对点云模型m′1以及预先导入的模型原始点云模型m0进行配准以得到标定块坐标系相对于触觉传感器坐标系的旋转矩阵以及平移向量同时，双目相机拍摄含有所述标定块的图像a1，基于所述标定块的参考图及图像a1提取标定块坐标系及所述相机坐标系中3组以上的对应点，以计算得到标定块坐标系相对于相机坐标系的刚体变换矩阵的最小二乘解，进而得到标定块坐标系相对于相机坐标系的旋转矩阵与平移向量

5、进一步地，所述标识区域的平面投影与二维码类似。

6、进一步地，标定块与触觉传感器之间的安装方式包括面面接触外，还包括将标定块的顶点与触觉传感器相接触的方式。

7、进一步地，步骤(1)中，以双目相机中的左相机为参考物建立的相机坐标系{c}，以标定块为参考物建立的标定块坐标系{w}，以触觉传感器为参考物建立的触觉传感器坐系{t}；约定空间中任意一点p在相机坐标系里的表示为cp(xc,yc,zc)，在标定块坐标系表示为wp(xw,yw,zw)，在触觉传感器坐标系里表示为tp(xt,yt,zt)。

8、进一步地，标定块上的一点在标定块坐标系{w}中的坐标wp(xw,yw,zw)与其在相机坐标系{c}中的坐标cp(xc,yc,zc)满足：

9、

10、其中，代表左相机坐标系相对于标定块坐标系的旋转矩阵，代表左相机坐标系相对于标定块坐标系的平移向量。

11、进一步地，标定块上的一点在标定块坐标系{w}中的坐标wp(xw,yw,zw)与其在触觉传感器坐标系{t}中的坐标tp(xt,yt,zt)满足：

12、

13、其中，代表触觉传感器坐标系相对于标定块坐标系的旋转矩阵，代表触觉传感器坐标系相对于标定块坐标系的平移向量。

14、进一步地，将标定块上的一点在左相机坐标系中的坐标cp(xc,yc,zc)与其在触觉传感器坐标系中的坐标tp(xt,yt,zt)关联起来，从而完成标定工作，其中两者之间的关系满足下式：

15、

16、本发明还提供了一种如上所述的视觉传感器与触觉传感器位置关系的标定方法在机器人的灵巧操作中的应用。

17、总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的视觉传感器与触觉传感器位置关系的标定方法及其应用主要具有以下有益效果：

18、1.简化了标定流程，节省了标定时间。具体地，特定的标定块使得视觉传感器与触觉传感器能够同时捕获标定块特征，即两个传感器的标定流程是并行的，这避免了传统方法中逐一标定带来的时间损失。

19、2.较强的泛用性，使得标定流程标准化。具体地，传统标定方法需要针对双目相机以及夹爪的具体结构以及安装方式做出相应的改变，因而在泛用性上颇为受限。本方法利用传感器结构有别但功能不变的特性，使得完成标定的充要条件有且仅有一条，即触觉传感器与视觉传感器要能够同时感知到标定块，而这一点对于利用视觉与触觉传感器进行协同工作的多模态传感器是能够达到的。

20、3.灵活的标定方式。从理论上看，只要视觉以及触觉传感器能够同时识别足以确定标定块位置信息的特征信息即可完成标定工作。注意，这里的特征除了二维码外还包括了立方体的顶点，即除了上文提到的标定块与触觉传感器面接触以外还可以将标定块的顶点与触觉传感器相接触，并按照相同的标定流程得到立方体顶点区域的点云模型，并用于后续匹配。

技术特征：

1.一种视觉传感器与触觉传感器位置关系的标定方法，其特征在于，该方法包括以下步骤：

2.如权利要求1所述的视觉传感器与触觉传感器位置关系的标定方法，其特征在于：所述标识区域的平面投影与二维码类似。

3.如权利要求1所述的视觉传感器与触觉传感器位置关系的标定方法，其特征在于：标定块与触觉传感器之间的安装方式包括面面接触外，还包括将标定块的顶点与触觉传感器相接触的方式。

4.如权利要求1所述的视觉传感器与触觉传感器位置关系的标定方法，其特征在于：步骤(1)中，以双目相机中的左相机为参考物建立的相机坐标系{c}，以标定块为参考物建立的标定块坐标系{w}，以触觉传感器为参考物建立的触觉传感器坐系{t}；约定空间中任意一点p在相机坐标系里的表示为c p(xc,yc,zc)，在标定块坐标系表示为wp(xw,yw,zw)，在触觉传感器坐标系里表示为t p(xt,yt,zt)。

5.如权利要求4所述的视觉传感器与触觉传感器位置关系的标定方法，其特征在于：标定块上的一点在标定块坐标系{w}中的坐标w p(xw,yw,zw)与其在相机坐标系{c}中的坐标cp(xc,yc,zc)满足：

6.如权利要求5所述的视觉传感器与触觉传感器位置关系的标定方法，其特征在于：标定块上的一点在标定块坐标系{w}中的坐标w p(xw,yw,zw)与其在触觉传感器坐标系{t}中的坐标t p(xt,yt,zt)满足：

7.如权利要求6所述的视觉传感器与触觉传感器位置关系的标定方法，其特征在于：将标定块上的一点在左相机坐标系中的坐标c p(xc,yc,zc)与其在触觉传感器坐标系中的坐标t p(xt,yt,zt)关联起来，从而完成标定工作，其中两者之间的关系满足下式：

8.一种权利要求1-7任一项所述的视觉传感器与触觉传感器位置关系的标定方法在机器人的灵巧操作中的应用。

技术总结
本发明属于多模态传感器位置关系标定相关技术领域，其公开了一种视觉传感器与触觉传感器位置关系的标定方法及其应用，包括以下步骤：(1)装配标定块；(2)触觉传感器测量其与标定块接触区域的点云模型，采用ICP算法与预先导入的模型原始点云模型进行配准以得到标定块坐标系相对于触觉传感器坐标系的旋转矩阵以及平移向量相机拍摄含有所述标定块的图像A<subgt;1</subgt;，基于所述标定块的参考图及图像A<subgt;1</subgt;提取标定块坐标系及所述相机坐标系中3组以上的对应点，以计算得到标定块坐标系相对于相机坐标系的旋转矩阵与平移向量本发明解决了视觉传感器与触觉传感器相互之间位置关系的标定过程繁杂的问题。

技术研发人员：杨华,张骏烨,黄开基,林元凯
受保护的技术使用者：华中科技大学
技术研发日：
技术公布日：2024/8/16