一种机械臂与3D视觉系统间相对位姿的标定方法及装置与流程

本发明涉及物流，尤其涉及一种机械臂与3d视觉系统间相对位姿的标定方法及装置。

背景技术：

1、在电商分拣仓内，拣选设备的机械臂在3d相机视野覆盖的立体空间内进行拣选操作。一般情况下，由于安装条件或其他条件的限制，机械臂与3d相机往往通过非绝对刚性的方式连接。

2、在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

3、使用过程中拣选设备产生的累积震动或者遭受的外力撞击等，使得机械臂与3d相机之间已标定的相对位姿出现偏差，从而使得在3d相机监控下工作的机械臂动作异常，无法进行正常的拣选操作，拣选设备频繁出现异常使得整体拣选效率降低。

技术实现思路

1、有鉴于此，本发明实施例提供一种机械臂与3d视觉系统间相对位姿的标定方法及装置，在所述机械臂的运动过程中，利用采样工具采集标定工具在所述机械臂的多个位姿下对应的采样数据，并利用所述3d视觉系统记录所述标定工具在所述机械臂的多个位姿下对应的工作状态数据；根据所述采样数据和所述工作状态数据，确定所述机械臂和所述3d视觉系统之间的相对位姿偏移量是否大于偏移量阈值；在所述相对位姿偏移量大于所述偏移量阈值的情况下，在所述机械臂的运动过程中，根据所述采样数据和所述工作状态数据对所述机械臂和所述3d视觉系统之间的相对位姿进行标定。由此实现了在机械臂工作过程中进行数据采样和记录并根据采样数据和工作状态数据对机械臂和3d视觉系统间的相对位姿进行监控，并在监控到相对位姿出现偏差时对其进行修正，从而避免了相对位姿偏差累积导致的拣选系统故障停机的情况，使得拣选系统能够连续工作，进而整体上提高了拣选效率。

2、为实现上述目的，根据本发明实施例的一个方面，提供了一种机械臂与3d视觉系统间相对位姿的标定方法。

3、本发明实施例的一种机械臂与3d视觉系统间相对位姿的标定方法包括：在所述机械臂的运动过程中，利用采样工具采集标定工具在所述机械臂的多个位姿下对应的采样数据，并利用所述3d视觉系统记录所述标定工具在所述机械臂的多个位姿下对应的工作状态数据；根据所述采样数据和所述工作状态数据，确定所述机械臂和所述3d视觉系统之间的相对位姿偏移量是否大于偏移量阈值；在所述相对位姿偏移量大于所述偏移量阈值的情况下，在所述机械臂的运动过程中，根据所述采样数据和所述工作状态数据对所述机械臂和所述3d视觉系统之间的相对位姿进行标定。

4、可选地，所述根据所述采样数据和所述工作状态数据，确定所述机械臂和所述3d视觉系统之间的相对位姿偏移量是否大于偏移量阈值，包括：根据所述采样工具对应的第一坐标系以及所述3d视觉系统对应的所述第二坐标系之间的转换关系，将所述采样数据或工作状态数据进行坐标系转换，使得所述采样数据和所述工作状态数据对应同一坐标系；所述转换关系是在所述机械臂和所述3d视觉系统之间已标定的相对位姿下确定的；根据所述对应同一坐标系的采样数据和工作状态数据，确定所述相对位姿偏移量是否大于所述偏移量阈值。

5、可选地，所述根据所述对应同一坐标系的采样数据和工作状态数据，确定所述相对位姿偏移量是否大于所述偏移量阈值，包括：确定所述采样数据和所述工作状态数据中包括的样本数量是否满足样本阈值；在所述样本数量满足所述样本阈值的情况下，根据所述对应同一坐标系的采样数据和工作状态数据，计算所述相对位姿偏移量。

6、可选地，所述根据所述采样数据和所述工作状态数据对所述机械臂和所述3d视觉系统之间的相对位姿进行标定，包括：计算所述对应同一坐标系的采样数据和工作状态数据的第一差值；根据所述第一差值，对所述第一坐标系与所述第二坐标系之间的转换关系进行修正；将修正后的转换关系作为所述机械臂和所述3d视觉系统在当前相对位姿下的转换关系。

7、可选地，所述标定工具为标定球，所述根据所述对应于同一坐标系下的采样数据和工作状态数据，计算所述相对位姿偏移量，包括：根据所述采样数据确定所述标定球球心的第一位置数据，并根据所述工作状态数据确定所述标定球球心的第二位置数据；根据所述第一位置数据和所述第二位置数据，计算所述相对位姿偏移量。

8、可选地，所述标定工具为标准图像和投影仪；其中，所述投影仪将所述标准图像投射到所述投影面，使得所述投影面呈现所述标准图像对应的投影图像；所述根据所述采样数据和所述工作状态数据，确定所述机械臂和所述3d视觉系统之间的相对位姿偏移量是否大于偏移量阈值，包括：根据所述采样工具所采集的投影图像，计算所述投影面的第一法向量；根据所述3d视觉系统所记录的投影图像，计算所述投影面的第二法向量；根据所述第一法向量和所述第二法向量，计算所述相对位姿偏移量，并确定所述相对位姿偏移量是否大于偏移量阈值。

9、可选地，所述将所述采样数据或工作状态数据进行坐标系转换包括：将所述第一法向量和所述第二法向量进行坐标系转换，使得所述第一法向量和所述第二法向量对应同一坐标系；所述根据所述对应同一坐标系的采样数据和工作状态数据，计算所述相对位姿偏移量包括：根据所述对应同一坐标系的第一法向量和第二法向量，计算所述相对位姿偏移量。

10、可选地，所述投影面为流转箱内分拣包裹的平面；其中，所述流转箱放置在运动的传送带上。

11、可选地，所述根据所述采样数据和所述工作状态数据，确定所述机械臂和所述3d视觉系统之间的相对位姿偏移量是否大于偏移量阈值包括：针对在所述机械臂的每一所述位姿下采集的采样数据和记录的所述工作状态数据：计算所述对应同一坐标系的采样数据和工作状态数据的第二差值，并判断所述第二差值是否小于报警阈值；在所述第二差值小于所述报警阈值的情况下，将所述对应同一坐标系的采样数据和工作状态数据存储到样本容器内；在所述第二差值不小于所述报警阈值的情况下，将所述样本容器内存储的采样数据和工作状态数据清空，并发出报警提示。

12、可选地，在所述第二差值小于所述报警阈值的情况下，将所述对应同一坐标系的采样数据和工作状态数据存储到样本容器内，包括：确定所述采样数据和所述工作状态数据对应的所述机械臂的位姿、与已存储的采样数据和工作状态数据对应的所述机械臂的位姿的差异度；在所述差异度大于差异度阈值的情况下，将所述采样数据和所述工作状态数据存储到所述样本容器内；在所述样本容器内的样本数量满足所述样本阈值的情况下，执行所述根据所述对应同一坐标系的采样数据和工作状态数据，计算所述相对位姿偏移量。

13、可选地，所述根据所述采样工具所采集的投影图像，计算所述投影面的第一法向量包括：根据所述采样工具所采集的投影图像，确定所述投影图像包括投射点的数量和分布是否满足预设要求；在所述投射点的数量和分布满足所述预设要求的情况下，根据所述投影图像以及所述标准图像，确定所述第一法向量；

14、所述根据所述3d视觉系统所记录的投影图像，计算所述投影面的第二法向量包括：根据所述3d视觉系统所记录的投影图像，确定所述投影图像包括投射点的数量和分布是否满足预设要求；在所述投射点的数量和分布满足所述预设要求的情况下，根据所述投影图像以及所述标准图像，确定所述第二法向量。

15、为实现上述目的，根据本发明实施例的又一方面，提供了一种机械臂与3d视觉系统间相对位姿的标定装置。

16、本发明实施例的一种机械臂与3d视觉系统间相对位姿的标定装置包括：采样模块，用于在所述机械臂的运动过程中，利用采样工具采集标定工具在所述机械臂的多个位姿下对应的采样数据，并利用所述3d视觉系统记录所述标定工具在所述机械臂的多个位姿下对应的工作状态数据；比较模块，用于根据所述采样数据和所述工作状态数据，确定所述机械臂和所述3d视觉系统之间的相对位姿偏移量是否大于偏移量阈值；标定模块，用于在所述相对位姿偏移量大于所述偏移量阈值的情况下，在所述机械臂的运动过程中，根据所述采样数据和所述工作状态数据对所述机械臂和所述3d视觉系统之间的相对位姿进行标定。

17、为实现上述目的，根据本发明实施例的又一方面，提供了一种用于标定机械臂与3d视觉系统间相对位姿的电子设备。

18、本发明实施例的一种用于标定机械臂与3d视觉系统间相对位姿的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种机械臂与3d视觉系统间相对位姿的标定方法。

19、为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读存储介质。

20、本发明实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种机械臂与3d视觉系统间相对位姿的标定方法。

21、上述发明中的一个实施例具有如下优点或有益效果：在所述机械臂的运动过程中，利用采样工具采集标定工具在所述机械臂的多个位姿下对应的采样数据，并利用所述3d视觉系统记录所述标定工具在所述机械臂的多个位姿下对应的工作状态数据；根据所述采样数据和所述工作状态数据，确定所述机械臂和所述3d视觉系统之间的相对位姿偏移量是否大于偏移量阈值；在所述相对位姿偏移量大于所述偏移量阈值的情况下，在所述机械臂的运动过程中，根据所述采样数据和所述工作状态数据对所述机械臂和所述3d视觉系统之间的相对位姿进行标定。由此实现了在机械臂工作过程中进行数据采样和记录并根据采样数据和工作状态数据对机械臂和3d视觉系统间的相对位姿进行监控，并在监控到相对位姿出现偏差时对其进行修正，从而避免了相对位姿偏差累积导致的拣选系统故障停机的情况，使得拣选系统能够连续工作，进而整体上提高了拣选效率。

22、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。