通过利用视觉伺服的演示的机器人教导的制作方法

本发明涉及工业机器人编程领域，更具体地，涉及一种用于对机器人进行编程以执行工件拾取/移动/放置操作的方法，包括演示阶段，其中相机检测人手抓取并移动工件以限定粗略轨迹，并且在演示阶段期间收集的工件上的几何特征被用于工件的最终放置位置的基于图像的视觉伺服改进。

背景技术：

1、使用工业机器人重复地执行大范围的制造、组装和材料移动操作是众所周知的。然而，使用传统方法教导机器人执行甚至相当简单的操作-诸如在传送机上以随机位置和定向拾取工件并且将工件移动到料箱或第二传送机-是无知觉、耗时和/或昂贵的。

2、传统上，机器人被教导为由人类操作者使用示教盒来执行上述类型的拾取和放置操作。示教盒由操作者使用，以指示机器人进行增量移动-例如“在x方向慢进”或“绕局部z轴旋转夹具”，直到机器人及其夹具处于正确的位置和方位以夹持工件。然后，机器人控制器记录机器人配置以及工件位置和姿态，以用于“拾取”操作。然后，类似的示教盒命令被用于定义“移动”和“放置”操作。然而，经常发现使用示教盒对机器人进行编程是非直观的、容易出错的和耗时的，尤其是对于非专业操作者。

3、另一种已知的教导机器人执行拾取和放置操作的技术是使用运动捕捉系统。运动捕捉系统由多个相机构成，这些相机排列在工作单元周围，以在操作者操纵工件时记录操作者和工件的位置和定向。操作者和/或工件可以具有附加的可唯一识别的标记点，以便在执行操作时更精确地检测相机图像中操作者和工件上的关键位置。然而，这种类型的运动捕捉系统是昂贵的，并且难以且耗时地精确设置和配置以使得所记录的位置是准确的。

4、通过人类演示进行机器人教导也是已知的，但是可能缺乏精确放置工件所需的位置精度，而这对于诸如元件安装和组装的应用是需要的。

5、鉴于上述情况，需要一种改进的机器人教导技术，其对于人类操作者来说执行起来简单且直观，并且具有机器人安装和装配操作所需的精度。

技术实现思路

1、根据本公开的教导，公开了一种用于基于利用来自相机的图像的人类演示来教导和控制机器人执行操作的方法。该方法包括演示阶段，其中相机检测人手抓取并移动工件以限定工件的机器人移动的粗略轨迹。在演示阶段期间收集的工件上的线特征或其它几何特征用于基于图像的视觉伺服(ibvs)接近，其改进工件的最终放置位置，其中ibvs控制在机器人的最终接近期间接管工件放置。使用移动对象检测来自动定位2d图像空间中的对象和手的位置，然后通过使用手关键点检测移除属于手的线特征来识别工件上的线特征。

2、结合附图，根据以下描述和所附权利要求，当前公开的装置和方法的附加特征将变得显而易见。

技术特征：

1.一种用于通过人类演示对机器人进行编程以执行操作的方法，所述方法包括：

2.根据权利要求1所述的方法，其中所述工件上的所述几何特征包括点、线、弧、椭圆、圆柱和不规则形状中的一个或多个。

3.根据权利要求1所述的方法，其中，在所述相机图像的图像平面坐标中识别所述工件上的所述几何特征、所述几何特征的所述当前位置和所述目标位置。

4.根据权利要求1所述的方法，其中，当确定所述工件、所述手或两者已经停止移动时，完成所述操作的演示。

5.根据权利要求1所述的方法，其中，识别所述演示数据中的所述工件上的几何特征包括使用移动对象检测来裁剪每个图像帧，以仅包括所述图像帧中的自前一图像帧以来已经改变的部分。

6.根据权利要求5所述的方法，其中，对二维(2d)颜色/强度数据和三维(3d)深度数据两者执行所述移动对象检测，并且所述图像帧被裁剪为包括在所述2d数据和所述3d数据两者中改变的像素。

7.根据权利要求1所述的方法，其中，识别所述演示数据中的所述工件上的几何特征包括在识别所述工件上的几何特征之前移除所述人手的几何特征。

8.根据权利要求7所述的方法，其中，移除所述人手的几何特征包括移除位于所述手的食指和小指之间的几何特征，以及移除位于所述手的所述食指或拇指的预定距离公差内的几何特征。

9.根据权利要求1所述的方法，其中，基于在所述演示数据中识别的所述手的两个或更多个手指上的关键点来计算所述手坐标框架，其中，所述关键点包括指关节。

10.根据权利要求1所述的方法，其中，使用ibvs来操纵所述夹具包括基于所述几何特征的所述当前位置和所述目标位置之间的图像平面坐标的差来生成机器人控制信号。

11.根据权利要求1所述的方法，其中，演示所述操作包括经由机械特征的接合将所述工件安装在组件中，并且由所述机器人控制器进行的所述ibvs控制致使所述夹具经由所述机械特征的接合将所述工件安装在所述组件中。

12.根据权利要求11所述的方法，还包括：连续地重复执行所述程序，以及通过所述控制器使用ibvs控制在所述工件和所述组件的新的实例上操纵所述夹具。

13.一种用于通过人类演示对机器人进行编程以执行安装操作的方法，所述方法包括：

14.一种用于通过人类演示对机器人进行编程以执行操作的系统，所述系统包括：

15.根据权利要求14所述的系统，其中，所述工件上的所述几何特征包括点、线、弧、椭圆、圆柱和不规则形状中的一个或多个。

16.根据权利要求14所述的系统，其中，识别所述演示数据中的所述工件上的几何特征包括使用移动对象检测来裁剪每个图像帧，以仅包括所述图像帧中的自前一图像帧以来已经改变的部分。

17.根据权利要求14所述的系统，其中，识别所述演示数据中所述工件上的几何特征包括在识别所述工件上的几何特征之前移除所述人手的几何特征，包括：移除位于所述手的食指和小指之间的几何特征，以及移除位于所述手的所述食指或拇指的预定距离公差内的几何特征。

18.根据权利要求14所述的系统，其中，使用ibvs来操纵所述夹具包括基于所述几何特征的所述当前位置和所述目标位置之间的图像平面坐标的差来生成机器人控制信号。

19.根据权利要求14所述的系统，其中，演示所述操作包括经由机械特征的接合将所述工件安装在组件中，并且由所述机器人控制器进行的所述ibvs控制致使所述夹具经由所述机械特征的接合将所述工件安装在所述组件中。

20.根据权利要求19所述的系统，还包括：连续地重复执行所述程序，以及使用ibvs控制在所述工件和所述组件的新实例上操纵所述夹具。

技术总结
一种用于基于利用来自相机的图像的人类演示来教导和控制机器人执行操作的方法。该方法包括演示阶段，其中相机检测人手抓取并移动工件以限定工件的机器人移动的粗略轨迹。在演示阶段期间收集的工件上的线特征或其它几何特征用于基于图像的视觉伺服(IBVS)接近，其改进工件的最终放置位置，其中IBVS控制在机器人的最终接近期间接管工件放置。使用移动对象检测来自动定位2D图像空间中的对象和手的位置，然后通过使用手关键点检测移除属于手的线特征来识别工件上的线特征。

技术研发人员：王凯濛,加藤哲朗
受保护的技术使用者：发那科株式会社
技术研发日：
技术公布日：2024/1/13