增强现实支持的安全平面调整的制作方法

本发明涉及一种包括由机器人控制器控制的机器人和便携式ar（ar，增强现实）设备的机器人系统和经由所述便携式ar设备的物理显示器调整与所述机器人相关联的安全平面的方法。

背景技术：

1、ar作为协助用户进行安装或生产过程、引导游客通过城市等的工具多年来已是广为人知。同样在机器人技术中，ar也被认为是帮助机器人的用户例如为机器人设置工作空间的工具。作为示例，可以提及us2019389066，其公开了用于可视化和修改机器人可操作区域的ar系统。us2019389066中公开的系统包括与机器人控制器通信的ar设备，诸如头戴式耳机。ar设备向用户显示覆盖在机器人和现有固定装置的真实世界图像上的可操作区域，其中显示内容随着用户在机器人工作单元周围移动而更新。虚拟可操作区域上的控制点被显示并且允许用户重塑可操作区域。

2、在us2019389066中公开的ar系统允许用户通过虚拟地移动操作区域的角来塑造可操作区域，然而许多用户发现用该方法限定操作区域较为困难和繁琐。在us2019389066中公开的现有技术的问题在于，通过虚拟地移动操作区域的角来塑造操作区域具有高度灵活性，但随之而来的是对输入的大量处理。

3、现有技术文献us2021237278公开了在机器人的虚拟模型与真实世界机器人之间进行对准之后使用ar来可视化机器人周围的“安全单元”。第二安全单元可被限定为与第一安全单元相距一定距离，并且其间的距离可由用户自由配置。

4、现有技术文献ep2783812公开了一种由数据处理器控制的机器人。所述数据处理器包括：被配置为保持虚拟空间数据的虚拟空间数据保持器，该虚拟空间数据包括虚拟空间中的虚拟对象的信息，该虚拟空间模拟机器人的实际工作空间，该虚拟对象模拟存在于该实际工作空间中的对象；和增强现实空间数据生成器，该增强现实空间数据生成器被配置为通过使用图像数据和虚拟空间数据来生成增强现实空间数据。

5、因此，现有技术公开了如何在ar环境中使安全单元可视化，但是没有涉及如何使用ar设备来调整此类安全单元的单个壁。

技术实现思路

1、本发明的目的是解决关于现有技术的上述问题或现有技术的其他问题。这通过根据独立权利要求的方法和机器人系统来实现，其中从属权利要求描述了根据本发明的机器人和方法的可能的实施方案。

2、本发明的一个方面涉及一种经由便携式ar（ar，增强现实）设备对机器人的安全平面进行ar辅助调整的方法，该便携式ar设备包括物理显示器和相机，其中所述机器人由机器人控制器控制，该方法包括以下步骤：由所述机器人控制器建立相对于所述机器人限定的空间参考系；将所述便携式ar设备通信地连接到所述机器人控制器；经由所述相机记录包括所述机器人的所述便携式ar设备的周围环境；在所述物理显示器上显示所述周围环境的所述记录；根据覆盖所述记录的周围环境的所述空间参考系建立虚拟环境；经由所述物理显示器手动地执行所述安全平面在所述虚拟环境中的所述空间参考系中的位移，并且将所述安全平面的所述移位位置传送到所述机器人控制器。

3、这是有利的并且具有令人惊讶的效果，即整个安全平面可以通过用户的手指经由物理显示器的一次移动而被手动地移位。手动地执行虚拟环境中虚拟地示出的安全平面在ar设备的物理显示器上的位移是有利的，因为其具有这样的效果：用户可以基于来自不同角度的机器人臂的视图来定位安全平面。使用物理显示器进行安全平面的位移具有直观的效果，同时容易监测位移过程，即安全平面移动的步骤。

4、位移可以被解释为沿着空间参考系的一个轴线移动整个安全平面、将空间参考系中的一个位置平移到空间参考系中的另一位置、围绕点或轴线旋转安全平面等。

5、在本文档中，ar辅助应当包括机器人控制软件元件的可视化，其覆盖真实世界物品的记录，使得可以虚拟地看到机器人控制软件的原本不可见的元件。更具体地，可视化的虚拟机器人控制软件元件是安全平面，安全平面的位置可由用户经由ar设备的物理显示器手动地移动，例如通过触摸该显示器，并且随后将新的位置坐标上传到机器人控制软件。

6、在本文档中，安全平面应当包括一组坐标，该组坐标限定了特殊参考系中的平面，该特殊参考系触发机器人控制软件中的反应，诸如改变输出的状态、减小例如与速度、扭矩等有关的操作参数/阈值、改变操作模式为例如安全或停止模式等。

7、在本文档中，空间参考系应包括具有三轴坐标系的笛卡尔坐标系，机器人的不同部分可经由该三轴坐标系定位在空间中、极坐标系、圆柱坐标系、球形坐标系中，或定位在根据机器人臂的关节角度来限定坐标的关节空间中。

8、在本文档中，虚拟环境应当包括叠加在真实世界物品上显示的一个或多个非物理物品。真实世界物品由物理ar设备的相机记录，并且在ar设备的显示器上，虚拟环境叠加记录的真实世界物品。非物理物品包括但不限于机器人控制软件元件，诸如安全平面和关节、工具等的自由度限制，以及虚拟障碍物、有效载荷等。

9、在本文档中，通信地连接应当包括双向数据连接，其中数据能够经由该连接从一个设备流向另一设备。当连接时通信是可能的，这例如可以通过扫描与机器人相关联的qr标签来完成。应当提到的是，在安全平面的创建或位移期间，ar设备与机器人控制器之间的通信可能不发生，然而在创建或位移之前和之后，通信可能发生。

10、在本文档中，所记录的周围环境应当包括ar设备的相机所指向的内容的实况视图，实况视图不一定意味着存储记录。

11、根据实施方案，所述安全平面的所述位移是沿着所述空间参考系中的平移矢量的平移。

12、平移位移应理解为在安全平面的空间中的线性移动。此移动可相对于以机器人基座、机器人周围环境中的物理对象、机器人工具或工具凸缘等为中心或围绕它们的坐标系。

13、根据实施方案，所述平移矢量是所述平面的法向矢量。

14、根据实施方案，所述安全平面的所述位移是围绕所述空间参考系中的旋转矢量的旋转。

15、旋转位移应被理解为围绕空间参考系中的轴线的旋转。应当提到的是，安全平面的旋转也可以围绕特殊参考系中的点。

16、根据实施方案，所述旋转矢量是位于所述平面上的平面矢量。

17、根据实施方案，所述空间参考系是具有x轴、y轴和z轴的笛卡尔坐标系。

18、根据实施方案，所述平移矢量平行于所述x轴、y轴和z轴中的一个。

19、根据实施方案，所述旋转矢量平行于所述x轴、y轴和z轴中的一个。

20、根据实施方案，所述旋转矢量具有与所述x轴、y轴和z轴中的一个的单位矢量相同的原点和方向。

21、根据实施方案，所述特殊参考系是以机器人基座参考点为原点的机器人基座坐标系。

22、使用机器人基座坐标系是有利的，因为其具有以下效果：例如在机器人控制软件中限定的安全平面的坐标之间的平移容易转移到ar软件，并且反之亦然。

23、根据实施方案，所述安全平面的所述位移是仅在所述机器人基座坐标系的三个轴线中的一个轴线上的位移。

24、仅在一个平面中（即，沿着机器人基座坐标系中的三个轴线x、y和z中的一个）移位是有利的，因为其具有降低ar软件的复杂性并且因此降低ar设备处的处理器要求的效果。

25、根据实施方案，所述安全平面的所述位移是整个安全平面在所述安全平面的法向矢量的方向上的位移。

26、这意味着如果例如安全平面沿着z轴向上移动，则限定该平面的所有坐标对的z值将改变，x值和y值将不改变。

27、移位整个平面（在ar视图中仅部分可见）是有利的，因为不需要建立安全平面可经由其移动的安全平面调整点，诸如安全平面的每个角。因此，安全平面的位移可以快速完成，而没有不移位整个安全平面的风险。

28、安全平面的位移通常在给定平面的法向矢量的方向（正方向或负方向）上，即垂直于平面的范围。因此，如果平面沿x轴和y轴延伸，则法向矢量将沿z轴延伸。因此，限定安全平面的所有坐标对的x坐标、y坐标和z坐标中只有一个坐标将由于位移而改变。在该示例中，z是唯一变化的坐标。

29、根据实施方案，所述安全平面的所述位移是整个安全平面围绕所述x轴、y轴或z轴中的一个的位移。

30、这意味着，如果例如安全平面围绕z轴旋转，则除了安全平面围绕其旋转的z轴的x值和y值之外，所有坐标对的x值和y值将改变。

31、围绕轴线移位安全平面，即改变其余两个轴线的值是有利的，因为其具有以下效果：当移位该平面时，该平面不倾斜，即如果在移位之前平行于机器人臂，在移位之后，安全平面仍然平行于机器人臂。

32、根据实施方案，所述安全平面的所述位移是整个安全平面相对于所述笛卡尔坐标系中的一个点的位移。

33、这意味着，如果例如安全平面围绕空间中的点旋转，则除了安全平面围绕其旋转的空间中的点的x值、y值和z值之外，安全平面的x、y和z的所有值都改变。

34、围绕一点移位安全平面是有利的，因为其具有以下效果：整个安全平面可以通过来自ar设备的用户的一次移动而沿着所有轴线移位。

35、根据实施方案，所述位移以至少1厘米、至少5厘米或至少10厘米的步长进行。

36、根据实施方案，所述位移以至少1度、至少5度或至少10度的步长进行。

37、根据实施方案，所述位移以90度的步长进行。

38、通过90度旋转，安全平面可以从一个平面（x、y、z）改变到另一个平面。这具有快速地将安全平面的位置从一个平面改变到另一平面的效果。安全平面也可以从一个平面复制并插入另一平面。

39、如果安全平面不平行于和/或垂直于平面x、y和z中的一个，则在ar设备的显示器上的点击将使安全平面与x、y和z中最靠近安全平面的当前位置的平面对齐。进一步点击可以将安全平面的位置从一个平面中的位置改变到另一平面中的位置。新位置到机器人基座的相对距离可与到其原始位置的距离相同。

40、应当提到的是，安全平面的位置可以被存储并且因此允许用户撤销安全平面的位移以达到安全平面的更简单和更快的调整。

41、应当提到的是，可以在关节空间中建立调整，即空间参考系可以是指关节空间。因此，可以在关节空间中围绕关节（轴线、轴等）进行调整（创建、移动、旋转等）。

42、根据实施方案，所述用户可以撤销位移步骤。

43、撤销位移步骤（例如在ar设备的显示器上的一次点击）的可能性是有利的，因为其具有以下效果：总是存储最后使用的位置，并且安全平面可以自动地移动回到该位置。

44、根据实施方案，安全平面的所述位移需要停止所述机器人臂的移动。

45、当机器人不移动时仅使安全平面移位是有利的，因为这降低了用户误解机器人的安全设置（例如在控制软件中限定的安全设置）的风险。

46、根据实施方案，安全平面的所述位移需要在所述ar设备的所述物理显示器上的点击保持滑动手势。

47、根据实施方案，第一安全平面和第二安全平面相连，使得所述第一安全平面的移动也会使所述第二安全平面移动。

48、这是有利的，因为然后两个安全平面可以通过一个相同的移动被移位。这是进一步有利的，因为两个安全平面然后可以围绕空间中的点（诸如两个安全平面之间的交叉点）一起旋转。

49、需注意，如果限定了两个或更多个平面，则它们不需要促进机器人做出相同的反应。因此，一个安全平面可降低机器人臂的速度，而另一安全平面可使机器人处于软停止模式。

50、根据实施方案，安全平面是经由所述ar设备建立的。

51、建立应当被理解为创建。新的安全平面可以在显示器上相对于例如机器人基座、平行或垂直于ar设备等的预定位置中显示给用户。

52、这是有利的，因为其具有以下效果：安全平面可以经由ar设备从对机器人及其周围环境的视觉观察来创建，其可以被实现为平板电脑。可以通过点击ar软件的右菜单中的显示来进行创建。安全平面的范围可以由ar软件基于机器人的信息自动生成。因此，根据实施方案，仅相对于机器人或物理物品的距离应当由用户确定。

53、因此，调整应理解为安全平面的创建和/或位移/定位。

54、根据实施方案，所述物理显示器中的所述安全平面的所述可视化被限制于所述机器人臂的可达范围。

55、限制安全平面的可视化的范围是有利的，因为其具有如下效果：安全平面的理论上在平面中无限延伸的不相关部分不被可视化，从而建立安全平面的更有用和更不混乱的可视化。

56、根据实施方案，所述虚拟环境包括在包括x平面、y平面和z平面的列表的平面中的至少两个平面中的安全平面。

57、安全平面可以根据当其移位时改变值的坐标的平面来限定。因此，安全平面可以存在于x平面、y平面和z平面中，即沿着x轴、y轴或z轴。

58、根据实施方案，在包括平面x、平面y和平面z的列表的平面中的至少一个平面中存在两个平行的安全平面。

59、在相同的x平面、y平面或z平面中具有两个平行的安全平面是有利的，因为其具有以下效果：机器人轨迹可以被限制到狭窄的走廊，例如以限制其轨迹停留在工作台的两侧之间。在例如x平面和y平面两者中具有两个平行的安全平面将限制机器人臂到例如由工作台的四侧限定的盒状空间的移动。在z平面中添加安全平面将封闭机器人臂的该盒状工作空间。

60、根据实施方案，所述安全平面是从所述机器人控制器导入的。

61、根据实施方案，所述安全平面是经由所述ar设备的所述物理显示器创建的，并且在得到用户批准时被上传到所述机器人控制器。

62、根据实施方案，所述ar设备从所述机器人控制器接收机器人识别信息。

63、这是有利的，因为其具有以下效果：例如机器人的尺寸将被ar设备知晓。此外，还可以从机器人向ar设备提供用于通信地连接ar设备和机器人控制器的信息。

64、根据实施方案，所述机器人是机器人臂或自动引导车辆。

65、工业机器人臂可以是能够以协作模式运行的任何机器人臂，例如大型重型机器人或小型轻型机器人。

66、根据实施方案，安全平面自动与由ar设备记录的真实世界物品相关联。

67、自动地创建与例如由ar设备记录的工作台相关联的安全平面是有利的，因为用户不需要创建安全平面。用户可能需要执行对自动创建的安全平面的调整。

68、经由ar设备创建安全平面可以自动地将安全平面定位成与在机器人臂的可达范围内的诸如工作台的物理物品对齐。基于周围环境的记录，ar软件可以建议一个给定高度的z平面安全平面，延续工作台表面、平行或垂直于工作台表面等。

69、根据实施方案，确定虚拟环境中的区域扫描器的位置。

70、根据实施方案，所述区域扫描器和所述ar设备通信地连接。

71、这是有利的，因为其具有以下效果：由区域扫描器扫描的区域可以在显示器上可视化。此外，如果区域扫描器通信地连接到ar设备，则用户能够经由ar设备的显示器上的可视化扫描区域来调整由区域扫描器扫描的区域。

72、根据实施方案，所述虚拟环境包括至少一个安全平面。

73、根据实施方案，本发明涉及在根据段落[0080]至[0091]中描述的机器人系统上实施的根据段落[0007]至[0079]中描述的方法。

74、此外，本发明的一个方面涉及一种对机器人的安全平面进行ar辅助调整的系统，该系统包括：机器人控制器，该机器人控制器被配置用于控制所述机器人并且建立相对于所述机器人限定的空间参考系。ar设备，具有物理显示器和相机，被配置用于：通信地连接到机器人控制器，经由相机记录包括机器人的便携式设备的周围环境，在物理显示器上显示周围环境的记录，并且根据空间参考系建立虚拟环境；以及通过将虚拟环境覆盖在所记录的周围环境上，在物理显示器上显示虚拟环境。其中虚拟环境包括安全平面，并且用户能够经由物理显示器执行安全平面在虚拟环境中的空间参考系中的位移，并且将安全平面的移位位置传送到机器人控制器。

75、段落[0080]中描述的机器人系统可以根据段落[0008]至[0079]中描述的方法来控制。

76、根据实施方案，特殊参考系是以机器人基座参考点为原点的机器人基座坐标系。

77、根据实施方案，安全平面的位移是仅在机器人基座坐标系的三个轴线中的一个轴线上的位移。

78、根据实施方案，安全平面的位移是整个安全平面在安全平面的法向矢量的方向上的位移。

79、根据实施方案，安全平面的位移需要停止机器人臂的移动。

80、根据实施方案，安全平面是经由ar设备建立的。

81、根据实施方案，物理显示器中的安全平面的可视化被限制于机器人臂的可达范围。

82、根据实施方案，存在两个平行的安全平面。两个平行的安全平面可以相对于机器人存在，并且两个平行的安全平面例如可以存在于包括平面x、平面y和平面z的列表中的平面中的至少一个平面。

83、根据实施方案，安全平面自动与由ar设备记录的真实世界物品相关联。

84、根据实施方案，机器人是机器人臂。

85、根据实施方案，机器人是自动引导车辆。