用于控制机器人来操纵、尤其是拾取对象的方法与流程

本公开涉及用于控制机器人来操纵、尤其是拾取对象的方法。

背景技术：

1、存在多种方法，以便在通过机器人拾取对象时识别用于抓取的最有希望的对象部位，例如以将对象从容器中取出。这些方法通常使用场景的rgbd图像(即具有颜色信息和深度信息的图像)来工作，其中，在一些情况下，rgb图像或者深度图像就够用。此外，这些方法中的大多数都依赖于ki(ai)方法，诸如使用神经网络来学习输入数据与有希望的抓取点之间的分配。因而，非常重要的是：这些ki方法可以可靠地识别在对象表面上的可抓取区域。然而对于ki而言，ki方法的一大挑战就这方面来说在于：学习当要以特定方式抓取对象时或者当要避免可能容易损坏的特定区域时可以如何抓取对象。虽然从人类的角度来看，这项任务通常微不足道，但是难以预先规定机器学习模型可以考虑的一般标准。

2、因此，值得期望的是如下方法，这些方法能够实现机器人对对象的自动拾取，其中，该机器人考虑在拾取时应该避免或者优选对象的哪些部位。

技术实现思路

1、按照各种实施方式，提供了一种用于控制机器人来操纵、尤其是拾取对象的方法，该方法具有：

2、获取显示对象的图像；

3、从该图像生成操纵质量图像，其中，针对表示对象的表面上的部位的每个像素，该像素的像素值说明了在该部位可以多好地操纵对象的估计；

4、记录对象的根据用户输入应该在操纵时使用的部位和/或根据用户输入应该在操纵时避免的部位的描述符；

5、将该图像映射到描述符图像；

6、通过将部位的所记录的描述符与该描述符图像进行对比，生成操纵偏好图像，其中，针对表示对象的表面上的部位的每个像素，该像素的像素值说明了对是否应该在该部位操纵该对象的估计；

7、在考虑该操纵质量图像的像素值和该操纵偏好图像的像素值的情况下，选择用于操纵该对象的部位；而且

8、控制该机器人，以在所选择的部位操纵该对象。

9、上述方法能够在不仅可以被良好操纵(关于其几何或物理特性，例如没有边缘，不太粗糙)而且(根据用户输入以及借此用户偏好)应该被操纵的部位上进行操纵，或者能够避免在从用户的角度应该避免的部位上进行操纵。

10、操纵尤其可以是指拾取(例如抓取或者还有在吸力抓具的情况下吸住)。下文描述的在拾取时的挑战以及按照各种实施方式按如下规定的措施可以与在拾取时一样也发生于其它活动，如旋转钥匙、按压按钮或者拉动控制杆，或者在那里成功应用。

11、在此，对用于操纵的部位的检测逐像素地(例如针对输入图像的像素，但是也可以在创建操纵质量图像和操纵偏好图像时进行分辨率更改，例如这两个图像可以具有降低的分辨率)进行。

12、在下文说明了各种实施例。

13、实施例1是一种用于控制机器人来操纵、尤其是拾取对象的方法，如上所述。

14、实施例2是根据实施例1所述的方法，其中，该操纵质量图像借助于第一神经网络来生成，该第一神经网络被训练用于将对象的图像和/或从对象的图像中得出的信息映射到操纵质量图像，和/或其中，该图像借助于第二神经网络被映射到描述符图像，该第二神经网络被训练用于将对象的图像映射到描述符图像。

15、神经网络的使用能够高效地执行相应的任务以生成该操纵质量图像或该操纵偏好图像。为此，(输入)图像可以包含颜色信息(或者也可以灰度值)和/或深度信息。

16、实施例3是根据实施例1或2所述的方法，该方法具有：将该操纵质量图像和该操纵偏好图像组合；并且在使用该组合的情况下，选择用于操纵该对象的部位。

17、借此，(例如通过逐像素的组合)生成组合图像，使得能够通过在该组合图像中搜索部位(例如根据操纵质量或偏好或者它们的组合的编码，通过搜索最大像素值或最小像素值)来找到良好地适合于操纵、尤其是拾取(抓取或吸住)对象的部位。

18、实施例4是根据实施例1至3中任一项所述的方法，其中对是否应该在该部位操纵对象的估计是在描述符图像中被分配给该部位的描述符与所记录的描述符之一的匹配程度。由于给该对象的每个部位都分配(输入)图像中的像素并且这被映射到描述符图像，所以相对应地给该对象的每个部位分配描述符图像中的像素并且借此也分配描述符(该描述符是该像素的像素值)。类似地，该对象的部位通过在这里使用和生成的各种图像中的像素来表示或者给这些部位分配(像素)值。

19、借此，在该估计中，也表达了是应该避免部位还是应该使用部位的不确定性。在选择用于操纵的部位时，可以通过相对应地考虑操纵质量值的像素值来考虑该不确定性。

20、实施例5是根据实施例1至4中任一项所述的方法，该方法具有：通过为每个所记录的描述符形成描述符匹配度图像，生成操纵质量图像，其中，针对表示对象的表面上的部位的每个像素，该像素的像素值说明了在描述符图像中被分配给该部位的描述符与所记录的描述符的匹配程度；并且将描述符匹配度图像组合成该操纵质量图像。

21、例如，可以将这些描述符匹配度图像(例如“热图(heatmaps)”)组合，其方式是逐像素地在这些描述符匹配度图像中取最大值(或者也可以最小值，视在像素值中的匹配的编码而定)。这能够高效地生成该操纵质量图像。

22、实施例6是根据实施例5所述的方法，该方法具有：通过如下方式来将该操纵质量图像和该操纵偏好图像组合：逐像素乘法；逐像素求最大值；逐像素求最小值；排除该操纵质量图像说明操纵质量低于指定的最低质量的部位；排除该操纵偏好图像说明与针对根据用户输入应该在操纵时使用的部位所记录的描述符的匹配度低于指定的最低匹配度的部位；和/或排除该操纵偏好图像说明与针对根据用户输入应该在操纵时避免的部位所记录的描述符的匹配度高于指定的最高匹配度的部位。

23、通过这些方式，可以高效地生成组合图像，该组合图像说明了不仅可以而且应该在其上操纵该对象的部位。

24、实施例7是一种机器人控制装置，该机器人控制装置被设立为执行根据实施例1至6中任一项所述的方法。

25、实施例8是一种计算机程序，该计算机程序具有指令，当这些指令由处理器执行时，这些指令引起：该处理器执行根据实施例1至6中任一项所述的方法。

26、实施例9是一种计算机可读介质，该计算机可读介质存储指令，当这些指令由处理器执行时，这些指令引起：该处理器执行根据实施例1至6中任一项所述的方法。

技术特征：

1.一种用于控制机器人来操纵、尤其是拾取对象的方法，所述方法具有：

2.根据权利要求1所述的方法，其中，所述操纵质量图像借助于第一神经网络来生成，所述第一神经网络被训练用于将对象的图像和/或从对象的图像中得出的信息映射到操纵质量图像，和/或其中，所述图像借助于第二神经网络被映射到所述描述符图像，所述第二神经网络被训练用于将对象的图像映射到描述符图像。

3.根据权利要求1或2所述的方法，所述方法具有：将所述操纵质量图像和所述操纵偏好图像组合；并且在使用所述组合的情况下，选择用于操纵所述对象的部位。

4.根据权利要求1至3中任一项所述的方法，其中对是否应该在所述部位操纵所述对象的估计是在所述描述符图像中被分配给所述部位的描述符与所记录的描述符之一的匹配程度。

5.根据权利要求1至4中任一项所述的方法，所述方法具有：通过为每个所记录的描述符形成描述符匹配度图像，生成所述操纵质量图像，其中，针对表示所述对象的表面上的部位的每个像素，所述像素的像素值说明了在所述描述符图像中被分配给所述部位的描述符与所记录的描述符的匹配程度；并且将描述符匹配度图像组合成所述操纵质量图像。

6.根据权利要求5所述的方法，所述方法具有：通过如下方式来将所述操纵质量图像和所述操纵偏好图像组合：逐像素乘法、逐像素求最大值、逐像素求最小值；排除所述操纵质量图像说明操纵质量低于指定的最低质量的部位；排除所述操纵偏好图像说明与针对根据用户输入应该在操纵时使用的部位所记录的描述符的匹配度低于指定的最低匹配度的部位；和/或排除所述操纵偏好图像说明与针对根据用户输入应该在操纵时避免的部位所记录的描述符的匹配度高于指定的最高匹配度的部位。

7.一种机器人控制装置，所述机器人控制装置被设立为执行根据权利要求1至6中任一项所述的方法。

8.一种计算机程序，所述计算机程序具有指令，当所述指令由处理器执行时，所述指令引起：所述处理器执行根据权利要求1至6中任一项所述的方法。

9.一种计算机可读介质，所述计算机可读介质存储指令，当所述指令由处理器执行时，所述指令引起：所述处理器执行根据权利要求1至6中任一项所述的方法。

技术总结
按照各种实施方式，描述一种用于控制机器人来操纵、尤其是拾取对象的方法，具有：获取显示对象的图像；从该图像生成操纵质量图像，其中针对表示对象的表面上的部位的每个像素，像素的像素值说明在该部位可以多好地操纵对象的估计；记录对象的根据用户输入应该在操纵时使用的部位和/或根据用户输入应该在操纵时避免的部位的描述符；将该图像映射到描述符图像；通过将部位的所记录的描述符与描述符图像对比，生成操纵偏好图像，其中针对表示对象的表面上的部位的每个像素，像素的像素值说明对是否应该在该部位操纵对象的估计；考虑操纵质量图像的像素值和操纵偏好图像的像素值来选择用于操纵对象的部位；而且控制机器人，以在选择的部位操纵对象。

技术研发人员：A·G·库普奇科,C·格拉夫,M·加布里尔,P·C·席林格
受保护的技术使用者：罗伯特·博世有限公司
技术研发日：
技术公布日：2024/1/15