用于机器人过程自动化的系统和方法与流程

本发明涉及用于机器人过程自动化的系统和方法，并且特别地，涉及机器人过程自动化机器人的自动训练。

背景技术：

1、人类引导的计算机过程在许多技术领域和努力中无处不在。现代图形用户界面(gui)已被证明在允许人类操作者使用计算机系统来执行通常复杂的数据处理和/或系统控制任务方面是极其宝贵的。然而，虽然gui通常允许人类操作者迅速地习惯于执行新任务，但是它们对任务的任何进一步自动化提供了高障碍。

2、传统的工作流自动化旨在使用gui来获取通常由操作者执行的任务并使它们自动化，以使得计算机系统可以执行相同的任务，而无需对用于执行该任务的底层软件进行显著的再设计。最初，这需要展示软件的应用编程接口(api)，使得脚本可以被手动地设计成执行软件的所需功能以便执行所需任务。

3、机器人过程自动化(rpa)系统代表了这种方法的发展，并且使用软件代理(被称为rpa机器人)来经由现有的图形用户界面(gui)与计算机系统交互。rpa机器人然后可以生成用于gui的适当输入命令，以使得计算机系统执行给定过程。这使得过程自动化，将有人值守过程变成无人值守过程。这种方法的优点是众多的，并且包括允许多个rpa机器人跨多个计算机系统执行相同任务的更大的可扩展性，以及由于给定过程中的人为错误的可能性被减少或甚至被消除而具有更大的可重复性。

4、然而，训练rpa机器人以执行特定任务的过程可能是繁琐的，并且需要人类操作者使用rpa系统本身来在特定过程中编程，以使用rpa系统具体地识别每个单独的步骤。还要求人类操作者识别要交互的gui的特定部分，并构建rpa机器人使用的工作流程。

技术实现思路

1、本发明提供了一种仅基于对使用gui的操作者的视频和在执行过程时由操作者触发的事件(或输入)的分析训练rpa机器人使用gui执行任务的方法。这样，可以避免现有技术中关于rpa机器人训练的上述问题。

2、在第一方面，提供了一种训练rpa机器人(或脚本或系统)以使用gui的方法。所述方法包括以下步骤：捕获当操作者(或用户)使用gui执行过程(或任务)时所述gui的视频；捕获当操作者使用gui执行所述过程时触发的事件的序列，以及分析所述视频和所述事件的序列，从而生成工作流。所述工作流是这样的，当由rpa机器人执行时，使得rpa机器人使用gui执行所述过程。捕获的步骤可以由远程桌面系统执行。

3、所述分析的步骤还可以包括以下步骤：从所述视频识别所述gui的一个或多个交互式元素，以及将所述事件的序列中的各个事件的至少一个匹配为对应于所述一个或多个交互式元素中的至少一个。交互式元素可以是任何典型的gui元素，诸如(但不限于)文本框、按钮、上下文菜单、选项卡、单选按钮(或其阵列)、复选框(或其阵列)等。所述识别交互式元素的步骤可以通过将已训练的机器学习算法应用于视频的至少一部分来执行。

4、识别交互式元素可以包括：识别所述gui中的一个或多个锚元素相对于所述交互式元素的位置。例如，机器学习算法(诸如图形神经网络)可以用于基于一个或多个预定特征值来识别所述一个或多个锚元素。所述特征值还可以经由机器学习算法的训练来确定。

5、所述特征值可以包括以下中的任何一个或多个：各个元素之间的距离、元素的定向；以及各个元素是否在相同的窗口中。

6、所述事件的序列可以包括以下中的任何一个或多个：按键事件；点击事件(诸如单击或其多次)；拖动事件；以及手势事件。基于视频的推断事件(诸如悬停事件)也可以被包括在所述事件的序列中。通常，悬停事件可以基于一个或多个界面元素在gui中变得可见来推断。

7、所述分析的步骤还可以步包括：识别所述过程的子过程的序列。在子过程的序列中，rpa机器人可使用所述序列中的各个子序列的一个的过程输出作为所述序列中的另一子过程的过程输入。

8、所生成的工作流是可由用户编辑以使得能够包括先前生成的工作流的与另一子过程相对应的部分，使得所述编辑的工作流在由rpa机器人执行时使rpa机器人使用gui来执行所述过程的版本，所述过程的所述版本包括另一子过程。所述过程的所述版本可以包括替代所述过程的现有子过程的另一子过程。

9、在第二方面，提供了使用gui来执行过程的方法，其使用由根据上述第一方面的方法训练的rpa机器人。具体地，所述方法可以包括：所述rpa机器人基于工作流中指定的相应锚元素来重新识别所述gui中的一个或多个交互式元素。机器学习算法(例如图形神经网络)可以用于基于一个或多个预定特征值(例如作为第一方面的方法的一部分确定的那些)来重新识别所述一个或多个交互式元素。

10、还提供了布置为执行上述方法中的任何方法的系统和设备。例如，提供了一种用于训练rpa机器人(或脚本或系统)以使用gui的系统。所述系统布置为捕获当操作者(或用户)使用gui执行过程(或任务)时gui的视频，以及捕获当所述操作者使用所述gui执行所述过程时触发的事件的序列。该系统还包括工作流生成模块，其布置为分析所述视频和所述事件的序列，从而生成工作流。

11、本发明还提供了适于由一个或多个处理器执行的一个或多个计算机程序，这种计算机程序布置成实施上文概述和本文描述的方法。本发明还提供了一个或多个计算机可读介质和/或通过网络承载的数据信号，其包括(或在其上存储)这样的一个或多个计算机程序。

技术特征：

1.一种训练rpa机器人使用gui的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述分析进一步包括：

3.根据权利要求1或2所述的方法，其中，识别交互式元素是通过将经训练的机器学习算法应用于所述视频的至少一部分来执行的。

4.根据任一前述权利要求所述的方法，其中，识别交互式元素包括识别所述gui中的一个或多个锚元素相对于所述交互式元素的位置。

5.根据权利要求4所述的方法，其中，机器学习算法被用于基于一个或多个预定特征值来识别所述一个或多个锚元素。

6.根据权利要求5所述的方法，其中，所述特征值是经由所述机器学习算法的训练来确定的。

7.根据权利要求5或6所述的方法，其中，所述特征值包括以下中的任何一个或多个：

8.根据任一前述权利要求所述的方法，其中，所述事件的序列包括以下中的任何一个或多个：

9.根据任一前述权利要求所述的方法，包括：基于所述视频在所述事件的序列中包括一个或多个推断的事件。

10.如权利要求9所述的方法，其中，基于一个或多个界面元素在所述gui中变得可见来推断悬停事件。

11.根据任一前述权利要求所述的方法，其中所述分析的步骤包括：

12.根据权利要求11所述的方法，其中，所述序列的各个子过程中的一个的过程输出被rpa机器人用作所述序列的另一子过程的过程输入。

13.根据权利要求11或权利要求12所述的方法，还包括：编辑所生成的工作流以包括先前生成的工作流的与另一子过程相对应的部分，使得所编辑的工作流当由rpa机器人执行时使所述rpa机器人使用所述gui来执行所述过程的版本，所述过程的所述版本包括所述另一子过程。

14.如权利要求13所述的方法，其中，所述过程的所述版本包括代替所述过程的现有子过程的另一子过程。

15.根据任一前述权利要求所述的方法，其中，使用远程桌面系统来捕获所述视频和/或所述事件的序列。

16.一种使用gui执行过程的方法，所述方法使用由根据权利要求1所述的方法训练的rpa机器人。

17.根据权利要求16所述的方法，还包括：所述rpa机器人基于工作流中指定的相应锚元素来重新识别所述gui中的一个或多个交互式元素。

18.根据权利要求17所述的方法，其中，机器学习算法用于基于一个或多个预定特征值来重新识别所述一个或多个交互式元素。

19.根据权利要求18所述的方法，其中，所述特征值是经由所述机器学习算法的训练来确定的。

20.根据权利要求18或19所述的方法，其中，所述特征值包括以下中的任何一个或多个：

21.一种布置成执行根据权利要求1至20中任一项所述的方法的设备。

22.一种计算机程序，所述计算机程序当由处理器执行时使所述处理器执行根据权利要求1至20中任一项所述的方法。

23.一种计算机可读介质，其存储根据权利要求22所述的计算机程序。

技术总结
公开了一种训练RPA机器人使用GUI的方法。所述方法包括：捕捉当操作者使用GUI执行过程时所述GUI的视频；捕获当所述操作者使用所述GUI执行所述过程时触发的事件的序列；以及分析所述视频和所述事件的序列，从而生成工作流。所述工作流当由RPA机器人执行时使所述RPA机器人使用所述GUI执行所述过程。

技术研发人员：雅克·卡利,克里舍娜·杜巴,本·卡尔,吉列姆·库库鲁利,乌米特·鲁森·阿克塔斯
受保护的技术使用者：蓝色棱镜有限公司
技术研发日：
技术公布日：2024/1/12