基于归一化向量表示的RPA元素位置关系建模方法及系统与流程

本发明涉及rpa，具体涉及基于归一化向量表示的rpa元素位置关系建模方法及系统。

背景技术：

1、机器人流程自动化技术（robotic process automation，简称rpa）是一种用于企业规则化、重复性工作替代的有效技术，目前正广泛应用于各行各业的财务、税务、审批、风控、运营、物流、广告等业务中。rpa技术提供了可视化的流程编辑器，开发人员可以在流程编辑器上设计和配置出能够在企业业务系统中自动执行的流程脚本；在脚本执行过程中，则通过模拟键盘、鼠标操作、调用操作系统接口、分析网页结构等手段，来模拟人类的按钮点击、键盘输入、文件创建、网页跳转、逻辑判断等动作。

2、rpa技术的核心是对计算机软件界面上的各类元素，例如按钮、文字、搜索框、输入框、可操作区域等，进行精确的定位和操作，进而完成流程执行所需的点击、跳转、输入、复制、粘贴等动作。传统拾取和匹配技术可以通过操作系统指令、网页结构分析、软件代码解析等方式实现。而对于无法通过传统技术拾取和匹配的软件，目前主流的方法是利用计算机视觉技术来识别。

3、基于计算机视觉技术完成的rpa元素定位从“样式唯一性”的角度可分为以下2种元素类型：1.唯一元素，其样式在整个界面中唯一；2.重复元素，整个界面中含有多个与其样式相同且功能不同的其他元素；对于唯一元素的定位，当前业内的解决方案相对成熟，主要通过模版匹配或者深度学习技术提取元素特征进行精确定位；对于重复元素的定位，目前业内的主流方法是引入锚点元素用于辅助定位；

4、在使用锚点进行辅助定位时，需要在拾取阶段记录锚点元素与目标元素之间的相对位置关系，以便在执行阶段通过锚点元素在执行界面的对应元素的位置辅助定位到目标元素在执行界面对应元素的位置。目前，业内对于相对位置关系的表示主要包含“左上、右下”等方位关系、以及两元素之间的“相对距离”和“角度”信息。这种对相对位置关系的表示方式不仅繁琐复杂，且应用的局限性较大。比如在面对系统分辨率或者系统dpi改变的情况时，两元素大小会发生改变，两元素之间的相对距离也会发生改变，此时再通过拾取时记录的相对距离信息去辅助定位，就会导致定位失败，从而导致整个rpa流程运行的失败。

5、对于锚点元素与目标元素之间的相对位置关系表示，目前主流表示方法以“方位+距离+角度”表示。

6、以“方位+距离+角度”形式表示锚点元素和目标元素之间的相对位置关系的方式存在不足，其一体现在相对位置关系的构建较为繁琐；其二体现在其无法应对系统尺度因子（分辨率、dpi等）变化的情况。具体来说：

7、1.“方位+距离+角度”的相对位置关系表示存在局限性

8、首先，这种相对位置关系表示方法构建步骤繁琐，需要在获取两元素坐标的前提下，还需要计算并记录“方位+距离+角度”三个相对位置属性；根据锚点元素位置推断目标元素位置的过程也较为繁琐，需要首先推断方位，再推断角度，最后推断距离，才能完成对目标元素的定位，期间涉及许多繁琐的计算步骤。其次，繁琐的计算还会带来计算资源和内存资源的消耗（所记录的方位、距离、角度信息都需要占用内存），从而导致运行效率更低。最后，这种表示方式对元素拾取和执行阶段系统尺度因子一致性要求严格，在执行阶段如果改变了系统尺度因子或界面形状，则无法根据拾取阶段所记录的“距离”信息来基于锚点元素在执行界面的对应元素位置来定位目标元素在执行界面的对应位置。举例来说，在拾取阶段，拾取目标元素，及其锚点元素，并记录目标元素相对于锚点元素的相对位置关系为：“左上方、100像素、45度”。在执行阶段，首先在执行界面定位到锚点元素位置，然后根据坐标偏移，定位到锚点元素“左上方45度100像素”的位置的元素即为目标元素。但是，当执行界面的系统dpi为拾取时的1.5倍时，执行界面上，目标元素应该在锚点元素的“左上方45度150像素”位置，此时再使用“左上方45度100像素”的相对位置关系来辅助定位，就会导致目标元素定位出错，从而导致整个rpa流程运行失败。因此，这种“方位+距离+角度”的相对位置关系表示方式的存在一定的局限性。

9、因此，设计一种能够简化rpa元素匹配中锚点元素和目标元素相对位置关系的构建方式，且能够解决当前构建方案对系统尺度因子敏感问题的基于归一化向量表示的rpa元素位置关系建模方法及系统，就显得十分重要。

技术实现思路

1、本发明是为了克服现有技术中，现有以“方位+距离+角度”形式表示锚点元素和目标元素之间的相对位置关系的方式，存在相对位置关系的构建较为繁琐以及无法应对系统尺度因子变化情况的问题，提供了一种能够简化rpa元素匹配中锚点元素和目标元素相对位置关系的构建方式，且能够解决当前构建方案对系统尺度因子敏感问题的基于归一化向量表示的rpa元素位置关系建模方法及系统。

2、为了达到上述发明目的，本发明采用以下技术方案：

3、基于归一化向量表示的rpa元素位置关系建模方法，包括如下步骤；

4、s1，在拾取阶段，设定d为目标元素的顶点坐标矩阵，a为锚点元素的顶点坐标矩阵，建立d和a的相对位置关系并用矩阵表示；

5、s2，对矩阵进行尺度归一化，获得尺度无关的两元素相对位置关系；

6、s3，在执行阶段，根据所述尺度无关的两元素相对位置关系，在执行界面利用锚点元素位置定位目标元素。

7、作为优选，所述目标元素的顶点坐标矩阵和锚点元素的顶点坐标矩阵均为n行2列。

8、作为优选，所述矩阵的行数n表示参与构建相对位置关系的顶点个数，列表示对应顶点的相对坐标差值。

9、作为优选，步骤s1中，所述建立d和a的相对位置关系并用矩阵表示，具体如下所示：

10、；

11、其中，、分别表示锚点元素的右下、左上顶点二维坐标。

12、作为优选，所述尺度无关的两元素相对位置关系，具体如下所示：

13、；

14、其中，表示目标元素在执行界面上的对应元素的顶点坐标矩阵；表示锚点元素在执行界面上的对应元素的顶点坐标矩阵；分别表示锚点元素在执行界面上对应元素的右下、左上顶点坐标。

15、作为优选，步骤s3包括如下步骤：

16、s31，当系统尺度因子不发生变化时，公式成立，并根据锚点元素在执行界面对应元素顶点坐标推断目标元素在执行界面对应元素的顶点坐标；

17、s32，当系统尺度因子发生变化时，设定变化程度为，则：

18、

19、

20、

21、并得到执行界面相对位置关系表示为：

22、

23、所述相对位置关系的表示是尺度无关的；

24、在执行界面利用锚点元素位置定位目标元素的过程为：

25、

26、

27、

28、

29、其中，由下式计算得到：

30、；

31、最终，在执行界面利用锚点元素位置定位目标元素的过程直接描述为：

32、。

33、

34、作为优选，所述系统尺度因子包括分辨率和每英寸点数dpi。

35、本发明还提供了基于归一化向量表示的rpa元素位置关系建模系统，包括；

36、拾取模块，用于在拾取阶段，设定d为目标元素的顶点坐标矩阵，a为锚点元素的顶点坐标矩阵，建立d和a的相对位置关系并用矩阵表示；

37、归一化模块，用于对矩阵进行尺度归一化，获得尺度无关的两元素相对位置关系；

38、执行模块，用于在执行阶段，根据所述尺度无关的两元素相对位置关系，在执行界面利用锚点元素位置定位目标元素。

39、本发明与现有技术相比，有益效果是：（1）在相对位置关系表示方面，本发明直接通过锚点元素和目标元素的顶点坐标相减，来获得两元素的相对位置关系矩阵，大大简化了相对位置关系表示获取的步骤；（2）在尺度适应方面，本发明将所获得的相对位置关系矩阵进行尺度归一化，进一步获得了尺度无关的两元素相对位置关系矩阵，本发明表示方法不仅构建步骤简洁，且能够应对各种系统尺度因子改变的情况，大大提升了rpa重复元素定位的准确性和rpa流程执行的稳定性。