一种UI元素的编号方法、定位方法、装置、设备以及介质与流程

本发明涉及一种ui元素的编号方法、定位方法、装置、设备以及介质，属于rpa流程设计。

背景技术：

1、rpa(robotic process automation机器人流程自动化)技术是一种基于流程自动化机器人，来代替人类执行一些重复的工作。ui元素的定位是rpa运行成功的关键。

2、在涉及到远程桌面应用、java应用以及自定义图形界面应用等场景时，通用元素标识方法不再有效，现有技术当中的一种可行的方式是对ui元素执行编号，以实现ui元素的定位。但是这方法容易受到屏幕大小、分辨率以及缩放比的影响，不稳定。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种ui元素的编号方法、定位方法、装置、设备以及介质，用于解决ui元素编号的稳定性差的问题。

2、为达到上述目的，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供了一种区域划分方法，包括：

4、识别接收到的ui图像中的ui元素；

5、针对所述ui图像，提取其中的第一区域轮廓；

6、基于所述第一区域轮廓，确定其中的第二区域轮廓，其中，所述第二区域轮廓之间不重叠；

7、针对所述第二区域轮廓执行编号，得到第二区域轮廓的区域编号；

8、基于所述区域编号，对所述第二区域轮廓内的ui元素执行编号。

9、进一步的，识别接收到的ui图像中的ui元素的步骤，包括：

10、基于预先训练好的目标检测模型，识别接收到的ui图像中的ui元素。

11、进一步的，所述第一区域轮廓存在重叠的情况，针对所述ui图像，提取其中的第一区域轮廓的步骤，包括：

12、采用基于canny的边缘检测算法处理所述ui图像，得到具有区域轮廓的ui图像；

13、针对所述具有区域轮廓的ui图像执行轮廓提取，得到所述第一区域轮廓。

14、进一步的，在所述的基于所述第一区域轮廓，确定其中的第二区域轮廓的步骤之前，还包括：

15、针对所述第一区域轮廓，将不满足预设尺寸阈值的第一区域轮廓剔除。

16、进一步的，基于所述第一区域轮廓，确定其中的第二区域轮廓的步骤，包括：

17、以所述ui图像、第一区域轮廓为输入，输入预设的动态规划算法中进行处理，得到第二区域轮廓；其中，所述动态规划算法的约束条件为在所述的ui图像之中，区域轮廓之间不重叠，目标函数为各区域轮廓之间的总间隔最小。

18、进一步的，基于所述第一区域轮廓，确定其中的第二区域轮廓的步骤，包括：

19、基于所述第一区域轮廓和ui图像，以ui图像任意一边为起点，并且以一定步长搜寻步长内的第一区域轮廓的轮廓线；

20、保留各步长内尺寸最长的轮廓线，并且剔除其余的轮廓线；

21、延伸所述最长的轮廓线的两端，直至所述ui图像的边，获得所述第二轮廓区域。

22、第二方面，本发明提供一种ui元素定位方法，所述定位方法应用于rpa流程执行阶段，所述定位方法包括：

23、针对待定位的ui图像，应用前述中任一所述的ui元素的编号方法，得到所述待定位ui图像中ui元素的编号；

24、基于所述rpa流程中预先配置好的ui元素的编号，从所述待定位ui图像中ui元素的编号查找相同的编号，实现ui元素的定位。

25、第三方面，本发明提供一种ui元素的编号装置，包括：

26、识别模块，其用于识别接收到的ui图像中的ui元素；

27、提取模块，其用于针对所述ui图像，提取其中的第一区域轮廓；

28、确定模块，其用于基于所述第一区域轮廓，确定其中的第二区域轮廓，其中，所述第二区域轮廓之间不重叠；

29、区域编号模块，其用于针对所述第二区域轮廓执行编号，得到第二区域轮廓的区域编号；

30、ui元素编号模块，其用于基于所述区域编号，对所述第二区域轮廓内的ui元素执行编号。

31、第四方面，本发明提供一种电子设备，包括处理器及存储介质；

32、所述存储介质用于存储指令；

33、所述处理器用于根据所述指令进行操作以执行根据前述任一项所述方法的步骤。

34、第五方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述方法的步骤。

35、与现有技术相比，本发明所达到的有益效果：

36、本发明提供一种ui元素的编号方法、定位方法、装置、设备以及介质，首先通过边缘检测算法检测出ui图像中的第一区域轮廓，然后从第一区域轮廓中确定出不重叠的第二区域轮廓，再基于该第二区域轮廓执行编号得到区域编号，最后基于区域编号，对各个第二区域轮廓内的ui元素执行编号，该方法考虑到一定区域内部的ui元素相互位置关系的不变性，不易受到屏幕大小、分辨率以及缩放比的影响，具有很好的稳定性，能够提升ui元素定位的准确性。

技术特征：

1.一种ui元素的编号方法，其特征在于，包括：

2.根据权利要求1所述的ui元素的编号方法，其特征在于，识别接收到的ui图像中的ui元素的步骤，包括：

3.根据权利要求1所述的ui元素的编号方法，其特征在于，所述第一区域轮廓存在重叠的情况，针对所述ui图像，提取其中的第一区域轮廓的步骤，包括：

4.根据权利要求3所述的ui元素的编号方法，其特征在于，在所述的基于所述第一区域轮廓，确定其中的第二区域轮廓的步骤之前，还包括：

5.根据权利要求4所述的ui元素的编号方法，其特征在于，基于所述第一区域轮廓，确定其中的第二区域轮廓的步骤，包括：

6.根据权利要求4所述的ui元素的编号方法，其特征在于，基于所述第一区域轮廓，确定其中的第二区域轮廓的步骤，包括：

7.一种ui元素定位方法，其特征在于，所述定位方法应用于rpa流程执行阶段，所述定位方法包括：

8.一种ui元素的编号装置，其特征在于，包括：

9.一种电子设备，其特征在于：包括处理器及存储介质；

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。

技术总结
本发明公开了一种UI元素的编号方法、定位方法、装置、设备以及介质，所述方法包括识别接收到的UI图像中的UI元素；针对所述UI图像，提取其中的第一区域轮廓；基于所述第一区域轮廓，确定其中的第二区域轮廓，其中，所述第二区域轮廓之间不重叠；针对所述第二区域轮廓执行编号，得到第二区域轮廓的区域编号；基于所述区域编号，对所述第二区域轮廓内的UI元素执行编号，本发明考虑到一定区域内部的UI元素相互位置关系的不变性，不易受到屏幕大小、分辨率以及缩放比的影响，具有很好的稳定性，能够提升UI元素定位的准确性。

技术研发人员：吴鑫,林平,唐琦松,谢涛
受保护的技术使用者：上海艺赛旗软件股份有限公司
技术研发日：
技术公布日：2024/1/15