页面元素定位方法、装置、电子设备及存储介质与流程

本发明涉及计算机视觉，尤其涉及一种页面元素定位方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、目前，各企业的业务部门通常会建设不同的业务系统，但由于各业务系统建设驱动因素的不同，会导致各系统业务孤立，当业务系统变得繁多，数据就会变得孤立，流程执行就会变得割裂和低效。比如业务系统运维场景中，存在大量手工巡检操作，费时费力且易出错，繁琐枯燥重复的劳动，难以持续高质量完成。所以，可以机器人来协助或替代人工完成运维场景的自动化巡检工作，以提升企业的数字化能力，推动企业数字化的转型升级。

2、相关技术中，传统的机器人流程自动化(rpa，robotic process automation)技术是通过对前端代码进行解析，以及对超文本标记语言(html，hyper text markuplanguage)中的各类元素和名称进行全文检索来实现页面元素的捕获，从而实现与业务系统的交互。但是，这种技术对操作对象的可见性、开放性、浏览器兼容性都有极高的要求，比如，对同一页面中的同一元素，在不同的浏览器的捕获过程可能存在巨大差异，而在不同浏览器内核的前提，其捕获方法也存在巨大差异甚至影响可行性。所以，面对不同的业务系统，其依赖解析前端代码的浏览器核心，甚至核心版本均有差异，而这些差异对机器人的开发带来数倍工作量的提升，从而增加了开发成本。

3、因此，对于不同的业务系统，如何减小开发成本，提高页面元素定位的效率，是目前有待解决的技术问题。

技术实现思路

1、本发明提供一种页面元素定位方法、装置、电子设备及计算机可读存储介质，以至少解决相关技术中针对不同的业务系统进行页面元素定位时，导致页面元素的定位效率差，成本高的问题。本发明的技术方案如下：

2、根据本发明实施例的第一方面，提供一种页面元素定位方法，包括：

3、获取待检测页面，以及所述待检测页面对应场景的目标图片；

4、确定所述待检测页面中待识别元素的搜索区域图片；

5、通过像素点平移将所述搜索区域图片划分为与所述目标图片的尺寸相同的多个对比区域图片；

6、将所述多个对比区域图片与所述目标图片进行像素匹配，确定像素最小偏离值；

7、当所述最小偏离值在设定对应场景的置信度的置信区间内时，确定所述最小偏离值的对比区域的位置坐标，作为所述待识别元素在所述待检测页面上的位置坐标。

8、可选的，所述确定所述待检测页面中待识别元素的搜索区域图片，包括：

9、通过python获取包括所述待检测页面中待识别元素的搜索区域的纵坐标和横坐标；

10、根据所述纵坐标和横坐标对所述待识别元素的搜索区域进行截图，得到待识别元素的搜索区域图片。

11、可选的，所述通过python获取包括所述待检测页面中待识别元素的搜索区域的纵坐标和横坐标，包括：

12、在所述待检测页面中，以左下角为坐标原点，针对待识别元素的场景，基于鼠标移动的点击操作，获取方形搜索区域的左上角点和右下角点；

13、利用python脚本获取所述左上角点和右下角点在所述待检测页面中的横坐标点和纵坐标点，并将所述横坐标点和纵坐标点所形成的方形区域作为待识别元素的搜索区域。

14、可选的，所述通过像素点平移将所述搜索区域图片划分为与所述目标图片的尺寸相同的多个对比区域图片，包括：

15、对所述搜索区域图片和所述目标图片分别进行灰度化处理；

16、以灰度化处理后的所述搜索区域图片中的第一个像素点为起点，通过像素值平移，将所述搜索区域图片划分为与所述目标图片的尺寸相同的多个对比区域图片。

17、可选的，所述将所述多个对比区域图片与所述目标图片进行像素匹配，确定像素最小偏离值，包括：

18、将所述多个对比区域图片和所述目标图片的像素点分别进行矩阵化和归一化处理；

19、将处理后的每个对比区域图片分别与所述目标图片进行像素匹配，计算像素差值；

20、选取像素最小差值作为像素最小偏离值。

21、可选的，所述方法还包括：按照下述方法预先确定设定置信度的置信区间：

22、获取多个场景的待检测页面样本，以及每个待检测页面样本对应场景的目标图片样本；

23、确定每个待检测页面样本中待识别元素的搜索区域图片；

24、通过像素值平移将每个搜索区域图片划分为与对应的所述目标图片样本的尺寸相同的多个对比区域图片；

25、确定每个待检测页面样本的所述多个对比区域图片与对应所述目标图片样本的多个像素偏离值，并选取像素最小偏离值；

26、统计选取的所有像素最小偏离值，得到一组像素最小偏离值；

27、计算所述一组像素最小偏离值的平均值，得到最小偏离值平均值；

28、基于所述一组像素最小偏离值与所述最小偏离值平均值，确定最小偏离值标准差；

29、基于所述最小偏离值标准差确定标准误差；

30、基于所述最小偏离值平均值，所述标准误差，以及预设置信度标准分值，确定置信区间。

31、可选的，所述基于所述最小偏离值平均值，所述标准误差，以及预设置信度标准分值，按照下述公式确定置信区间，包括：

32、置信区间为[a，b]，

33、其中，所述表示最小偏离值平均值，所述z表示置信度标准分值，所述se表示标准误差。

34、根据本发明实施例的第二方面，提供一种页面元素定位装置，所述装置包括：

35、获取模块，用于获取待检测页面，以及所述待检测页面对应场景的目标图片；

36、第一确定模块，用于确定所述待检测页面中待识别元素的搜索区域图片；

37、划分模块，用于通过像素点平移将所述搜索区域图片划分为与所述目标图片的尺寸相同的多个对比区域图片；

38、匹配模块，用于将所述多个对比区域图片与所述目标图片进行像素匹配，确定像素最小偏离值；

39、第二确定模块，用于当所述最小偏离值在设定对应场景的置信度的置信区间内时，确定所述最小偏离值的对比区域的位置坐标，作为所述待识别元素在所述待检测页面上的位置坐标。

40、可选的，所述第一确定模块包括：

41、坐标获取模块，用于通过python获取包括所述待检测页面中待识别元素的搜索区域的纵坐标和横坐标；

42、截图模块，用于根据所述纵坐标和横坐标对所述待识别元素的搜索区域进行截图，得到待识别元素的搜索区域图片。

43、可选的，所述坐标获取模块包括：

44、坐标点确定模块，用于在所述待检测页面中，以左下角为坐标原点，针对待识别元素的场景，基于鼠标移动的点击操作，获取方形搜索区域的左上角点和右下角点；

45、搜索区域坐标获取模块，用于利用python脚本获取所述左上角点和右下角点在所述待检测页面中的横坐标点和纵坐标点，并将所述横坐标点和纵坐标点所形成的方形区域作为待识别元素的搜索区域。

46、可选的，所述划分模块包括：

47、灰度化处理模块，用于对所述搜索区域图片和所述目标图片分别进行灰度化处理；

48、图片划分模块，用于以灰度化处理后的所述搜索区域图片中的第一个像素点为起点，通过像素值平移，将所述搜索区域图片划分为与所述目标图片的尺寸相同的多个对比区域图片。

49、可选的，所述匹配模块包括：

50、归一化处理模块，用于将所述多个对比区域图片和所述目标图片的像素点分别进行矩阵化和归一化处理；

51、像素匹配模块，用于将处理后的每个对比区域图片分别与所述目标图片进行像素匹配，计算像素差值；

52、选取模块，用于选取像素最小差值作为像素最小偏离值。

53、可选的，所述装置还包括：置信区间确定模块，用于按照下述方法预先确定设定置信度的置信区间：

54、样本获取模块，用于获取多个场景的待检测页面样本，以及每个待检测页面样本对应场景的目标图片样本；

55、图片确定模块，用于确定每个待检测页面样本中待识别元素的搜索区域图片；

56、图片划分模块，用于通过像素值平移将每个搜索区域图片划分为与对应的所述目标图片样本的尺寸相同的多个对比区域图片；

57、偏离值确定模块，用于确定每个待检测页面样本的所述多个对比区域图片与对应所述目标图片样本的多个像素偏离值，并选取像素最小偏离值；

58、统计模块，用于统计选取的所有像素最小偏离值，得到一组像素最小偏离值；

59、平均值确定模块，用于计算所述一组像素最小偏离值的平均值，得到最小偏离值平均值；

60、标准差确定模块，用于基于所述一组像素最小偏离值与所述最小偏离值平均值，确定最小偏离值标准差；

61、标准误差确定模块，用于基于所述最小偏离值标准差确定标准误差；

62、置信区间确定模块，用于基于所述最小偏离值平均值，所述标准误差，以及预设置信度标准分值，确定置信区间。

63、可选的，所述置信区间确定模块，包括，用于按照下述公式确定置信区间：

64、置信区间为[a，b]，

65、其中，所述表示最小偏离值平均值，所述z表示置信度标准分值，所述se表示标准误差。

66、根据本发明实施例的第二方面，提供一种电子设备，包括：

67、处理器；

68、用于存储所述处理器可执行指令的存储器；

69、其中，所述处理器被配置为执行所述指令，以实现如上所述的页面元素定位方法。

70、根据本发明实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的页面元素定位方法。

71、根据本发明实施例的第五方面，提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被电子设备的处理器执行时实现如上所述的页面元素定位方法。

72、本发明的实施例提供的技术方案至少带来以下有益效果：

73、本发明实施例中，获取待检测页面，以及所述待检测页面对应场景的目标图片；确定所述待检测页面中待识别元素的搜索区域图片；通过像素值平移将所述搜索区域图片划分为与所述目标图片的尺寸相同的多个对比区域图片；确定所述多个对比区域图片与所述目标图片的像素最小偏离值；当所述最小偏离值在设定对应场景的置信度的置信区间内时，确定所述最小偏离值的对比区域的位置坐标，作为所述待识别元素在所述待检测页面上的位置坐标。也就是说，本发明实施例中，对待检测页面中待识别元素的定位过程中，先采用计算机视觉技术，确定待识别元素的搜索区域图片，之后，使用图片像素匹配方式进行待识别元素的定位。即利用图像像素比对的方式，直接定位到该待识别元素在整个页面图片中的位置，解决了相关技术中，需要依赖解析前端代码才能定位元素在整个页面中的位置，不但降低了成本，还提高了待识别页面元素的定位效率。

74、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。