基于图像识别的UI巡检问题定位方法、装置和电子设备与流程

本发明属于计算机，具体涉及基于图像识别的ui巡检问题定位方法、装置和电子设备。

背景技术：

1、随着企业的用户界面(userinterface，ui)业务越来越多，涉及的相关ui界面的自动化巡检用例也开始较快增长。传统的ui界面的自动化巡检在用例报错时一般只会上传截图与部分元素信息，但部分出错并不一定是系统自身的问题，上报的截图和元素信息没有任何异常，导致问题的定位依然需要人工验证且未必能完全复现问题，从而使得一些偶现问题难以定位甚至被忽略。

2、以上方式存在以下问题：(1)不充分的错误信息：当出现问题时，现有系统只上传截图和部分元素信息，而这些信息不一定足以定位问题根本原因。这使得问题难以准确诊断和解决。(2)缺乏上下文：当出现问题时，现有系统无法提供出错之前或之后的操作步骤或其他相关信息，使得问题难以追踪并且可能导致误解。(3)无法处理偶然性错误：当偶发问题发生时，由于无法完全还原当时的环境，问题可能无法再次发生，从而导致问题挂起甚至被忽略。(4)人力成本高：当出现问题时，需要额外的时间和资源来进行手动验证和排查，增加了人力成本和有效时间。

技术实现思路

1、鉴于以上存在的问题，本发明提供一种基于图像识别的ui巡检问题定位方法、装置和电子设备，用于解决传统ui界面的自动化巡检存在的难以稳定定位的问题。

2、为解决上述技术问题，本发明采用如下的技术方案：

3、第一方面，本发明提供一种基于图像识别的ui巡检问题定位方法，包括以下步骤：

4、调用录屏软件获取测试用例全过程的视频文件；

5、在捕获异常画面的同时记录错误的步骤以及时间戳；

6、截取视频在所述时间戳前后一段时间的图像，每间隔第一时间进行截取帧图片；

7、将截取的帧图片进行图像处理，通过图像识别算法进行归因分析，将错误的问题定位上报；

8、根据不同种类的问题原因进行对应处理。

9、一种可能的实现方式中，所述通过图像识别算法进行归因分析具体包括：

10、读取图像，并将其转换为灰度图像；

11、选择灰度图像中白色的颜色特征；

12、计算白色像素的数量，再除以总像素数即得到白色占比；

13、白色占比超过第一阈值归因为操作成功但浏览器未加载。

14、一种可能的实现方式中，若白色占比低于第一阈值则找出二值化图像中的轮廓，返回轮廓列表；遍历轮廓列表，对于每个轮廓得到外接矩形的坐标和大小，如果所有图像的轮廓并无大致变化则归因为执行动作不生效。

15、一种可能的实现方式中，判断是否有矩形位于图像的右下角且坐标加上长宽各自到达屏幕的最大值则归因为环境广告类。

16、第二方面，本发明提供一种基于图像识别的ui巡检问题定位装置，包括：

17、视频用例录屏模块，用于调用录屏软件获取测试用例全过程的视频文件；

18、异常画面获取模块，用于在捕获异常画面的同时记录错误的步骤以及时间戳；

19、帧图片截取模块，用于截取视频在所述时间戳前后一段时间的图像，每间隔第一时间进行截取帧图片；

20、图像处理模块，用于将截取的帧图片进行图像处理，通过图像识别算法进行归因分析，将错误的问题定位上报；

21、问题处理模块，用于根据不同种类的问题原因进行对应处理。

22、一种可能的实现方式中，所述图像处理模块进一步包括：

23、灰度图像转换单元，用于读取图像，并将其转换为灰度图像；

24、白色颜色特征选择单元，用于选择灰度图像中白色的颜色特征；

25、占比计算单元，用于计算白色像素的数量，再除以总像素数即得到白色占比；

26、判断归因单元，用于当白色占比超过第一阈值归因为操作成功但浏览器未加载。

27、一种可能的实现方式中，进一步包括：若白色占比低于第一阈值则找出二值化图像中的轮廓，返回轮廓列表；遍历轮廓列表，对于每个轮廓得到外接矩形的坐标和大小，如果所有图像的轮廓并无大致变化则归因为执行动作不生效。

28、一种可能的实现方式中，进一步包括：判断是否有矩形位于图像的右下角且坐标加上长宽各自到达屏幕的最大值则归因为环境广告类。

29、第三方面，本发明提供一种电子设备，所述电子设备包括处理器以及存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据如上任一项所述的基于图像识别的ui巡检问题定位方法。

30、第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上任一项所述的基于图像识别的ui巡检问题定位方法。

31、采用本发明具有如下的有益效果：

32、(1)全过程视频上报：相比于传统的截图和元素信息上报方式，全过程视频上报能够提供更全面的信息，方便问题的定位和排查。

33、(2)更高的问题定位准确性：新的图像识别算法的使用能够提高问题定位的准确性。通过算法的分析，可以快速地找到问题所在，并进行相应的后续处理。

34、(3)精准处理：通过新的定位方法，可以更加精确地进行后续的报错处理。如果问题是由于代码编写不当导致的，可以及时报警修改代码；如果是因为环境配导致的，例如广告弹窗、浏览器闪退、其他进程干扰等，可以直接进行重试等等。

技术特征：

1.一种基于图像识别的ui巡检问题定位方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于图像识别的ui巡检问题定位方法，其特征在于，所述通过图像识别算法进行归因分析具体包括：

3.如权利要求2所述的基于图像识别的ui巡检问题定位方法，其特征在于，若白色占比低于第一阈值则找出二值化图像中的轮廓，返回轮廓列表；遍历轮廓列表，对于每个轮廓得到外接矩形的坐标和大小，如果所有图像的轮廓并无大致变化则归因为执行动作不生效。

4.如权利要求3所述的基于图像识别的ui巡检问题定位方法，其特征在于，判断是否有矩形位于图像的右下角且坐标加上长宽各自到达屏幕的最大值则归因为环境广告类。

5.一种基于图像识别的ui巡检问题定位装置，其特征在于，包括：

6.如权利要求5所述的基于图像识别的ui巡检问题定位装置，其特征在于，所述图像处理模块进一步包括：

7.如权利要求6所述的基于图像识别的ui巡检问题定位装置，其特征在于，进一步包括：若白色占比低于第一阈值则找出二值化图像中的轮廓，返回轮廓列表；遍历轮廓列表，对于每个轮廓得到外接矩形的坐标和大小，如果所有图像的轮廓并无大致变化则归因为执行动作不生效。

8.如权利要求7所述的基于图像识别的ui巡检问题定位装置，其特征在于，进一步包括：判断是否有矩形位于图像的右下角且坐标加上长宽各自到达屏幕的最大值则归因为环境广告类。

9.一种电子设备，其特征在于，所述电子设备包括处理器以及存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1-4中任一项所述的基于图像识别的ui巡检问题定位方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现权利要求1-4中任一项所述的基于图像识别的ui巡检问题定位方法。

技术总结
本发明公开了一种基于图像识别的UI巡检问题定位方法、装置和电子设备，其中方法包括以下步骤：调用录屏软件获取测试用例全过程的视频文件；在捕获异常画面的同时记录错误的步骤以及时间戳；截取视频在所述时间戳前后一段时间的图像，每间隔第一时间进行截取帧图片；将截取的帧图片进行图像处理，通过图像识别算法进行归因分析，将错误的问题定位上报；根据不同种类的问题原因进行对应处理。本发明用于解决传统UI界面的自动化巡检存在的难以稳定定位的问题。

技术研发人员：吴方洲,陈鹏,丁颖,陈宇,汪宁,芦帅
受保护的技术使用者：杭州乒乓智能技术有限公司
技术研发日：
技术公布日：2024/1/15