一种界面控件检测识别方法、装置、电子设备及存储介质与流程

本发明涉及计算机，尤其涉及一种界面控件检测识别方法、装置、电子设备及存储介质。

背景技术：

1、随着计算机技术的发展，各种智能应用扑面而来。在各智能应用中，通常会在界面图中设置不同的界面控件。例如，在购物界面中可以设置加购控件、购买控件、加购数量控件；在音乐播放界面中可以设置音乐播放与暂停控件、上一曲控件以及下一曲控件等。

2、现有技术中，对于各界面图中的控件通常是通过人眼识别，实现控件控制的。致使在对界面进行自动化控制时，需要依靠人工方式对界面进行控件识别，浪费人力，且自动化程度低。

技术实现思路

1、本发明提供了一种界面控件检测识别方法、装置、电子设备及存储介质，以对界面图中的界面控件进行检测识别。

2、根据本发明的一方面，提供了一种界面控件检测识别方法，该方法包括：

3、采集界面样本图，并获取所述界面样本图中标注的界面样本控件信息；

4、通过预设控件检测模型，根据所述界面样本控件信息，对所述界面样本图中的各界面样本控件进行轮廓检测；

5、根据轮廓检测结果以及所述界面样本控件信息，对所述预设控件检测模型进行模型训练，得到目标控件检测模型；

6、获取待识别界面图，并将所述待识别界面图输入至目标控件检测模型中进行控件检测识别，得到所述待识别界面图中各目标界面控件的控件信息。

7、根据本发明的另一方面，提供了一种界面控件检测识别装置，该装置包括：

8、样本控件信息获取模块，用于采集界面样本图，并获取所述界面样本图中标注的界面样本控件信息；

9、轮廓检测模块，用于通过预设控件检测模型，根据所述界面样本控件信息，对所述界面样本图中的各界面样本控件进行轮廓检测；

10、检测模型训练模块，用于根据轮廓检测结果以及所述界面样本控件信息，对所述预设控件检测模型进行模型训练，得到目标控件检测模型；

11、目标控件信息识别模块，用于获取待识别界面图，并将所述待识别界面图输入至目标控件检测模型中进行控件检测识别，得到所述待识别界面图中各目标界面控件的控件信息。

12、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

13、至少一个处理器；以及

14、与所述至少一个处理器通信连接的存储器；其中，

15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的界面控件检测识别方法。

16、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的界面控件检测识别方法。

17、本发明实施例的技术方案，通过采集界面样本图，并获取界面样本图中标注的界面样本控件信息；通过预设控件检测模型，根据界面样本控件信息，对界面样本图中的各界面样本控件进行轮廓检测；根据轮廓检测结果以及界面样本控件信息，对预设控件检测模型进行模型训练，得到目标控件检测模型；获取待识别界面图，并将待识别界面图输入至目标控件检测模型中进行控件检测识别，得到待识别界面图中各目标界面控件的控件信息，解决了界面图中控件的识别问题，可以对界面中的控件进行检测识别，从而便于提高操控控件的自动化程度。

18、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种界面控件检测识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，根据所述界面样本控件信息，对所述界面样本图中的各界面样本控件进行轮廓检测，包括：

3.根据权利要求2所述的方法，其特征在于，对所述界面样本图进行图片预处理，得到目标界面图，包括：

4.根据权利要求3所述的方法，其特征在于，在对所述界面样本图进行颜色空间转换之前，还包括：

5.根据权利要求1所述的方法，其特征在于，采集界面样本图，并获取所述界面样本图中标注的界面样本控件信息，包括：

6.根据权利要求1所述的方法，其特征在于，在将所述待识别界面图输入至目标控件检测模型中进行控件检测识别，得到所述待识别界面图中各目标界面控件的控件信息之后，还包括：

7.根据权利要求1-6任一项所述的方法，其特征在于，所述控件信息，包括：颜色信息、文本信息、控件类别信息、控件尺寸信息、控件形状信息以及控件位置信息。

8.一种界面控件检测识别装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的界面控件检测识别方法。

技术总结
本发明实施例公开了一种界面控件检测识别方法、装置、电子设备及存储介质。该方法包括：采集界面样本图，并获取界面样本图中标注的界面样本控件信息；通过预设控件检测模型，根据界面样本控件信息，对界面样本图中的各界面样本控件进行轮廓检测；根据轮廓检测结果以及界面样本控件信息，对预设控件检测模型进行模型训练，得到目标控件检测模型；获取待识别界面图，并将待识别界面图输入至目标控件检测模型中进行控件检测识别，得到待识别界面图中各目标界面控件的控件信息。该方法可以对界面中的控件进行检测识别，从而便于自动化对控件进行操控。

技术研发人员：梁梓威,丁波,刘超,纪传俊,纪达麒,陈运文
受保护的技术使用者：达而观智能（深圳）有限公司
技术研发日：
技术公布日：2024/1/13