一种用户界面组件识别方法、装置、设备及可读存储介质与流程

本申请涉及软件设计，更具体地说，涉及一种用户界面组件识别方法、装置、设备及可读存储介质。

背景技术：

1、随着移动端应用程序app、小程序的崛起，研发工程师需要设计各种软件，并且通过计算机语言编写代码实现。工程师编写程序从工具化变为工程化，从面向过程变为面向对象，不断提升编写速度，来应对不同的业务需求和功能。因此，有款可以实现输入一张移动端用户界面(ui)设计稿一键式生成前端代码的产品兴起。其中，ui设计稿中的各个组件准确的识别是一项基础工作。

2、现阶段的设计稿的组件识别采用的是基于图像的目标检测算法，也即先对设计稿中的组件进行特征提取，然后根据提取出的特征对区域进行分类，最后对于候选区域的边界应用边界框回归器进行进一步区域位置的调整，从而实现ui设计稿中各个组件的识别。然而现阶段基于图像的目标检测算法通常是只基于已标注的训练数据训练得到的，训练样本数量较低，导致在对设计稿进行组件识别时的准确率较为一般。

技术实现思路

1、本申请实施例提供了一种用户界面组件识别方法、装置、设备及可读存储介质，能够提高组件识别的准确率。

2、有鉴于此，本申请实施例提供了一种用户界面组件识别方法，所述方法包括：

3、获取待识别用户界面设计稿，所述用户界面设计稿包括至少一个组件的图像；

4、将所述待识别用户界面设计稿输入组件检测模型，得到所述组件的分类结果和所述组件的位置信息；其中，所述组件检测模型是基于特征提取子模型生成的，所述特征提取子模型是根据未标注训练数据训练得到的。

5、可选地，在所述获取待识别用户界面设计稿之前，所述方法还包括：

6、获取未标注训练数据和已标注训练数据；

7、根据所述未标注训练数据对初始特征提取子模型进行训练，得到特征提取子模型；

8、基于所述特征提取子模型构建初始组件检测模型；

9、根据所述已标注训练数据对所述初始组件检测模型进行训练，得到所述组件检测模型。

10、可选地，所述根据所述未标注训练数据对初始特征提取子模型进行训练，得到特征提取子模型，包括：

11、对所述未标注训练数据进行预处理，得到预处理后的未标注训练数据，所述预处理包括剪切图像、图像加噪声、旋转图像、饱和度调整、文字遮挡中的至少一种；

12、根据所述预处理后的未标注训练数据对所述初始特征提取子模型进行训练，得到所述特征提取子模型。

13、可选地，所述根据所述已标注训练数据对所述初始组件检测模型进行训练，得到所述组件检测模型，包括：

14、获取所述已标注训练数据对应的代码文件；

15、对所述代码文件进行数据处理，得到锚框数据；

16、根据所述已标注训练数据和所述锚框数据对所述初始组件检测模型进行训练，得到所述组件检测模型。

17、可选地，所述对所述代码文件进行数据处理，得到锚框数据，包括：

18、第一获取单元，用于获取待识别用户界面设计稿，所述用户界面设计稿包括至少一个组件的图像；

19、输入单元，用于将所述待识别用户界面设计稿输入组件检测模型，得到所述组件的分类结果和所述组件的位置信息；其中，所述组件检测模型是基于特征提取子模型生成的，所述特征提取子模型是根据未标注训练数据训练得到的。

20、可选地，所述装置还包括：

21、第二获取单元，用于获取未标注训练数据和已标注训练数据；

22、训练单元，用于根据所述未标注训练数据对初始特征提取子模型进行训练，得到特征提取子模型；

23、构建单元，用于基于所述特征提取子模型构建初始组件检测模型；

24、所述训练单元，还用于根据所述已标注训练数据对所述初始组件检测模型进行训练，得到所述组件检测模型。

25、可选地，所述训练单元，具体用于：

26、对所述未标注训练数据进行预处理，得到预处理后的未标注训练数据，所述预处理包括剪切图像、图像加噪声、旋转图像、饱和度调整、文字遮挡中的至少一种；

27、根据所述预处理后的未标注训练数据对所述初始特征提取子模型进行训练，得到所述特征提取子模型。

28、本申请实施例还提供了一种计算机设备，包括：存储器、处理器以及总线系统；

29、其中，所述存储器用于存储程序；

30、所述处理器用于执行所述存储器中的程序，以实现上述所述的任意一种用户界面组件识别方法；

31、所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

32、本申请实施例还提供了一种计算机可读存储介质，存储有指令，当其在计算机上运行时，使得计算机执行如上述所述的任意一种用户界面组件识别方法。

33、本申请实施例提供了一种用户界面组件识别方法，包括：获取待识别用户界面设计稿，所述用户界面设计稿包括至少一个组件的图像；将所述待识别用户界面设计稿输入组件检测模型，得到所述组件的分类结果和所述组件的位置信息；其中，所述组件检测模型是基于特征提取子模型生成的，所述特征提取子模型是根据未标注训练数据训练得到的。可见，本申请由于预先根据未标注训练数据训练生成了特征提取子模型，使得基于特征提取子模型训练生成的组件检测模型在训练时可以利用大量的未标注训练数据，从而使得通过组件检测模型对待识别用户界面设计稿进行组件识别时的准确性大大提高。

技术特征：

1.一种用户界面组件识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在所述获取待识别用户界面设计稿之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述未标注训练数据对初始特征提取子模型进行训练，得到特征提取子模型，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述已标注训练数据对所述初始组件检测模型进行训练，得到所述组件检测模型，包括：

5.根据权利要求4所述的方法，其特征在于，所述对所述代码文件进行数据处理，得到锚框数据，包括：

6.一种用户界面组件识别装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

8.根据权利要求7所述的装置，其特征在于，所述训练单元，具体用于：

9.一种计算机设备，其特征在于，包括：存储器、处理器以及总线系统；

10.一种计算机可读存储介质，其特征在于，存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1至5中任一项所述的方法。

技术总结
本申请公开了一种用户界面组件识别方法、装置、设备及可读存储介质，涉及软件设计技术领域，包括：获取待识别用户界面设计稿，所述用户界面设计稿包括至少一个组件的图像；将所述待识别用户界面设计稿输入组件检测模型，得到所述组件的分类结果和所述组件的位置信息；其中，所述组件检测模型是基于特征提取子模型生成的，所述特征提取子模型是根据未标注训练数据训练得到的。可见，本申请由于预先根据未标注训练数据训练生成了特征提取子模型，使得基于特征提取子模型训练生成的组件检测模型在训练时可以利用大量的未标注训练数据，从而使得通过组件检测模型对待识别用户界面设计稿进行组件识别时的准确性大大提高。

技术研发人员：唐玉宾
受保护的技术使用者：北京尽微致广信息技术有限公司
技术研发日：
技术公布日：2024/1/15