一种图形界面图片的标注方法及电子设备与流程

本技术涉及计算机视觉，尤其涉及一种图形界面图片的标注方法及电子设备。

背景技术：

1、图形用户界面(graphical user interface，gui)，是指采用图形方式显示的计算机操作用户界面。在一些业务场景下，需要对图形界面的图片进行解析，以此获得图形界面的图片元素等信息。

2、目前，通常采用基于深度学习的图片识别模型进行图形界面图片的解析，但是，图片识别模型需要通过大量标注图片训练获得，而为了获得大量标注图片，需要投入较大的标注成本。

3、相关技术中，考虑到一些图形界面图片中可能存在相同的图片元素，为了降低标注成本，从这些图形界面图片中选择一个模板图片，将模板图片中的标注复用至其它图形界面图片中。这样虽然可以在一定程度上减小标注工作量，但是仍然存在重复标注的问题。

技术实现思路

1、本技术提供了一种图形界面图片的标注方法及电子设备，用以尽可能避免重复标注，从而大大降低标注成本，提高图形界面的解析效率。

2、第一方面，本技术实施例提供一种图形界面图片的标注方法，包括：

3、获取待标注图片以及至少两个已标注图片；

4、将所述待标注图片分别与所述至少两个已标注图片进行匹配，获得至少两个匹配图片；

5、将所述至少两个匹配图片进行组合，获得目标匹配图片；

6、基于所述目标匹配图片，以及所述至少两个已标注图片中的标注，获得所述待标注图片的抄写标注结果。

7、在一些可能的实施例中，每个匹配图片中标记有：所述待标注图片与相应的已标注图片之间的匹配区域，所述匹配区域由多个匹配像素构成；

8、则所述将所述至少两个匹配图片进行组合，获得目标匹配图片，包括：

9、将所述至少两个匹配图片中的匹配区域在所述待标注图片中进行标记；

10、将标记后的待标注图片作为所述目标匹配图片；其中，所述目标匹配图片中包含标记的组合匹配区域，所述组合匹配区域中的每个匹配像素的像素值为相应的已标注图片的标识。

11、在一些可能的实施例中，所述基于所述目标匹配图片，以及所述至少两个已标注图片中的标注，获得所述待标注图片的抄写标注结果，包括：

12、针对所述至少两个已标注图片中的每个已标注图片，执行以下操作：若在所述目标匹配图片中，与所述已标注图片中任一标注对应的各像素的像素值，均为所述已标注图片的标识，则基于所述任一标注获得所述待标注图片的抄写标注；

13、基于由所述至少两个已标注图片中的标注获得的所有抄写标注，获得所述待标注图片的抄写标注结果。

14、在一些可能的实施例中，所述方法还包括：

15、针对所述待标注图片的抄写标注结果中的每个抄写标注，记录所述抄写标注的抄写来源，所述抄写来源为所述至少两个已标注图片中的一个已标注图片中的标注。

16、在一些可能的实施例中，所述获取待标注图片以及至少两个已标注图片，包括：

17、在依次对多个图形界面图片进行标注过程中，当标注完至少两个图形界面图片后，后续每一次标注，获取待标注图片以及至少两个已标注图片。

18、在一些可能的实施例中，所述方法还包括：

19、展示所述待标注图片的抄写标注结果，以对所述待标注图片进行剩余标注，获得所述待标注图片的剩余标注结果；

20、基于所述抄写标注结果和所述剩余标注结果，获得所述待标注图片的标注结果。

21、在一些可能的实施例中，所述方法还包括：

22、响应于用户针对所述抄写标注结果中的错误抄写标注的触发操作，展示所述错误抄写标注的抄写来源；

23、响应于用户针对所述抄写来源的触发操作，展示所述抄写来源对应的已标注图片的目标标注，以对所述目标标注进行修改。

24、在一些可能的实施例中，所述方法还包括：

25、基于记录的所有抄写标注的抄写来源，确定与所述目标标注具有抄写关系的各个标注，并基于修改后的目标标注对所述各个标注进行修改。

26、在一些可能的实施例中，所述方法还包括：

27、针对所述待标注图片的剩余标注结果中的每个剩余标注，执行以下操作：

28、若确定所述剩余标注被任一已标注图片完全包含，则将所述剩余标注反向抄写至所述任一已标注图片的标注结果中。

29、在一些可能的实施例中，确定所述剩余标注被任一已标注图片完全包含，包括：

30、若在所述目标匹配图片中，与所述剩余标注对应的各像素的像素值均为所述任一已标注图片的标识，则确定所述剩余标注被所述任一已标注图片完全包含。

31、在一些可能的实施例中，所述方法还包括：

32、将所述任一已标注图片的标注结果中的反向抄写标注，作为所述待标注图片的所述剩余标注的抄写来源并进行记录。

33、第二方面，本技术实施例提供一种图形界面图片的标注装置，包括：

34、获取模块，用于获取待标注图片以及至少两个已标注图片；

35、匹配模块，用于将所述待标注图片分别与所述至少两个已标注图片进行匹配，获得至少两个匹配图片；

36、组合模块，用于将所述至少两个匹配图片进行组合，获得目标匹配图片；

37、第一标注模块，用于基于所述目标匹配图片，以及所述至少两个已标注图片中的标注，获得所述待标注图片的抄写标注结果。

38、在一些可能的实施例中，每个匹配图片中标记有：所述待标注图片与相应的已标注图片之间的匹配区域，所述匹配区域由多个匹配像素构成；

39、则所述组合模块具体用于：

40、将所述至少两个匹配图片中的匹配区域在所述待标注图片中进行标记；

41、将标记后的待标注图片作为所述目标匹配图片；其中，所述目标匹配图片中包含标记的组合匹配区域，所述组合匹配区域中的每个匹配像素的像素值为相应的已标注图片的标识。

42、在一些可能的实施例中，所述第一标注模块具体用于：

43、针对所述至少两个已标注图片中的每个已标注图片，执行以下操作：若在所述目标匹配图片中，与所述已标注图片中任一标注对应的各像素的像素值，均为所述已标注图片的标识，则基于所述任一标注获得所述待标注图片的抄写标注；

44、基于由所述至少两个已标注图片中的标注获得的所有抄写标注，获得所述待标注图片的抄写标注结果。

45、在一些可能的实施例中，所述装置还包括：

46、第一记录模块，用于针对所述待标注图片的抄写标注结果中的每个抄写标注，记录所述抄写标注的抄写来源，所述抄写来源为所述至少两个已标注图片中的一个已标注图片中的标注。

47、在一些可能的实施例中，所述获取模块具体用于：

48、在依次对多个图形界面图片进行标注过程中，当标注完至少两个图形界面图片后，后续每一次标注，获取待标注图片以及至少两个已标注图片。

49、在一些可能的实施例中，所述装置还包括：

50、第一展示模块，用于展示所述待标注图片的抄写标注结果，以对所述待标注图片进行剩余标注，获得所述待标注图片的剩余标注结果；

51、第二标注模块，用于基于所述抄写标注结果和所述剩余标注结果，获得所述待标注图片的标注结果。

52、在一些可能的实施例中，所述装置还包括：

53、第二展示模块，用于响应于用户针对所述抄写标注结果中的错误抄写标注的触发操作，展示所述错误抄写标注的抄写来源；

54、第三展示模块，用于响应于用户针对所述抄写来源的触发操作，展示所述抄写来源对应的已标注图片的目标标注，以对所述目标标注进行修改。

55、在一些可能的实施例中，所述装置还包括：

56、修改模块，用于基于记录的所有抄写标注的抄写来源，确定与所述目标标注具有抄写关系的各个标注，并基于修改后的目标标注对所述各个标注进行修改。

57、在一些可能的实施例中，所述装置还包括：

58、第三标注模块，用于针对所述待标注图片的剩余标注结果中的每个剩余标注，执行以下操作：若确定所述剩余标注被任一已标注图片完全包含，则将所述剩余标注反向抄写至所述任一已标注图片的标注结果中。

59、在一些可能的实施例中，所述第三标注模块还用于：

60、若在所述目标匹配图片中，与所述剩余标注对应的各像素的像素值均为所述任一已标注图片的标识，则确定所述剩余标注被所述任一已标注图片完全包含。

61、在一些可能的实施例中，所述装置还包括：

62、第二记录模块，用于将所述任一已标注图片的标注结果中的反向抄写标注，作为所述待标注图片的所述剩余标注的抄写来源并进行记录。

63、第三方面，本技术实施例提供一种电子设备，其包括处理器和存储器，其中，存储器存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行第一方面任一方法的步骤。

64、第四方面，本技术实施例提供一种计算机存储介质，计算机存储介质存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行第一方面任一方法的步骤。

65、第五方面，本技术实施例提供一种计算机程序产品，其包括计算机程序，计算机程序存储在计算机可读存储介质中；当电子设备的处理器从计算机可读存储介质读取计算机程序时，处理器执行该计算机程序，使得电子设备执行第一方面任一方法的步骤。

66、本技术实施例的方案至少具有以下有益效果：

67、本技术考虑到一些图形界面图片可能存在相同的图片元素，可以对这些图片元素人工标注一次，其他存在该图片元素的图形界面图片可以抄写该标注。本技术的方案中，在对待标注图片进行标注时，将该待标注图片分别与至少两个已标注图片进行匹配，获得至少两个匹配图片，将这些匹配图片进行组合，获得目标匹配图片，进而基于该目标匹配图片以及至少两个已标注图片的标注结果，可以将已标注图片中的标注抄写至待标注图片的抄写标注结果中。这样，可以复用多个已标注图片中的标注，尽可能避免重复标注，大大减小标注工作量，从而降低标注成本，提高图形界面的解析效率。

68、本技术其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。