图像的标注方法、装置、系统、存储介质及电子装置与流程

1.本发明实施例涉及图像处理技术领域，具体而言，涉及一种图像的标注方法、装置、系统、存储介质及电子装置。


背景技术：

2.随着ai领域的蓬勃发展，人工智能算法对模型数据的质量要求也越来越高，早期标注人员对图像样本进行标注时使用的标注工具并不完善，使得标注结果准确率存在较大偏差，并且使用繁琐，标注效率不高效。
3.由此可知，相关技术中存在图像标注效率低的问题。
4.针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种图像的标注方法、装置、系统、存储介质及电子装置，以至少解决相关技术中存在的图像标注效率低的问题。
6.根据本发明的一个实施例，提供了一种图像的标注方法，包括：接收通过目标界面输入的创建指令；基于所述创建指令中包括的资源地址获取目标数量的待标注图像；确定所述创建指令中配置的标注工具；在所述目标界面显示所述待标注图像以及所述标注工具，以指示目标对象基于所述标注工具对所述待标注图像进行标注。
7.根据本发明的另一个实施例，提供了一种图像的标注装置，包括：接收模块，用于接收通过目标界面输入的创建指令；获取模块，用于基于所述创建指令中包括的资源地址获取目标数量的待标注图像；确定模块，用于确定所述创建指令中配置的标注工具；标注模块，用于在所述目标界面显示所述待标注图像以及所述标注工具，以指示目标对象基于所述标注工具对所述待标注图像进行标注。
8.根据本发明的又一个实施例，还提供了一种图像的标注系统，包括：上述实施例中所述的装置。
9.根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
10.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
11.通过本发明，接收通过目标界面输入的创建指令，基于创建指令中包括的资源地址获取待标注图像，确定创建指令中配置的标注工具，在目标界面显示待标注图像以及标注工具，以指示目标对象根据标注工具对待标注图像进行标注，由于可以在创建任务时，直接配置标注工具，即用户可以根据标注任务配置标注工具，使标注工具与标注任务契合，从而提高标注效率，因此，可以解决相关技术中存在的图像标注效率低的问题，达到提高图像
标注效率的效果。
附图说明
12.图1是本发明实施例的一种图像的标注方法的移动终端的硬件结构框图；
13.图2是根据本发明实施例的图像的标注方法的流程图；
14.图3是根据本发明具体实施例的图像的标注方法流程图；
15.图4是根据本发明实施例的图像的标注装置的结构框图。
具体实施方式
16.下文中将参考附图并结合实施例来详细说明本发明的实施例。
17.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
18.本技术实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种图像的标注方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
19.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像的标注方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
20.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
21.在本实施例中提供了一种图像的标注方法，图2是根据本发明实施例的图像的标注方法的流程图，如图2所示，该流程包括如下步骤：
22.步骤s202，接收通过目标界面输入的创建指令；
23.步骤s204，基于所述创建指令中包括的资源地址获取目标数量的待标注图像；
24.步骤s206，确定所述创建指令中配置的标注工具；
25.步骤s208，在所述目标界面显示所述待标注图像以及所述标注工具，以指示目标对象基于所述标注工具对所述待标注图像进行标注。
26.在上述实施例中，目标对象可以在进入系统后首先创建标注任务，输入创建指令，其中，创建指令中可以包括任务名称、任务类型、数据形式、标注工具配置、资源地址、设置单个标注包的图片资源数目等。点击创建后生成任务，任务下包含对应分割出来的标注包。即资源地址中可以包括多个待标注的图像，可以在创建指令中设置单次标注的标注包中包括的图像的目标数量。例如，资源地址中可以包括一万张图像，目标数量可以是2000(该取值仅是一种示例性说明，例如，目标数量还可以是1,50,100，1000,2500，5000等，本发明对此不作限制)。
27.在上述实施例中，标注工具可以直接显示在目标界面中，也可以间接显示在目标界面中。当标注工具间接显示时，可以在目标界面中显示标注工具的入口，通过点击入口即可在目标界面中显示出标注工具。
28.在上述实施例中，目标对象可以通过目标界面创建标注任务，输入创建指令，其中，创建指令中可以包括资源地址和配置的标注工具以及资源地址。通过用户创建标注任务时配置标注对象，上传包含图片资源地址的文件。然后进入标注工具进行标注，如果配置了检测对象可在单图标注模式画框画点进行标注，如果配置了分类对象可在多图标注模式进行给图片添加属性进行标注，最后对标注任务进行导出标注信息。导出的标注信息可直接修改文件中错误的标注值进行校对。
29.可选地，上述步骤的执行主体可以是后台处理器，或者图像标注系统，但不限于此。
30.通过本发明，接收通过目标界面输入的创建指令，基于创建指令中包括的资源地址获取待标注图像，确定创建指令中配置的标注工具，在目标界面显示待标注图像以及标注工具，以指示目标对象根据标注工具对待标注图像进行标注，由于可以在创建任务时，直接配置标注工具，即用户可以根据标注任务配置标注工具，使标注工具与标注任务契合，从而提高标注效率，因此，可以解决相关技术中存在的图像标注效率低的问题，达到提高图像标注效率的效果。
31.在一个示例性实施例中，所述标注工具包括以下至少之一：检测工具，其中，所述检测工具包括以下至少之一：点标注工具、多边形标注工具、路径标注工具；分类工具，其中，所述分类工具包括以下至少之一：布尔工具，单选工具、多选工具、文本工具，所述布尔工具用于标注图像的类型，所述单选工具用于标注图像的单一属性，所述多选工具用于标注图像的多项属性，所述文本工具用于标注图像的说明。在本实施例中，通过系统的创建任务功能，配置相关的标注工具，图片可以支持两种对象配置，即，标注工具可以包括检测工具和分类工具，检测工具包括多边形、点、路径标注工具，分类工具可以用于标注对象的属性。分类工具可以包括布尔、单选、多选、文本等。检测对象中可单独配置子属性对象。检测对象会记录为detections字段，属性对象记录为classications字段，最后统一保存到数据库中。
32.在上述实施例中，检测工具可以包括2d框、语义分割、多边形分割、点标注、线标注、视频标注、3d立方体标注等。其中，2d框为矩形，在所有的标注工具里，2d框是最简单的数据标注类型，成本也是最低的。语音分割是图像标注领域比较精准的标注类型，同时也是耗时比较长的标注类型，目标对象需要对图片上的所有内容进行标注。与2d框相比，多边形分割用于图片和视频中精确的物体检测和位置定位。与2d框相比，多边形分割更精准，但也
更耗时，成本更高。点标注即通过多个连续的点确定巨大和微小物体的形状变化，通常用于统计模型以及姿势或面部识别模型。线标注主要用于自动驾驶车辆的道路识别，定义车辆，自行车，相反方向交通灯，分岔路等不同道路。视频标注，即以帧为单位在一系列图像中定位和跟踪物体。多用于训练车辆、行人、骑行者、道路等自动驾驶预测模型。3d立方体标注用于从2d图片和视频中获得空间视觉模型，测量物体间的相对距离和得到灭点。
33.在上述实施例中，可以通过标注工具为图像分配标签。标签配置是为了给标注人员配置检测工具和分类工具，分类工具包括布尔、单选、多选、文本。布尔用于区分图片是否有效，是否为背景图。单选用于标注图片具有多个属性中的单一属性值，选了单选后需要添加选择项。多选用于标注图片具有多个属性中的多个属性值，选了多选后也需要添加选择项。文本用于表示图片的说明。检测工具包括点标注、多边形标注、路径标注。点标注用于标注图片中的关键点，多边形标注用于标注图片中的特殊多边形区，路径标注用于标注图片中不规则图形。配置的时候都可以选择标注颜色用于区分不同的检测对象，同时都支持添加二级属性值，例如，标注车牌的同时可输入车牌号。
34.在上述实施例中，检测工具可以用于对单图像的标注，分类工具可以用于对多图像的标注。
35.在一个示例性实施例中，在所述目标界面显示所述待标注图像以及所述标注工具之后，所述方法还包括：接收通过所述目标界面输入的标注指令；基于所述标注指令标注所述待标注图像。在本实施例中，在接收到通过目标界面输入的标注指令后，可以根据标注指令标注待标注图像。其中，标注指令可以是目标对象输入的指令，例如，目标对象可以点击目标界面中显示的标注工具中包括的矩形标注工具，在待标注图像中点击鼠标拖动，以形成一个矩形，用于标注待标注图像中包括的车辆。
36.在上述实施例中，标注指令可以包括单图标注指令和多图标注指令，当标注指令为单图标注指令时，可以通过标注工具中包括的检测工具进行标注。当标注指令为多图标注指令时，可以通过检测工具以及分类工具进行标注。通过分类工具对图像进行标注，可以为图像设置属性，便于完成图像的快速分类。
37.在上述实施例中，当标注指令为单图标注指令时，目标界面中可以显示页码切换，展示图片行列调整，图片展示比例，标注工具，图片单元格展示。
38.在一个示例性实施例中，在基于所述标注指令标注所述待标注图像之后，所述方法还包括：保存所述待标注图像中包括的已标注完成的图像以及所述已标注完成的图像对应的标注信息；在接收到输出指令的情况下，输出所述输出指令中指示的所述已标注完成的图像以及所述已标注完成的图像对应的标注信息。在本实施例中，在标注的过程中，可以保存以及经标注完成的图像，以及已经标注完成的图像对应的标注信息。在接收到输出指令的情况下，可以输出输出指令中指示的图像以及图像的标注信息。其中，输出指令可以指示输出所有的已经标注完成的图像及其对应的标注信息。即对所有的图像标注完成后，每张图片都保存一份对应的标注信息数据，最后组织成一份文件导出。输出指令中也可以指示一类标注信息，则接收到输出指令后，可以输出与输出指令中指示的标注信息相同的图像及其标注信息。
39.在一个示例性实施例中，在所述待标注图像为多个时，所述方法还包括：接收通过所述目标界面输入的页面切换指令；基于所述页面切换指令将所述目标界面中显示的当前
待标注图像切换为其他待标注图像，其中，所述当前待标注图像与所述其他待标注图像均未所述待标注图像中包括的图像。在本实施例中，目标界面上还可以包括页面切换图标。在点击页面切换图标后，即可实现页面的切换，将当前标注图像切换为其他标注图像。需要说明的是，页面切换指令可以是通过点击界面上的页面切换图标实现的，也可以是通过快捷键输入的。
40.在一个示例性实施例中，所述方法还包括：接收通过所述目标界面输入的预览指令；基于所述预览指令确定待显示的目标图像；在所述目标界面中显示所述目标图像，其中，所述目标图像包括以下之一：已标注的图像、当前待标注图像的已标注信息、未标注的图像。在本实施例中，目标界面中还可以包括预览图标，在点击预览图标后，即可在目标界面中显示目标图像，其中，目标图像可以包括已标注的图像，当前待标注图像的已标注信息、未标注的图像等。需要说明的是，预览指令可以是通过点击界面上的预览图标实现的，也可以是通过快捷键输入的。
41.在上述实施例中，在显示已标注信息时，还可以显示标注的中心区。预览已经标注信息可查看最后导出的数据格式，标注中心区用于展示图片以及对应的标注框。
42.在一个示例性实施例中，所述方法还包括：接收缩放指令；按照目标渲染方式缩放所述目标界面中显示的所述待标注图像。在本实施例中，在标注的过程中，还可以对图像进行缩放，在缩放时，可以按照svg渲染方法缩放待标注图像。
43.在上述实施例中，目标界面可以包括三层结构：最底下一层是画布，中间一层是需要标注的图片，该图片是放置在svg元素中，最上一层是标注对象，也是放置在svg元素中，而svg是属于矢量图，缩放可做到不失真，这样能够保证用户在使用过程中比较平滑，在缩放实现上是通过监听鼠标滚轮滚动事件，并且监听键盘ctrl健是否被按下，然后以鼠标箭头为中心放大图片，同时保证图片上的标注对象等比例缩放。在导出标注信息功能上是请求后端接口，后端函数获取数据库保存的标注信息，输出csv文件。
44.在上述实施例中，在对图像标注完成后，可以将标注完成的图像以及图像的标注信息可以作为训练机器学习的网络模型的训练数据。
45.下面结合具体实施例对图像的标注方法进行说明：
46.图3是根据本发明具体实施例的图像的标注方法流程图，如图3所示，该流程包括：
47.步骤s302，用户配置标注对象，上传图片资源文件。
48.步骤s304，打开图片资源进行标注。
49.步骤s306，单图标注：检测对象，2d矩形标注，点标注，路径标注。
50.步骤s306，多图标注：分类对象，对图片进行分类。
51.步骤s308，标注完成后，通过导出json文件导出标注信息。
52.在前述实施例中，可以对图像进行高效的标注，标注人员能够简单易上手的标注无须学习成本，界面清晰简约，随时可查看标注内容，可移动错位的标注对象。图片缩放不会失真。标注后产生的图片标注信息数据结构简单，可直接对接算法进行模型训练。支持单图和多图的标注，多图标注对图片进行分类，快速高效。
53.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有
技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
54.在本实施例中还提供了一种图像的标注装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
55.图4是根据本发明实施例的图像的标注装置的结构框图，如图4所示，该装置包括：
56.接收模块42，用于接收通过目标界面输入的创建指令；
57.获取模块44，用于基于所述创建指令中包括的资源地址获取目标数量的待标注图像；
58.确定模块46，用于确定所述创建指令中配置的标注工具；
59.标注模块48，用于在所述目标界面显示所述待标注图像以及所述标注工具，以指示目标对象基于所述标注工具对所述待标注图像进行标注。
60.在一个示例性实施例中，所述标注工具包括以下至少之一：检测工具，其中，所述检测工具包括以下至少之一：点标注工具、多边形标注工具、路径标注工具；分类工具，其中，所述分类工具包括以下至少之一：布尔工具，单选工具、多选工具、文本工具，所述布尔工具用于标注图像的类型，所述单选工具用于标注图像的单一属性，所述多选工具用于标注图像的多项属性，所述文本工具用于标注图像的说明。
61.在一个示例性实施例中，所述装置可以用于在所述目标界面显示所述待标注图像以及所述标注工具之后，接收通过所述目标界面输入的标注指令；基于所述标注指令标注所述待标注图像。
62.在一个示例性实施例中，所述装置可以用于在基于所述标注指令标注所述待标注图像之后，保存所述待标注图像中包括的已标注完成的图像以及所述已标注完成的图像对应的标注信息；在接收到输出指令的情况下，输出所述输出指令中指示的所述已标注完成的图像以及所述已标注完成的图像对应的标注信息。
63.在一个示例性实施例中，所述装置可以用于在所述待标注图像为多个时，接收通过所述目标界面输入的页面切换指令；基于所述页面切换指令将所述目标界面中显示的当前待标注图像切换为其他待标注图像，其中，所述当前待标注图像与所述其他待标注图像均未所述待标注图像中包括的图像。
64.在一个示例性实施例中，所述装置可以用于接收通过所述目标界面输入的预览指令；基于所述预览指令确定待显示的目标图像；在所述目标界面中显示所述目标图像，其中，所述目标图像包括以下之一：已标注的图像、当前待标注图像的已标注信息、未标注的图像。
65.在一个示例性实施例中，所述装置可以用于接收缩放指令；按照目标渲染方式缩放所述目标界面中显示的所述待标注图像。
66.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
67.本发明的实施例还提供了一种图像的标注系统，包括上述任一项实施例中的装置。
68.本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
69.在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
70.本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
71.在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
72.本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
73.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
74.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。