图像标注方法、装置、计算机设备和可读存储介质与流程

文档序号：17465848发布日期：2019-04-20 05:30阅读：163来源：国知局

本发明涉及图像领域，特别是涉及一种图像标注方法、装置、计算机设备和可读存储介质。

背景技术：

近年来，随着高性能图像处理器(graphicsprocessingunit，gpu)和深度学习技术的进一步发展，越来越多的用户使用深度学习技术去进行二维图像的物体检测。而基于深度学习的二维图像物体检测技术的第一步就是需要准确地标注大量二维图像数据，为深度学习提供大量的样本数据。

传统的图像标注方法中，由标注员根据个人经验和一些已有规则自行判断物体在二维图像中的位置，利用已有的标注工具，通过在二维图像上拖动鼠标，用边界框标出物体的轮廓，对二维图像中的物体进行标注。

但是，传统技术的标注方法需要耗费大量的人力和时间，标注的效率低，并且，由于标注员的个人经验不足或已有规则不完善，容易导致标注错误或质量低下。

技术实现要素：

基于此，有必要针对传统的图像标注方法耗费大量的人力和时间，标注效率低且可能由于标注员的个人经验不足或已有规则不完善，导致标注质量较低等问题，提供一种图像标注方法、装置、计算机设备和可读存储介质。

第一方面，本发明实施例提供一种图像标注方法，所述方法包括：

根据预先训练的奇数个图像标注模型，对同一张待标注图像进行标注，获取对应的奇数个第一标注图像；所述图像标注模型用于对图像中的目标物体进行标注；

根据所述奇数个第一标注图像，确定所述待标注图像的目标标注图像。

在其中一个实施例中，所述根据所述奇数个第一标注图像，确定所述待标注图像的目标标注图像，包括：

根据每个所述第一标注图像中的标注物体信息，获取所述奇数个第一标注图像的判别结果；所述判别结果包括所述标注物体信息相同的第一标注图像的数目；

根据所述判别结果确定所述目标标注图像。

在其中一个实施例中，所述根据所述判别结果确定所述目标标注图像，包括：

若所述标注物体信息相同的第一标注图像的数目大于或等于预设阈值，则将所述标注物体信息相同的第一标注图像确定为所述目标标注图像；所述预设阈值大于所述图像标注模型个数的一半。

在其中一个实施例中，所述根据所述判别结果确定所述目标标注图像，还包括：

若所述标注物体信息相同的第一标注图像的数目小于所述预设阈值，则将所述第一标注图像确定为待处理的第一标注图像；

根据用户输入的标注操作指令，对所述待处理的第一标注图像重新标注，得到第二标注图像；

根据所述第二标注图像和预先训练的图像标注判别模型，确定所述目标标注图像；所述图像标注判别模型用于判断所述第二标注图像的准确度。

在其中一个实施例中，所述根据所述第二标注图像和预先训练的图像标注判别模型，确定所述目标标注图像，包括：

将所述第二标注图像输入所述预先训练的图像标注判别模型中，得到所述第二标注图像的判别结果；

若所述判别结果为准确，则确定所述第二标注图像为所述目标标注图像。

在其中一个实施例中，所述方法还包括：

以训练样本图像和所述训练样本图像的属性信息为输入，审查数据为输出，对预设的第一深度学习网络模型进行训练，得到所述图像标注判别模型；所述审查数据包括标注图像的判别结果。

在其中一个实施例中，所述方法还包括：

以训练样本图像为输入，已标注的样本图像为输出，对预设的第二深度学习网络模型进行训练，得到所述奇数个图像标注模型。

第二方面，本发明实施例提供一种图像标注装置，所述装置包括：

获取模块，用于根据预先训练的奇数个图像标注模型，对同一张待标注图像进行标注，获取对应的奇数个第一标注图像；所述图像标注模型用于对图像中的目标物体进行标注。

确定模块，用于根据所述奇数个第一标注图像，确定所述待标注图像的目标标注图像。

第三方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

根据所述奇数个第一标注图像，确定所述待标注图像的目标标注图像。

第四方面，本发明实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

根据所述奇数个第一标注图像，确定所述待标注图像的目标标注图像。

上述实施例提供的图像标注方法、装置、计算机设备和可读存储介质中，计算机设备可以根据预先训练的奇数个用于对图像中的目标物体进行标注的图像标注模型，对同一张待标注图像进行标注，得到对应的奇数个第一标注图像，进而根据奇数个第一标注图像，确定待标注图像的目标标注图像，由于奇数个第一标注图像是根据预先训练的奇数个图像标注模型得到的，提高了对待标注图像的标注效率，另外，计算机设备是根据得到的奇数个第一标注图像确定待标注图像的目标标注图像的，避免了由标注员的个人经验不足或已有规则不完善导致对待标注图像标注的质量较低的问题，提高了确定的目标标注图像的标注准确度。

附图说明

图1为一个实施例提供的计算机设备的内部结构示意图；

图2为一个实施例提供的图像标注方法的流程示意图；

图3为另一个实施例提供的图像标注方法的流程示意图；

图4为另一个实施例提供的图像标注方法的流程示意图；

图5为另一个实施例提供的图像标注方法的流程示意图；

图6为一个实施例提供的图像标注装置结构示意图；

图7为一个实施例提供的图像标注装置结构示意图；

图8为一个实施例提供的图像标注装置结构示意图；

图9为一个实施例提供的图像标注装置结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本发明实施例提供的图像标注方法，可以适用于如图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器，该存储器中存储有计算机程序，处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的，该计算机设备还可以包括网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的，该计算机设备可以是服务器，可以是pc，还可以是个人数字助理，还可以是其他的终端设备，例如pad、手机等等，还可以是云端或者远程服务器，本发明实施例对计算机设备的具体形式并不做限定。

传统的图像标注方法，需要耗费大量的人力和时间，标注的效率低，并且，由于标注员的个人经验不足或已有规则不完善，易造成标注的质量较低。为此，本发明实施例提供一种图像标注方法、装置、计算机设备和可读存储介质，旨在解决传统技术的如上技术问题。

需要说明的是，本申请实施例提供的图像标注方法，其执行主体可以是图像标注装置，该图像标注装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。

下面以具体的实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图2为一个实施例提供的图像标注方法的流程示意图。本实施例涉及的是确定待标注图像的目标标注图像的具体实现过程。如图2所示，该方法可以包括：

s201，根据预先训练的奇数个图像标注模型，对同一张待标注图像进行标注，获取对应的奇数个第一标注图像；所述图像标注模型用于对图像中的目标物体进行标注。

具体的，计算机设备可以将同一张待标注图像输入预先训练的用于对图像中的目标物体进行标注的奇数个图像标注模型，得到对应的奇数个第一标注图像。可选的，待标注图像可以是十字路口的交通图像，也可以是其他二维图像。可选的，可以对同一张待标注图像中目标物体的类别、大小等进行标注，也可以对待标注图像中目标物体所在环境的光照、天气等进行标注。例如，可以对十字路口的交通图像中红绿灯的位置进行标注，也可以对红绿灯的大小进行标注，或者，也可以对获取的交通图像中的天气进行标注。可选的，图像标注模型的个数可以结合实际因素进行确定，只要为奇数个即可。例如，可以将同一张待标注图像输入预先训练的7个图像标注模型中，得到7张第一标注图像，也可以将同一张待标注图像输入预先训练的13个图像标注模型中，得到13张第一标注图像。

s202，根据所述奇数个第一标注图像，确定所述待标注图像的目标标注图像。

具体的，计算机设备获取到上述奇数个第一标注图像后，可以根据获取的奇数个第一标注图像确定待标注图像的目标标注图像。可选的，计算机设备可以根据奇数个第一标注图像中的标注物体的位置信息，确定待标注图像的目标标注图像，也可以根据奇数个第一标注图像中的标注物体的大小、形状等信息，确定待标注图像的目标标注图像。例如，计算机设备可以将奇数个第一标注图像中的标注物体的位置均相同的第一标注图像确定为待标注图像的目标标注图像。

在本实施例中，计算机设备根据预先训练的奇数个用于对图像中的目标物体进行标注的图像标注模型，对同一张待标注图像进行标注，得到对应的奇数个第一标注图像，进而根据奇数个第一标注图像，确定待标注图像的目标标注图像，由于奇数个第一标注图像是根据预先训练的奇数个图像标注模型得到的，采用该图像标注模型可以直接快速的得到标注图像，提高了对待标注图像的标注效率，另外，计算机设备是根据得到的奇数个第一标注图像确定待标注图像的目标标注图像的，避免了由标注员的个人经验不足或已有规则不完善导致对待标注图像标注的质量较低的问题，提高了确定的目标标注图像的标注准确度。

图3为另一个实施例提供的图像标注方法的流程示意图。本实施例涉及的是根据奇数个第一标注图像，确定待标注图像的目标标注图像的具体实现过程。如图3所示，上述s202包括：

s301，根据每个所述第一标注图像中的标注物体信息，获取所述奇数个第一标注图像的判别结果；所述判别结果包括所述标注物体信息相同的第一标注图像的数目。

具体的，计算机设备根据上述获取的奇数个第一标注图像中的标注物体信息，获取每个第一标注图像中的标注物体信息相同的第一标注图像数目。可选的，标注物体信息可以是目标物体的位置、大小和目标物体所在环境的光照、天气等信息。可选的，计算机设备可以将所有的第一标注图像两两比较，记录标注物体信息相同的第一标注图像的数目。

s302，根据所述判别结果确定所述目标标注图像。

具体的，计算机设备可以根据上述获取的第一标注图像中标注物体信息相同的第一标注图像的数目，确定待标注图像的目标标注图像。可选的，计算机设备可以根据标注物体信息相同的第一标注图像的数目与所用图像标注模型个数的比值，确定目标标注图像。例如，若标注物体信息相同的第一标注图像的数目与所用图像标注模型个数的比值等于1，则将标注物体信息相同的第一标注图像确定为目标标注图像。

在本实施例中，计算机设备可以根据上述获取的第一标注图像中每个第一标注图像中的标注物体信息，确定标注物体信息相同的第一标注图像的数目，根据确定的标注物体信息相同的第一标注图像的数目，确定目标标注图像，确定目标标注图像的过程十分简单，便于操作，大大提高确定目标标注图像的效率，另外，该过程中减少了人为的参与，大大提高了确定的目标标注图像的准确性。

在上述实施例的基础上，作为一种可选的实施方式，上述s302包括：若所述标注物体信息相同的标注图像的数目大于或等于预设阈值，则将所述标注物体信息相同的第一标注图像确定为所述目标标注图像；所述预设阈值大于所述图像标注模型个数的一半。

具体的，计算机设备根据所用图像标注模型的个数设定预设阈值，设定的预设的阈值为大于所用图像标注模型个数的一半的值，将上述获取的标注物体信息相同的第一标注图像的数目大于或等于预设阈值的第一标注图像，确定为目标标注图像。例如，所用图像标注模型的个数为13，设定的预设阈值为9，获取的标注物体信息相同的第一标注图像的数目为10，则计算机设备将该第一标注图像确定为待标注图像的目标标注图像。

在本实施例中，计算机设备根据所用图像标注模型的个数设定预设阈值，设定的预设阈值为大于所用图像标注模型个数一半的值，若标注物体信息相同的第一标注图像的数目大于或等于预设阈值，则计算机设备将标注物体信息相同的第一标注图像确定为目标标注图像，由于目标标注图像是根据所用图像标注模型的个数和标注物体信息相同的第一标注图像的数目确定的，因此，大大提高了确定的目标标注图像的准确性。

在一些场景中，使用上述图像标注模型对图像标注的效果并不理想，需要对经过上述图像标注模型标注过的图像进行二次标注。图4为另一个实施例提供的图像标注方法的流程示意图。本实施例涉及的是确定标注物体信息相同的第一标注图像的数目小于预设阈值的目标标注图像的具体实现过程。如图4所示，上述s302还包括：

s401，若所述标注物体信息相同的第一标注图像的数目小于所述预设阈值，则将所述第一标注图像确定为待处理的第一标注图像。

具体的，若标注物体信息相同的第一标注图像的数目小于预设阈值，则计算机设备将该第一标注图像确定为待处理的第一标注图像。例如，所用图像标注模型的个数为13，设定的预设阈值为9，获取的标注物体信息相同的第一标注图像的数目为7，则计算机设备将该第一标注图像确定为待处理的第一标注图像。

s402，根据用户输入的标注操作指令，对所述待处理的第一标注图像重新标注，得到第二标注图像。

具体的，计算机设备接收到用户输入的标注操作指令后，可以根据用户输入的标注操作指令，对待处理的第一标注图像进行重新标注，得到第二标注图像。可选的，用户可以通过文字输入的方式将标注操作指令输入至计算机设备中，也可以通过语音输入方式将标注操作指令输入至计算机设备中。

s403，根据所述第二标注图像和预先训练的图像标注判别模型，确定所述目标标注图像；所述图像标注判别模型用于判断所述第二标注图像的准确度。

具体的，计算机设备获取到第二标注图像后，可以根据第二标注图像和预先训练的用于判断第二标注图像的准确度的图像标注判别模型，确定目标标注图像。可选的，计算机设备可以根据第二标注图像的准确度，确定目标标注图像。

在本实施例中，计算机设备将标注物体信息相同的第一标注图像的数目小于预设阈值的第一标注图像确定为待处理的第一标注图像，根据用户输入的标注操作指令，对待处理的第一标注图像进行重新标注，得到第二标注图像，之后，根据第二标注图像和预先训练的用于判断所述第二标注图像的准确度的图像标注判别模型，确定目标标注图像，在该过程中由于是根据图像标注判别模型确定的目标标注图像，提高了确定的目标标注图像的准确度，另外，将标注物体信息相同的第一标注图像的数目小于预设阈值的第一标注图像确定为待处理的第一标注图像，对待处理的第一标注图像进行重新标注，提高了获取目标标注图像的效率。

图5为另一个实施例提供的图像标注方法的流程示意图。本实施例涉及的是根据第二标注图像和预先训练的图像标注判别模型，确定目标标注图像的具体实现过程。如图5所示，上述s403包括：

s501，将所述第二标注图像输入预先训练的图像标注判别模型中，得到所述第二标注图像的判别结果。

具体的，计算机设备可以将第二标注图像输入预先训练的图像标注判别模型中，对第二标注图像的准确度进行判断，得到第二标注图像的判别结果。可选的，第二标注图像的判别结果可以是准确，也可以是错误。

s502，若所述判别结果为准确，则确定所述第二标注图像为所述目标标注图像。

具体的，若图像标注判别模型对第二标注图像的判别结果为准确，则计算机设备将该第二标注图像确定为待标注图像的目标标注图像。例如，计算机设备可以将输入预先训练的图像标注判别模型中判别结果为准确的第二标注图像，确定为待标注图像的目标标注图像。

在本实施例中，计算机设备将第二标注图像输入预先训练的图像标注模型中，将第二标注图像的判别结果为准确的第二标注图像，确定为目标标注图像，由于在确定目标标注图像的过程中，减少了人为参与的过程，因此，增加了确定的目标标注图像的准确度，提高了获取目标标注图像的效率。

在上述将第二标注图像输入图像标注判别模型中，得到第二标注图像的判别结果的场景中，可以对预设的第一深度学习网络模型进行训练得到图像标注判别模型。在上述实施例的基础上，作为一种可选的实施方式，所述方法还包括：以训练样本图像和所述训练样本图像的属性信息为输入，审查数据为输出，对预设的第一深度学习网络模型进行训练，得到所述图像标注判别模型；所述审查数据包括标注图像的判别结果。

其中，样本图像的属性信息包括样本图像中目标物体的类别、大小、目标物体所在环境的光照、天气等信息。具体的，计算机设备以训练样本图像和训练样本图像的属性信息为输入，标注图像的判别结果为输出，对预设的第一深度学习网络模型进行训练，得到上述图像标注判别模型。

在本实施例中，计算机设备以训练样本图像和训练样本图像的属性信息为输入，以标注图像的判别结果为输出，对预设的第一深度学习网络模型进行训练，提高了得到的图像标注判别模型的准确度，进而提高了根据图像标注判别模型得到目标标注图像的准确度。

在上述根据图像标注模型对同一张待标注图像进行标注的场景中，需要对预设的第二深度学习网络模型进行训练，得到图像标注判别模型。在上述实施例的基础上，作为一种可选的实施方式，所述方法还包括：以训练样本图像为输入，已标注的样本图像为输出，对预设的第二深度学习网络模型进行训练，得到所述奇数个图像标注模型。

具体的，计算机设备对预设的第二深度学习网络模型以训练样本图像为输入，已标注的样本图像为输出进行训练，得到奇数个用于对图像中的目标物体进行标注的图像标注模型。可选的，计算机设备可以对yolo深度学习网络模型进行训练。可选的，训练样本图像和已标注的样本图像可以从公开的图像数据集中获取，也可以将预先人工标注正确的图像作为训练样本图像和已标注的样本图像。

在本实施例中，计算机设备以训练样本图像为输入，已标注的样本图像为输出，对预设的第二深度学习网络模型进行训练，提高了得到的奇数个图像标注模型的准确度；另外，根据训练好的图像标注模型就可以对任意一张待标注图像进行标注，提高了对图像标注的效率。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例提供的图像标注装置结构示意图。如图6所示，该装置可以包括：获取模块10和确定模块11。

具体的，获取模块10，用于根据预先训练的奇数个图像标注模型，对同一张待标注图像进行标注，获取对应的奇数个第一标注图像；所述图像标注模型用于对图像中的目标物体进行标注；

确定模块11，用于根据所述奇数个第一标注图像，确定所述待标注图像的目标标注图像。