标注信息的生成方法、标注信息的生成装置和电子设备与流程

本申请涉及深度学习技术领域，且更为具体地，涉及一种标注信息的生成方法、标注信息的生成装置和电子设备。

背景技术：

近年来，由于深度学习技术的进步，计算机视觉应用得到了很大发展。在深度学习技术中，为了训练用于计算机视觉应用的深度学习模型，训练数据的规模和质量非常重要。

目前，为了获得高质量的训练数据及其标注信息，通常采用人工标注的方式来处理训练数据，例如人工标注图像上的关键信息，但是，这种方式非常费时，而且成本很高。

因此，期望提供改进的从训练数据获得其标注信息的方案。

技术实现要素：

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种标注信息的生成方法、标注信息的生成装置和电子设备，其通过使用合成样本数据训练的神经网络来从风格从真实数据转换为合成数据的样本数据生成其标注信息，从而以低成本的方式获得样本数据的标注信息。

根据本申请的一方面，提供了一种标注信息的生成方法，包括：使用第一合成样本数据训练第一神经网络；通过第二神经网络将第一真实样本数据转换为第二合成样本数据；以及，通过所述第一神经网络从所述第二合成样本数据获得所述第一真实样本数据的第一标注信息。

根据本申请的另一方面，提供了一种标注信息的生成装置，包括：训练单元，用于使用第一合成样本数据训练第一神经网络；转换单元，用于通过第二神经网络将第一真实样本数据转换为第二合成样本数据；以及，标注单元，用于通过所述训练单元训练的所述第一神经网络从所述转换单元转换的所述第二合成样本数据获得所述第一真实样本数据的第一标注信息。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的标注信息的生成方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的标注信息的生成方法。

本申请提供的标注信息的生成方法、标注信息的生成装置和电子设备能够使用合成样本数据训练神经网络，再通过该神经网络从由真实数据风格转换为合成数据风格的样本数据来获得其标注信息，因而不需要大量的真实数据来训练神经网络，仅需要合成数据就可以获得真实数据的标注信息，降低了获取真实数据的标注信息的成本。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的标注信息的生成方法的流程图。

图2图示了根据本申请实施例的训练第一神经网络的示例的流程图。

图3图示了根据本申请实施例的训练第二神经网络的示例的流程图。

图4图示了根据本申请实施例的生成器模型的示例的示意图。

图5图示了根据本申请实施例的标注信息的生成装置的框图。

图6图示了根据本申请实施例的训练单元的示例的框图。

图7图示了根据本申请实施例的第二神经网络的训练装置的示例的框图。

图8图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，目前的用于计算机视觉应用的深度学习模型需要大量具有标注信息的训练数据，但是很多时候难以获得这种足够高质量和大规模的有标注的训练数据。

对于此，目前可以基于机器学习中的无监督学习算法，使用不具有标注信息的训练数据来训练深度学习模型，或者，也可以利用生成模型来生成训练数据，但是，这些方法的效果都不是很好。

另外，有风格迁移的方法，将合成的视觉数据风格转换为真实的数据风格，然后利用转换风格之后的数据去训练深度学习模型。但是，将合成的视觉数据风格转换为真实数据风格会导致深度学习模型不适应真实数据。比如，合成的视觉数据里可能不含有生成某类对象，例如某种车辆的计算机图形(cg)模型，但是真实数据中有这类对象，这就会深度学习模型无法正确地识别出该类型的对象。

基于上述技术问题，本申请的基本构思是首先获得使用合成数据训练的神经网络，再将真实数据从真实数据风格转换为合成数据风格，然后使用该神经网络来从风格转换后的真实数据获得其对应的标注信息。

具体地，本申请提供的标注信息的生成方法、标注信息的生成装置和电子设备首先使用第一合成样本数据训练第一神经网络，然后通过第二神经网络将第一真实样本数据转换为第二合成样本数据，最后通过所述第一神经网络从所述第二合成样本数据获得所述第一真实样本数据的第一标注信息。

这样，本申请提供的标注信息的生成方法、标注信息的生成装置和电子设备不需要使用具有标注信息的真实样本数据来训练神经网络，而仅需要使用合成样本数据来训练神经网络，就可以通过该神经网络从不具有标注信息的真实样本数据获得其标注信息，从而降低了获取真实样本数据的标注信息的成本。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图1图示了根据本申请实施例的标注信息的生成方法的流程图。

如图1所示，根据本申请实施例的标注信息的生成方法包括以下步骤。

步骤s110，使用第一合成样本数据训练第一神经网络。这里，所述第一合成样本数据是具有标注信息的数据，从而能够训练所述第一神经网络以从样本数据获取标注信息。

在本申请实施例中，样本数据可以是各种类型的数据，例如图像数据、视频数据等。

步骤s120，通过第二神经网络将第一真实样本数据转换为第二合成样本数据。也就是，在从真实样本数据获取其标注信息之前，由于所述第一神经网络是基于合成样本数据进行训练的，因此需要首先将真实样本数据转换为合成样本数据。

在本申请实施例中，可以使用用于风格迁移的所述第二神经网络来将所述第一真实样本数据转换为所述第二合成样本数据，在下文中将进一步详细说明所述第二神经网络的结构示例。

步骤s130，通过所述第一神经网络从所述第二合成样本数据获得所述第一真实样本数据的第一标注信息。也就是，因为所述第一神经网络通过训练后可以从合成样本数据获得其标注信息，基于风格转换后获得的所述第二合成样本数据，所述第一神经网络可以获得其标注信息。并且，由于所述第二合成样本数据是由所述第一真实样本数据转换而来的，所获得的所述第二合成样本数据的标注信息也就是所述第一真实样本数据的所述第一标注信息。

因此，根据本申请实施例的标注信息的生成方法不需要使用真实样本数据来训练神经网络，而仅需要使用合成样本数据来训练神经网络，就可以通过该神经网络获得真实样本数据的标注信息，从而降低了获取真实样本数据的标注信息的成本。

图2图示了根据本申请实施例的训练第一神经网络的示例的流程图。

如图2所示，在如图1所示的实施例的基础上，所述步骤s110进一步包括如下步骤。

步骤s1101，获取第二真实样本数据。这里，所述第二真实样本数据与上述第一真实样本数据相同，都是不具有标注信息的真实样本数据。

步骤s1102，通过计算机图形模型从所述第二真实样本数据获得包含第二标注信息的所述第一合成样本数据。也就是，通过目前广泛使用的计算机图形模型(cg)技术，可以从真实样本数据生成具有标注信息的合成样本数据。

在本申请实施例中，所述计算机图形模型可以是游戏使用的图形学引擎或者其它的三维模型。并且，在通过这种计算机图形模型生成合成样本数据的同时，可生产完整的标注信息，例如作为3维建模的结果，该合成样本数据可以具有良好的标注信息，比如图像的深度信息。

步骤s1103，使用所述包含第二标注信息的所述第一合成样本数据训练所述第一神经网络。也就是，通过包含良好的标注信息的合成样本数据来训练所述第一神经网络，可以使得所述第一神经网络学习到样本数据与其标注信息之间的联系，从而可以基于不具有标注信息的样本数据来预测其标注信息。

通过如图2所示的训练第一神经网络的过程，在所述第一神经网络的训练过程中可以使用容易得到的不具有标注信息的真实数据而获得具有良好的标注信息的合成数据，从而不需要使用不易获得的具有标注信息的真实数据，进一步降低了获得样本数据的标注信息的成本。

图3图示了根据本申请实施例的训练第二神经网络的示例的流程图。

如图3所示，在如图1所示的实施例的基础上，所述第二神经网络通过训练生成器模型而获得，且所述训练过程包括：

步骤s210，将判别器网络附加于用于计算机视觉任务的第三神经网络以获得对抗训练网络。参考图4，图4图示了根据本申请实施例的生成器模型的示例的示意图。如图4所示，为了调整生成的样本数据，例如，生成的图像的风格，采用对抗训练网络来使得生成的合成样本数据尽可能精确。

在本申请实施例中，如图4所示，将判别器网络nd附加于用于计算机视觉任务的所述第三神经网络nt以构成对抗训练网络ad，这里，所述第三神经网络nt可以用于执行例如图像语义分割，对象检测，深度估计等计算机视觉任务。因此，所述第三神经网络可以是语义分割网络、对象检测网络、深度估计网络等。

步骤s220，将用于训练所述生成器模型的第三真实样本数据和第三合成样本数据输入所述对抗训练网络。如图4所示，将第三真实样本数据dr和第三合成样本数据dg输入对抗训练网络ad，以通过对抗训练来使得风格迁移后的合成样本数据在图像风格方面接近直接由例如计算机图形模型生成的合成样本数据。

步骤s230，基于所述对抗训练网络的对抗训练损失函数值更新所述生成器模型以获得所述第二神经网络。也就是，计算所述对抗训练网络对于输入的所述第三真实样本数据和所述第三合成样本数据的对抗训练损失函数值，再以此来更新生成器模型，例如如图4所示的gn。

这样，通过上述生成器模型的训练过程得到生成器模型，也就是，所述第二神经网络基于真实样本数据所生成的合成样本数据能够在风格上尽可能地接近例如由计算机图形模型所生成的样本数据的风格，从而实现高精确度的风格迁移。

值得注意的是，真实样本数据和合成样本数据除了在图像风格上具有不同以外，在图像的视觉感知方面也有不同。例如，以图像为例，这表现在真实图像与合成图像在图像的对比度和饱和度方面有差异，即视觉差异。因此，如图4所示，进一步将第三真实样本数据dr和第三合成样本数据dg输入用于提取语义信息的第四神经网络ns，并获得第四神经网络ns对于所输入的第三真实样本数据dr和第三合成样本数据dg的感知损失函数值。

然后，以第四神经网络ns的感知损失函数值训练生成器模型gn。也就是，在本申请实施例中，基于对抗训练网络ad的对抗训练损失函数值和第四神经网络ns的感知损失函数值更新生成器模型gn。

在一个示例中，可以通过所述对抗训练损失函数值和所述感知损失函数值的加权和来更新所述生成器模型。这样，可以使得所述第二神经网络对所述第二真实样本数据所进行的风格迁移能够从图像风格和视觉效果两方面克服真实数据与合成数据之间的域差异，提高风格迁移的精确性，从而提高所生成的标注信息的精确性。

并且，在通过生成器模型将真实样本数据转换为合成样本数据的同时，也将改变样本数据的标注信息分布。也就是，通过训练好的生成器模型，在转换数据的同时也将真实样本数据的标注信息分布转换为合成样本数据的标注信息分布。

在获得所述包含第一标注信息的第一真实样本数据之后，所述第一真实样本数据及其标注信息可以用于训练计算机模型。值得注意的是，所述第一真实样本数据及其标注信息所训练的计算机模型应该对应于如图4所示的用于计算机视觉任务的所述第三神经网络nt。也就是，所述计算机模型的任务应该与所述第三神经网络nt的所述计算机视觉任务相同。

具体地，在所述第三神经网络nt用于执行例如图像语义分割，对象检测，深度估计等计算机视觉任务时，所述计算机模型也是用于图像语义分割，对象检测，深度估计等的计算机视觉模型。

这样，该计算机模型在训练过程中可以免除标注数据的成本，从而能够更快速地和以更少成本地训练出所需的计算机模型。

示例性装置

图5图示了根据本申请实施例的标注信息的生成装置的框图。

如图5所示，根据本申请实施例的标注信息的生成装置300包括：训练单元310，用于使用第一合成样本数据训练第一神经网络；转换单元320，用于通过第二神经网络将第一真实样本数据转换为第二合成样本数据；以及，标注单元330，用于通过所述训练单元310训练的所述第一神经网络从所述转换单元320转换的所述第二合成样本数据获得所述第一真实样本数据的第一标注信息。

图6图示了根据本申请实施例的训练单元的示例的框图。

如图6所示，在如图5所示的实施例的基础上，所述训练单元310包括：获取子单元3101，用于获取第二真实样本数据；合成子单元3102，用于通过计算机图形模型从所述获取子单元3101所获取的所述第二真实样本数据获得包含第二标注信息的所述第一合成样本数据；以及，训练子单元3103，用于使用所述合成子单元3102所获得的所述包含第二标注信息的所述第一合成样本数据训练所述第一神经网络。

图7图示了根据本申请实施例的第二神经网络的训练装置的示例的框图。

如图7所示，在如图5所示的实施例的基础上，所述第二神经网络由用于训练生成器模型的训练装置400训练而获得，且所述训练装置400包括：对抗训练单元410，用于将判别器网络附加于用于计算机视觉任务的第三神经网络以获得对抗训练网络；数据输入单元420，用于将用于训练所述生成器模型的第三真实样本数据和第三合成样本数据输入所述对抗训练单元410所获得的所述对抗训练网络；以及，模型更新单元430，用于基于所述对抗训练单元410所获得的对抗训练网络对于所述数据输入单元420所输入的所述第三真实样本数据和所述第三合成样本数据的对抗训练损失函数值更新所述生成器模型以获得所述第二神经网络。

在一个示例中，在上述训练装置400中，所述模型更新单元430包括：数据输入子单元，用于将所述数据输入单元输入的所述第三真实样本数据和所述第三合成样本数据输入用于提取语义信息的第四神经网络；以及，模型更新子单元，用于基于所述对抗训练单元所获得的所述对抗训练网络对于所述数据输入单元所输入的所述第三真实样本数据和所述第三合成样本数据的对抗训练损失函数值和所述第四神经网络对于所述数据输入子单元所输入的所述第三真实样本数据和所述第三合成样本数据的感知损失函数值更新所述生成器模型以获得已训练的所述第二神经网络。

在一个示例中，在上述标注信息的生成装置300中，所述用于计算机视觉任务的第三神经网络包括用于语义分割的第三神经网络或者用于对象检测的第三神经网络。

在一个示例中，在上述标注信息的生成装置300中，所述包含第一标注信息的第一真实样本数据用于训练用于所述计算机视觉任务的计算机模型。

这里，本领域技术人员可以理解，上述标注信息的生成装置300中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的标注信息的生成方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的标注信息的生成装置300可以实现在各种终端设备中，例如用于数据标注的服务器等。在一个示例中，根据本申请实施例的标注信息的生成装置300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该标注信息的生成装置300可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该标注信息的生成装置300同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该标注信息的生成装置300与该终端设备也可以是分立的设备，并且该标注信息的生成装置300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图8来描述根据本申请实施例的电子设备。

图8图示了根据本申请实施例的电子设备的框图。

如图8所示，电子设备10包括一个或多个处理器11和存储器12。

处理器13可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的标注信息的生成方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如真实样本数据、合成样本数据等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括具有标注信息的真实样本数据等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图8中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的标注信息的生成方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的标注信息的生成方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。