一种标注数据集生成方法、装置、电子设备及存储介质与流程

本技术涉及图像处理，具体而言，涉及一种标注数据集生成方法、装置、电子设备及存储介质。

背景技术：

1、随着深度学习技术的发展，基于深度学习的图像识别技术已广泛应用于各行各业。而部分基于深度学习的图像识别技术需要大量高质量且带有标注的数据来对模型进行训练。

2、不同于数据丰富的安防、互联网等场景，部分场景的数据采集环境较为恶劣，所能够采集到的数据量较少且质量较差，真实训练数据获取较为困难，从而影响图像识别模型训练效果。

技术实现思路

1、本技术实施例的目的在于提供一种标注数据集生成方法、装置、电子设备及存储介质，用以改善训练数据的获取方式，从而改善图像识别模型的训练效果。

2、第一方面，本技术实施例提供一种标注数据集生成方法，该方法包括：根据真实图像，构建包含有目标物三维子模型和环境三维子模型的目标三维模型；根据所述目标三维模型，获取目标物虚拟图像；以所述目标物虚拟图像为内容图，以所述真实图像为风格图，输入训练好的真实风格迁移模型，获取目标图像；根据所述目标三维模型，获取标注图像；获取由所述目标图像及其对应的所述标注图像构成的标注数据集。

3、在上述方案的实现过程中，根据少量的真实图像构建包含有目标物三维子模型和环境三维子模型的目标三维模型，并根据目标三维模型生成包含有目标物的目标物虚拟图像，然后采用真实风格迁移模型将真实图像的风格迁移到目标物虚拟图像中，从而获得贴近真实风格的目标图像，并且能够通过目标三维模型获取目标图像对应的标注图像，从而完成标注数据集的构建，一方面，上述方案降低了高质量训练数据的获取难度，有利于改善图像识别模型的训练效果；另一方面，通过目标三维模型与真实风格迁移模型，不仅能够获取贴近真实风格的目标图像，还可以获取目标图像对应的标注图像，标注质量好，标注效率高，有利于改善标注数据的获取效率。

4、在第一方面的一种实现方式中，所述根据真实图像，构建包含有目标物三维子模型和环境三维子模型的目标三维模型，包括：根据真实环境图像，构建环境三维子模型；根据目标物特征信息，获取目标物三维子模型；将所述目标物三维子模型添加至所述环境三维子模型，获取目标三维模型。

5、在上述方案的实现过程中，通过真实环境图像先构建环境三维子模型，然后再将获取到的目标物三维子模型添加至环境三维子模型的方式，使得上述标注数据集生成方法能够应用于真实目标物图像无法获取或难以获取的应用场景，有利于改善上述标注数据集生成方法的适应性。

6、在第一方面的一种实现方式中，在所述根据真实环境图像，构建环境三维子模型之后，所述方法还包括：根据所述环境三维子模型，获取虚拟环境图像；以所述虚拟环境图像为内容图，以所述真实环境图像为风格图，训练真实风格迁移模型，获取训练好的所述真实风格迁移模型。

7、在上述方案的实现过程中，针对无法获取或较难获取真实目标物图像的场景，在构建环境三维子模型之后，即根据虚拟环境图像以及真实环境图像对真实风格迁移模型进行训练，使得真实风格迁移模型能够更加精准的学习到真实环境到虚拟环境的风格迁移方式，从而使得上述标注数据集生成方法能够应用于真实目标物图像无法获取或难以获取的应用场景，有利于改善上述标注数据集生成方法的适应性。

8、在第一方面的一种实现方式中，所述以所述虚拟环境图像为内容图，以所述真实环境图像为风格图，训练真实风格迁移模型，获取训练好的所述真实风格迁移模型，包括：以所述虚拟环境图像为内容图，以所述真实环境图像为风格图，对包含有预训练编码器、adain层和解码器的真实风格迁移模型进行训练，获取训练好的所述真实风格迁移模型。

9、在上述方案的实现过程中，真实风格迁移模型可以采用预训练的编码器，通过对包含有预训练编码器、adain层和解码器的真实风格迁移模型进行训练，有利于改善真实风格迁移模型的训练效率。

10、在第一方面的一种实现方式中，所述根据所述目标三维模型，获取目标物虚拟图像，包括：根据所述目标三维模型，获取多视角下的目标物虚拟图像；

11、所述以所述目标物虚拟图像为内容图，以所述真实图像为风格图，输入训练好的真实风格迁移模型，获取目标图像，包括：以多视角下的所述目标物虚拟图像为内容图，以所述真实图像为风格图，输入训练好的真实风格迁移模型，获取多视角下的目标图像。

12、在上述方案的实现过程中，通过获取目标物的多视角图像来对标注数据集进行扩展，采用包含有多视角下的目标图像对图像识别模型进行训练，有利于改善图像识别模型的训练效果。

13、在第一方面的一种实现方式中，所述根据所述目标三维模型，获取标注图像，包括：对所述目标三维模型进行预处理；对进行预处理后的所述目标三维模型进行渲染，获取标注图像。

14、在上述方案的实现过程中，通过对预处理后的目标三维模型进行渲染，从而快速获取目标图像对应的标注图像，有利于标注图像的获取效率。

15、在第一方面的一种实现方式中，所述对所述目标三维模型进行预处理，包括：对所述目标三维模型中的所述目标物三维子模型进行孤立操作、对所述目标三维模型中的所述环境三维子模型进行隐藏操作、改变所述目标三维模型的灯光效果以及分别对所述目标物三维子模型和所述环境三维子模型进行着色中至少一项预处理。

16、在上述方案的实现过程中，通过对目标三维模型进行孤立操作、隐藏操作、改变灯光效果以及着色至少一项预处理，能够使得目标物和背景环境进行有效区分，有利于改善标注图像的获取效率以及标注效果。

17、第二方面，本技术实施例提供一种标注数据集生成装置，该装置包括：

18、目标三维模型构建模块，用于根据真实图像，构建包含有目标物三维子模型和环境三维子模型的目标三维模型；

19、目标物虚拟图像获取模块，用于根据所述目标三维模型，获取目标物虚拟图像；

20、标注数据集获取模块，用于以所述目标物虚拟图像为内容图，以所述真实图像为风格图，输入训练好的真实风格迁移模型，获取目标图像；

21、标注图像获取模块，用于根据所述目标三维模型，获取标注图像；

22、标注数据集获取模块，用于获取由所述目标图像及其对应的所述标注图像构成的标注数据集。

23、第三方面，本技术实施例提供一种电子设备，包括：处理器、存储器和通信总线，其中所述处理器和所述存储器通过所述通信总线完成相互间的通信；所述存储器中存储有可被所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。

24、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。

25、本技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术实施例了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。