一种纹理图像生成方法及装置与流程

本发明一般地涉及计算机视觉技术领域，特别是涉及一种纹理图像生成方法及装置。

背景技术：

随着计算机图形、图像处理技术的进步，纹理合成越来越多的应用在计算机图像处理中。在计算机图形学中，纹理既包括通常意义上物体表面所呈现凹凸不平的沟纹，同时也包括在物体的光滑表面上的色彩图案，即花纹。纹理技术，在不增加物体表面结合复杂度的情况下，可以有效模拟和增强景物表面的细节特征。纹理技术在影视娱乐、模拟仿真、产品设计等领域有着广阔的前景应用。

当前纹理合成的方法主要基于样本的合成和基于风格的合成，只能生成规则的矩形纹理图片。

技术实现要素：

为了解决现有技术中存在的上述问题，本发明提供一种纹理图像生成方法及装置。

第一方面，本发明实施例提供一种纹理图像生成方法，包括：获取目标对象二维图步骤，获取目标对象二维图；创建局部轮廓蒙版步骤，通过选取目标对象二维图的局部创建局部轮廓蒙版；获取纹理图步骤，获取与目标对象二维图的局部纹理风格相同的二维纹理图；图像融合步骤，将二维纹理图通过局部轮廓蒙版与目标对象二维图进行融合，形成二维合成图。

在一实施例中，图像融合步骤还包括：局部融合步骤，将二维纹理图根据局部轮廓蒙版生成与局部轮廓蒙版形状和位置相同的二维局部纹理图；整体融合步骤，将二维局部纹理图与模型二维图进行融合，生成二维合成图。

在一实施例中，整体融合步骤还包括：调整步骤，调整二维局部纹理图与目标对象二维图的协调性。

在一实施例中，获取目标对象二维图步骤还包括：通过三维模型生成目标对象二维图。

在一实施例中，还包括：生成三维合成模型步骤，基于三维模型以及二维合成图，生成三维合成模型。

在一实施例中，纹理图像生成方法还包括：多视角渲染步骤，获取三维合成模型在多个视角下的合成模型二维图像。

在一实施例中，创建局部轮廓蒙版步骤包括：通过对目标对象二维图进行语义分割选取目标对象二维图的局部，确定局部轮廓蒙版的形状和位置。

在一实施例中，获取纹理图步骤包括：获取对抗生成网络，向所述对抗生成网络输入随机噪声，生成二维纹理图。

在一实施例中，获取对抗生成网络包括：通过将同一种纹理风格的真实纹理图像作为训练样本，使用风格损失函数对所述对抗生成网络进行训练。

在一实施例中，纹理图像生成方法生成的纹理风格包括：鼻纹风格、树木纹理风格、草皮纹理风格、指纹纹理风格、石材纹理风格中的一种纹理风格。

第二方面，本发明实施例提供一种纹理图像生成装置，该纹理图像生成装置具有实现上述第一方面涉及的纹理图像生产方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一例中，纹理图像生成装置包括：获取目标对象二维图模块，用于获取目标对象二维图；创建局部轮廓蒙版模块，用于通过选取目标对象二维图的局部创建局部轮廓蒙版；获取纹理图模块，用于获取与目标对象二维图的局部纹理风格相同的二维纹理图；图像融合模块，用于将二维纹理图通过局部轮廓蒙版与目标对象二维图进行融合，形成二维合成图。

第三方面，本发明实施例提供一种电子设备，其中，电子设备包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行纹理图像生成方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行纹理图像生成方法。

本发明提供的一种纹理图像生成方法及装置，利用生成与目标对象图像局部纹理风格一致的纹理二维图，再利用轮廓蒙版，经过图像融合，能够高效的生产具有纹理的且形状不规则的二维合成图，生成的纹理图像与真实图像纹理风格相同，能够以低成本在短时间内生成大量逼真的纹理图像。

附图说明

通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示出了本发明实施例提供的一种纹理图像生成方法示意图；

图2示出了本发明实施例提供的另一种纹理图像生成方法示意图；

图3示出了本发明实施例提供的另一种纹理图像生成方法示意图；

图4示出了本发明实施例提供的另一种纹理图像生成方法示意图；

图5示出了本发明实施例提供的另一种纹理图像生成方法示意图；

图6示出了本发明实施例提供的一种纹理图像生成装置示意图；

图7示出了本发明实施例提供的另一种纹理图像生成装置示意图；

图8示出了本发明实施例提供的一种鼻纹图像数据生成装置示意图；

图9示出了本发明实施例提供的一种电子设备示意图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。

图1为纹理图像生成方法10的一个实施例的流程示意图。如图1所示，该实施例方法包括：获取目标对象二维图步骤110、创建局部轮廓蒙版步骤120、获取纹理图步骤130、图像融合步骤140。下面对图1中的各步骤进行详细说明。

获取目标对象二维图步骤110，根据三维模型生成目标对象二维图。

在一实施例中，根据业务需求，选取要更换包括局部纹理图像的目标对象，并获取目标对象二维图。例如：想要更换狗鼻子的纹理图像，则获取带狗鼻子的狗脸的二维图；想要更换室内图中的大理石纹理地板，则获取大理石的二维图。

创建局部轮廓蒙版步骤120，通过选取目标对象二维图的局部创建局部轮廓蒙版。

在一实施例中，根据业务需求选择需要更改的局部图像，为了确保局部之外的图像不受影响，对局部进行选取并确定形状轮廓和位置，根据确定的形状和位置创建局部轮廓蒙版，从而将局部轮廓之外的目标对象二维图进行覆盖保护，对局部轮廓之内的图像进行修改或替换。例如：为了更改狗脸图像上的鼻子部分，将鼻子部分的形状轮廓和位置进行定位，建立局部轮廓蒙版，将狗脸图像上除狗鼻子之外的图像部分使用蒙版覆盖保护。

获取纹理图步骤130，获取与目标对象二维图的所述局部纹理风格相同的二维纹理图。

在一实施例中，根据需求获取或生成适用于目标对象二维图局部图像的二维纹理图，用于对获取的目标对象二维图的局部纹理进行替换。当生成的二维纹理图的大小与局部纹理大小匹配时，则可直接使用；当生成的二维纹理图大小与局部纹理大小不匹配时，则根据局部纹理的大小，在保证纹理质量的情况下，对生成的二维纹理图的大小进行缩放，使二维纹理图与局部纹理图的大小相合适，再进行使用。图像融合步骤140，将二维纹理图通过局部轮廓蒙版与目标对象二维图进行融合，形成二维合成图。

在一实施例中，获取到的二维纹理图与局部轮廓蒙版选出的局部图像进行贴图覆盖，构造生成新的局部纹理图，从而与目标对象二维图融合得到二维合成图。

图2示出了纹理图像生成方法10的另一个实施例的流程示意图。如图2所示，该实施例中，图像融合步骤140还包括：局部融合步骤141，将二维纹理图根据局部轮廓蒙版生成与局部轮廓蒙版形状和位置相同的二维局部纹理图；整体融合步骤142，将二维局部纹理图与目标对象二维图进行融合，生成二维合成图。

通过轮廓蒙版限定的位置和形状，形成与目标对象二维图的局部轮廓的形状和位置相同的二维局部纹理图，其中位置可以通过所述局部某一点或某几点在所述目标对象二维图中的位置信息进行定位，也可以通过局部中心点的位置代替，进而将其与二维模型图进行融合形成二维合成图，保证了新的纹理在原图中的位置。

在一实施例中，可以采用图像融合算法将二维纹理图通过轮廓蒙版与目标对象二维图进行融合。在另一实施例中，通过人工手动贴图的方式进行融合，同时由于局部轮廓蒙版限定了形状和位置，可以通过录制手动贴图操作进行批量化融合处理。因此，并且通过上述的方法能够生成大量不同的合成纹理图像。

图3示出了纹理图像生成方法10的另一个实施例的流程示意图。如图3所示，该实施例中，整体融合步骤140还包括：调整步骤1421，调整二维局部纹理图与目标对象二维图的协调性。

通过调整保证融合后的图像整体的的视觉协调性，例如：获取的二维纹理图与目标对象二维图的局部光线、颜色或者像素等视觉效果有差异，则对二维纹理图进行调整，使光线、颜色或者像素等问题与目标对象二维图一致，通过调整，提高图片真实度和质量，从而保证生成的图片在后续应用中的有效性。

在一实施例中，在二维局部纹理图与目标对象二维图融合之前，先将二维局部纹理图进行调整，使二维局部纹理图与目标对象二维图视觉效果一致，再将二维局部纹理图与目标对象二维图进行融合。

在另一实施例中，二维局部纹理图与目标对象二维图融合之后，再将二维局部纹理图与局部轮廓周围图像进行调整，使二维局部纹理图与目标对象二维图视觉效果一致。

图4示出了纹理图像生成方法10的另一个实施例的流程示意图。如图4所示，该实施例中，获取目标对象二维图步骤还包括：通过三维模型生成目标对象二维图；纹理图像生成方法还包括：生成三维合成模型步骤150，基于三维模型以及二维合成图，生成三维合成模型。

在一实施例中，可以通过使用三维软件，将三维模型展开，通过空间投影，在同一平面内投射三维模型的二维轮廓；通过整理图线，删除三维模型，获得二维投影线条，进而获取目标对象二维图，从而得到所有面片的平面展开图，即为目标对象二维图。

在一实施例中，三维模型可以是由设计师提前完成或数据库中原有的模型。三维模型表面可以是纹理清晰、轮廓分明，保证质量和后续提取的准确。

在一实施例中，可以利用三维软件，将得到的二维合成图通过映射原理，映射到最初的三维模型，进行三维重建，将三维模型上的数据进行覆盖，从而获得三维合成模型。在另一实施例中，也可以通过进行三维模型生成目标对象二维图的逆运算，将二维合成图生成三维合成模型。

通过上述方法，利用对抗生成网络生成与目标对象图像局部纹理风格一致的纹理二维图，经过图像融合，生成二维合成图，映射至原有三维模型上，能够高效的生产具有不规则形状且三维分布的纹理图像，生成的纹理图片能够在视觉效果上与真实图像基本相同，能够以低成本在短时间内生成大量逼真的纹理图像，便于识别模型的训练和模型大规模识别效果的验证。

图5示出了纹理图像生成方法10的另一些实施例的流程示意图。如图5所示，该实施例方法还包括：多视角渲染步骤160，获取三维合成模型在多个视角下的合成模型二维图像。

通过从一个三维合成模型的多视角获取多个合成模型二维图像，在一例中，可以测试训练好的身份验证模型是否将一个三维合成模型的多个合成模型二维图像识别为同一个体。所述身份验证模型能够利用合成模型二维图像的局部纹理，例如狗鼻纹，进行特征提取并利用提取的狗鼻纹特征进行身份验证。在另一例中，也可以用于训练身份验证模型，通过输入从一个三维合成模型获取的多个合成模型二维图像，训练身份验证模型的识别为同一个体的能力。

在一实施例中，创建局部轮廓蒙版步骤120包括，通过对目标对象二维图进行语义分割选取目标对象二维图的局部，确定局部轮廓蒙版的形状和位置。通过对目标对象二维图像素特征信息进行标注，对相同特征的像素采用相同的标记，不同特征的像素采用不同的标记，进行语义分割，选取目标对象二维图需要创建局部轮廓蒙版的形状和位置，采用该种方式能够高效的进行局部轮廓蒙版的创建。

在另一例中，创建局部轮廓蒙版步骤120包括也可以采用人工手动定位创建的方式。在目标对象二维图的内部轮廓、纹理不清晰不分明时，通过手动定位，能避免误差，保证局部轮廓蒙版更加准确。

在一实施例中，获取纹理图片步骤130包括：获取对抗生成网络，向对抗生成网络输入随机噪声，生成二维纹理图。获取经过纹理风格学习、训练后的对抗生成网络，输入随机噪声，通过随机噪声对模型中的纹理风格图像进行随机修改，生成纹理风格相同但纹理随机的二维纹理图。

在一实施例中，获取对抗生成网络包括：通过将同一种风格的真实纹理图像作为训练样本，使用风格损失函数对对抗生成网络进行训练。对抗生成网络可以通过多张纹理风格一致的真实纹理图片进行学习、训练纹理风格。在一例中，通过多张纹理风格一致的真实纹理图像，对抗生成网络中获取的每张图像的纹理风格参数，并进行学习进而生成与真实纹理图像风格一致的新的纹理图像。

训练纹理风格的内容可以包括：给出多张同种风格类型的纹理图像，使对抗生成网络学习该种风格类型的纹理图片，生成对应的局部纹理图像。在一例中，不同种类的纹理风格对应不同种类的目标对象的局部纹理，则不同种类的纹理风格可以是：狗鼻纹的纹理风格、人类指纹的纹理风格等等，例如：可以通过输入一组犬类图像，对抗生成网络能够学习到犬类鼻纹的纹理图像的风格，生成鼻纹纹理图像；给出一组木本植物图像，能够学习木本植物表面的纹理图像风格，生成木本植物表面的纹理图像。在另一例中，不同种类的纹理风格对应不同种类下、不同子类别的目标对象的局部纹理，则不同种类的纹理风格可以是：哈士奇狗鼻纹的纹理风格、牧羊犬狗鼻纹的纹理风格，例如：给出一组哈士奇犬的纹理图像，能够学习哈士奇犬的纹理图像风格；给出一组桦树的纹理图像，能够学习桦树的纹理图像风格，等等。真实纹理图片可以从本地、云端或其他数据库中获取，通过使用真实的纹理图片作为学习对象，对图像纹理风格进行学习，使用风格损失作为损失函数，对真实纹理图片进行改造，从而高效、快捷的学习真实纹理图片的风格。

在一实施例中，纹理图像生成方法10的纹理图像可以是：鼻纹图像、树木纹理图像、草皮纹理图像、指纹纹理图像和石材纹理图像中的一种。但不局限于上述纹理图像。通过纹理图像生成方法10能够高效的生成高质量的纹理图像，并且能够根据需要生成不规则的图像。

其中以鼻纹为例，鼻纹是一种与指纹类似的生物特征，能够应用于狗、猫、牛等动物的身份识别，鼻纹识别具有唯一性和稳定性。鼻纹数据的采集成本很高，需要大量人力和时间，通过纹理图像生成方法10合成鼻纹图像能够在真实数据不足的情况下帮助模型取得更好的识别效果以及验证模型对于大规模鼻纹的识别效果。

基于相同的发明构思，本发明实施例还提供一种纹理图像生成装置。

图6示出了纹理图像生成装置20的示例性结构示意图。如图6所示，该实施例纹理图像生成装置包括：获取目标对象二维图模块210，用于获取目标对象二维图；创建局部轮廓蒙版模块220，用于通过选取目标对象二维图的局部创建局部轮廓蒙版；获取纹理图模块230，用于获取与目标对象二维图的局部纹理风格相同的二维纹理图；图像融合模块240，用于将二维纹理图通过局部轮廓蒙版与目标对象二维图进行融合，形成二维合成图。

图7示出了纹理图像生成装置20的一个实施例的结构示意图。下面对图7中的各模块进行详细说明。

在一实施例中，图像融合模块240还包括：局部融合模块241，用于将二维纹理图根据局部轮廓蒙版生成与局部轮廓蒙版形状和位置相同的二维局部纹理图；整体融合模块242，用于将二维局部纹理图与目标对象二维图进行融合，生成二维合成图。

在一实施例中，整体融合模块242还包括：调整模块2421，用于调整二维局部纹理图与目标对象二维图的协调性。

在一实施例中，获取目标对象二维图模块210还包括：通过三维模型生成所述目标对象二维图；纹理图像生成装置还包括：生成三维合成模型模块250，基于所述三维模型以及所述二维合成图，生成三维合成模型。

在一实施例中，纹理图像生成装置20还包括：多视角渲染模块260，用于获取三维合成模型在多个视角下的纹理图片。

在一实施例中，创建局部轮廓蒙版模块220还用于通过对目标对象二维图进行语义分割选取目标对象二维图的局部，确定局部轮廓蒙版的形状和位置。

在一实施例中，获取纹理图模块230包括：用于获取对抗生成网络，向对抗生成网络输入随机噪声，生成二维纹理图。

在一实施例中，获取纹理图模块230中获取的对抗生成网络包括：将同一种风格的真实纹理图像作为训练样本，使用风格损失函数对所述对抗生成网络进行训练。

在一实施例中，纹理图像生成装置20生成的纹理图像可以是：鼻纹图像、树木纹理图像、草皮纹理图像、指纹纹理图像和石材纹理图像中的一种。但不局限于上述纹理图像。

纹理图像生成装置也可以采用不同的硬件/软件设置，以一个具体的鼻纹图像生成装置为例，展示另一种实施例，如图8所示，鼻纹图像数据生成装置30包括：三维引擎310、轮廓蒙版模块320、二维鼻纹纹理生成模块330、鼻纹融合模块340。

三维引擎310，可以用于根据三维模型生成目标对象二维图和根据二维合成图生成三维合成模型。

在一实施例中，三维引擎310，可以用于加载、展示三维模型，将三维模型通过空间投影，获得目标对象二维图；可以用于将二维合成图映射到三维模型上，进行三维重建，生成三维合成模型。

在一实施例中，三维引擎310还可以用于获取三维合成模型在多个视角下的纹理图片。

轮廓蒙版模块320，可以用于通过选区目标对象二维图的局部创建局部轮廓蒙版。

二维鼻纹纹理生成模块330，可以用于通过对抗生成网络生成二维纹理图。

鼻纹融合模块340，可以用于将述二维纹理图通过局部轮廓蒙版与目标对象二维图进行融合，形成二维合成图。

在一实施例中，鼻纹融合模块340，可以用于将二维纹理图根据局部轮廓蒙版生成与局部轮廓蒙版形状和位置相同的二维局部纹理图；将二维局部纹理图与目标对象二维图进行融合，生成二维合成图。

在另一实施例中，鼻纹融合模块340，还可以用于调整二维局部纹理图与目标对象二维图的调整，确保二维局部纹理图和二维局部纹理图与周边区域的视觉协调性。

如图9所示，本发明的一个实施方式提供了一种电子设备40。其中，该电子设备40包括存储器410、处理器420、输入/输出(input/output，i/o)接口430。其中，存储器410，用于存储指令。处理器420，用于调用存储器410存储的指令执行本发明实施例的用于纹理图像生成的方法。其中，处理器420分别与存储器410、i/o接口430连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器410可用于存储程序和数据，包括本发明实施例中涉及的用于纹理图像生成的程序，处理器420通过运行存储在存储器410的程序从而执行电子设备400的各种功能应用以及数据处理。

本发明实施例中处理器420可以采用数字信号处理器(digitalsignalprocessing，dsp)、现场可编程门阵列(field-programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现，所述处理器420可以是中央处理单元(centralprocessingunit，cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。

本发明实施例中的存储器410可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(randomaccessmemory，ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)、硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)等。

本发明实施例中，i/o接口430可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备40的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本发明实施例中i/o接口430可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。

在一些实施方式中，本发明提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行上文所述的任何方法。

尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本发明的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。