本发明属于计算机图形学和图像，具体涉及一种基于超高分辨率人像的渲染纹理贴图生成方法和装置。
背景技术：
：：1、随着虚拟现实、游戏及多媒体平台的广泛应用，逼真的个性化虚拟形象在提升用户沉浸式体验方面具有重要作用。为了实现高度逼真的虚拟形象渲染，尤其是在面部渲染领域，需要精确捕捉人脸的微细特征，如毛孔、红晕、皱纹、雀斑等，这些细节对于增强面部外观的真实感至关重要，有助于缩小数字虚拟形象与物理现实之间的差距。为了获取具有丰富面部细节的贴图，包括反照率贴图，微法向贴图和高光贴图，通常需要被采集者亲自到达采集地点，使用复杂且专业的穹顶光场（light stage）捕捉设备和准确的标定程序拍摄大量数据，这导致获取这些超高清贴图需要昂贵的人力和设备成本，因此难以被广泛使用。2、近年来，移动设备摄像头技术的不断进步使得使用手持设备捕捉单张4k（4096×4096）分辨率的超高清人像已变得十分便捷，这为通过单张超高清人像照片生成同样超高分辨率（4k）的面部材质贴图提供了可能性 。然而，现有的单目人脸材质重建方法通常基于256x256或512x512的输入尺寸，使得无法充分利用4k输入中极为丰富的信息来生成具有丰富纹理的细节，导致大量来自4k输入的信息在下采样到输入尺寸的过程中被浪费。3、尽管一些现有方法试图生成超高分辨率（2k或4k）的基于物理渲染材质贴图，但它们通常只能处理低分辨率的输入，并依赖超分辨率技术将生成的图像放大至更高的分辨率。一现有方法中利用高质量的穹顶光场数据重建可重打光的人脸几何和贴图，并支持生成4k分辨率的材质贴图。然而，其原始输入和输出的材质分辨率仅限于512x512，这无法充分利用4k输入图像中的丰富信息。为实现更高分辨率的输出，该方法通过超分辨率网络将结果放大至4k，但在这一过程中可能会引入纹理模式的失真。此外，该方法依赖于昂贵的高质量穹顶光场数据，进一步限制了其在广泛应用中的实用性和可扩展性。4、近年来通过生成式方法获取超高清贴图的工作涌现，例如dreamface[progressive generation of animatable 3d faces under text guidance，文本引导下可动态生成三维人脸]等方法支持以文本和图像作为输入来生成几何和材质信息。dreamface支持利用4k输入图像，生成最高4k分辨率的高保真反照率、微法线和镜面反射贴图。dreamface采用了一个两阶段的框架，并利用扩散模型从大规模高质量数据集中学习先验信息，这种方法能够生成与输入整体一致且能有效保留细节的材质贴图。然而，dreamface的流程并非端到端地生成4k材质贴图，而是通过对512×512的初始输出应用超分辨率技术来实现最终的4k分辨率。这在一定程度上限制了对细节的精准捕捉和生成效果的最优表达。虽然这些方法在超分辨率模块中引入了超高分辨率数据集的先验知识，但由于输入和输出分辨率的限制，输出图像的细节表现力仍然较为有限。因此，这些方法难以直接从超高分辨率输入中捕捉到足够精细的纹理细节，导致生成的材质贴图在与原输入相比时可能会出现不准确性或细节丢失。5、现有方法不直接使用超高分辨率输入的原因之一是gpu内存消耗巨大。即便是处理1k分辨率的图像也需要极高的计算资源。如果将分辨率扩展到4k，所需的内存将增加16倍，使得训练成本极其高昂，超出了许多研究团队的承受范围。因此，在计算资源的限制下，许多方法难以实现从超高分辨率输入到输出的直接处理。技术实现思路1、鉴于上述，本发明的目的是提供一种基于超高分辨率人像的渲染纹理贴图生成方法和装置，有效克服了现有技术在处理超高清面部材质生成时的瓶颈，尤其是在捕捉人脸细微特征方面表现出色。2、为实现上述发明目的，实施例提供的一种基于超高分辨率人像的渲染纹理贴图生成方法，包括以下步骤：3、全局纹理提取：将超高分辨率人像下采样后预测全局几何特征图和全局uv图，对全局uv图进行哈希编码得到几何空间与纹理映射的特征，并将几何空间与纹理映射的特征与下采样后的超高分辨率人像、全局几何特征图以及全局uv图结合来提取全局纹理；4、局部纹理提取：将超高分辨率人像分块成人像小块后，将每个人像小块与全局几何特征图和全局uv图中的对应位置相结合后提取每个人像小块的局部纹理，并在局部纹理提取中引入全局纹理做指导，并将所有人像小块的局部纹理经过后处理后映射到几何体上，得到最终渲染纹理贴图。5、优选地，采用多层可训练纹理的多分辨率哈希表对全局uv图进行哈希编码得到几何空间与纹理映射的特征，使用来自提取全局纹理的全局分布提取器的损失函数梯度来优化几何空间与纹理映射的特征，表示为：6、；7、其中，和分别表示第k轮和第k+1轮的几何空间与纹理映射的特征，表示传播到的全局分布提取器的损失函数梯度。8、优选地，采用全局分布提取器基于几何空间与纹理映射的特征，下采样后的超高分辨率人像、全局几何特征图以及全局uv图来提取全局纹理，全局分布提取器被应用之前经过参数优化，参数优化采用的损失函数包括基于提取的全局纹理与真实全局纹理之间的分布差值构建的损失。9、优选地，将每个人像小块与全局几何特征图和全局uv图中的对应位置相结合，包括：10、将全局几何特征图和全局uv图上采样到超高分辨率人像尺寸后分块得到几何特征小块和uv小块，并将处于相同位置的人像小块、几何特征小块以及uv小块进行合并结合。11、优选地，采用基于神经网络构建的高频细节优化器提取每个人像小块的局部纹理，并在局部纹理提取中引入全局纹理做指导，包括：12、通过多层神经网络层来提取特征，将全局纹理上采样到超高分辨率人像尺寸后分块得到全局纹理小块，并将全局纹理小块拼接到靠后的某层特征上用做纹理提取指导，拼接后的特征继续通过后面的神经网络层来提取局部纹理；13、高频细节优化器被应用之前经过参数优化，参数优化采用的损失函数包括基于提取的局部纹理与真实局部纹理之间的分布差值构建的损失。14、优选地，所述损失函数包括li损失和拉普拉斯损失。15、优选地，将所有人像小块的局部纹理经过后处理，包括：16、将所有人像小块的局部纹理进行组装，并对组装的缝隙区域应用各向异性高斯滤波，实现缝隙平滑处理。17、为实现上述发明目，本发明实施例还提供了一种基于超高分辨率人像的渲染纹理贴图生成装置，包括：18、全局纹理提取模块，其用于将超高分辨率人像下采样后预测全局几何特征图和全局uv图，对全局uv图进行哈希编码得到几何空间与纹理映射的特征，并将几何空间与纹理映射的特征与下采样后的超高分辨率人像、全局几何特征图以及全局uv图结合来提取全局纹理；19、局部纹理提取模块，其用于将超高分辨率人像分块成人像小块后，将每个人像小块与全局几何特征图和全局uv图中的对应位置相结合后提取每个人像小块的局部纹理，并在局部纹理提取中引入全局纹理做指导，并将所有人像小块的局部纹理经过后处理后映射到几何体上，得到最终渲染纹理贴图。20、为实现上述发明目的，实施例还提供了一种计算设备，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述基于超高分辨率人像的渲染纹理贴图生成方法。21、为实现上述发明目的，实施例还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述基于超高分辨率人像的渲染纹理贴图生成方法。22、与现有技术相比，本发明具有的有益效果至少包括：23、本发明采用直接从超高分辨率人像生成超高清纹理的端到端框架，避免了中间超分辨率技术可能带来的纹理失真问题。通过将超高分辨率人像分块成人像小块的分而治之策略，以高效处理超高分辨率人像输入。通过采用全局纹理提取方式，提取单个批次的局部精细细节时确保了一致性。还应用几何法线先验来处理非平面输入，能够最大限度地保留人像中的高频细节，确保生成纹理不仅与输入人像一致，而且在细节保留方面表现优越，确保纹理生成过程的鲁棒性。本发明还引入面部的哈希编码方式，增强自适应学习全局和局部纹理分布的能力，从而改善了细节提取的效果。当前第1页12当前第1页12