一种化妆人脸三维重建的方法

本发明属于计算机视觉的，具体涉及一种化妆人脸三维重建的方法。

背景技术：

1、三维人脸重建技术是近年来在计算机视觉领域备受关注的热门技术之一，应用范围涉及到了人工智能、虚拟现实、增强现实、医疗影像等多个领域。通过使用计算机算法和图像处理技术，可以将从不同角度拍摄的人脸图像转化成三维模型，进而实现对人脸的三维重建和可视化。

2、随着硬件和算法的不断进步，三维人脸重建技术正在被广泛应用于电影、游戏、安防、医疗等多个领域，并且在未来有着广阔的发展前景。

3、然而，现有的三维人脸重建技术仍有不足。三维人脸的重建技术，需要得到高质量、高保真度的无妆、光线良好的二维人脸图像作为重建的输入。一方面，化妆术通常会利用高光、眼影等化妆技巧来改变人脸在视觉上的立体感，但这种立体感对于三维人脸重建任务来说是一种不被期待看到的伪影，这种伪影会大大影响三维人脸的高保真、高精度的重建，若是不对输入图像的质量和内容做出限制、允许用户提供化妆人脸图像作为采集图像，则会因为低质量的输入图像导致在三维人脸重建阶段得到意料之外的人脸模型。另一方面，若是坚持输入图像的高质量、高保真度的无妆的要求，就会迫使化妆的用户们必须先进行卸妆这一耗时的流程，才能进行人脸图像的采集，这对于现在社会基数庞大的化妆群体来说是一种不便利，这种不便利将会大大影响用户的图像采集体验，也会进一步制约这项技术在日常生活场景下的推广使用。

技术实现思路

1、为了克服现有技术存在的缺陷与不足，本发明的目的在于提供一种化妆人脸三维重建的方法，针对普遍的化妆用户群体进行高保真的人脸卸妆重建。

2、为了达到上述目的，本发明采用以下技术方案：

3、一种化妆人脸三维重建的方法，包括步骤如下：

4、获取化妆人脸图像，根据化妆人脸图像提取图像参数，对带妆容的人脸进行三维人脸重建；

5、将化妆人脸图像进行妆容去除，得到卸妆的人脸图像；

6、对卸妆后的人脸图像进行三维人脸重建，训练人脸编码器、特征提取网络、妆容迁移模块；

7、使用经过训练后的人脸编码器、特征提取网络、妆容迁移模块，对新输入的带妆容人脸图像进行人脸三维重建。

8、优选地，所述根据化妆人脸图像提取图像参数，对带妆容的人脸进行三维人脸重建的过程包括：

9、获取化妆人脸的相关图像参数；向人脸编码器输入化妆人脸图像，从化妆人脸图像中提取出化妆人脸带妆容的图像参数；所述图像参数包括二维人脸关键点、形状参数、纹理参数、相机参数、光照参数、姿态参数、表情参数；

10、根据带妆容的图像参数，生成化妆人脸三维模型并进行渲染；

11、对人脸编码器进行粗训练。

12、进一步地，所述人脸编码器用resnet50网络为基础网络，并在resnet50网络的最后加上一层全连接层。

13、进一步地，所述根据带妆容的图像参数，生成化妆人脸三维模型并进行渲染的过程包括：

14、将带妆容的图像参数中的形状参数、姿态参数、表情参数输入到用于生成三维人脸模型的双线性人脸生成网络中，生成带妆容的三维人脸模型；

15、将图像参数中的纹理参数输入到纹理参数解码器中，得到对应化妆人脸图像的人脸纹理图；

16、将带妆容的三维人脸模型和人脸纹理图输入到可微渲染器中，得到带纹理的三维人脸模型渲染图像。

17、进一步地，所述双线性人脸生成网络的结构为基于统计的flame模型；

18、所述纹理参数解码器的结构为将bfm双线性模型的反照率子空间兼容到flame的uv空间中；

19、所述可微渲染器的结构为可微光栅化器。

20、进一步地，所述对人脸编码器进行粗训练的过程包括：

21、根据三维人脸模型渲染图像与化妆人脸图像之间的像素级误差，计算两个图像之间的光度损失，利用光度损失在人脸编码器进行反向传播，实现对人脸编码器的粗训练；。

22、进一步地，所述将化妆人脸图像进行妆容去除的过程包括：

23、提取化妆人脸的妆容特征；将带纹理的三维人脸模型渲染图像、带二维人脸关键点的化妆人脸图像，输入到特征提取网络，提取出化妆人脸的妆容特征；

24、根据所提取的妆容特征对化妆人脸图像进行妆容去除；将带二维人脸关键点的化妆人脸图像、妆容特征输入到妆容迁移模块，得到卸妆后的人脸图像。

25、进一步地，所述特征提取网络的结构采用stargan编码器-瓶颈器结构；

26、所述妆容迁移模块的结构采用stargan编码器-瓶颈器-解码器结构，stargan编码器-瓶颈器的部分与特征提取网络使用相同的架构、与特征提取网络不共享参数。

27、进一步地，所述对卸妆后的人脸图像进行三维人脸重建，训练人脸编码器、特征提取网络、妆容迁移模块的具体过程包括：

28、使用人脸编码器从卸妆后的人脸图像提取去除妆容后的图像参数；输入卸妆后的人脸图像到人脸编码器中，获取卸妆后人脸图像的图像参数；所述卸妆后人脸图像的图像参数包括二维人脸关键点、形状参数、纹理参数、相机参数、光照参数、姿态参数、表情参数；

29、根据卸妆后人脸图像的图像参数，生成卸妆人脸三维模型并进行渲染；将卸妆后人脸图像的形状参数、姿态参数、表情参数输入到双线性人脸生成网络中，生成卸妆的人脸三维模型；将卸妆后人脸图像的纹理参数输入到纹理参数解码器中，得到卸妆后的人脸图像的人脸纹理图；将卸妆的人脸三维模型和卸妆后的人脸纹理图，输入到可微渲染器中，得到带纹理的卸妆人脸三维模型的渲染图像；

30、分别训练人脸编码器、特征提取网络、妆容迁移模块。

31、进一步地，所述分别训练人脸编码器、特征提取网络、妆容迁移模块的过程包括：

32、训练人脸编码器；对带纹理的卸妆人脸三维模型的渲染图像和卸妆后的人脸图像进行像素级误差的计算，得到两个图像之间的光度损失；根据化妆人脸图像的图像参数与卸妆后的人脸图像的图像参数，计算每个相应类型的参数之间的误差得到参数损失，利用光度损失、参数损失在人脸编码器进行反向传播，对人脸编码器再次进行训练；

33、训练特征提取网络和妆容迁移模块；将带纹理的卸妆人脸三维模型的渲染图像、卸妆人脸图像的二维人脸关键点，输入到特征提取网络提取出卸妆后人脸的妆容特征，然后计算化妆人脸的妆容特征和卸妆人脸的妆容特征之间的误差得到特征损失，利用特征损失在特征提取网络和妆容迁移模块进行反向传播从而对特征提取网络和妆容迁移模块进行训练。。

34、本发明与现有技术相比，具有如下优点和有益效果：

35、本发明在三维人脸的重建的过程中，可以得到高质量、高保真度的无妆、光线良好的二维人脸图像作为重建的输入，从而获得更符合目标人脸特征的三维人脸模型，避免现有三维人脸重建技术为保证重建效果而需要卸妆的步骤，也避免了带妆容进行人脸重建会赵成输入图像的质量和内容低下导致的三维人脸重建偏差大的问题；另一方面，无需卸妆就能进行人脸图像的采集，对于现在社会基数庞大的化妆群体来说提升的图像采集体验，进一步扩展了三维人脸重建技术在日常生活的使用场景。