三维人脸数据采集设备及三维人脸高精度重建方法

本发明涉及三维人脸重建，具体地说，尤其涉及一种低成本和便捷的三维人脸数据采集设备以及应用采集设备的三维人脸高精度重建方法。

背景技术：

1、随着元宇宙概念兴起，作为提升元宇宙用户视觉体验的数字人模型资产，逐渐吸引了人们的关注。特别是，沉浸式社交系统和虚拟现实游戏系统等应用，数字人模型的建立既契合元宇宙的发展需求，还会对元宇宙用户的使用体验产生巨大提升。

2、目前以高精度为目标建立的数字人资产，往往需要数十个专业摄像机结合一定的物理框架，组合成一套大型的相机阵列，采集者控制阵列中各相机进行同时拍摄，采集大量高质量人脸图像，最后依据图像拟合出高精度的三维人脸模型，专业操作人员使用昂贵、笨重的采集设备，经过繁琐的、耗时的流程，才能顺利采集获得高精度的数字人。

3、因此，对于现有的数字人资产采集方案，在采集设备上，相机阵列采集系统需要巨额成本；在采集环境上，笨重、难以移动的采集设备限制了采集环境必须在相机阵列的框架内。现有的采集设备，对高成本设备和高要求环境的依赖，限制了这类高精度的三维人脸模型采集设备和重建方案的推广与普及，进一步限制了大规模的高精度数字人资产的建立和元宇宙社区的发展。

技术实现思路

1、本发明的目的在于克服现有技术的缺点和不足，提供一种三维人脸数据采集设备及三维人脸高精度重建方法，三维人脸数据采集设备成本低廉，方便快捷，三维人脸高精度重建方法在满足低成本和便捷的要求下，能重建出高精度人脸模型。

2、为了实现上述目的，本发明所采用的技术方案如下：

3、一种三维人脸数据采集设备，包括：发射装置、图像采集装置和偏振调整装置，发射装置用于向被采集对象发射光，图像采集装置用于采集偏振数据以用于三维重建，偏振调整装置用于调整偏振光的偏振方向；

4、发射装置包括至少两组光源模组，光源模组发出用于偏振的非偏振白光，供偏振调整装置使用；

5、图像采集装置包括至少两个彩色相机，第一彩色相机用于采集交叉偏振数据，第二彩色相机用于采集平行偏振数据；

6、偏振调整装置包括起偏方向调整装置和检偏方向调整装置；

7、起偏方向调整装置与发射装置共同使用，形成起偏器，白光经过起偏器从非偏振光转换为非偏振光；

8、检偏方向调整装置与图像采集装置共同使用，形成检偏器，通过调整检偏器的方向，采集对应方向的偏振光。

9、一种三维人脸高精度重建方法，应用于上述的三维人脸数据采集设备，包括以下步骤：

10、采集无表情和带表情偏振数据并进行粗处理；

11、基于无表情偏振数据，重建无表情人脸纹理模型；

12、基于带表情偏振数据和无表情人脸纹理模型，重建带表情人脸纹理模型。

13、优选地，采集无表情和带表情偏振数据并进行粗处理，具体包括：

14、采集数据，利用三维人脸数据采集设备，采集无表情和带表情的交叉偏振序列、平行偏振序列和图像；

15、粗处理数据，用采集数据拟合形成三维人脸形状模型、初始漫反射纹理图、初始镜面反射纹理图和初始法线图。

16、优选地，采集数据，具体包括以下步骤：

17、正确安装偏振调整装置，使发射装置发出的偏振白光与第一彩色相机的检偏方向相差90°，同时使发射装置发出的偏振白光与第二彩色相机的检偏方向相同；

18、对第一彩色相机与第二彩色相机进行颜色和进光量调整；

19、使用三维人脸数据采集设备，采集被采集对象的无表情和带表情的交叉偏振序列、平行偏振序列、交叉偏振图片和平行偏振图片；

20、利用无表情和带表情的交叉偏振序列、平行偏振序列、交叉偏振图片和平行偏振图片，使用模型拟合软件metashape拟合形成高精度三维人脸形状模型、初始漫反射纹理图、初始镜面反射纹理图和初始法线图。

21、优选地，重建无表情人脸纹理模型，具体包括：

22、利用空间变化的双向反射分布函数对皮肤进行建模，将皮肤反射模型分离为人脸漫反射模型和人脸镜面反射模型；

23、人脸漫反射模型生成，将无表情人脸交叉偏振数据和初始法线图，估计无表情人脸皮肤的高分辨率漫反射纹理图和法线图；

24、人脸镜面反射模型生成，将无表情人脸平行偏振数据、无表情人脸皮肤的高分辨率漫反射纹理和法线图，估计无表情人脸皮肤的高分辨率镜面反射纹理和最终无表情人脸法线图。

25、优选地，人脸漫反射模型生成，具体包括：

26、用轻量型特征提取网络提取无表情人脸交叉偏振数据、初始漫反射纹理图和初始法线图的特征；

27、将无表情人脸交叉偏振数据的特征、初始法线图的特征和无表情人脸交叉偏振数据载入至人脸漫反射模型中，优化初始漫反射纹理图和初始法线图，得到优化后的无表情人脸皮肤的高分辨率漫反射纹理图和交叉偏振优化后的法线图。

28、优选地，人脸镜面反射模型生成，具体包括：

29、用轻量型特征提取网络提取无表情平行偏振数据、初始镜面反射纹理图和交叉偏振优化后的法线图的特征；

30、将无表情人脸平行偏振数据的特征、交叉偏振优化后的法线图的特征和无表情人脸平行偏振数据载入至镜面反射模型中，优化初始镜面反射纹理图和交叉偏振优化后的法线图，得到优化后的无表情人脸皮肤的高分辨率镜面反射纹理图和最终无表情人脸法线图。

31、优选地，重建带表情人脸纹理模型，具体包括：

32、建立漫反射模型，利用带表情人脸交叉偏振数据和无表情人脸纹理模型，估计带表情人脸皮肤的高分辨率漫反射纹理差分图和位移贴图；

33、建立镜面反射模型，利用带表情人脸平行偏振数据、无表情人脸纹理模型、带表情人脸皮肤的高分辨率漫反射纹理差分图和位移贴图，估计带表情人脸皮肤的高分辨率镜面反射差分图和最终带表情位移贴图；

34、将带表情人脸皮肤的高分辨率漫反射纹理差分图与无表情人脸皮肤的高分辨率漫反射纹理图融合，生成带表情人脸皮肤的高分辨率漫反射纹理图；

35、将带表情人脸皮肤的高分辨率镜面反射纹理差分图与无表情人脸皮肤的高分辨率镜面反射纹理图融合，生成带表情人脸皮肤的高分辨率镜面反射纹理图。

36、优选地，建立漫反射模型，具体包括：

37、用轻量型特征提取网络提取带表情人脸交叉偏振数据和无表情人脸法线图的特征；

38、将带表情人脸交叉偏振数据的特征、无表情人脸法线图的特征、无表情人脸交叉偏振数据和带表情人脸交叉偏振数据载入至对抗生成网络当中，得到带表情人脸皮肤的高分辨率漫反射纹理差分图和位移贴图。

39、优选地，建立镜面反射模型，具体包括：

40、用轻量型特征提取网络提取带表情人脸平行偏振数据和无表情人脸法线图的特征；

41、将带表情人脸平行偏振数据的特征、无表情人脸法线图的特征、无表情人脸平行偏振数据和带表情人脸平行偏振数据载入至对抗生成网络当中，得到带表情人脸皮肤的高分辨率镜面反射纹理差分图和最终位移贴图。

42、与现有技术相比，本发明具有如下优点和有益效果：

43、1.本发明的三维人脸数据采集设备，可以简便地分别采集交叉偏振数据和平行偏振数据，成本低廉，方便快捷。

44、2.本发明的三维人脸高精度重建方法，利用三维人脸数据采集设备，采集人脸交叉偏振数据和平行偏振数据，对人脸漫反射、人脸镜面反射进行解耦操作，得到优化后的高精度人脸纹理模型，从而在低成本和便捷要求下，采集数据并重建出高精度人脸模型。