基于共形几何的面部模型插值构建方法

本发明属于三维图像，具体涉及基于共形几何的面部模型插值构建方法。

背景技术：

1、虚拟数字人一直是业界的热点研究问题，他可以被广泛应用在影视制作、虚拟直播、增强现实ar、虚拟现实vr、虚拟讲解、消费级应用、视频编辑等领域。而生动的面部模型是虚拟数字人的点睛之笔，构造高质量三维面部模型是虚拟数字人技术研究的核心。

2、传统三维面部模型构建方法包括扫描仪扫描建模、基于图像三维建模和基于现有三维模型重构建模。利用三维扫描仪扫描建模时存在成本高、耗时长、要求被扫描对象长时间保持姿态稳定等缺陷；基于图像的三维建模难以准确体现面部包含的高频信息，容易丢失褶皱、酒窝等细节；现有基于三维模型的建模方法中，自由变形和基于骨骼的构建方法难以应用于面部这类几何细节丰富而骨骼不明显的三维模型，而基于微分变形的三维模型构建收到控制点约束的限制，难以高速构建连续维度三维面部模型。

技术实现思路

1、针对传统模型构建方法存在的难以获取连续维度的高质量面部模型问题，本发明提出了以不同表情的多面部模型为数据源基于共形几何的面部模型插值构建技术，在保证建模效率的同时还提高了面部表情发生大幅度变化时模型构建的鲁棒性。

2、为解决上述技术问题，本发明采用的技术方案为：

3、基于共形几何的面部模型插值构建方法，包括以下步骤：

4、步骤1：给定一个三维面部模板模型和多个不同表情的连续维度三维面部模型，并对多个三维面部模型进行配准；

5、步骤2：利用准共形映射算法将三维面部模型降维到二维平面；

6、步骤3：根据三维面部模型提取的特征点，在二维空间中提取出与其相对应的特征点集合，然后利用多个三维面部模型特征点的位置信息进行线性插值，获取过渡表情特征点位置信息；

7、步骤4：根据过渡表情特征点位置信息，在多个三维面部模型中自适应的选择基础模型；

8、步骤5：利用过渡表情特征点位置信息引导基础模型的二维平面准共形迭代；

9、步骤6：将迭代后的二维平面数据恢复到三维空间，获取三维面部模型，实现具有过渡表情的三维面部模型的构建。

10、进一步地，所述步骤1中配准过程具体包括：

11、步骤1.1：利用super4pcs算法对不同坐标系下的多个三维面部模型进行粗配准；

12、步骤1.2：通过icp算法对多个三维面部模型进行精配准，转化到相同坐标系下，同时在不同模型的顶点间建立对应关系。

13、进一步地，所述步骤2的具体过程如下：

14、步骤2.1：以m1表示原始曲面，m2表示目标曲面，g1，g2分别表示原始曲面与目标曲面上的黎曼度量，得到带有黎曼度量曲面间的可逆映射且该映射诱导的拉回度量和初始度量g1彼此相差一个标量函数λ:s1→r，r为复平面，且满足公式(1)，此时形成了一个共形双射

15、

16、步骤2.2：基于准共形映射进行从三维空间到二维平面的降维处理：首先计算原始三维面部模型的边界，记录边界点集；其次计算模型边界线长度与角度，并将模型边界参数化到圆盘边界；最后计算模型内部顶点集合的余切拉普拉斯矩阵，并将内部顶点集合参数化到二维圆盘内部，以使得眉眼鼻唇的局部细节特征得到完整的保持。

17、进一步地，所述步骤3的具体过程如下：

18、步骤3.1：通过sift方法获取三维面部模板模型特征点，把这些特征点保存到三维特征点集合中，其中i代表特征点，再将三维面部模板模型降维到二维平面，获取与三维特征点集合t0对应的二维点集合

19、步骤3.2：根据配准过程所建立的各表情模型和三维面部模板模型之间的顶点对应关系，在不同表情的连续维度三维面部模型所降维获取的二维平面中定义与三维特征点集合t0对应的二维点集合

20、步骤3.3：以各二维点集合为基础，构建线性插值公式(2)，得到具有不同表情之间过渡表情的面部模型特征点集合tj＝{tij,i≥1}(j≥1)，

21、

22、其中，代表根据现有多表情模型构建的过渡表情面部模特征点集合中的点，j代表生成的表情过渡面部模型索引值，i代表特征点集合中点索引值，k代表作为建模参考的面部模型数量，α代表建模参考的每个面部模型具有的权值，定义了包括模板模型和不同表情的连续维度面部模型在内的所有原始模型对将生成的过渡模型的影响，α的定义如公式(3)：

23、

24、其中，(k-1)为除模板模型外原始模型数量，di索引值为i的原始模型与模板模型对应特征点中最大距离差；dm为生成的表情过渡模型与面部模板模型的距离，0＜dm≤max(di)(i＝2,…k)。

25、进一步地，所述步骤4的具体过程如下：

26、步骤4.1：以不同表情之间过渡表情的面部模型特征点集合tj＝{tij,i≥1}(j≥1)为基础，将k个原始模型二维平面的特征点集合依次和tj进行差值运算，如公式(4)所示，

27、

28、步骤4.2：选择运算结果中差值xj最小的也就是和将要构建的过渡表情模型形状特征最接近的面部模型作为之后构建新面部模型的基础模型。

29、进一步地，所述步骤5的具体过程如下：

30、步骤5.1：从基础模型的特征点集合t中选取控制点，利用不同表情之间过渡表情的面部模型特征点集合tj中与选取的控制点对应的顶点，通过公式(5)、(6)计算处理，得到集合t和tj所包含的对应顶点之间的初始变换关系f0和v0；

31、f0＝fb(μ0:＝0)  (5)

32、v0＝μ(f0)  (6)

33、其中，μ为贝尔特拉米系数；fb为线性贝尔特拉米求解器；

34、步骤5.2：利用基础模型的网格结构顶点信息vn，通过公式(7)、(8)和(9)分别计算μn+1、fn+1和vn+1；

35、μn+1:＝a(δ(vn))  (7)

36、fn+1:＝fb(μn+1)  (8)

37、vn+1:＝μ(fn+1)  (9)

38、其中，a为拉普拉斯平均算子，δ为参数化到二维平面顶点坐标构成的矩阵；

39、步骤5.3：在多次迭代过程中，当||vn+1-vn||≥ε时，不断迭代以上步骤，直到||vn+1-vn||＜ε时，停止迭代算法，构建过渡表情模型。

40、进一步地，所述步骤6的具体过程如下：

41、将准共形迭代得到的二维模型的拓扑信息和部分顶点的几何信息为依据，实现模型从二维平面到三维空间的转换；首先根据二维模型拓扑信息和几何信息计算模型的余切拉普拉斯矩阵，然后以一部分顶点为依据定义约束条件，最后引入最小二乘法构建尽可能满足约束条件的三维模型顶点信息，得到具有过渡表情的三维面部模型；具体步骤如下：

42、步骤6.1：根据公式(10)计算模型的余切拉普拉斯矩阵；

43、

44、在二维平面中边(xi,xj)会与其他顶点构成三角形，αij和αji是该三角形中与边(xi,xj)相对的角的度数；当(xi,xj)为二维平面内部边时，与两个顶点分别构成两个三角形，此时就出现两个(xi,xj)边的对应角，度数分别为αij和αji；当(xi,xj)是边界边时，则只能和一个顶点构成三角形，只有一个对应角度数为αij；

45、步骤6.2：将三维空间的x、y、z坐标结合通过公式(10)获取的余切拉普拉斯矩阵w，构建线性系统：wx＝0，wy＝0，wz＝0；

46、步骤6.3：从非特征点所在区域选择m个顶点保存到集合c中，c＝{s1,s2,s3,s4,…sm}，sm代表集合c中的m个顶点，每个顶点为vs＝(xs,ys,zs),s∈c，其中s代表c中包含的顶点，xs、ys、zs分别代表顶点在三维空间的取值；将这m个顶点和步骤6.2构造的线性方程相结合，构建长度为(n+m)×n的系统，如公式(11)所示；公式(11)中a的计算由公式(12-13)所示，其中w为由公式(10)构建的余切拉普拉斯矩阵，公式(11)中等号右侧bx，by，bz的计算分别由公式(14-16)所示；

47、

48、

49、

50、

51、

52、

53、步骤6.4：利用最小二乘法求解满足如公式(17)线性方程的最小值，得到x＝(ata)-1atbx，y＝(ata)-1atby，z＝(ata)-1atbz，则最终所求的顶点坐标为vnew＝(x,y,z)；

54、

55、

56、

57、与现有技术相比，本发明的有益效果如下：

58、本发明采用以上技术方案，在对模型配准的基础上通过准共形映射将其降维到二维平面，解决了现有建模方法不易在三维空间构建连续维度多表情模型的问题；然后基于多面部模型特征点插值生成过渡模型特征点并构造控制约束条件；同时根据插值生成的特征点选择和其距离最小的表情模型，自适应定义变形基础模型；最后利用控制约束条件引导基础模型准共形迭代，生成具有过渡表情的面部模型。

59、相对之前的三维面部模型构建方法，本发明提出基于共形几何的模型插值构建算法通过引入共形几何三维变形降维到二维平面；提出多表情模型形状特征的插值计算来定义过渡表情建模的约束条件；提出自适应模型选择算法从不同表情的多面部模型中选择和将生成的过渡模型最接近的面部模型作为建模基础模型。本发明提出的模型构建算法在影视制作、虚拟直播、增强现实ar、虚拟现实vr等实际应用中既保证建模效率，同时还提高了表情发生大幅度变化时所构建模型的鲁棒性，更好的避免了畸变的发生。