实时的三维眼皮重建方法及装置与流程

本发明涉及计算机图形学、计算机视觉技术领域，特别涉及一种实时的三维眼皮重建方法及装置。

背景技术：

在计算机图形学与计算机视觉领域，生成生动真实的人脸模型动画一直是一个重要且具有挑战性的问题。人脸是人身体上最重要的一部分，而眼睛更是被称为心灵之窗，眼部区域皮肤的细微运动表达了人类丰富的情感。因此，眼皮的实时三维重建能够极大的提升人脸模型动画的真实感，具有极高的科研和应用价值。

然而，眼部区域的面积非常小，并且眼皮的运动中包含了皮肤的遮挡与褶皱，对于眼部区域形状与运动的直接建模通常是非常困难的；一些精确建模的方法(如从阴影恢复形状方法)可以对眼部区域皮肤的形状进行精确刻画，但这些方法很难满足三维眼皮重建的实时性需求，有待解决。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种实时的三维眼皮重建方法，该方法可以提高三维面部动画的整体真实感。

本发明的另一个目的在于提出一种实时的三维眼皮重建装置。

为达到上述目的，本发明一方面实施例提出了一种实时的三维眼皮重建方法，包括以下步骤：将含语义信息的四通道边界图中的每个通道的像素点以灰度值为权重拟合为多项式曲线；定义线性的三维眼皮模型上与图像中四条含语义信息的边界相对应的三维特征顶点，并确定所述三维特征顶点与图像中相应边界上二维特征点的对应关系；通过所述三维特征顶点的投影与所述二维特征点的距离确立差异函数，求解两组眼皮的线性三维模型的最优权重系数；将眼皮的三维重建结果融合到面部重建结果中。

本发明实施例的实时的三维眼皮重建方法，可以通过一种基于投影的方法快速建立三维眼皮模型与二维图像中含语义信息边界的特征点的对应关系，并利用两组三维眼皮模型的线性特点，迭代优化两组模型的权重系数，从而实现实时的三维眼皮重建，实时的三维眼皮重建结果被融合于三维面部重建结果，提高了面部三维动画的真实性和完整性，提高了三维面部动画的整体真实感。

另外，根据本发明上述实施例的实时的三维眼皮重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述将含语义信息的四通道边界图中的每个通道的像素点以灰度值为权重拟合为多项式曲线，进一步包括：将所述每个通道的像素点的二维坐标作为一组数据，且所述像素点的灰度值作为权重，以使用最小二乘法拟合三次多项式曲线。

进一步地，在本发明的一个实施例中，所述定义线性的三维眼皮模型上与图像中四条含语义信息的边界相对应的三维特征顶点，并确定所述三维特征顶点与图像中相应边界上二维特征点的对应关系，进一步包括：对每条边界，选取模型上的两个顶点作为边界的端点，并将端点间的所有顶点都选为三维特征顶点；根据所述三维特征顶点在二维图像上的投影点间的距离比例关系在对应的二维边界多项式曲线上进行采样，以确立所述三维特征顶点与所述二维边界上特征点的对应关系。

进一步地，在本发明的一个实施例中，所述通过所述三维特征顶点的投影与所述二维特征点的距离确立差异函数，求解两组眼皮的线性三维模型的最优权重系数，进一步包括：将眼皮模型上的三维特征点按相机参数投影到二维图像上，根据其与对应二维特征点的距离定义差异函数，并求解最优的线性三维眼皮模型的权重系数。

进一步地，在本发明的一个实施例中，所述将眼皮的三维重建结果融合到面部重建结果中，进一步包括：在面部模型上定义一组与眼皮模型外边缘对应的顶点，并使所述眼皮模型的外边缘顶点与所述对应的顶点重合，通过三维模型的渲染便得到融合后的最终结果。

为达到上述目的，本发明另一方面实施例提出了一种实时的三维眼皮重建装置，包括：拟合模块，用于将含语义信息的四通道边界图中的每个通道的像素点以灰度值为权重拟合为多项式曲线；定义模块，用于定义线性的三维眼皮模型上与图像中四条含语义信息的边界相对应的三维特征顶点，并确定所述三维特征顶点与图像中相应边界上二维特征点的对应关系；计算模块，用于通过所述三维特征顶点的投影与所述二维特征点的距离确立差异函数，求解两组眼皮的线性三维模型的最优权重系数；重建模块，用于将眼皮的三维重建结果融合到面部重建结果中。

本发明实施例的实时的三维眼皮重建装置，可以通过一种基于投影的方法快速建立三维眼皮模型与二维图像中含语义信息边界的特征点的对应关系，并利用两组三维眼皮模型的线性特点，迭代优化两组模型的权重系数，从而实现实时的三维眼皮重建，实时的三维眼皮重建结果被融合于三维面部重建结果，提高了面部三维动画的真实性和完整性，提高了三维面部动画的整体真实感。

另外，根据本发明上述实施例的实时的三维眼皮重建装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述拟合模块，进一步包括：将所述每个通道的像素点的二维坐标作为一组数据，且所述像素点的灰度值作为权重，以使用最小二乘法拟合三次多项式曲线。

进一步地，在本发明的一个实施例中，所述定义模块，进一步包括：对每条边界，选取模型上的两个顶点作为边界的端点，并将端点间的所有顶点都选为三维特征顶点；根据所述三维特征顶点在二维图像上的投影点间的距离比例关系在对应的二维边界多项式曲线上进行采样，以确立所述三维特征顶点与所述二维边界上特征点的对应关系。

进一步地，在本发明的一个实施例中，所述计算模块，进一步包括：将眼皮模型上的三维特征点按相机参数投影到二维图像上，根据其与对应二维特征点的距离定义差异函数，并求解最优的线性三维眼皮模型的权重系数。

进一步地，在本发明的一个实施例中，所述重建模块，进一步包括：在面部模型上定义一组与眼皮模型外边缘对应的顶点，并使所述眼皮模型的外边缘顶点与所述对应的顶点重合，通过三维模型的渲染便得到融合后的最终结果。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的实时的三维眼皮重建方法的流程图；

图2为根据本发明一个实施例的实时的三维眼皮重建方法的流程图；

图3为根据本发明一个实施例的眼部区域的含语义信息的四通道边界示意图；

图4根据本发明一个实施例的两组线性的三维眼皮模型中的部分模型示意图；

图5为根据本发明一个实施例的一段视频序列中的四帧及融合于面部重建结果的三维眼皮重建结果示意图；

图6为根据本发明一个实施例的四通道边界图中拟合为多项式曲线的结果示意图；

图7为根据本发明一个实施例的眼皮模型上三维特征顶点的投影与二维边界上特征点的对应关系示意图；

图8为根据本发明实施例的实时的三维眼皮重建装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的实时的三维眼皮重建方法及装置，首先将参照附图描述根据本发明实施例提出的实时的三维眼皮重建方法。

图1是本发明实施例的实时的三维眼皮重建方法的流程图。

如图1所示，该实时的三维眼皮重建方法包括以下步骤：

在步骤s101中，将含语义信息的四通道边界图中的每个通道的像素点以灰度值为权重拟合为多项式曲线。

进一步地，在本发明的一个实施例中，将含语义信息的四通道边界图中的每个通道的像素点以灰度值为权重拟合为多项式曲线，进一步包括：将每个通道的像素点的二维坐标作为一组数据，且像素点的灰度值作为权重，以使用最小二乘法拟合三次多项式曲线。

可以理解的是，结合图1和图2所示，本发明实施例首先可以将四通道边界图中的每个通道拟合为多项式曲线，本发明实施例中使用的含语义信息的四通道边界图存储了眼部区域四条主要边界(如双眼皮、上眼皮、下眼皮和卧蚕的下边界)的位置和形状(如图3所示)，因此为了后续的重建过程，需要将离散的边界图转化为连续的曲线，从而能够在曲线上采样寻找与三维眼皮模型的对应关系。本发明的实施例中利用带有权重的最小二乘法分别对边界图的四个通道拟合多项式曲线，即根据如下优化问题求解多项式的系数：

其中，a＝{ai|i＝0,1,2,3}为三次多项式的系数，p为多项式函数，c包含边界图的某个通道中所有灰度值大于0.2的像素，(xk,yk)为像素k的二维坐标，ωk为像素k的权重并被设为像素k的灰度值。

在步骤s102中，定义线性的三维眼皮模型上与图像中四条含语义信息的边界相对应的三维特征顶点，并确定三维特征顶点与图像中相应边界上二维特征点的对应关系。

进一步地，在本发明的一个实施例中，定义线性的三维眼皮模型上与图像中四条含语义信息的边界相对应的三维特征顶点，并确定三维特征顶点与图像中相应边界上二维特征点的对应关系，进一步包括：对每条边界，选取模型上的两个顶点作为边界的端点，并将端点间的所有顶点都选为三维特征顶点；根据三维特征顶点在二维图像上的投影点间的距离比例关系在对应的二维边界多项式曲线上进行采样，以确立三维特征顶点与二维边界上特征点的对应关系。

可以理解的是，本发明实施例定义三维眼皮模型上与四通道边界图对应的特征顶点，并确定三维特征顶点与四条边界上二维特征点的对应关系。本发明实施例通过使用两组线性的眼皮模型，所有网格模型的拓扑结构均一致(如图4所示)，因此只需对其中的一个模型进行特征顶点的标定，并且只需在处理视频的第一帧时进行一次标定，对每条边界对应三维特征顶点的标定方法为，首先选取模型上的两个顶点作为边界的端点，然后将模型上这两个端点间的所有顶点都选为三维特征顶点；接着，本发明实施例根据三维特征顶点在二维图像上的投影点间的距离比例关系在对应的二维边界多项式曲线上进行采样，从而确立三维特征顶点与二维边界上特征点的对应关系。具体而言，在采样时设立如下的约束关系：

s*l(π(vt),π(vt-1))＝l(ut,ut-1),t＝1,…,t-1

其中，s是一个放缩系数l(ut-1,u0)/l(vt-1,v0)，l为二维或三维空间中曲线上两点之间的弧长，vt为三维特征顶点，ut为vt对应的二维特征点，π为通过相机参数将三维点投影到二维图像的投影矩阵，t为某条边界上三维特征顶点的数量。

在步骤s103中，通过三维特征顶点的投影与二维特征点的距离确立差异函数，求解两组眼皮的线性三维模型的最优权重系数。

进一步地，在本发明的一个实施例中，通过三维特征顶点的投影与二维特征点的距离确立差异函数，求解两组眼皮的线性三维模型的最优权重系数，进一步包括：将眼皮模型上的三维特征点按相机参数投影到二维图像上，根据其与对应二维特征点的距离定义差异函数，并求解最优的线性三维眼皮模型的权重系数。

可以理解的是，本发明实施例可以根据眼皮模型上的三维特征点的二维投影与对应二维特征点的距离定义差异函数，并求解最优的线性三维眼皮模型的权重系数，其中，差异函数如下定义：

其中，i为四条含语义信息的边界，sⁱ包含所有属于边界i的三维特征点与二维特征点的对应关系，为对应关系t的权重值(边界的端点设置为2，其余设置为1)，b为一组线性的三维眼皮模型，w为其权重系数。

特别的，在此差异函数中，b可以表示b^id与b^exp，w可以表示w^id与w^exp，上标id和exp分别为本发明实施例中使用的一组重建眼皮形状的线性模型和一组重建眼皮运动的线性模型。其中，在进行实时三维眼皮重建时：

对于视频序列的第一帧，本发明实施例可以使用上述差异函数和重建眼皮形状的线性模型及其权重值(b^id与w^id)，并且通过优化求解权重值w^id，并用此最优权重值与b^id合成单独的眼皮模型en，用以表示当前视频序列中人物的眼皮形状特征，然后，将重建眼皮运动的线性模型b^exp中每个维度表达的运动分别赋予en，形成重建特定人物眼皮运动的新的线性模型，并将b^exp更新为这组线性模型。

在后续视频帧的三维眼皮运动重建中，使用上述差异函数和重建眼皮运动的线性模型及其权重值(b^exp与w^exp)，通过优化求解权重值w^exp。

在步骤s104中，将眼皮的三维重建结果融合到面部重建结果中。

进一步地，在本发明的一个实施例中，将眼皮的三维重建结果融合到面部重建结果中，进一步包括：在面部模型上定义一组与眼皮模型外边缘对应的顶点，并使眼皮模型的外边缘顶点与对应的顶点重合，通过三维模型的渲染便得到融合后的最终结果。

可以理解的是，本发明实施例将眼皮的三维重建结果融合到面部重建结果中，由于本发明实施例中使用的所有三维眼皮的网格模型拓扑结构均一致，并且各个模型的边缘顶点位置不变，从而眼皮模型内部的变化不影响其与面部模型的连接。因此，本发明实施例预先在面部模型上定义一组与眼皮模型外边缘对应的顶点，在实时重建时使眼皮模型的外边缘顶点与这些顶点重合，经三维模型的渲染便可得到融合后的结果。

举例而言，如图5所示，在本发明的一个具体实施例中，本发明实施例包含一段视频帧序列，其中每一帧均包含一个已重建好的三维面部模型，三维眼皮模型在世界坐标系中的位置和旋转由面部模型的位置和旋转决定；同时，本发明实施例中还包括与每一帧对应的眼部区域的含语义信息的四通道边界图，以及两组线性的三维眼皮模型，本发明一个具体实施例的实时的三维眼皮重建方法包括以下步骤：

步骤s1：首先将四通道边界图中的每个通道拟合为多项式曲线。

对于某个通道，将所有灰度值大于0.2的像素k组成集合c，使用这些像素的二维坐标(xk,yk)并将其灰度值ωk作为权重系数，利用带有权重的最小二乘法拟合多项式曲线，即根据如下优化问题求解多项式的系数a：

并将c中所有像素x坐标的最小值和最大值组成的区间作为多项式曲线的有效区间，视频序列中一帧的多项式拟合结果如图6所示。

步骤s2：确定三维眼皮模型上的特征顶点及与其对应的二维图像中边界上的特征点。

任选两组线性眼皮模型中的一个模型，根据眼部区域四条边界的真实位置和形状特征，在眼皮模型上为四条边界分别选取两个端点，并将端点间的所有顶点均选为该条边界的三维特征顶点。

接着为三维特征顶点确定二维特征点。本发明实施例首先根据三维端点特征点和二维曲线的端点计算放缩系数s＝l(ut-1,u0)/l(vt-1,v0)。然后，在多项式曲线的有效区间内均匀采样若干并计算相邻点的距离d(up,up-1)(up＝(xp,p(a,xp))与up-1＝(xp-1,p(a,xp-1))为曲线上相邻的采样点)。之后，对于任意三维特征顶点vt，计算满足下式的p^*：

并将作为vt对应的二维特征点，视频序列中一帧中上眼皮与下眼皮的三维特征顶点的投影与二维特征点的对应关系如图7所示，其中，蓝色点1表示三维特征点的投影，红色点2表示二维特征点，每条连线表示一组对应关系。

步骤s3：定义差异函数，并求解最优的线性三维眼皮模型的权重系数。

目标为减小三维特征顶点的二维投影与其对应二维特征点的距离，即将差异函数定义为：

并对视频序列中的不同帧采取不同的处理方式：

若当前帧为第一帧，则在上述差异函数中使用重建眼皮形状的线性模型b^id与其权重系数w^id，通过求解差异函数得到最优的权重系数w^id；然后，利用b^id与w^id合成表达视频序列中人物眼皮形状特征的模型en，并将重建眼皮运动的线性模型b^exp中每个维度表达的运动分别赋予en，形成重建特定人物眼皮运动的新线性模型，并将b^exp更新为这组新的线性模型。

若当前帧不为第一帧，则在第一帧中已经将b^exp更新为具有视频中人物眼皮形状特征的线性模型，因此，可在差异函数中使用此组线性模型求解最优的权重系数w^exp，从而重建当前帧的眼皮运动。

步骤s4：将眼皮的三维重建结果融合到面部重建结果中。本发明实施例中在面部模型上定义一组与眼皮模型外边缘对应的顶点，并使眼皮模型的外边缘顶点与这些顶点重合，经三维模型的渲染便可得到融合后的最终结果。

根据本发明实施例提出的实时的三维眼皮重建方法，可以通过一种基于投影的方法快速建立三维眼皮模型与二维图像中含语义信息边界的特征点的对应关系，并利用两组三维眼皮模型的线性特点，迭代优化两组模型的权重系数，从而实现实时的三维眼皮重建，实时的三维眼皮重建结果被融合于三维面部重建结果，提高了面部三维动画的真实性和完整性。

其次参照附图描述根据本发明实施例提出的实时的三维眼皮重建装置。

图8是本发明实施例的实时的三维眼皮重建装置的结构示意图。

如图8所示，该实时的三维眼皮重建装置10包括：拟合模块100、定义模块200、计算模块300和重建模块400。

其中，拟合模块100用于将含语义信息的四通道边界图中的每个通道的像素点以灰度值为权重拟合为多项式曲线。定义模块200用于定义线性的三维眼皮模型上与图像中四条含语义信息的边界相对应的三维特征顶点，并确定三维特征顶点与图像中相应边界上二维特征点的对应关系。计算模块300用于通过三维特征顶点的投影与二维特征点的距离确立差异函数，求解两组眼皮的线性三维模型的最优权重系数。重建模块400用于将眼皮的三维重建结果融合到面部重建结果中。本发明实施例的装置10可以利用眼部区域的含语义信息的四条边界，通过优化两组线性的三维眼皮模型的权重系数实现了实时的三维眼皮重建，提高三维面部动画的整体真实感。

进一步地，在本发明的一个实施例中，拟合模块，进一步包括：将每个通道的像素点的二维坐标作为一组数据，且像素点的灰度值作为权重，以使用最小二乘法拟合三次多项式曲线。

进一步地，在本发明的一个实施例中，定义模块，进一步包括：对每条边界，选取模型上的两个顶点作为边界的端点，并将端点间的所有顶点都选为三维特征顶点；根据三维特征顶点在二维图像上的投影点间的距离比例关系在对应的二维边界多项式曲线上进行采样，以确立三维特征顶点与二维边界上特征点的对应关系。

进一步地，在本发明的一个实施例中，计算模块，进一步包括：将眼皮模型上的三维特征点按相机参数投影到二维图像上，根据其与对应二维特征点的距离定义差异函数，并求解最优的线性三维眼皮模型的权重系数。

进一步地，在本发明的一个实施例中，重建模块，进一步包括：在面部模型上定义一组与眼皮模型外边缘对应的顶点，并使眼皮模型的外边缘顶点与对应的顶点重合，通过三维模型的渲染便得到融合后的最终结果。

需要说明的是，前述对实时的三维眼皮重建方法实施例的解释说明也适用于该实施例的实时的三维眼皮重建装置，此处不再赘述。

根据本发明实施例提出的实时的三维眼皮重建装置，可以通过一种基于投影的方法快速建立三维眼皮模型与二维图像中含语义信息边界的特征点的对应关系，并利用两组三维眼皮模型的线性特点，迭代优化两组模型的权重系数，从而实现实时的三维眼皮重建，实时的三维眼皮重建结果被融合于三维面部重建结果，提高了面部三维动画的真实性和完整性。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。