基于人脸三维模型的人脸皮肤材质计算方法、装置及设备与流程

本申请涉及计算机图形学和图像处理技术领域，具体而言，涉及一种基于人脸三维模型的人脸皮肤材质计算方法、装置及设备。

背景技术：

提供具有丰富光照、姿态的人脸图像数据，是提升深度人脸识别网络对姿态、光照鲁棒性的关键。但是，当前人脸数据库构建技术难以采集到包含大量不同光照、姿态的人脸图像。随着传感技术的发展，采集高精度人脸三维模型已经成为现实，基于采集的三维人脸模型，根据计算机绘制技术生成新光照、新姿态下的人脸图像以构建大规模、高质量的人脸图像库，可为人脸识别深度神经网络的训练提供充足数据，是提高人脸识别准确率的有效手段。

目前，通过当前主流三维重建设备，如：激光扫描仪和结构光三维测量仪等设备采集获得的人脸模型虽准确记录了人脸几何信息，但仅以拍摄的人脸照片作为表面纹理，由于受到拍摄场景光照的影响，该纹理无法准确反映人脸材质属性，从而难以通过计算机绘制手段准确生成新光照条件下人脸图像，使得在新光照条件下生成的人脸图像存在较大的误差，准确性不高。

技术实现要素：

本申请的目的在于提供一种基于人脸三维模型的人脸皮肤材质计算方法、装置及设备，用以有效的改善现有技术中存在的误差大，准确性低的技术缺陷。

第一方面，本申请实施例提供了一种基于人脸三维模型的人脸皮肤材质计算方法，方法包括：获取人脸三维模型初始纹理数据和场景光照分布数据，其中，人脸三维模型初始纹理数据包括若干个人脸三维模型初始像素点；将人脸三维模型初始纹理数据和场景光照分布数据进行处理，得到特征数据，其中，特征数据包括：人脸皮肤材质特征数据和光源强度数据中的至少一种；将特征数据通过迭代计算，获得人脸皮肤材质属性的计算结果。

结合第一方面，在第一种可能的实现方式中，将所述人脸三维模型初始纹理数据和所述场景光照分布数据进行处理，得到特征数据包括：基于光照分布图像，获得当前场景光照分布数据中对应的间接光源的间接光源强度；以及基于人脸三维模型初始纹理数据和所述光照分布图像，对场景光照分布数据中对应的直接光源的强度进行计算，获得当前直接光源强度；基于获得的当前直接光源强度和间接光源强度，确定出当前人脸皮肤材质特征数据。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，基于人脸三维模型初始纹理数据和光照分布图像，对场景光照分布数据中对应的直接光源的强度进行计算，获得当前直接光源强度，包括：根据人脸三维模型初始纹理数据和渲染方程，获得与人脸三维模型初始像素点处的人脸皮肤材质特征数据和多个直接光源强度相关的第一表达式；获得多个人脸三维模型初始像素点对应的多个第一表达式，确定为第一表达式线性组，对第一表达式线性组进行线性求解，确定出当前直接光源强度。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，基于获得的当前直接光源强度和间接光源强度，确定出当前人脸皮肤材质特征数据，包括：基于第一表达式和当前直接光源强度，对第二表达式进行优化求解，将优化求解结果确定为当前人脸皮肤材质特征数据，其中，第二表达式与当前直接光源强度和人脸三维模型初始纹理数据相关。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，将所述特征数据通过迭代计算，获得人脸皮肤材质属性的计算结果，包括：判断当前直接光源强度与当前相邻的上次计算获得的直接光源强度之间的差值是否小于第一预设阈值，以及判断当前人脸皮肤材质特征数据与当前相邻的上次计算获得的人脸皮肤材质特征数据是否小于第二预设阈值，若判断的结果至少一个结果为否，则继续迭代计算直接光源强度和人脸皮肤材质特征数据，直至判断结果两个均为是时，停止迭代计算，将本次的计算结果确定为人脸皮肤材质属性的计算结果。

第二方面，本申请实施例提供了一种基于三维人脸模型的人脸皮肤材质计算装置，装置包括：采集模块，用于获取人脸三维模型初始纹理数据和场景光照分布数据，其中，所述人脸三维模型初始纹理数据包括若干个人脸三维模型初始像素点；处理模块，用于将人脸三维模型初始纹理数据和场景光照分布数据进行处理，得到特征数据，其中，特征数据包括：人脸皮肤材质特征数据和光源强度数据中的至少一种；以及还用于将特征数据通过迭代计算，获得人脸皮肤材质属性的计算结果。

第三方面，本申请实施例提供了一种基于三维人脸模型的人脸皮肤材质计算设备，其特征在于，设备包括：镜面球，用于捕获场景光照分布信息；rgb相机，用于拍摄所述镜面球的镜面图像，并将镜面图像传输至处理终端；三维人脸捕获装置，用于获取三维人脸模型初始纹理数据；处理终端，用于对镜面图像和三维人脸模型初始纹理数据进行分析处理，获得人脸皮肤材质属性的计算结果，rgb相机和三维人脸捕获装置分别与处理终端连接。

与现有技术相比，本发明的有益效果为：本申请实施例中的技术方案基于准确的人脸几何信息和场景光照分布信息，进行人脸皮肤材质的迭代求解，通过这样的计算方式，可以计算出更为准确的人脸皮肤材质信息，从而可构造有利于提高人脸识别率的人脸数据库。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种基于人脸三维模型的人脸皮肤材质计算设备的流程框图；

图2为本申请实施例提供的一种基于人脸三维模型的人脸皮肤材质计算方法的流程示意图；

图3为本申请实施例提供的一种基于人脸三维模型的人脸皮肤材质计算装置的结构框图。

标号：10-基于人脸三维模型的人脸皮肤材质计算设备，110-镜面球，120-rgb相机，130-三维人脸捕获装置，140-处理终端，20-基于人脸三维模型的人脸皮肤材质计算，210-采集模块，220-处理模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

人脸皮肤材质模型在计算机图形学中已经有深入的研究，目前较为完善的模型有皮肤双向表面散射分布函数(bidirectionalscatteringsurfacereflectancedistributedfunction，bssrdf)模型，但是该模型为8维函数，形式复杂。或者搭建特定采集平台，通过密集采样不同光照和姿态的人脸图像才可以实现人脸皮肤材质的计算。本申请实施例提出了一套基于三维模型的人脸表面反射系数计算方案，可以有效地估计人脸表面皮肤材质属性，以实现大规模人脸图像库的构建。

请参阅图1，图1为本申请实施例提供的一种基于人脸三维模型的人脸皮肤材质计算设备的流程框图。在本申请实施例中，基于人脸三维模型的人脸皮肤材质计算设备10包括：镜面球110，用于捕获场景光照分布信息；rgb相机120，用于拍摄所述镜面球的镜面图像，并将镜面图像传输至处理终端；三维人脸捕获装置130，用于获取三维人脸模型初始纹理数据；处理终端140，用于对镜面图像和三维人脸模型初始纹理数据进行分析处理，获得人脸皮肤材质属性的计算结果，rgb相机120和三维人脸捕获装置130分别与处理终端140连接。

纹理是一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。纹理是由于物体表面的物理属性的多样性而造成的,物理属性不同表示某个特定表面特征的灰度或者颜色信息不同,不同的物理表面会产生不同的纹理图像,因而纹理作为图像的一个极为重要的属性,在计算机视觉和图像处理中占有举足轻重的地位。纹理是图像中特征值强度的某种局部重复模式的宏观表现。

以捕获的人像所在的地点为参考点，镜面球110用于捕获场景光照分布信息，rgb相机120用以拍摄镜面球110，rgb相机120与镜面球110位于同一水平线，且镜面球110位于参考点较近的一处，rgb相机120位于参考点较远的一端。镜面球110放置在待采集人脸的附近，且高于人脸，同时保证镜面球110不遮挡人脸，人脸也不遮挡镜面球110，rgb相机120拍摄的镜面图像需要包含整个镜面球110。

三维人脸捕获装置130获取的三维人脸模型既包含人脸几何信息又包含相机直接拍摄的人脸纹理信息。在进行人脸数据采集时，rgb相机120和三维人脸捕获装置130同时工作，同时获取三维人脸模型和镜面图像，然后传送给处理终端140，处理终端140通过算法计算获得人脸皮肤材质属性的结果。

请参阅图2，图2为本申请实施例提供的一种基于人脸三维模型的人脸皮肤材质计算方法的流程示意图。本申请实施例中提供的基于人脸三维模型的人脸皮肤材质计算方法包括：步骤s11、步骤s12和步骤s13。该方法在基于人脸三维模型的人脸皮肤材质计算设备10里的处理终端140执行运行程序时执行。

步骤s11：获取人脸三维模型初始纹理数据和场景光照分布数据，其中，人脸三维模型初始纹理数据包括若干个人脸三维模型初始像素点；

步骤s12：将人脸三维模型初始纹理数据和场景光照分布数据进行处理，得到特征数据，其中，特征数据包括：人脸皮肤材质特征数据和光源强度数据中的至少一种；

步骤s13：将特征数据通过迭代计算，获得人脸皮肤材质属性的计算结果。

下面将对该基于人脸三维模型的人脸皮肤材质计算方法的具体执行流程做详细的说明。

步骤s11：获取人脸三维模型初始纹理数据和场景光照分布数据，其中，人脸三维模型初始纹理数据包括若干个人脸三维模型初始像素点。

详细地，获取镜面球110捕获的场景光照分布信息和rgb相机120采集的镜面球110的镜面图像，以及三维人脸捕获装置130采集的三维人脸模型数据。

镜面球110可以反射场景的大部分内容，因此被用来进行场景光照信息捕获。可以根据镜面球110上的内容确定场景中光源的信息，场景中的光源分为直接光源和间接光源，由于场景中的直接光源如灯、窗户等亮度往往远大于其他区域，因此，可以通过设定阈值的方式确定场景中的直接光源和间接光源，将高于设定阈值的亮度高的区域确定为直接光源，将低于设定阈值的亮度低的区域确定为间接光源。

假设光源位于无穷远处，主要计算来自不同方向的光照强度值来表示人脸处的光照分布。因此可采样若干空间方向，来自每个采样方向的光照强度可以使用一张图像来记录，称该图像为光照分布图，该图在图形学中被称为经/纬图(latitude/longitudemap)。

在上述说明中可以知道，rgb相机120和三维人脸捕获装置130同时工作，同时获取三维人脸模型和镜面图像。通过三维人脸模型和包含光照信息的镜面图像进行结合处理，获得包含光照信息的人脸三维模型初始图像数据，人脸三维模型初始图像数据包括若干个人脸三维模型初始像素点。通过每个人脸三维模型初始像素点的位置，可以计算出该人脸三维模型初始像素点对应光照入射的方向，镜面图像可以根据现有技术中的计算表达式确定出光照分布记录图。

步骤s12：将人脸三维模型初始纹理数据和场景光照分布数据进行处理，得到特征数据，其中，特征数据包括：人脸皮肤材质特征数据和光源强度数据中的至少一种。

详细地，基于光照分布图像，获得当前场景光照分布数据中对应的间接光源的间接光源强度；以及基于人脸三维模型初始纹理数据和光照分布图像，对场景光照分布数据中对应的直接光源的强度进行计算，获得当前直接光源强度；基于获得的当前直接光源强度和间接光源强度，确定出当前人脸皮肤材质特征数据。

场景中的直接光源亮度较强，一般相机拍摄的照片往往很难准确记录场景中直接光源的强度，为此需要进一步计算直接光源强度，而间接光源强度可以直接根据光照分布图中的值确定。光照分布图象中一个连通的直接光源区域就对应于一个光源，间接光源则作为一个整体对待。

根据人脸三维模型初始图像数据和渲染方程，获得与人脸三维模型初始像素点处的人脸皮肤材质特征数据和多个直接光源强度相关的第一表达式；获得多个人脸三维模型初始像素点对应的多个第一表达式，确定为第一表达式线性组，对第一表达式线性组进行线性求解，确定出当前直接光源强度。

具体地，通过捕获的人脸三维模型和光照分布图象求解直接光源强度，首先根据人脸三维模型生成相机在人脸正前方的人脸图像i，根据渲染方程，图像i中一像素点p的值可通过下式计算：

其中,l为场景光照分布函数，rp为像素p所对应场景处的漫反射系数；为p点之上的无穷大半球面；np为p点处法向量；为单位方向向量，λ对应于r,g,b三个颜色通道。上式通过引入球面调和基函数经简单推导后可转化为以下形式：

上式中li^s表示第i个光源的亮度，dpⁱ是由像素p对应场景处的法向量和第i个光源的入射方向、尺寸共同决定的参数(可根据光照分布图计算)，ep^env是由像素p对应场景处的法向量和间接光源共同决定的参数，可根据光照分布图计算。

为了求解直接光源强度，在上面的等式两端同时除以rp，得到第一表达式：在第一次进行光照求解过程中，第一表达式是以li^s(λ)为未知数的线性方程，通过在人脸三维模型图像上采样k个像素点，便可建立如下的第一表达式线性组：

由于人脸不同区域的材质具有相似性，故可假设所有人脸三维模型初始像素点的材质系数相同，此时第一表达式线性组所对应的线性方程组有唯一解，为该方程组未知数添加非负约束，通过求解带约束的线性方程组即可实现对于光源强度的求解。

在后面迭代求解过程中，由于材质系数已经进行求解并得到一个当次迭代的计算结果，故第一表达式线性组中的未知数仅剩光照参数li^s(λ)，为其添加非负约束，求解即可求得所有直接光源强度。

基于获得的当前直接光源强度和间接光源强度，确定出当前人脸皮肤材质特征数据，包括：基于第一表达式和当前直接光源强度，对第二表达式进行优化求解，将优化求解结果确定为当前人脸皮肤材质特征数据，其中，第二表达式与当前直接光源强度和人脸三维模型初始图像数据相关。

具体地，将上述第一表达式进行变形得到一计算表达式：根据上述方法中计算获得直接光源强度，可以直接计算sp(λ)的值。记人脸对应像素点的集合为nface，像素点p的邻域np，人脸材质系数rp可通过求解下面的第二表达式求解：

上式中,为权重系数，可人为设定，edata(r,λ)为数据项，为局部材质项，为全局材质项，为材质初始约束项。具体的定义为：

数据项：用于保证计算出的材质系数rp可通过第一表达式重建人脸图像i，其定义如下：其中，rp(λ)与sp(λ)分别是通过迭代计算获得的数值，ip(λ)为人脸三维模型初始图像数据，rp(λ)与sp(λ)之间的乘积可以表示成图像i，当rp(λ)与sp(λ)的乘积值与ip(λ)之间的差值小于预设值，才说明可以通过rp(λ)与sp(λ)恢复成ip(λ)。

局部材质项：由于人脸材质属性一般会光滑变化，因此相邻像素点的材质值也会比较接近，故局部材质项被定义为：

其中，αp,q为权重函数，该函数保证当图像像素值差异较大时具有较小的值，当图像像素值差异较小时具有较大值，以达到惩罚像素值相差大的像素的目的。

全局材质项：由于人脸不同部位材质也较为相似，故使用全局材质项进行约束，该项定义为：其中ωp,q为权重函数，该函数保证当图像像素值差异较大时具有较小的值，当图像像素值差异较小时具有较大值，以惩罚像素值相差大的像素。

材质初始约束项：由于sp(λ)值已知，故可通过第一表达式计算不同人脸像素的材质值该值将比较接近真实人脸皮肤材质值，故将作为对于求解材质的初始约束。材质初始约束项定义如下：

通过对第二表达式的优化求解，获得当前人脸皮肤材质特征数据。

步骤s13：将特征数据通过迭代计算，获得人脸皮肤材质属性的计算结果。

详细地，判断当前直接光源强度与当前相邻的上次计算获得的直接光源强度之间的差值是否小于第一预设阈值，以及判断当前人脸皮肤材质特征数据与当前相邻的上次计算获得的人脸皮肤材质特征数据是否小于第二预设阈值，若判断的结果至少一个结果为否，则继续迭代计算直接光源强度和人脸皮肤材质特征数据，直至判断结果两个均为是时，停止迭代计算，将本次的计算结果确定为人脸皮肤材质属性的计算结果。

上述对第一表达式和第二表达式的求解过程是一个迭代求解的过程，判断迭代结束的条件则是第一表达式和第二表达式的计算结果收敛。将求得的人脸皮肤材质属性同人脸三维模型各顶点相对应即可得到人脸材质图；将最终求得的各直接光源强度值作为这些光源在光照分布图中的值即可记录场景光照分布，根据光照分布和人脸几何信息计算即可获得人脸光照图。

请参阅图3，本申请实施例还提供了一种基于三维人脸模型的人脸皮肤材质计算装置20，装置20包括：

采集模块210，用于获取人脸三维模型初始纹理数据和场景光照分布数据，其中，所述人脸三维模型初始纹理数据包括若干个人脸三维模型初始像素点；

处理模块220，用于将人脸三维模型初始纹理数据和场景光照分布数据进行处理，得到特征数据，其中，特征数据包括：人脸皮肤材质特征数据和光源强度数据中的至少一种；以及还用于

将特征数据通过迭代计算，获得人脸皮肤材质属性的计算结果。

综上所述，本申请实施例提供一种基于人脸三维模型的人脸皮肤材质计算方法，方法包括：获取人脸三维模型初始纹理数据和场景光照分布数据，其中，人脸三维模型初始纹理数据包括若干个人脸三维模型初始像素点；将人脸三维模型初始纹理数据和场景光照分布数据进行处理，得到特征数据，其中，特征数据包括：人脸皮肤材质特征数据和光源强度数据中的至少一种；将特征数据通过迭代计算，获得人脸皮肤材质属性的计算结果。基于准确的人脸几何信息和场景光照分布信息，进行人脸皮肤材质的迭代求解，通过这样的计算方式，可以计算出更为准确的人脸皮肤材质信息，从而可构造有利于提高人脸识别率的人脸数据库。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。