一种基于多任务迁移学习的人脸美丽预测方法与流程

本发明涉及利用图像处理和机器学习技术进行人脸美丽评价技术领域，尤其是一种基于多任务迁移学习的人脸美丽预测方法。

背景技术：

爱美是人类的天性，爱美之心，人皆有之。亚里士多德说：“美丽的面孔是更好的推荐书”。美丽给人留下的好感在日常生活中切实存在，且给人们日常生活带来重大影响。人脸美丽研究是近年来兴起的关于人类认知本质与规律研究的前沿课题，探索如何更好地测美，将有助于人脸美丽密码这一人类永恒的主题得到科学、客观及可量化的描述，使人脸美丽研究这一跨学科领域得到长足的发展。

现实生活中，人们对美丽的评价标准各自不同，这也导致在很长一段时间内，人们都认为美是一种主观的感知活动。然而，研究者们发现人们对于人脸美丽的评判有着高度的一致性，这种一致性与审美个体所处的民族、文化、年龄和性别等无关，这个结论也证明了人脸美的客观性。

人脸美的客观性为人脸美的自动预测和分析奠定了理论基础。自上个世纪80年代以来，计算机科学的迅猛发展使得建立人脸美丽的计算预测模型变得可行。人们倾向于手工提取人脸图像的几何特征或者表观特征，再结合线性回归、高斯回归或支持向量机等传统的机器学习方法去最大限度地拟合数据，从而对人脸图像的美丽程度进行预测。然而，这种传统方法下所提取的特征是低层次的，表征能力十分有限，预测效果大打折扣。

目前，国内外学者大多采用几何特征或表观特征，进而通过机器学习对人脸美丽进行预测。其中基于几何特征的人脸美丽预测方法是人脸美丽研究的热点，研究者在人脸图像上提取许多有意义的特征点，计算感兴趣特征点之间的几何距离以及由这些距离所构成的比率矢量，然后将几何距离和比率矢量作为特征进行机器学习。几何特征体现了人脸图像各部位一种和谐的数量或比例关系。近年来，随着深度学习技术的发展，研究者们逐渐认识到深度学习对人脸美丽预测的重要性。但是，深度学习方法用于人脸美丽研究需要大量训练样本，人脸美丽预测研究的现有数据库规模一般不大，从而使直接训练一个深层网络模型不仅困难而且易出现过拟合的问题，同时现有的人脸美丽评价只能基于单任务进行预测，但是人脸美丽的评价缺受到很多因素的影响，导致现有的人脸美丽评估不准确，参考意义不大。

技术实现要素：

针对现有技术的不足，本发明提供一种基于多任务迁移学习的人脸美丽预测方法，本发明能够充分利用相关任务的关联性，弥补由于人脸美丽数据样本较少的缺陷，同时利用多任务之间有用的额外信息来提高系统的准确率。

本发明的技术方案为：一种基于多任务迁移学习的人脸美丽预测方法，其中，多任务是指人脸美丽预测、人脸表情识别、以及年龄识别，包括以下步骤：

s1)、针对不同任务构建多任务学习人脸数据库，并对多任务学习人脸数据库中的每张人脸图像进行预处理；

s2)、特征学习与融合，具体包括以下步骤：

s201)、深度共享特征fcnn的提取，采用训练好的vgg神经网络模型、googlenet神经网络模型以及resnet神经网络模型的骨干网络作为深度共享特征学习网络模型，通过模型迁移的方法对在大型数据集上训练好的vgg神经网络模型、googlenet神经网络模型以及resnet神经网络模型的参数进行迁移，运用多任务学习人脸数据库的人脸图像对网络模型进行微调，防止由于多任务人脸数据库样本少导致的过拟合现象，提取深度共享特征fcnn；通过挖掘任务之间的关系，能够得到额外的有用信息，克服当前样本少的缺点，同时还具有更好的模型泛化能力利用，从而提高网路对单个任务的准确率；

s202)、由于人脸表情变化主要改变的是几何特征，因此本发明提取多任务人脸图像的几何特征。利用dlib库对每张人脸图像进行k个人脸特征点检测和标注，得到每张人脸图像的人脸特征点坐标{(x1,y1),(x2,y2),…,(xk,yk)}，其中，人脸特征点坐标可以用于表示人脸的几何特征向量g，并且为了为保持平移不变性，将所有特征点的均值从特征点的x和y坐标中减去；为了保持尺度不变性，通过将几何特征向量g的组成部分除以其范数来将几何特征向量归一化为单位长度；

s203)、由于年龄变化主要改变的是纹理特征，因此本发明提取多任务人脸图像的纹理特征。纹理特征主要反映人脸图像灰度变化、以及人皮肤光滑性，将每张人脸图像分割成m个区域a0,…,aj,…,am-1，其中，m为实数，统计每个区域的lbp局部纹理的直方图特征，即

其中，i表示lbp的i种模式，i＝0,1,…,n-1；j表示第j个区域，j＝0,1,…,m-1，(x,y)表示图像像素点的离散坐标，i表示所有坐标的集合，hi,j是区域aj中第i种模式出现的总次数；

将每个区域的直方图特征级联，形成二维图像的lbp直方图特征向量，即

h＝[h1,1,h1,1,…,hi,j,…,hn-1,m-1](2)

将提取的几何特征和纹理特征进行连接，得到特征向量t＝[g,h]；

s204)、特征融合，通过concatelayer将几何特征g、纹理特征h和深度共享特征fcnn进行拼接融合处理，得到拼接融合后的特征ffusion，即，

ffusion＝[fcnn,t]＝[fcnn,g,h]；

融合后的特征ffusion连接全连接层fc2，该全连接层的输出为：

其中，h为全连接层fc2运算函数映射关系，为权重矩阵的转置，x为全连接处fc2的输入向量，bfusion为正则项矩阵；

s3)、构建多任务迁移学习人脸美丽预测模型，基于3个不同的任务对模型设置3类不同的全连接层，并设置相应的损失函数，将提取的融合特征输入模型中进行训练，通过优化损失函数直至损失最小，得到训练好的多任务迁移学习人脸美丽预测模型；

s4)、将待测试的人脸图像输入训练好的多任务迁移学习人脸美丽预测模型，实现多任务的人脸美丽预测、表情识别、年龄识别。

进一步的，步骤s1)中，所述的多任务学习采用人脸美丽预测、人脸表情识别、以及年龄识别，构建多任务学习人脸数据库包括以下步骤：

s101)、基于imdb-wiki年龄数据库获取每张人脸图像的年龄标签，并对每张人脸图像进行人脸检测、人脸对齐、归一化剪裁处理，并对每张图像进行性别识别，目前深度学习的方法进行性别识别准确率已经达到99％，因此，直接用成熟的性别识别网络模型对一张图片进行性别的预测，将图像分为女性人脸数据库和男性人脸数据库从而进行下一步的标注；

s102)、然后通过规范性人工评分标注对人脸图像进行处理，得到人脸美丽标签和表情标签；

s103)、对年龄标签、人脸美丽标签和表情标签进行相关性检测和方差分析，以保证数据的准确性，从而构建得到多任务学习人脸数据库；

进一步的，所述的人工评分标注具体包括以下步骤：

s1021)、对imdb-wiki年龄数据库进行分组，并且每组包含的人脸图像年龄段在0-101岁之间呈正态分布；

s1022)、通过网页评分工具收集评分数据，其中，美丽评分包括五个等级，分别为0：极不具有吸引力、1：不具有吸引力、2：一般、3：较有吸引力，和4：极有吸引力；表情评分分为0：不微笑、1：微笑，年龄为0-101之间的整数。

进一步的，步骤s103)中，所述的相关性检验包括评分者自身的一致性检验、评分者个体的评分方差、评分者和所有评分者之间的一致性检验以及随机分组的相关性检验。

进一步的，步骤s3)中，所述的损失函数为soft-maxloss、tripletloss、、multi-classsvm。

进一步的，步骤s3)中，所述的多任务结果为人脸美丽预测训练准确率；表情识别训练准确率；年龄识别训练准确率。

本发明的有益效果为：

1、本发明通过增加表情识别和年龄识别来增强人脸美丽预测的准确率；为了避免因少量样本数据训练深度网络出现过拟合，且计算设备不够，本项目拟使用主流vgg、resnet、googlenet等骨干深度卷积网络作为共享特征学习网络结构，通过模型迁移，将已训练好的卷积网络训练可迁移的共享特征。训练过程中每个任务之间共享网络参数，学习共享特征，从而提高网络对单任务学习的准确率；

2、本发明与单任务学习相比，多任务学习通过挖掘任务之间的关系，能够得到额外的有用信息，克服当前样本少的缺点，同时还具有更好的模型泛化能力。通过使用深度学习网络进行多任务学习，共享表示层可使具有共性的任务更好地结合相关性信息，任务特定层则可单独建模任务特定的信息，从而有效实现共享信息和任务特定信息的统一，实现辅任务提高主任务的性能并充分利用迁移学习解决小样本导致的过拟合问题。

附图说明

图1为本发明的流程示意图；

图2为本发明多任务学习人脸数据库的构建流程图；

图3为本发明特征融合的流程示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

如图1所示，本发明提供一种基于多任务迁移学习的人脸美丽预测方法，本发明通过增加表情识别和年龄识别来增强人脸美丽预测的准确率；为了避免因少量样本数据训练深度网络出现过拟合，且计算设备不够，本项目拟使用主流vgg、resnet、googlenet等骨干深度卷积网络作为共享特征学习网络结构，通过模型迁移，将已训练好的卷积网络训练可迁移的共享特征。训练过程中每个任务之间共享网络参数，学习共享特征，从而提高网络对单任务学习的准确率。具体包括以下步骤：

s1)、针对不同任务构建多任务学习人脸数据库，并对多任务学习人脸数据库中的每张人脸图像进行预处理，如图2所示，其具体包括以下步骤：

s101)、基于imdb-wiki年龄数据库获取每张人脸图像的年龄标签，并对每张人脸图像进行人脸检测、人脸对齐、归一化剪裁处理，并对每张图像进行性别识别，目前深度学习的方法进行性别识别准确率已经达到99％，因此，直接用成熟的性别识别网络模型对一张图片进行性别的预测，将图像分为女性人脸数据库和男性人脸数据库从而进行下一步的标注；

s102)、然后通过规范性人工评分标注对人脸图像进行处理，得到人脸美丽标注和表情标注；所述的规范性人工评分标注具体包括以下步骤：

s1021)、对imdb-wiki年龄数据库进行分组，并且每组包含的人脸图像年龄段在0-101岁之间呈正态分布；

s1022)、通过网页评分工具收集评分数据，其中，美丽评分包括五个等级，分别为0：极不具有吸引力、1：不具有吸引力、2：一般、3：较有吸引力，和4：极有吸引力；表情评分分为0：不微笑、1：微笑，年龄为0-101之间的整数；

s103)、对年龄标签、人脸美丽标注和表情标注进行相关性检测和方差分析，以保证数据的准确性，从而构建得到多任务学习人脸数据库；其中，所述的相关性检验包括评分者自身的一致性检验、评分者个体的评分方差、评分者和所有评分者之间的一致性检验以及随机分组的相关性检验。

s2)、特征学习与融合，如图3所示，其具体包括以下步骤：

s201)、深度共享特征fcnn的提取，采用训练好的vgg神经网络模型、googlenet神经网络模型以及resnet神经网络模型的骨干网络作为深度共享特征学习网络模型，通过模型迁移的方法对在大型数据集上训练好的vgg神经网络模型、googlenet神经网络模型以及resnet神经网络模型的参数进行迁移，运用多任务学习人脸数据库的人脸图像对网络模型进行微调，防止由于多任务人脸数据库样本少导致的过拟合现象，提取深度共享特征fcnn；通过挖掘任务之间的关系，能够得到额外的有用信息，克服当前样本少的缺点，同时还具有更好的模型泛化能力利用，从而提高网路对单个任务的准确率；

通过将vgg神经网络模型、googlenet神经网络模型以及resnet神经网络模型作为特征提取器，将全连接层fc1的维度减小，即提取得到深度共享特征fcnn；

s202)、由于人脸表情变化主要改变的是几何特征，因此本发明提取多任务人脸图像的几何特征。利用dlib库对每张人脸图像进行68个人脸特征点检测和标注，得到每张人脸图像的人脸特征点坐标{(x1,y1),(x2,y2),…,(x68,y68)}，其中，人脸特征点坐标可以用于表示人脸的几何特征向量g，并且为了为保持平移不变性，将所有特征点的均值从特征点的x和y坐标中减去；为了保持尺度不变性，通过将几何特征向量g的组成部分除以其范数来将几何特征向量归一化为单位长度；

s203)、由于年龄变化主要改变的是纹理特征，因此本发明提取多任务人脸图像的纹理特征。纹理特征主要反映人脸图像灰度变化、以及人皮肤光滑性，将每张人脸图像分割成m个区域a0,…,aj,…,am-1，其中，m为实数，统计每个区域的lbp局部纹理的直方图特征，即

其中，i表示lbp的i种模式，i＝0,1,…,n-1；j表示第j个区域，j＝0,1,…,m-1，(x,y)表示图像像素点的离散坐标，i表示所有坐标的集合，hi,j是区域aj中第i种模式出现的总次数；

将每个区域的直方图特征级联，形成二维图像的lbp直方图特征向量，即

h＝[h1,1,h1,1,…,hi,j,…,hn-1,m-1](2)

将提取的几何特征和纹理特征进行连接，得到特征向量t＝[g,h]；

s204)、特征融合，通过concatelayer将几何特征g、纹理特征h和深度共享特征fcnn进行拼接融合处理，得到拼接融合后的特征ffusion，即，

ffusion＝[fcnn,t]＝[fcnn,g,h]；

融合后的特征ffusion连接全连接层fc2，该全连接层的输出为：

其中，h为全连接层fc2运算函数映射关系，为权重矩阵的转置，x为全连接处fc2的输入向量，bfusion为正则项矩阵；

s3)、构建多任务迁移学习人脸美丽预测模型，由于对人脸美丽的评价受到表情、年龄的影响，基于3个不同的任务人脸美丽预测训练准确率；表情识别训练准确率；年龄识别训练准确率对模型设置3类不同的全连接层，并设置相应的损失函数，如soft-maxloss、tripletloss、、multi-classsvm，将提取的融合特征输入模型中进行训练，通过优化损失函数直至损失最小，降低真实值与预测期望误差，提高模型有效性和判别性，得到训练好的多任务迁移学习人脸美丽预测模型；

s4)、将待测试的人脸图像输入训练好的多任务迁移学习人脸美丽预测模型，实现多任务的人脸美丽预测、表情识别、年龄识别。

上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。