一种基于人脸特征点数据增强的动态表情识别方法与流程

文档序号:22916445发布日期:2020-11-13 15:58阅读:来源:国知局

技术特征:

1.一种基于人脸特征点数据增强的动态表情识别方法,其特征在于,包括:实时获取人脸数据,将获取的人脸数据输入到训练好的3cnn模型中,得到该人脸动态表情识别结果;所述训练好的3cnn模型的获取包括:获取原始人脸数据集,对原始人脸数据集进行预处理,得到人脸数据训练集;将人脸数据训练集输入到构建好的3cnn模型中进行模型训练,得到训练好的3cnn模型;

所述得到人脸数据训练集的过程包括:

s1:对获取的原始人脸数据集进行人脸对齐以及面部特征点标记处理;

s2:选择面部特征变化大的特征点;

s3:根据选择的特征点构建轨迹矩阵;将各个轨迹矩阵进行组合,得到原始轨迹图;

s4:采用随机因子对轨迹矩阵进行微调处理,得到新的轨迹矩阵;将新的轨迹矩阵进行组合,得到新的轨迹图,将原始人脸数据集、原始轨迹图和新的轨迹图作为人脸数据训练集;

其中,3cnn表示三个联合的卷积神经网络。

2.根据权利要求1所述的一种基于人脸特征点数据增强的动态表情识别方法,其特征在于,所述对获取的原始人脸数据集进行人脸对齐以及面部特征点标记处理过程包括:

s11:采用viola-jones人脸检测算法对原始人脸数据集进行人脸检测;对检测后的人脸数据进行去背景以及去除非面部区域处理,得到人脸边界框;

s12:根据人脸边界框对原始人脸数据集中的动态序列的每一帧图像进行裁剪,得到面部区域;

s13:对得到的面部区域进行几何归一化处理,得到新的面部区域;

s14:对新的面部区域的特征点进行标记,得到具有特征点的图像;将各个特征点的位置坐标进行保存。

3.根据权利要求1所述的一种基于人脸特征点数据增强的动态表情识别方法,其特征在于,所述选择面部特征变化大的特征点的过程包括:

s21:将特征点图像的各个特征点划分为眉毛、眼睛、鼻子以及嘴四组;

s22:分别计算相同组内的各个特征点变化量;

s23:选择各个组中特征变化量大的特征点。

4.根据权利要求3所述的一种基于人脸特征点数据增强的动态表情识别方法,其特征在于,所述计算相同组内的各个特征点变化量的公式为:

其中,dpq表示第p组的第q个特征点的各帧与第一帧的位置差异之和,pq表示第p组的第q个特征点,i表示第i帧图像,j表示第j帧图像,表示第p组的第q个特征点在第j帧图像中的位置横坐标,表示第p组的第q个特征点在第j帧图像中的位置纵坐标,m表示峰值帧在动态序列的第m帧。

5.根据权利要求1所述的一种基于人脸特征点数据增强的动态表情识别方法,其特征在于,构建轨迹矩阵与原始轨迹图的过程包括:

s31:对获取的特征点进行编号处理,用(x,y)表示图像中特征点的位置坐标,即特征点a1的坐标为a1(x1,y1)a1(x2,y2)…a1(xm,ym),其中(x,y)的下标表示图像的帧,m表示峰值帧在动态序列的第m帧;

s32:根据每个特征点的坐标计算每个特征点的偏移量;

s33:根据各个特征点的偏移量计算轨迹矩阵的斜率k;

s34:根据斜率k求出轨迹矩阵;

s35:将求出的轨迹矩阵进行组合,得到原始轨迹图。

6.根据权利要求1所述的一种基于人脸特征点数据增强的动态表情识别方法,其特征在于,所述对轨迹矩阵进行微调处理的过程包括:

s41:定义随机因子为(a,b),其中a,b均为随机生成的且满足均值为0、方差为1的标准正态分布的小数;

s42:采用随机因子对各个特征点的坐标进行微调;

s43:根据微调后的特征点坐标重新计算新的斜率,根据新斜率求出新的轨迹矩阵;

s44:将求出的新轨迹矩阵进行组合,得到新的轨迹图。

7.根据权利要求1所述的一种基于人脸特征点数据增强的动态表情识别方法,其特征在于,所述3cnn模型包括:3个训练不同数据的卷积神经网络层以及1个分类层。

8.根据权利要求7所述的一种基于人脸特征点数据增强的动态表情识别方法,其特征在于,第一卷积神经网络层和第二卷积神经网络层用于提取静态图像的面部表情特征;第三卷积神经网络层用于提取特征点随表情变化的变化特征;分类层用于将三个神经网络提取的特征进行合并以及表情分类处理。

9.根据权利要求1所述的一种基于人脸特征点数据增强的动态表情识别方法,其特征在于,进行模型训练的过程包括:

步骤1:将训练集中的初始帧经灰度归一化处理后输入到3cnn模型的第一卷积神经网络层中;初始帧图像依次经过卷积层、卷积层、池化层、卷积层、池化层、卷积层以及池化层,得到特征信息;将提取的特征信息转化为一维向量;

步骤2:将训练集中的峰值帧经灰度归一化处理后输入到3cnn模型的第二卷积神经网络层中;峰值帧图像依次经过卷积层、卷积层、池化层、卷积层、池化层、卷积层以及池化层,得到特征信息;将提取的特征信息转化为一维向量;

步骤3:将训练集中的轨迹图输入到3cnn模型的第三卷积神经网络层中;输入的轨迹图经过编码层,使数据范围调整到[0,1]之间,将调整后的数据依次经过卷积层、卷积层、池化层、卷积层、池化层、卷积层以及池化层,得到特征信息;将提取的特征信息转化为一维向量;

步骤4:将步骤1、步骤2以及步骤3输出的一维向量进行合并处理,将合并后的数据输入到分类层中,预测表情;

步骤5:将预测的表情与实际标签进行对比,通过误差反向传播算法不断训练3cnn模型,完成模型的训练。


技术总结
本发明属于人脸动态表情识别领域,尤其涉及了一种基于人脸特征点数据增强的动态表情识别方法,该方法包括:获取原始人脸数据集,对原始人脸数据集进行预处理,得到人脸数据训练集;所述人脸数据训练集包括原始人脸数据集、原始轨迹图和新的轨迹图;将训练集输入到构建好的3CNN模型中进行模型训练;实时获取人脸数据,将获取的人脸数据输入到训练好的3CNN模型中,得到该人脸动态表情识别结果;本发明通过对人脸特征数据进行增强处理,使得在训练卷积神经网络模型时有足够的数据对模型进行训练,最终得到的结果更精确。

技术研发人员:钟福金;黎敏;尹妙慧;王灵芝;周睿丽;赵建骅
受保护的技术使用者:重庆邮电大学
技术研发日:2020.08.05
技术公布日:2020.11.13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1