一种用于人脸替换的智能设计系统的制作方法

本发明涉及计算机视觉，更具体地说，本发明涉及一种用于人脸替换的智能设计系统。

背景技术：

1、申请公开号为cn116403260a的专利公开了一种ai人脸替换方法，包括如下步骤：s1：人脸库的建立；s2：人脸提取；s3：模型训练；s4：人脸转换；所述s1具体包括：s11：人脸生成库建立；s12：人脸替换库的建立；所述s2具体包括：s21：人脸检测；s22：人脸关键点检测与对齐；s23：人脸分割；所述s3具体包括：s31：泛化生成模型训练；s32：特定人脸模型训练；所述s4具体包括：s41：人脸交换；s42：人脸融合。本发明ai人脸替换方法通过人脸分割能够将人脸检测步骤得到的人脸图片中包含的不规则的遮挡物，比如头发、手、眼镜等进行消除，以保证模型可在训练过程中稳定收敛，不会将遮挡物当成人脸信息，及保证最终换脸效果更加无缝平滑，提高替换人脸的准确性和稳定性。

2、现有技术的问题在于，缺少能够对视频画面中的人脸实现全过程的自动化精确定位、表达、分析和处理的技术手段；主要面临的挑战包括：视频流场景下的人脸检测识别效果难以保证；对面部复杂特征的表达与理解也比较薄弱；没有对面部区域进行适配性分析和处理的决策能力；缺乏将面部定位、分析和处理有机集成，进行自适应人脸融合的系统化解决方案；这些问题的存在都制约了当前视频画面编辑应用中面部区域的智能化处理效果。

3、鉴于此，本发明提出一种用于人脸替换的智能设计系统以解决上述问题。

技术实现思路

1、为了克服现有技术的上述缺陷，为实现上述目的，本发明提供如下技术方案：一种用于人脸替换的智能设计系统，包括：

2、人脸检测追踪模块，用于对输入的视频流进行人脸检测，获取人脸区域图像；

3、人脸特征提取模块，用于对人脸区域图像提取人脸关键点坐标序列和深度学习特征，根据人脸关键点坐标序列和深度学习特征获取人脸区域特征；

4、人脸匹配度评估模块，用于对待替换人脸区域图像与目标人脸图像进行人脸区域特征比对，将待替换人脸区域图像与目标人脸图像划分为n个子区域，获取待替换人脸区域图像与目标人脸图像n个子区域之间的n个替换匹配度；

5、自适应图像融合模块，设置匹配度阈值区间，通过比对n个替换匹配度和匹配度阈值区间获取比对结果；根据比对结果采用图像融合算法，将目标人像图像和待替换人脸区域图像进行融合替换；各个模块之间通过有线和/或无线的方式进行连接，实现模块间的数据传输。

6、进一步地，所述对输入的视频流进行人脸检测，获取人脸区域图像的方式包括：

7、预训练完成的mtcnn人脸检测模型，加载到内存中；逐帧读取输入的视频流画面，提取rgb图像；将提取的rgb图像，输入到预先训练mtcnn人脸检测模型中，生成每个人脸的坐标框；根据人脸坐标框，在输入的rgb图像中截取人脸框所在的区域，生成人脸区域图像；

8、所述mtcnn人脸检测模型的预训练过程包括：

9、将mtcnn人脸检测模型的训练分为三个阶段，三个阶段包括训练提取网络、训练优化网络和训练输出网络。

10、进一步地，所述训练提取网络的方式包括：

11、采集m张包括人脸的图像作为训练集；m为大于1的整数；对训练集图像进行人工或者计算机人脸标注，获取包括人脸标签框的图像训练集；

12、提取网络采用卷积神经网络结构，包括卷积层、激活函数层、池化层和全连接层组成；

13、设置输入层为输入rgb图像的三通道像素数据；使用b个卷积核对输入rgb图像进行卷积运算，获取特征图；利用激活函数层，对卷积层输出的特征图施加非线性激活；通过池化层，对特征图进行降维处理；得到降维特征图；利用全连接层将降维特征图变为特征图向量；

14、损失函数层采用交叉熵函数h(p,q)＝-∑ip(i)log(q(i))；

15、其中，h(p,q)表示真实分布p和模型预测分布q之间的交叉熵损失；p(i)表示真实分布中第i个类别的概率；q(i)表示模型预测分布中第i个类别的概率；

16、定义回归框损失函数测量网络预测框和标签框的误差；

17、回归框损失函数为：

18、

19、

20、其中e的取值为px-gx，py-gy，pw-gw和ph-gh；

21、其中，(px，py)为预测框的中心坐标，pw为预测框的宽，ph为预测框的高；(gx，gy)为标签框的中心坐标，gw为标签框的宽，gh为标签框的高；n为总的图像训练集内图像的数量；

22、利用反向传播算法根据损失函数更新网络参数，使预测框不断逼近标签框；通过迭代优化模型，最终获得提取网络。

23、进一步地，训练优化网络的步骤包括：

24、利用提取网络对训练集图像生成的所有候选框进行评估；评估每个候选框与标签框的iou；iou表示两者的重合度；

25、若候选框的iou>0.5，则标注该候选框为正样本；若候选框的iou≤0.5，则标注该候选框为负样本；

26、定义优化网络的网络结构，网络结构包括卷积层、池化层和全连接层；定义优化网络的训练目标为输出为一个二值判断结果，二值判断结果为当前候选框是否包括人脸；期望为其判断结果与标注的标签一致；标签包括正样本和负样本；

27、采用二分类交叉熵损失函数作为优化网络的损失函数；

28、二分类交叉熵损失函数loss(o,y)＝-(ylog(o)+(1-y)log(1-o))；

29、其中，o为当前样本预测为正样本的概率；y当前样本的标签，对于正样本y为1、对于负样本y为0；

30、输入带候选框的图像至优化网络进行网络计算，得到二值判断结果；比较二值判断结果与标签并计算二分类交叉熵损失函数值；通过反向传播等算法更新优化网络的网络参数，二分类交叉熵损失函数的值在更新优化的过程中会逐步下降，当其下降速度变缓时，则结束训练；得到优化网络。

31、进一步地，所述训练输出网络的步骤包括：

32、经过优化网络的过滤，留下的高质量候选框图片作为输出网络的训练样本；构建输出网络的网络结构与优化网络的网络结构相同；

33、定义输出网络的损失函数为坐标回归损失函数，坐标回归损失函数用于测量输出网络预测框与标签框在位置和大小上的误差平方和；

34、输出网络的输入为候选框图像，输出网络的输出为调整后的预测框坐标；预测框坐标包括预测框的中心坐标、预测框的宽和预测框的高；

35、预定义输出网络的参数，输出网络根据当前参数，预测输出调整后的候选框坐标；计算该预测框与该图像标签框的坐标回归损失函数值；通过链式法则求导计算每个参数对坐标回归损失函数值的梯度；沿负梯度方向微调输出网络的参数，使坐标回归损失函数的值降低；当其降低速度变缓时，则结束训练；得到输出网络；

36、三个阶段均训练完成后，将三个阶段串联即构成完整的mtcnn人脸检测模；

37、进一步地，所述人脸关键点坐标序列的提取过程包括：

38、构建关键点检测卷积神经网络，关键点检测卷积神经网络包括a个卷积层、池化层、和全连接层；关键点检测卷积神经网络的输入为人脸区域图像；人脸区域图像为rgb图像；关键点检测卷积神经网络的输出为人脸关键点坐标，人脸关键点共c个；

39、收集并标注v张人脸图像特征图像，构成人脸图像特征图像集；

40、收集的人脸图像特征图像涵盖不同性别、年龄、种族且面部表情姿态均不同；使用图像标注工具手动或计算机标记每张人脸图像特征图像中人脸的c个关键点坐标；

41、将标注过的人脸图像特征图像集输入关键点检测卷积神经网络；损失函数为预测的关键点坐标与标注的关键点坐标的欧式距离；

42、在单张人脸图像特征图像上的损失函数为

43、其中，为关键点检测卷积神经网络预测的第i张图像的第j个关键点坐标；yij为第i张图像手工标注的第j个关键点的坐标；为预测关键点坐标与标注关键点坐标yij的欧式距离；c为人脸关键点的数量；

44、在人脸图像特征图像集上，关键点检测模型的总体损失函数为：

45、

46、其中，v为人脸图像特征图像集包括的所有图像数量；

47、定义关键点检测卷积神经网络的网络参数并初始化；输入人脸图像特征图像集内的图像进行训练，并前向传播，计算损失lz；通过反向传播算法计算损失lz对参数θ的梯度通过梯度下降法其中，α为学习率；通过迭代优化，逐步减小损失lz的值，得到人脸关键点检测模型；

48、将人脸区域图像输入至人脸关键点检测模型预测提取输出c个关键点坐标；将c个关键点坐标构成人脸关键点坐标序列；

49、所述深度学习特征的提取过程包括：

50、预先定义人脸关键点检测模型的中间层；将人脸区域图像输入至人脸关键点检测模型中；提取人脸关键点检测模型中间层输出的深度特征向量；深度特征向量即为深度学习特征；

51、所述人脸区域特征的获取方式包括：

52、深度特征向量为一个定长的向量，人脸关键点坐标序列为不定长；将人脸关键点坐标序列展平，每一个关键点用一个长度为2的向量表示；将深度特征向量，与展平后的人脸关键点坐标序列拼接；得到一个定长向量。

53、进一步地，所述替换匹配度的获取方式包括：

54、利用人脸特征提取模块分别提取待替换人脸区域图像a的人脸区域特征和目标人脸图像b的人脸区域特征；根据n个子区域划分n对人脸区域特征；人脸区域特征为高维向量，包括深度学习特征和人脸关键点坐标序列两部分信息；分别计算n对人脸区域特征之间的余弦相似度sim(ai,bi)；

55、

56、其中，ai为第i个子区域的待替换人脸区域图像a的人脸区域特征；bi为第i个子区域的目标人脸图像b的人脸区域特征；ai.bi表示ai和bi向量的内积；||ai||和||bi||分别表示ai和bi的l2范数；

57、将sim(ai,bi)的值作为待替换人脸区域图像与目标人脸图像子区域之间的替换匹配度。

58、进一步地，匹配度阈值区间的设置方式包括：

59、收集包括u对人脸图像的训练数据集，每对人脸图像为同一人不同场景拍摄的人脸图片；对每对人脸图像计算匹配度scoreij；统计整个训练数据集中所有对人脸图像的匹配度scoreij，计算所有对人脸图像的匹配度scoreij的均值计算所有对人脸图像的匹配度scoreij的标准差其中，u为训练数据集内人脸图像对的数量；

60、设置匹配度阈值区间的上限为ρ+3σ；设置匹配度阈值区间下限为ρ-3σ；则匹配度阈值区间为[ρ+3σ,ρ-3σ]；

61、所述对比结果为高匹配或中匹配或低匹配；

62、若n个替换匹配度中的替换匹配度大于或等于,则对应的子区域的对比结果为高匹配；若n个替换匹配度中的替换匹配度处于匹配度阈值区间内，则对应的子区域的对比结果为中匹配；若n个替换匹配度中的替换匹配度小于或等于ρ-3σ，则对应的子区域的对比结果为低匹配。

63、进一步地，所述根据比对结果采用图像融合算法，将目标人像图像和待替换人脸区域图像进行融合替换的方式包括：

64、将对比结果为高匹配的目标人像图像和待替换人脸区域图像子区域运用泊松融合算法进行融合替换；

65、将对比结果为中匹配的目标人像图像和待替换人脸区域图像子区域运用颜色迁移算法进行融合替换；

66、将对比结果为低匹配的目标人像图像和待替换人脸区域图像子区域运用几何变换算法进行融合替换；实现目标人像图像和待替换人脸区域图像之间的融合替换。

67、一种用于人脸替换的智能设计方法，其基于所述的一种用于人脸替换的智能设计系统实现，包括：s1、对输入的视频流进行人脸检测，获取人脸区域图像；

68、s2、对人脸区域图像提取人脸关键点坐标序列和深度学习特征，根据人脸关键点坐标序列和深度学习特征获取人脸区域特征；

69、s3、对待替换人脸区域图像与目标人脸图像进行人脸区域特征比对，将待替换人脸区域图像与目标人脸图像划分为n个子区域，获取待替换人脸区域图像与目标人脸图像n个子区域之间的n个替换匹配度；

70、s4、设置匹配度阈值区间，通过比对n个替换匹配度和匹配度阈值区间获取比对结果；根据比对结果采用图像融合算法，将目标人像图像和待替换人脸区域图像进行融合替换。

71、本发明一种用于人脸替换的智能设计系统的技术效果和优点：

72、实现对视频画面中的人脸进行检测识别、定位、匹配分析和自适应融合替换的全自动化处理；系统集成了人脸检测、特征表达、相似度判断和图像融合模块，可对人脸区域精确识别、表达和分析，并根据判断结果选择最优算法，实现人脸的自然融合替换；这样，在保证处理效果的同时，也实现了处理策略的自动化选择和系统的灵活扩展；总体上，本系统拥有支持多种智能视频应用的人脸处理能力，既保证了精确定位人脸区域的能力，又实现了对复杂面部特征和纹理的自适应表达、分析和融合。