一种基于深度学习的视频人物面部替换方法与流程

文档序号:17667480发布日期:2019-05-15 22:48阅读:652来源:国知局

本发明涉及视频画面处理领域,具体涉及一种基于深度学习的视频人物面部替换方法。



背景技术:

影视视频的拍摄完成之后,可能因为各种原因需要替换演员,但是重新拍摄耗资巨大,传统的画面剪辑贴图模式需要工作人员逐帧抠图贴图替换,费时费力。

伴随着计算设备算力的提升,如若能借助人工智能的帮助进行图像替换,能够大大缩端工作时间。

在专利号为cn104376589a的专利中公开了一种替换影视剧人物的方法,将影视片中每秒25张照片的每一张照片中的同一人物不同姿态形象进行替换,其特征在于替换过程包括被替换人物信息分析与特征提取、替换人物信息采集与特征提取和比对替换三个步骤:(1)被替换人物信息分析与特征提取:先采用常规的人物跟踪和检测技术方法,将原影视视频中含有的指定被替换人物面部进行定位、检测和分割;然后使用常规的边缘检测和分割算子方法提取替换人物面部五官的特征点;再采用常规的三角几何投影、分类、聚类和计算机处理的方法存取被替换人物的方向角、光照、颜色和阴影特征;(2)替换人物信息采集与特征提取:使替换人物在摄影棚内面对一部带有自动摄像功能的显示器,或在显示器方向设置一部摄像机,再让替换人物反复观看显示器上播放的示范影视片并模仿拟被替换的人物的面部表演;替换人物正式表演时,开启摄像机对替换人物摄像,再用计算机中存储的人物检测和人物器官检测分析技术对摄像录制下来的替换人物面部的尺寸、光线进行测量分析后进行存储,并对替换人物器官的特征点进行定位,提取替换人物的方向、光照和颜色特征;(3)比对替换:利用计算机中存储的常规的人物替换计算机软件对原影视片中的被替换人物的面部图像特征和替换人物面部图像特征使用常规的方法对特征进行匹配、尺寸缩放、光线补偿和无缝平滑的逐一比对并自动替换,实现替换人物面部变成影视片中的被替换人物面部。

但是上述方式需要人工对进行补拍贴图,工作量依旧巨大。



技术实现要素:

本发明的目的在于克服现有技术中存在的上述问题,提供一种基于深度学习的视频人物面部替换方法,降低视频角色替换中图像处理的工作时间。

为实现上述技术目的,达到上述技术效果,本发明是通过以下技术方案实现:

一种基于深度学习的视频人物面部替换方法,包括以下步骤,

步骤s1,采集多组被替换人物以及目标人物的面部影像资料;

步骤s2,训练面部特征部位的深度学习模型,包括,

步骤s2.1,将面部影像中的输入像素作为模型的可见层,

步骤s2.2,将色块的边界作为第一隐藏层,

步骤s2.3,将边界组成的轮廓作为第二隐藏层,

步骤s2.4,将面部特征部位作为输出层;

步骤s3,将输出层的面部特征组合至面部整体轮廓中,作为面部表情,建立并训练表情深度学习模型,包括,

步骤s3.1,将面部表情作为可见层,

步骤s3.2,将面部表情对应轮廓的变化作为第一隐藏层

步骤s3.2,将情绪特征作为输出层;

步骤s4,将待替换视频每帧画面输入至表情深度学习模型中,分析出对应的情绪特征;

步骤s5,根据步骤s4中得出的情绪特征,将对应情绪特征的被替换人物面部表情替换为目标人物的面部表情;

步骤s6,将步骤s5中替换后画面帧重新组合为视频。

进一步地,所述步骤s1中,

步骤s1.1,人工选取一定数量的被替换人物以及目标人物的面部影像资料,

步骤s1.2,将步骤s1.1中影像输入训练模型,得出被替换人物以及目标人物的特征值,

步骤s1.3,以特征值自主在互联网中检索提取更多影像资料,

步骤s1.4,截取影像资料中的面部部分。

进一步地,所述步骤s2中,选取以下学习参数:动量项因子为0.65、学习率为0.25、初始的权值和阈值为[-0.618,0.618]之间的随机数,隐层和输出层的激活函数分别为tangentsigmoid和log-sigmoid、学习算法为bp算法。

进一步地,所述步骤s5中,采用贴图方式,将对应情绪特征的被替换人物面部表情替换为目标人物的面部表情。

进一步地,将贴图之后的人物面部图像进行分析,若面部图像贴合之后,面部轮廓不贴合,则采用以下方式进行替换,

将目标人物的面部表情分解为面部中边界组成的轮廓,并且将轮廓按照比例替换贴合至被替换人物的面部。

本发明的收益效果是:

基于深度学习,采集大样本影视资料进行训练,降低视频角色替换中图像处理的工作时间。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明所述视频人物面部替换方法的示意图;

图2为本发明所述面部特征部位的深度学习模型的训练流程示意图;

图3为本发明所述表情深度学习模型的训练流程示意图;

图4为多组被替换人物以及目标人物的面部影像资料的采集流程示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

如图1-4所示,本发明为

一种基于深度学习的视频人物面部替换方法,包括以下步骤,

步骤s1,采集多组被替换人物以及目标人物的面部影像资料;

步骤s2,训练面部特征部位的深度学习模型,包括,

步骤s2.1,将面部影像中的输入像素作为模型的可见层,

步骤s2.2,将色块的边界作为第一隐藏层,

步骤s2.3,将边界组成的轮廓作为第二隐藏层,

步骤s2.4,将面部特征部位作为输出层;

步骤s3,将输出层的面部特征组合至面部整体轮廓中,作为面部表情,建立并训练表情深度学习模型,包括,

步骤s3.1,将面部表情作为可见层,

步骤s3.2,将面部表情对应轮廓的变化作为第一隐藏层

步骤s3.2,将情绪特征作为输出层;

步骤s4,将待替换视频每帧画面输入至表情深度学习模型中,分析出对应的情绪特征;

步骤s5,根据步骤s4中得出的情绪特征,将对应情绪特征的被替换人物面部表情替换为目标人物的面部表情;

步骤s6,将步骤s5中替换后画面帧重新组合为视频。

优选地,所述步骤s1中,

步骤s1.1,人工选取一定数量的被替换人物以及目标人物的面部影像资料,

步骤s1.2,将步骤s1.1中影像输入训练模型,得出被替换人物以及目标人物的特征值,

步骤s1.3,以特征值自主在互联网中检索提取更多影像资料,

步骤s1.4,截取影像资料中的面部部分。

优选地,所述步骤s2中,选取以下学习参数:动量项因子为0.65、学习率为0.25、初始的权值和阈值为[-0.618,0.618]之间的随机数,隐层和输出层的激活函数分别为tangentsigmoid和log-sigmoid、学习算法为bp算法。

优选地,所述步骤s5中,采用贴图方式,将对应情绪特征的被替换人物面部表情替换为目标人物的面部表情。

优选地,将贴图之后的人物面部图像进行分析,若面部图像贴合之后,面部轮廓不贴合,则采用以下方式进行替换,

将目标人物的面部表情分解为面部中边界组成的轮廓,并且将轮廓按照比例替换贴合至被替换人物的面部。

本实施例的一个具体应用为:

人工选取一定数量的被替换人物以及目标人物的面部影像资料,训练影像输入训练模型,得出被替换人物以及目标人物的特征值,以特征值自主在互联网中检索提取更多影像资料,截取影像资料中的面部部分;

训练面部特征部位的深度学习模型,将面部影像中的输入像素作为模型的可见层,将色块的边界作为第一隐藏层,将边界组成的轮廓作为第二隐藏层,将面部特征部位作为输出层,选取以下学习参数:动量项因子为0.65、学习率为0.25、初始的权值和阈值为[-0.618,0.618]之间的随机数,隐层和输出层的激活函数分别为tangentsigmoid和log-sigmoid、学习算法为bp算法;

将输出层的面部特征组合至面部整体轮廓中,作为面部表情,建立表情深度学习模型,将面部表情作为可见层,将面部表情对应轮廓的变化作为第一隐藏层,将情绪特征作为输出层;

将待替换视频每帧画面输入至表情深度学习模型中,分析出对应的情绪特征;

将对应情绪特征的被替换人物面部表情替换为目标人物的面部表情,采用贴图方式,将对应情绪特征的被替换人物面部表情替换为目标人物的面部表情,将贴图之后的人物面部图像进行分析,若面部图像贴合之后,面部轮廓不贴合,则采用以下方式进行替换,将目标人物的面部表情分解为面部中边界组成的轮廓,并且将轮廓按照比例替换贴合至被替换人物的面部;

将替换后画面帧重新组合为视频。

上述操作中,相比较传统方式,降低视频角色替换中图像处理的工作时间。

在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等描述意指结合该实施例或示例描述的具体特征、结构、材料过着特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1