基于人脸重演算法的数字名片生成方法及系统与流程

本申请涉及数字名片，尤其涉及一种基于人脸重演算法的数字名片生成方法及系统。

背景技术：

1、名片作为人际交往中的一种媒介，用于向他人介绍自身信息，即可以通过向他人展示名片中所记录的信息来介绍自身。例如：企业名片可以将企业名称、企业地址、企业电话以及企业网站等信息印制在纸质硬卡片上，再通过线下会面交换名片。这样，双方则可以根据名片上印制的内容了解对方的基本信息。

2、但是，纸质名片需要当面交换且不易于保存，导致其存在不便利的缺陷。因此，为了便于名片的交换与存储，还通过数字名片向他人展示自身的信息。数字名片可以进行线上交换、且不容易丢失，具有便利性强、易于存储的优点。

3、数字名片通过固定的模板生成，其承载的信息较为单一，不能体现出纸质名片中的特色设计。而通过导入纸质名片生成数字名片的方式，会将数字名片中承载的信息限制为纸质名片所印制的信息范围内，使数字名片不能承载过多的信息量。这样，数字名片承载信息的容量则被降低，进而影响数字名片的展示效果。

技术实现思路

1、本申请提供一种基于人脸重演算法的数字名片生成方法及系统，以解决数字名片承载信息容量低的问题。

2、第一方面，本申请一些实施例提供一种基于人脸重演算法的数字名片生成方法，包括：

3、获取源目标图像与驱动视频，所述源目标图像包括目标特征，所述驱动视频包括适用于所述目标特征的动作特征；

4、生成所述源目标图像与所述驱动视频的目标特征深度图；

5、提取所述目标特征深度图中的目标特征关键点；

6、对所述目标特征关键点执行特征扭曲，以获得扭曲特征；

7、根据所述目标特征深度图与所述扭曲特征生成目标图像，以及对所述目标图像执行超分处理；

8、根据超分处理后的所述目标图像生成目标视频，以及将所述目标视频插入数字名片的预设位置。

9、本申请一些实施例中，所述方法还包括：解析所述驱动视频的全局视频帧，所述全局视频帧为所述驱动视频中按时间顺序排序的视频帧；获取全局视频帧的有效区域面积；计算所述有效区域面积在所述全局视频帧中的面积占比；如果所述面积占比小于面积比阈值，则对所述全局视频帧进行缩放处理，以使所述有效区域面积在所述全局视频帧中的面积占比大于或等于所述面积比阈值。

10、本申请一些实施例中，生成所述驱动视频的目标特征深度图的步骤，包括：在所述全局视频帧中提取驱动图像，所述驱动图像为所述全局视频帧中的视频帧；将所述目标源图像与所述驱动图像输入深度估计网络；基于自监督方式训练所述深度估计网络，以生成深度估计模型，所述深度估计模型用于生成所述全局视频帧的目标特征深度图；将所述全局视频帧输入所述深度估计模型。

11、本申请一些实施例中，所述提取所述目标特征深度图中的目标特征关键点的步骤，包括：将所述目标特征深度图与对应的图像拼接，作为关键点特征图像；基于关键点提取算法提取所述关键点特征图像的目标特征关键点；按照所述目标特征关键点计算关键点偏移量，以及生成所述目标特征关键点的二维密度坐标图。

12、本申请一些实施例中，所述对所述目标特征关键点执行特征扭曲的步骤，包括：根据所述目标特征关键点对应的关键点偏移量及二维密度坐标图生成二维运动场；通过所述二维运动场扭曲所述源目标图像，以获得所述源目标图像的第一扭曲特征图；根据所述第一扭曲特征图生成运动流掩模与遮挡图，所述遮挡图为用于覆盖所述扭曲特征图中由于旋转变化产生的修复区域；按照所述运动流掩模对所述二维运动场分配置信度，以生成掩模运动场；通过所述掩模运动场扭曲所述源目标图像，以获得所述源目标图像的第二扭曲特征图；将所述第二扭曲特征图与所述遮挡图融合。

13、本申请一些实施例中，所述根据所述目标特征深度图与所述扭曲特征生成目标图像的步骤，包括：对所述目标特征深度图执行编码，以获取所述目标深度图的深度特征图；通过卷积层将所述深度特征图与所述扭曲特征映射为隐式特征，所述隐式特征包括查询特征、关键特征与数值特征；将所述关键特征与所述查询特征融合，以生成稠密指导参数；根据所述稠密指导参数与所述数值特征生成稠密扭曲特征，以及对所述稠密扭曲特征执行解码。

14、本申请一些实施例中，对所述目标图像执行超分处理的步骤，包括：获取图像超分辨率模型的训练图像，所述训练图像包括纹理特征；对所述训练图像执行旋转操作，以生成训练图像集；通过所述训练图像集训练超分辨率生成器，以获得图像超分辨率模型；所述超分辨率生成器由多层残差网络和密集连接架构构成；将所述目标图像输入至所述图像超分辨率模型。

15、本申请一些实施例中，根据所述目标图像生成目标视频后，包括：在所述目标视频中提取参考帧与相邻帧，两个所述相邻帧的时间点与所述参考帧的时间点的时间差相等；对所述参考帧与所述相邻帧执行金字塔级联可变形卷积，以获取融合特征图，所述融合特征图为对齐的目标特征图；基于像素级对所述融合特征图分配聚合权重，以及根据所述聚合权重融合所述融合特征图；将所述融合特征图输入重建网络。

16、本申请一些实施例中，所述方法还包括：获取用户输入的文本信息与声音样本，所述声音样本包括用户选定的音色特征；按照所述声音样本将所述文本信息转化为目标音频数据；将所述目标音频数据插入所述数字名片中。

17、第二方面，本申请一些实施例还提供一种基于人脸重演算法的数字名片生成系统，用于执行第一方面所述的基于人脸重演算法的数字名片生成方法，所述系统包括应用单元，所述应用单元被配置为：

18、获取源目标图像与驱动视频，所述源目标图像包括目标特征，所述驱动视频包括适用于所述目标特征的动作特征；

19、生成所述源目标图像与所述驱动视频的目标特征深度图；

20、提取所述目标特征深度图中的目标特征关键点；

21、对所述目标特征关键点执行特征扭曲，以获得扭曲特征；

22、根据所述目标特征深度图与所述扭曲特征生成目标图像，以及对所述目标图像执行超分处理；

23、根据超分处理后的所述目标图像生成目标视频，以及将所述目标视频插入数字名片的预设位置。

24、由以上技术方案可知，本申请一些实施例提供的基于人脸重演算法的数字名片生成方法及系统，所述方法可以通过获取源目标图像与驱动视频，生成源目标图像与驱动视频的目标特征深度图。其中，源目标图像包括目标特征，驱动视频包括适用于目标特征的动作特征。再提取目标特征深度图中的目标特征关键点，并对目标特征关键点执行特征扭曲，以获得扭曲特征。根据目标特征深度图与扭曲特征生成目标图像，以及对目标图像执行超分处理。根据超分处理后的目标图像生成目标视频，以及将目标视频插入数字名片的预设位置，以生成数字名片。所述方法通过驱动源目标图像执行驱动视频的动作，可增加数字名片所承载的信息量，改善数字名片的展示效果。

技术特征：

1.一种基于人脸重演算法的数字名片生成方法，其特征在于，包括：

2.根据权利要求1所述的基于人脸重演算法的数字名片生成方法，其特征在于，还包括：

3.根据权利要求2所述的基于人脸重演算法的数字名片生成方法，其特征在于，生成所述驱动视频的目标特征深度图的步骤，包括：

4.根据权利要求3所述的基于人脸重演算法的数字名片生成方法，其特征在于，所述提取所述目标特征深度图中的目标特征关键点的步骤，包括：

5.根据权利要求4所述的基于人脸重演算法的数字名片生成方法，其特征在于，所述对所述目标特征关键点执行特征扭曲的步骤，包括：

6.根据权利要求1所述的基于人脸重演算法的数字名片生成方法，其特征在于，所述根据所述目标特征深度图与所述扭曲特征生成目标图像的步骤，包括：

7.根据权利要求1所述的基于人脸重演算法的数字名片生成方法，其特征在于，对所述目标图像执行超分处理的步骤，包括：

8.根据权利要求1所述的基于人脸重演算法的数字名片生成方法，其特征在于，根据所述目标图像生成目标视频后，包括：

9.根据权利要求1所述的基于人脸重演算法的数字名片生成方法，其特征在于，还包括：

10.一种基于人脸重演算法的数字名片生成系统，用于执行权利要求1-9任意一项所述的基于人脸重演算法的数字名片生成方法，其特征在于，所述系统包括应用单元，所述应用单元被配置为：

技术总结
本申请一些实施例提供一种基于人脸重演算法的数字名片生成方法及系统，所述方法通过获取源目标图像与驱动视频，生成源目标图像与驱动视频的目标特征深度图。其中，源目标图像包括目标特征，驱动视频包括适用于目标特征的动作特征。再提取目标特征深度图中的目标特征关键点，并对目标特征关键点执行特征扭曲，以获得扭曲特征。根据目标特征深度图与扭曲特征生成目标图像，以及对目标图像执行超分处理。根据超分处理后的目标图像生成目标视频，以及将目标视频插入数字名片的预设位置，以生成数字名片。所述方法通过驱动源目标图像执行驱动视频的动作，可增加数字名片所承载的信息量，改善数字名片的展示效果。

技术研发人员：司马华鹏,姜皓,范宏伟,屈奇勋,李佳斌,栾锦泰
受保护的技术使用者：南京硅基智能科技有限公司
技术研发日：
技术公布日：2024/1/14