一种换脸模型的训练、基于视频的换脸方法和相关装置与流程

1.本技术涉及人工智能技术领域，特别是涉及一种换脸模型的训练、基于视频的换脸方法和相关装置。


背景技术：

2.随着视频交互技术的快速发展，在日常生活和工作中，越来越多的对象通过视频实现交互，例如，越来越多的对象通过视频直播、视频聊天等实现交互。在视频交互过程中，考虑到保护真实脸部图像或体验虚拟脸部图像等因素，需要利用虚拟脸部图像替换视频中的真实脸部图像。
3.相关技术中，通常可以预先以收集到的真实脸部图像作为训练样本，训练得到换脸模型，通过该换脸模型对虚拟脸部图像和视频中的真实脸部图像进行生成处理，得到脸部生成图像，以便利用该脸部生成图像替换视频中的真实脸部图像。
4.然而，虚拟脸部图像的脸部形象相较于真实脸部图像的脸部形象更夸张，在上述换脸模型是以收集到的真实脸部图像作为训练样本训练得到的情况下，该换脸模型所生成的脸部生成图像更接近于真实脸部图像，从而很难逼真地表达虚拟脸部图像的脸部形象，导致换脸后虚拟脸部的脸部形象质感较差。


技术实现要素：

5.为了解决上述技术问题，本技术提供了一种换脸模型的训练、基于视频的换脸方法和相关装置，训练得到的目标换脸模型在保证换脸鲁棒性的同时，能够生成更加逼真地表达虚拟脸部图像的脸部形象的脸部生成图像，从而应用目标换脸模型进行换脸能够提升换脸后虚拟脸部的脸部形象质感。
6.本技术实施例公开了如下技术方案：一方面，本技术提供一种换脸模型的训练方法，所述方法包括：对多个真实脸部图像和多个虚拟脸部图像进行采样，获得多个第一目标样本图像和对应的多个第一源样本图像；所述多个第一目标样本图像包括所述真实脸部图像，所述多个第一源样本图像包括所述虚拟脸部图像；针对每个第一目标样本图像和对应的第一源样本图像，通过第一生成模型对所述第一目标样本图像和所述第一源样本图像进行生成处理，获得第一脸部生成图像；根据所述第一脸部生成图像、所述第一目标样本图像和所述第一源样本图像，通过最小化第一损失函数训练所述第一生成模型获得第一换脸模型；所述第一损失函数用于计算所述第一脸部生成图像和所述第一源样本图像之间的脸部形象损失、以及所述第一脸部生成图像和所述第一目标样本图像之间的脸部状态损失；将所述第一换脸模型确定为目标换脸模型。
7.另一方面，本技术提供一种基于视频的换脸方法，所述方法包括：获取待显示视频中的待换真实脸部图像；
确定所述待换真实脸部图像对应的预设虚拟脸部图像；通过目标换脸模型对所述待换真实脸部图像和所述预设虚拟脸部图像进行生成处理，获得目标虚拟脸部图像；所述目标虚拟脸部图像匹配所述预设虚拟脸部图像的脸部形象和所述待换真实脸部图像的脸部状态；在显示所述待显示视频时，将所述待换真实脸部图像替换为所述目标虚拟脸部图像；其中，所述目标换脸模型是执行上述方面所述的换脸模型的训练方法获得的。
8.另一方面，本技术提供一种换脸模型的训练装置，所述装置包括：采样单元、第一生成单元、训练单元和第一确定单元；所述采样单元，用于对多个真实脸部图像和多个虚拟脸部图像进行采样，获得多个第一目标样本图像和对应的多个第一源样本图像；所述多个第一目标样本图像包括所述真实脸部图像，所述多个第一源样本图像包括所述虚拟脸部图像；所述第一生成单元，用于针对每个第一目标样本图像和对应的第一源样本图像，通过第一生成模型对所述第一目标样本图像和所述第一源样本图像进行生成处理，获得第一脸部生成图像；所述训练单元，用于根据所述第一脸部生成图像、所述第一目标样本图像和所述第一源样本图像，通过最小化第一损失函数训练所述第一生成模型获得第一换脸模型；所述第一损失函数用于计算所述第一脸部生成图像和所述第一源样本图像之间的脸部形象损失、以及所述第一脸部生成图像和所述第一目标样本图像之间的脸部状态损失；所述第一确定单元，用于将所述第一换脸模型确定为目标换脸模型。
9.另一方面，本技术提供一种基于视频的换脸装置，所述装置包括：获取单元、第二确定单元、第二生成单元和替换单元；所述获取单元，用于获取待显示视频中的待换真实脸部图像；所述第二确定单元，用于确定所述待换真实脸部图像对应的预设虚拟脸部图像；所述第二生成单元，用于通过目标换脸模型对所述待换真实脸部图像和所述预设虚拟脸部图像进行生成处理，获得目标虚拟脸部图像；所述目标虚拟脸部图像匹配所述预设虚拟脸部图像的脸部形象和所述待换真实脸部图像的脸部状态；所述替换单元，用于在显示所述待显示视频时，将所述待换真实脸部图像替换为所述目标虚拟脸部图像；其中，所述目标换脸模型是执行上述方面所述的换脸模型的训练方法获得的。
10.另一方面，本技术提供一种计算机设备，所述计算机设备包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行上述方面所述的换脸模型的训练方法或基于视频的换脸方法。
11.另一方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，执行上述方面所述的换脸模型的训练方法或基于视频的换脸方法。
12.另一方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令；当所述计算机程序或指令被处理器执行时，执行上述方面所述的换脸
模型的训练方法或基于视频的换脸方法。
13.由上述技术方案可以看出，首先，收集多个真实脸部图像和多个虚拟脸部图像，采样得到多个第一目标样本图像和对应的多个第一源样本图像，该多个第一目标样本图像包括真实脸部图像，该多个第一源样本图像包括虚拟脸部图像；然后，通过第一生成模型对每个第一目标样本图像和对应的第一源样本图像进行生成处理，得到第一脸部生成图像；最后，通过第一脸部生成图像、第一目标样本图像和第一源样本图像，以最小化第一损失函数的方式训练第一生成模型，获得第一换脸模型作为目标换脸模型；第一损失函数用于计算第一脸部生成图像和第一源样本图像之间的脸部形象损失、以及第一脸部生成图像和第一目标样本图像之间的脸部状态损失。
14.可见，在真实脸部图像的基础上增加虚拟脸部图像，采样得到包括真实脸部图像的多个第一目标样本图像、以及包括虚拟脸部图像的多个第一源样本图像；针对每个第一目标样本图像和对应的第一源样本图像训练第一生成模型，以挖掘第一源样本图像的脸部形象以及第一目标样本图像的脸部状态，使得训练得到的第一换脸模型在学习到真实脸部图像的脸部状态的基础上，进一步学习到虚拟脸部图像的脸部形象；将第一换脸模型作为目标换脸模型，该目标换脸模型在保证换脸鲁棒性的同时，能够生成更加逼真地表达虚拟脸部图像的脸部形象的脸部生成图像，从而应用目标换脸模型进行换脸能够提升换脸后虚拟脸部的脸部形象质感。
附图说明
15.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本技术实施例提供的一种换脸模型的训练方法和基于视频的换脸方法的应用场景示意图；图2为本技术实施例提供的一种换脸模型的训练方法的方法流程图；图3为本技术实施例提供的一种真实脸部图像和虚拟脸部图像的示意图；图4为本技术实施例提供的一种通过多个第一目标样本图像和对应的多个第一源样本图像训练第一生成模型获得第一换脸模型的框架示意图；图5为本技术实施例提供的一种通过多个第二目标样本图像和对应的多个第二源样本图像训练第二生成模型获得第二换脸模型的框架示意图；图6为本技术实施例提供的一种第二生成模型中多个分支模型参数和更新后的第二换脸模型中融合后的模型参数的示意图；图7为本技术实施例提供的一种基于视频的换脸方法的方法流程图；图8为本技术实施例提供的一种待显示视频中的待换真实脸部图像替换为目标虚拟脸部图像的效果示意图；图9为本技术实施例提供的另一种基于预设绑定关系的视频换脸方法的方法流程图；图10为本技术实施例提供的一种换脸模型的训练装置的结构流程图；
图11为本技术实施例提供的一种基于视频的换脸装置的结构流程图；图12为本技术实施例提供的一种服务器的结构示意图；图13为本技术实施例提供的一种终端设备的结构示意图。
具体实施方式
17.下面结合附图，对本技术的实施例进行描述。
18.现阶段，在用户a通过视频直播、视频聊天等视频交互过程中，考虑到保护用户a的真实脸部图像等因素，需要利用虚拟脸部图像替换视频v中用户a的真实脸部图像。一般是通过收集到的真实脸部图像作为训练样本训练得到换脸模型，对虚拟脸部图像和视频v中用户a的真实脸部图像进行生成处理，得到脸部生成图像，并利用该脸部生成图像替换视频v中用户a的真实脸部图像。
19.但是，经过研究发现，虚拟脸部图像的脸部形象相较于视频v中用户a的真实脸部图像的脸部形象更夸张，上述换脸模型是以收集到的真实脸部图像作为训练样本训练得到的，则该换脸模型所生成的脸部生成图像更接近于视频v中用户a的真实脸部图像，从而很难逼真地表达虚拟脸部图像的脸部形象，导致视频v中用户a换脸后虚拟脸部的脸部形象质感较差。
20.有鉴于此，本技术提出一种换脸模型的训练、基于视频的换脸方法和相关装置，在真实脸部图像的基础上增加虚拟脸部图像，采样得到包括真实脸部图像的多个第一目标样本图像、以及包括虚拟脸部图像的多个第一源样本图像；针对每个第一目标样本图像和对应的第一源样本图像训练第一生成模型，以挖掘第一源样本图像的脸部形象以及第一目标样本图像的脸部状态，使得训练得到的第一换脸模型在学习到真实脸部图像的脸部状态的基础上，进一步学习到虚拟脸部图像的脸部形象；将第一换脸模型作为目标换脸模型，该目标换脸模型在保证换脸鲁棒性的同时，能够生成更加逼真地表达虚拟脸部图像的脸部形象的脸部生成图像，从而应用目标换脸模型进行换脸能够提升换脸后虚拟脸部的脸部形象质感。
21.为了便于理解本技术的技术方案，下面结合实际应用场景，对本技术实施例提供的换脸模型的训练方法和基于视频的换脸方法进行介绍。
22.参见图1，该图为本技术实施例提供的一种换脸模型的训练方法和基于视频的换脸方法的应用场景示意图。在图1所示的应用场景中，该应用场景包括服务器101和换脸设备102。其中，服务器101中存储多个真实脸部图像和多个虚拟脸部图像，该多个虚拟脸部图像是对多个虚拟脸部模型进行不同渲染得到的。
23.服务器101对多个真实脸部图像和多个虚拟脸部图像进行采样，获得多个第一目标样本图像和对应的多个第一源样本图像；多个第一目标样本图像包括真实脸部图像，多个第一源样本图像包括虚拟脸部图像。作为一种示例，第一目标样本图像为真实脸部图像a，其对应的第一源样本图像为虚拟脸部图像b。
24.服务器101针对每个第一目标样本图像和对应的第一源样本图像，通过第一生成模型对第一目标样本图像和第一源样本图像进行生成处理，获得第一脸部生成图像。作为一种示例，第一生成模型为生成模型1，在上述示例的基础上，服务器101通过生成模型1对真实脸部图像a和虚拟脸部图像b进行生成处理，获得第一脸部生成图像为脸部生成图像1。
intelligence，ai）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
33.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能的基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
34.本技术提供的换脸模型的训练方法主要涉及计算机视觉技术和机器学习/深度学习等大方向。计算机视觉技术（computer vision，cv）是一门研究如何使机器“看”的科学学科，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟随和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、自动驾驶、智慧交通等技术，还包括常见的人脸识别等识别技术。
35.机器学习（machine learning，ml）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
36.本技术提供的换脸模型的训练方法和基于视频的换脸方法可以应用于各种场景，包括但不限于云技术、人工智能、车载场景、智慧交通、辅助驾驶等。
37.接下来，下面以上述服务器作为换脸模型的训练设备的角度，对本技术实施例提供的换脸模型的训练方法进行具体介绍。
38.参见图2，该图为本技术实施例提供的一种换脸模型的训练方法的方法流程图。如图2所示，该换脸模型的训练方法，包括以下步骤：s201：对多个真实脸部图像和多个虚拟脸部图像进行采样，获得多个第一目标样本图像和对应的多个第一源样本图像；多个第一目标样本图像包括真实脸部图像，多个第一源样本图像包括虚拟脸部图像。
39.由于相关技术中，一般是通过收集到的真实脸部图像作为训练样本训练得到换脸模型，利用该换脸模型对虚拟脸部图像和视频中的真实脸部图像进行生成处理，得到脸部生成图像；并利用该脸部生成图像替换视频中的真实脸部图像。但是，经过研究发现，虚拟脸部图像的脸部形象相较于视频的真实脸部图像的脸部形象更夸张，上述换脸模型是以收集到的真实脸部图像作为训练样本训练得到的，则该换脸模型所生成的脸部生成图像更接近于视频的真实脸部图像，从而很难逼真地表达虚拟脸部图像的脸部形象，导致视频中换
脸后虚拟脸部的脸部形象质感较差。
40.因此，本技术实施例中，为了解决上述问题，需要训练得到新的换脸模型，该新的换脸模型需要学习到虚拟脸部图像的脸部形象，以便能够生成更加逼真地表达虚拟脸部图像的脸部形象的脸部生成图像；基于此，考虑到在通过收集到的真实脸部图像作为训练样本，保证新的换脸模型的换脸鲁棒性的同时，还需要在真实脸部图像的基础上增加虚拟脸部图像作为训练样本，以此训练得到新的换脸模型。
41.在上述说明的基础上，首先，需要准备真实脸部图像集和虚拟脸部图像集，即，多个真实脸部图像和多个虚拟脸部图像。然后，需要从真实脸部图像集和虚拟脸部图像集中，每次采样一批图像得到一个训练样本集，每个训练样本集中每个训练样本包括目标样本图像和源样本图像，源样本图像用于替换目标样本图像；即，对多个真实脸部图像和多个虚拟脸部图像进行采样，获得多个第一目标样本图像和对应的多个第一源样本图像。考虑到符合虚拟脸部图像替换真实脸部图像的换脸场景，以及新的换脸模型需要学习到虚拟脸部图像的脸部形象，则多个第一目标样本图像需要包括真实脸部图像，多个第一源样本图像需要包括虚拟脸部图像。参见图3，该图为本技术实施例提供的一种真实脸部图像和虚拟脸部图像的示意图；其中，图3中（a）表示真实脸部图像，图3中（b）表示虚拟脸部图像。
42.其中，多个真实脸部图像可以是从asian-celeb、vggface2等开源数据集中获取的。多个虚拟脸部图像可以是对多个虚拟脸部模型进行不同渲染得到的，多个虚拟脸部模型可以是从虚拟脸部模型库中获取的，也可以是对虚拟脸部模型库中不同虚拟脸部模型进行混合得到的，该方式通过提升多个虚拟脸部模型的多样性，从而提升多个虚拟脸部图像的多样性。
43.作为一种示例，获取50+个虚拟脸部模型，采用预设制作软件ue对每个虚拟脸部模型进行不同角度、不同姿态、不同表情、不同光照等不同渲染得到多个虚拟脸部图像。其中，不同角度例如可以包括正面角度、左45
°
角度、右45
°
度角度、上30
°
角度和下30
°
角度等。
44.在s201具体实现时，考虑到基于多个第一目标样本图像和对应的多个第一源样本图像，训练得到新的换脸模型的换脸鲁棒性，以及新的换脸模型能够生成更加逼真地表达虚拟脸部图像的脸部形象，在多个第一目标样本图像和对应的多个第一源样本图像中，真实脸部图像和虚拟脸部图像需要满足一定比例，即，第一比例。此外，第一目标样本图像和对应的第一源样本图像所属对象可能相同或不同，考虑到训练样本的均衡性，在多个第一目标样本图像和对应的多个第一源样本图像中，第一目标样本图像和对应的第一源样本图像所属相同对象和不同对象也需要满足另一定比例，即，第二比例。因此，在本技术实施例一种可能的实现方式中，s201例如具体可以为：按照真实脸部图像和虚拟脸部图像的第一比例，以及第一目标样本图像和对应的第一源样本图像所属相同对象和不同对象的第二比例，对多个真实脸部图像和多个虚拟脸部图像进行采样，获得多个第一目标样本图像和对应的多个第一源样本图像。
45.作为一种示例，在多个第一目标样本图像和对应的多个第一源样本图像中，真实脸部图像和虚拟脸部图像的第一比例可以为9：1，第一目标样本图像和对应的第一源样本图像所属相同对象和不同对象的第二比例可以为1：1。
46.s202：针对每个第一目标样本图像和对应的第一源样本图像，通过第一生成模型对第一目标样本图像和第一源样本图像进行生成处理，获得第一脸部生成图像。
47.本技术实施例中，在执行s201获得多个第一目标样本图像和对应的多个第一源样本图像之后，对于每个第一目标样本图像和对应的第一源样本图像而言，需要通过一个生成模型挖掘第一源样本图像的脸部形象以及第一目标样本图像的脸部状态，以生成该第一目标样本图像和该第一源样本图像对应的脸部生成图像，即，第一脸部生成图像；因此，通过第一生成模型对该第一目标样本图像和该第一源样本图像进行生成处理，得到第一脸部生成图像。
48.作为一种示例，第一目标样本图像为x
t1
，第一源样本图像为x
s1
，通过第一生成模型对x
t1
和x
s1
进行生成处理，获得第一脸部生成图像为y
s1,t1
。
49.s203：根据第一脸部生成图像、第一目标样本图像和第一源样本图像，通过最小化第一损失函数训练第一生成模型获得第一换脸模型；第一损失函数用于计算第一脸部生成图像和第一源样本图像之间的脸部形象损失、以及第一脸部生成图像和第一目标样本图像之间的脸部状态损失。
50.本技术实施例中，由于训练目标是使得训练得到的新的换脸模型不仅学习到第一目标样本图像的脸部状态，而且学习到第一源样本图像的脸部形象，以便在多个第一目标样本图像包括真实脸部图像，多个第一源样本图像包括虚拟脸部图像的条件下，新的换脸模型在学习到真实脸部图像的脸部状态的基础上，进一步学习到虚拟脸部图像的脸部形象；因此，针对第一生成模型配置一个损失函数，即，第一损失函数，该第一损失函数用于计算第一脸部生成图像和第一源样本图像之间的脸部形象损失、以及第一脸部生成图像和第一目标样本图像之间的脸部状态损失。
51.基于此，在执行s202获得第一脸部生成图像之后，基于第一脸部生成图像、第一目标样本图像和第一源样本图像，需要通过最小化第一损失函数的方式训练第一生成模型，训练完成后得到新的换脸模型，即，第一换脸模型。
52.在s203具体实现时，首先，上述第一换脸模型需要学习到第一目标样本图像的脸部状态，实际上是指通过判别器得到的第一脸部生成图像的判别特征、与通过判别器得到第一目标样本图像的判别特征需要匹配；则第一损失函数需要包括一个特征损失函数，即，第一特征损失函数，该第一特征损失函数用于计算第一脸部生成图像的判别特征与第一目标样本图像的判别特征之间的损失。此外，在第一目标样本图像和对应的第一源样本图像所属相同对象时，上述第一换脸模型需要学习到第一目标样本图像的脸部状态，还可以表示为第一脸部生成图像是第一目标样本图像的重建图像；则第一损失函数需要包括一个重建损失函数，即，第一重建损失函数，该第一重建损失函数用于计算第一脸部生成图像与第一目标样本图像之间的重建损失。
53.然后，上述第一换脸模型需要学习到第一源样本图像的脸部形象，实际上是指通过身份识别模型得到的第一脸部生成图像的对象标识、与通过身份识别模型得到第一源样本图像的对象标识需要匹配；则第一损失函数需要包括一个身份损失函数，即，第一身份损失函数，该第一特征损失函数用于计算第一脸部生成图像的对象标识与第一源样本图像的对象标识之间的损失。
54.因此，在本技术实施例一种可能的实现方式中，第一损失函数包括第一重建损失函数、第一身份损失函数和第一特征损失函数；s203例如可以包括如下s2031-s2035：s2031：若第一源样本图像的对象标识和第一目标样本图像的对象标识相同，根据
第一脸部生成图像、第一目标样本图像和第一重建损失函数，获得第一重建损失值。
55.作为一种示例，在上述示例的基础上，第一重建损失函数如下所示：其中，l
11
为第一重建损失函数，mask
same id
为重建系数，若第一源样本图像x
s1
的对象标识和第一目标样本图像x
t1
的对象标识相同时，mask
same id
为1，若x
s1
的对象标识和x
t1
的对象标识不同时，mask
same id
为0；y
s1,t1
为第一脸部生成图像，| |1为l1范数。
56.s2032：根据第一脸部生成图像的对象标识、第一源样本图像的对象标识和第一身份损失函数，获得第一身份损失值。
57.其中，在s2032具体实现时，在第一目标样本图像和对应的第一源样本图像所属不同对象时，对于上述第一换脸模型需要学习到第一源样本图像的脸部形象而言，不仅第一脸部生成图像的对象标识与第一源样本图像的对象标识需要匹配，而且第一脸部生成图像的对象标识和第一目标样本图像的对象标识之间的第一相似度，与第一源样本图像的对象标识和第一目标样本图像的对象标识的之间第二相似度需要匹配；则第一损失函数需要包括两个子损失函数，即，第一子损失函数和第二子损失函数，该第一子损失函数用于计算第一脸部生成图像的对象标识与第一源样本图像的对象标识之间的损失，该第一子损失函数用于计算第一相似度和第二相似度之间的损失。因此，在本技术实施例一种可能的实现方式中，第一身份损失函数包括第一子损失函数和第二子损失函数；s2032例如可以包括如下s1-s3：s1：根据第一脸部生成图像的对象标识、第一源样本图像的对象标识和第一子损失函数，获得第一子损失值。
58.s2：根据第一脸部生成图像的对象标识、第一源样本图像的对象标识、第一目标样本图像的对象标识和第二子损失函数，获得第二子损失值；第二子损失函数用于计算第一相似度和第二相似度之间的损失，第一相似度为第一脸部生成图像的对象标识和第一目标样本图像的对象标识之间的相似度，第二相似度为第一源样本图像的对象标识和第一目标样本图像的对象标识之间的相似度。
59.s3：对第一子损失值和第二子损失值进行求和处理，获得第一身份损失值。
60.作为一种示例，在上述示例的基础上，第一身份损失函数如下所示：其中，l
icl1
为第一身份损失函数，1-cos(z
id
(y
s1,t1
)，z
id
(x
s1
))为第一子损失函数，(cos(z
id
(y
s1,t1
)，z
id
(x
t1
))-cos(z
id
(x
s1
)，z
id
(x
t1
)))2为第二子损失函数，z
id
为预训练的身份识别模型，z
id
(y
s1,t1
)为第一脸部生成图像y
s1,t1
的对象标识，z
id
(x
s1
)为第一源样本图像x
s1
的对象标识，z
id
(x
t1
)为第一目标样本图像x
t1
的对象标识。
61.s2033：根据第一脸部生成图像的判别特征、第一目标样本图像的判别特征和第一特征损失函数，获得第一特征损失值。
62.作为一种示例，在上述示例的基础上，第一特征损失函数如下所示：
其中，l
fm1
为第一特征损失函数，di为判别器的第i层，m表示判别器的总层数，d
i (y
s1,t1
)为第一脸部生成图像y
s1,t1
的判别特征，d
i (x
t1
)为第一目标样本图像x
t1
的判别特征，| |2为l2范数。
63.s2034：根据第一重建损失值、第一身份损失值、第一特征损失值和对应的第一预设系数进行加权处理，获得第一总损失值。
64.此外，本技术实施例中，为了使得上述第一换脸模型更好地学习到第一目标样本图像的脸部表情，通过表情识别模型得到的第一脸部生成图像的表情类别、与通过表情识别模型得到第一目标样本图像的表情类别需要匹配；则第一损失函数还可以包括一个表情损失函数，即，第一表情损失函数，该第一表情损失函数用于计算第一脸部生成图像的表情类别与第一目标样本图像的表情类别之间的损失。另需要说明的是，第一损失函数还可以包括第一生成模型对应的一个生成对抗损失函数，即，第一生成对抗损失函数，该第一生成对抗损失函数用于计算生成时第一脸部生成图像的判别类别损失、第一目标样本图像的判别类别之间的损失，以及判别时第一脸部生成图像的判别类别损失、第一目标样本图像的判别类别之间的损失。因此，在本技术实施例一种可能的实现方式中，第一损失函数还包括第一表情损失函数和第一生成对抗损失函数；方法例如还可以包括如下s4-s5：s4：根据第一脸部生成图像的表情类别、第一目标样本图像的表情类别和第一表情损失函数，获得第一表情损失值。
65.作为一种示例，在上述示例的基础上，第一表情损失函数如下所示：其中，l
exp1
为第一表情损失函数，e为预先训练的表情识别模型，e(y
s1,t1
)为第一脸部生成图像y
s1,t1
的表情类别，e(x
t1
)为第一目标样本图像x
t1
的表情类别，| |2为l2范数。
66.s5：根据第一脸部生成图像的判别类别、第一目标样本图像的判别类别和第一生成对抗损失函数，获得第一生成对抗损失值。
67.作为一种示例，在上述示例的基础上，第一生成对抗损失函数如下所示：其中，l
gan1
为第一生成对抗损失函数，d为判别器，d(y
s1,t1
)为第一脸部生成图像y
s1,t1
的判别类别，d(x
t1
)为第一目标样本图像x
t1
的判别类别，e＇为期望，g为生成器。
68.对应地，在s4-s5的基础上，s2034例如具体可以为：根据第一重建损失值、第一身份损失值、第一特征损失值、第一表情损失值、第一生成对抗损失值和对应的第二预设系数进行加权处理，获得第一总损失值。
69.作为一种示例，在上述示例的基础上，第一损失函数如下所示：其中，l
total1
为第一损失函数，l
gan1
对应的第二系数为1，l
fm1
对应的第二系数为1，l
exp1
对应的第二系数为5，l
icl1
对应的第二系数为5，l
11
对应的第二系数为10，则第一重建损失值、第一身份损失值、第一特征损失值、第一表情损失值、第一生成对抗损失值分别对应
的第二预设系数为10、5、2、5和1。
70.s2035：根据第一总损失值，通过最小化第一损失函数训练第一生成模型的模型参数，直至模型收敛获得第一换脸模型。
71.实际应用中，基于第一总损失值通过最小化第一损失函数训练第一生成模型的模型参数，使用adam优化器，学习率为0.0001，直至模型收敛得到第一换脸模型。
72.参见图4，该图为本技术实施例提供的一种通过多个第一目标样本图像和对应的多个第一源样本图像训练第一生成模型获得第一换脸模型的框架示意图。其中，在多个第一目标样本图像和对应的多个第一源样本图像中，真实脸部图像和虚拟脸部图像的第一比例为9：1，第一目标样本图像和对应的第一源样本图像所属相同对象和不同对象的第二比例为1：1；第一目标样本图像为x
t1
，第一源样本图像为x
s1
，通过第一生成模型对x
t1
和x
s1
进行生成处理，得到第一脸部生成图像为y
s1,t1
；基于y
s1,t1
、x
t1
和x
s1
，通过最小化第一损失函数训练第一生成模型得到第一换脸模型，第一损失函数l
total1
包括第一重建损失函数l
11
、第一身份损失函数l
icl1
、第一特征损失函数l
fm1
、第一表情损失函数l
exp1
和第一生成对抗损失函数l
gan1
。
73.s204：将第一换脸模型确定为目标换脸模型。
74.本技术实施例中，在执行s203获得第一换脸模型之后，由于第一换脸模型不仅能够学习到第一目标样本图像的脸部状态，而且学习到第一源样本图像的脸部形象，在多个第一目标样本图像包括真实脸部图像，多个第一源样本图像包括虚拟脸部图像的条件下，第一换脸模型在学习到真实脸部图像的脸部状态的基础上，进一步学习到虚拟脸部图像的脸部形象；基于此，第一换脸模型保证换脸鲁棒性的同时，能够生成更加逼真地表达虚拟脸部图像的脸部形象的脸部生成图像，则可以将第一换脸模型作为目标换脸模型。
75.此外，本技术实施例中，上述第一换脸模型是由第一生成模型训练得到的，第一生成模型的计算量较大，则将第一换脸模型作为目标换脸模型进行换脸时计算量同样较大，很难在视频交互过程中实时完成换脸；因此，为了解决该问题，还可以搭建另一个计算量较小的生成模型，即，第二生成模型，仍然以上述准备的真实脸部图像集和虚拟脸部图像集，训练第二生成模型得到第二换脸模型，该第二换脸模型作为目标换脸模型进行换脸时计算量较小，在视频交互过程中实时完成换脸。
76.实际应用中，首先，仅以真实脸部图像和虚拟脸部图像的第一比例，对多个真实脸部图像和多个虚拟脸部图像进行采样，得到多个第二目标样本图像和对应的多个第二源样本图像即可；同样，多个第二目标样本图像需要包括真实脸部图像，多个第二源样本图像需要包括虚拟脸部图像。
77.然后，对于每个第二目标样本图像和对应的第二源样本图像而言，需要通过第二生成模型挖掘第二源样本图像的脸部形象以及第二目标样本图像的脸部状态，以生成该第二目标样本图像和该第二源样本图像对应的脸部生成图像；即，第二脸部生成图像。对应地，还需要通过第一换脸模型挖掘第二源样本图像的脸部形象以及第二目标样本图像的脸部状态，以生成该第二目标样本图像和该第二源样本图像对应的第三脸部生成图像，该第三脸部生成图像用于对第二脸部生成图像进行对比。
78.然后，由于训练目标是使得第二换脸模型不仅学习到第二目标样本图像的脸部状态，而且学习到第二源样本图像的脸部形象，以便在多个第二目标样本图像包括真实脸部
图像，多个第二源样本图像包括虚拟脸部图像的条件下，第二换脸模型在学习到真实脸部图像的脸部状态的基础上，进一步学习到虚拟脸部图像的脸部形象；因此，针对第二生成模型同样配置的另一个损失函数，即，第二损失函数，该第二损失函数用于计算第二脸部生成图像和第二源样本图像之间的脸部形象损失、以及第二脸部生成图像和第二目标样本图像之间的脸部状态损失。
79.因此，在本技术实施例一种可能的实现方式中，在s203之后、s204之前，方法例如还可以包括s6-s9：s6：按照真实脸部图像和虚拟脸部图像的第一比例，对多个真实脸部图像和多个虚拟脸部图像进行采样，获得多个第二目标样本图像和对应的多个第二源样本图像；多个第二目标样本图像包括真实脸部图像，多个第二源样本图像包括虚拟脸部图像。
80.s7：针对每个第二目标样本图像和对应的第二源样本图像，通过第二生成模型对第二目标样本图像和第二源样本图像进行生成处理，获得第二脸部生成图像；第二生成模型的计算量小于第一生成模型的计算量。
81.其中，考虑到将第二换脸模型作为目标换脸模型进行换脸，在视频交互过程中实时完成换脸，受到待部署目标换脸模型的换脸设备的实时计算量影响，可以由该实时计算量确定第二生成模型的最大计算量，即，预设计算量；则第二生成模型的计算量小于或等于预设计算量。因此，在本技术实施例一种可能的实现方式中，第二生成模型的计算量小于或等于预设计算量，预设计算量是根据待部署目标换脸模型的换脸设备的实时计算量确定的。
82.作为一种示例，第二目标样本图像为x
t2
，第二源样本图像为x
s2
，通过第二生成模型对x
t2
和x
s2
进行生成处理，得到第二脸部生成图像为y
s2,t2
；预设计算量为500mflops，第二生成模型的计算量小于或等于500mflops，1mflops表示每秒一百万次的浮点运算。
83.s8：通过第一换脸模型对第二目标样本图像和第二源样本图像进行生成处理，获得第三脸部生成图像。
84.作为一种示例，在上述示例的基础上，通过第一换脸模型对x
t2
和x
s2
进行生成处理，得到第三脸部生成图像为y
teacher
。
85.s9：根据第二脸部生成图像、第三脸部生成图像和第二源样本图像，通过最小化第二损失函数训练第二生成模型获得第二换脸模型；第二损失函数用于计算第二脸部生成图像和第二源样本图像之间的脸部形象损失、以及第二脸部生成图像和第三脸部生成图像之间的脸部状态损失。
86.在s9具体实现时，参考上述第一损失函数的说明，在第三脸部生成图像用于对第二脸部生成图像进行对比的基础上，首先，第二脸部生成图像的判别特征、与第三脸部生成图像的判别特征需要匹配；则第二损失函数需要包括一个特征损失函数，即，第二特征损失函数，该第二特征损失函数用于计算第二脸部生成图像的判别特征与第三脸部生成图像的判别特征之间的损失。此外，第二脸部生成图像是第二目标样本图像的重建图像，需要与第三脸部生成图像匹配；则第二损失函数需要包括一个重建损失函数，即，第二重建损失函数，该第二重建损失函数用于计算第二脸部生成图像与第三脸部生成图像之间的重建损失。
87.然后，同理可得，第二脸部生成图像的对象标识、与第二源样本图像的对象标识需
要匹配；则第二损失函数需要包括一个身份损失函数，即，第二身份损失函数，该第二特征损失函数用于计算第二脸部生成图像的对象标识与第二源样本图像的对象标识之间的损失。
88.因此，在本技术实施例一种可能的实现方式中，第二损失函数包括第二重建损失函数、第二身份损失函数和第二特征损失函数；s9例如可以包括如下s91-s95：s91：根据第二脸部生成图像、第三脸部生成图像和第二重建损失函数，获得第二重建损失值。
89.作为一种示例，在上述示例的基础上，第二重建损失函数如下所示：其中，l
12
为第二重建损失函数，y
s2,t2
为第二脸部生成图像，y
teacher
为第三脸部生成图像，| |1为l1范数。
90.s92：根据第二脸部生成图像的对象标识、第二源样本图像的对象标识和第二身份损失函数，获得第二身份损失值。
91.其中，参见上述第一身份损失函数的说明，同理可得，在s92具体实现时，在第二目标样本图像和对应的第二源样本图像所属不同对象时，不仅第二脸部生成图像的对象标识与第二源样本图像的对象标识需要匹配，而且第二脸部生成图像的对象标识和第二目标样本图像的对象标识之间的第三相似度，与第二源样本图像的对象标识和第二目标样本图像的对象标识之间的第四相似度需要匹配；则第二损失函数需要包括两个子损失函数，即，第三子损失函数和第四子损失函数，该第三子损失函数用于计算第二脸部生成图像的对象标识与第二源样本图像的对象标识之间的损失，该第四子损失函数用于计算第三相似度和第四相似度之间的损失。
92.因此，在本技术实施例一种可能的实现方式中，第二身份损失函数包括第三子损失函数和第四子损失函数；s92例如可以包括：根据第二脸部生成图像的对象标识、第二源样本图像的对象标识和第三子损失函数，获得第三子损失值；根据第二脸部生成图像的对象标识、第二源样本图像的对象标识、第二目标样本图像的对象标识和第四子损失函数，获得第四子损失值；第四子损失函数用于计算第三相似度和第四相似度之间的损失，第三相似度为第二脸部生成图像的对象标识和第二目标样本图像的对象标识之间的相似度，第四相似度为第二源样本图像的对象标识和第二目标样本图像的对象标识之间的相似度；对第三子损失值和第四子损失值进行求和处理，获得第二身份损失值。
93.作为一种示例，在上述示例的基础上，第二身份损失函数如下所示：其中，l
icl2
为第二身份损失函数，1-cos(z
id
(y
s2,t2
)，z
id
(x
s2
))为第三子损失函数，(cos(z
id
(y
s2,t2
)，z
id
(x
t2
))-cos(z
id
(x
s2
)，z
id
(x
t2
)))2为第四子损失函数，z
id
为预训练的身份识别模型，z
id
(y
s2,t2
)为第二脸部生成图像y
s2,t2
的对象标识，z
id
(x
s2
)为第二源样本图像x
s2
的对象标识，z
id
(x
t2
)为第二目标样本图像x
t2
的对象标识。
94.s93：根据第二脸部生成图像的判别特征、第三脸部生成图像的判别特征和第二特
征损失函数，获得第二特征损失值。
95.作为一种示例，在上述示例的基础上，第二特征损失函数如下所示：其中，l
fm2
为第二特征损失函数，di为判别器的第i层，m表示判别器的总层数，d
i (y
s2,t2
)为第二脸部生成图像y
s2,t2
的判别特征，d
i (y
teacher
)为第三脸部生成图像y
teacher
的判别特征，| |2为l2范数。
96.s94：根据第二重建损失值、第二身份损失值、第二特征损失值和对应的第三预设系数进行加权处理，获得第二总损失值。
97.此外，本技术实施例中，参考上述第一损失函数的说明，同理可得，第二脸部生成图像的表情类别、与第二目标样本图像的表情类别需要匹配；则第二损失函数还可以包括一个表情损失函数，即，第二表情损失函数，该第二表情损失函数用于计算第二脸部生成图像的表情类别与第二目标样本图像的表情类别之间的损失。另需要说明的是，第二损失函数还可以包括第二生成模型对应的一个生成对抗损失函数，即，第二生成对抗损失函数，该第二生成对抗损失函数用于计算生成时第二脸部生成图像的判别类别损失、第二目标样本图像的判别类别之间的损失，以及判别时第二脸部生成图像的判别类别损失、第二目标样本图像的判别类别之间的损失。因此，在本技术实施例一种可能的实现方式中，第二损失函数还包括第二表情损失函数和第二生成对抗损失函数；例如还可以包括如下s10-s11：s10：根据第二脸部生成图像的表情类别、第二目标样本图像的表情类别和第二表情损失函数，获得第二表情损失值。
98.作为一种示例，在上述示例的基础上，第二表情损失函数如下所示：其中，l
exp2
为第二表情损失函数，e为预先训练的表情识别模型，e(y
s2,t2
)为第二脸部生成图像y
s2,t2
的表情类别，e(x
t2
)为第二目标样本图像x
t2
的表情类别，| |2为l2范数。
99.s10：根据第二脸部生成图像的判别类别、第二目标样本图像的判别类别和第二生成对抗损失函数，获得第二生成对抗损失值。
100.作为一种示例，在上述示例的基础上，第二生成对抗损失函数如下所示：其中，l
gan2
为第二生成对抗损失函数，d为判别器，d(y
s2,t2
)为第二脸部生成图像y
s2,t2
的判别类别，d(x
t2
)为第二目标样本图像x
t2
的判别类别，e＇为期望，g为生成器。
101.对应地，s94例如具体可以为：根据第二重建损失值、第二身份损失值、第二特征损失值、第二表情损失值、第二生成对抗损失值和对应的第四预设系数进行加权处理，获得第二总损失值。
102.作为一种示例，在上述示例的基础上，第二损失函数如下所示：其中，l
total2
为第二损失函数，l
gan2
对应的第四系数为1，l
fm2
对应的第四系数为1，l
exp2
对应的第四系数为5，l
icl2
对应的第四系数为5，l
12
对应的第四系数为10，则第二重建损
失值、第二身份损失值、第二特征损失值、第二表情损失值、第二生成对抗损失值分别对应的第二预设系数为10、5、2、5和1。
103.s95：根据第二总损失值，通过最小化第二损失函数训练第二生成模型的模型参数，直至模型收敛获得第二换脸模型。
104.参见图5，该图为本技术实施例提供的一种通过多个第二目标样本图像和对应的多个第二源样本图像训练第二生成模型获得第二换脸模型的框架示意图。其中，在多个第二目标样本图像和对应的多个第二源样本图像中，真实脸部图像和虚拟脸部图像的第二比例为9：1；第二目标样本图像为x
t2
，第二源样本图像为x
s2
，通过第二生成模型对x
t2
和x
s2
进行生成处理，得到第二脸部生成图像为y
s2,t2
，并过第一换脸模型对x
t2
和x
s2
进行生成处理，得到第三脸部生成图像为y
teacher
；基于y
s2,t2
、x
t2
、y
teacher
和x
s2
，通过最小化第二损失函数训练第二生成模型得到第二换脸模型，第二损失函数l
total2
包括第二重建损失函数l
12
、第二身份损失函数l
icl2
、第二特征损失函数l
fm2
、第二表情损失函数l
exp2
和第二生成对抗损失函数l
gan2
。
105.对应地，s204例如具体可以为：将第二换脸模型确定为目标换脸模型。
106.此外，本技术实施例中，由于第二生成模型的计算量较小，为了保证训练第二生成模型得到第二换脸模型的换脸鲁棒性，第二生成模型一般是采用重参数化的方式搭建的，则第二生成模型的模型参数包括多个分支模型参数。基于此，第二换脸模型的模型参数包括多个训练完成的分支模型参数，还可以对第二换脸模型进行进一步的模型压缩，即，通过融合多个训练完成的分支模型参数的方式更新第二换脸模型，得到更新后的第二换脸模型；该更新后的第二换脸模型的模型参数包括融合后的模型参数，则更新后的第二换脸模型作为目标换脸模型进行换脸时计算量更小，以便在视频交互过程中更能实时完成换脸，更适用于实时视频交互的场景，例如，视频直播的场景等。因此，在本技术实施例一种可能的实现方式中，第二生成模型的模型参数包括多个分支模型参数时，第二换脸模型的模型参数包括多个训练完成的分支模型参数，方法例如还可以包括s12：对多个训练完成的分支模型参数进行融合以更新第二换脸模型，获得更新后的第二换脸模型；更新后的第二换脸模型的模型参数包括融合后的模型参数；对应地，s204例如具体可以为：将更新后的第二换脸模型确定为目标换脸模型。
107.作为一种示例，参见图6，该图为本技术实施例提供的一种第二生成模型中多个分支模型参数和更新后的第二换脸模型中融合后的模型参数的示意图。其中，图6中（a）表示第二生成模型中多个分支模型参数，图6中（b）表示更新后的第二换脸模型中融合后的模型参数，该多个分支模型参数可以为3个分支卷积核，具体为3
×
3的卷积核、3
×
3的卷积核和1
×
1的卷积核，将3个分支卷积核均转换为3
×
3的卷积核，在将1
×
1的卷积核转换为3
×
3的卷积核时，采用中心权值与1
×
1 的卷积核相等，四周权值为0的方式；融合转换后的3个3
×
3 的卷积核，将3个3
×
3的卷积核的权值w和偏置b相加，得到一个新的3
×
3 卷积核作为该融合后的模型参数。
108.上述实施例提供的换脸模型的训练方法，首先，收集多个真实脸部图像和多个虚拟脸部图像，采样得到多个第一目标样本图像和对应的多个第一源样本图像，该多个第一目标样本图像包括真实脸部图像，该多个第一源样本图像包括虚拟脸部图像；然后，通过第一生成模型对每个第一目标样本图像和对应的第一源样本图像进行生成处理，得到第一脸
部生成图像；最后，通过第一脸部生成图像、第一目标样本图像和第一源样本图像，以最小化第一损失函数的方式训练第一生成模型，获得第一换脸模型作为目标换脸模型；第一损失函数用于计算第一脸部生成图像和第一源样本图像之间的脸部形象损失、以及第一脸部生成图像和第一目标样本图像之间的脸部状态损失。
109.可见，在真实脸部图像的基础上增加虚拟脸部图像，采样得到包括真实脸部图像的多个第一目标样本图像、以及包括虚拟脸部图像的多个第一源样本图像；针对每个第一目标样本图像和对应的第一源样本图像训练第一生成模型，以挖掘第一源样本图像的脸部形象以及第一目标样本图像的脸部状态，使得训练得到的第一换脸模型在学习到真实脸部图像的脸部状态的基础上，进一步学习到虚拟脸部图像的脸部形象；将第一换脸模型作为目标换脸模型，该目标换脸模型在保证换脸鲁棒性的同时，能够生成更加逼真地表达虚拟脸部图像的脸部形象的脸部生成图像，从而应用目标换脸模型进行换脸能够提升换脸后虚拟脸部的脸部形象质感。
110.在上述换脸模型的训练方法基础上，将目标换脸模型部署在换脸设备上，换脸设备获取待显示视频后，在待显示视频具有利用虚拟脸部图像替换待显示视频中的真实脸部图像的需求时；首先，换脸设备需要获取待显示视频中的待换真实脸部图像，其次，换脸设备需要确定待换真实脸部图像需要替换成的虚拟脸部图像，即，预设虚拟脸部图像；然后，换脸设备通过目标换脸模型对待换真实脸部图像和预设虚拟脸部图像进行生成处理，即可得到匹配预设虚拟脸部图像的脸部形象和待换真实脸部图像的脸部状态的虚拟脸部图像，即，目标虚拟脸部图像，该目标虚拟脸部图像更加逼真地表达预设虚拟脸部图像的脸部形象；最后，换脸设备在显示待显示视频时，利用目标虚拟脸部图像替换待换真实脸部图像以完成换脸，换脸后虚拟脸部的脸部形象质感更好。
111.接下来，下面以上述服务器或终端设备作为换脸设备的角度，对本技术实施例提供的基于视频的换脸方法进行具体介绍。
112.参见图7，该图为本技术实施例提供的一种基于视频的换脸方法的方法流程图。如图7所示，该基于视频的换脸方法，包括以下步骤：s701：获取待显示视频中的待换真实脸部图像。
113.s702：确定待换真实脸部图像对应的预设虚拟脸部图像。
114.s703：通过目标换脸模型对待换真实脸部图像和预设虚拟脸部图像进行生成处理，获得目标虚拟脸部图像；目标虚拟脸部图像匹配预设虚拟脸部图像的脸部形象和待换真实脸部图像的脸部状态。
115.s704：在显示待显示视频时，将待换真实脸部图像替换为目标虚拟脸部图像。
116.参见图8，该图为本技术实施例提供的一种待显示视频中的待换真实脸部图像替换为目标虚拟脸部图像的效果示意图。其中，图8中（a）表示待显示视频中的待换真实脸部图像，图8中（b）表示该待换真实脸部图像对应的预设虚拟脸部图像，图8中（c）表示通过目标换脸模型对待换真实脸部图像和预设虚拟脸部图像进行生成处理得到的目标虚拟脸部图像；该目标虚拟脸部图像更加逼真地表达预设虚拟脸部图像的脸部形象，换脸后虚拟脸部的脸部形象质感更好。
117.此外，本技术实施例中，考虑到预设虚拟脸部图像可能具有专有属性，即，预设虚拟脸部图像唯一属于预设对象，则还可以将预设对象和预设虚拟脸部图像绑定，得到表示
预设对象和预设虚拟脸部图像已绑定的预设绑定关系；换脸设备获取待显示视频后，需要对待显示视频进行脸部识别得到已识别真实脸部图像，并获取该已识别真实脸部图像的脸部特征；判断该已识别真实脸部图像的脸部特征与预设对象的脸部特征是否匹配，若是，表示该已识别真实脸部图像才是待显示视频中的待换真实脸部图像。该方式能够仅对视频中绑定虚拟脸部图像的真实脸部图像进行换脸，以保证视频在切换不同对象的真实脸部图像时或者多个对象同时处于一个视频画面时，仍然能够实现正常的换脸，此外，还能够实现保护虚拟脸部图像的版权保护。因此，在本技术实施例一种可能的实现方式中，在s701之前，方法例如还可以包括如下s13-s15：s13：将预设对象的脸部特征和预设虚拟脸部图像进行绑定，获得预设绑定关系。
118.s14：获取待显示视频中已识别真实脸部图像的脸部特征。
119.s15：若已识别真实脸部图像的脸部特征与预设对象的脸部特征匹配，将已识别真实脸部图像确定为待换真实脸部图像。
120.对应地，s702例如具体可以为：根据待换真实脸部图像的脸部特征和预设绑定关系，确定预设虚拟脸部图像。
121.此外，本技术实施例中，还可能存在已识别真实脸部图像的脸部特征与预设对象的脸部特征不匹配的情况，表示该已识别真实脸部图像无需实现换脸，则在显示待显示视频时，复用该已识别真实脸部图像。因此，在本技术实施例一种可能的实现方式中，方法例如还可以包括s16：若已识别真实脸部图像的脸部特征与预设对象的脸部特征不匹配，在显示待显示视频时，复用已识别真实脸部图像。
122.参见图9，该图为本技术实施例提供的另一种基于预设绑定关系的视频换脸方法的方法流程图。第一步：将预设对象的脸部特征和预设虚拟脸部图像进行绑定，获得预设绑定关系；第二步：获取待显示视频中已识别真实脸部图像的脸部特征；第三步：判断已识别真实脸部图像的脸部特征与预设对象的脸部特征是否匹配，若是，执行第四步，若否，执行第六步；第四步：将已识别真实脸部图像确定为待换真实脸部图像，通过目标换脸模型对待换真实脸部图像和预设虚拟脸部图像进行生成处理，获得目标虚拟脸部图像；第五步：在显示待显示视频时，将待换真实脸部图像替换为目标虚拟脸部图像；第六步：在显示待显示视频时，复用已识别真实脸部图像。
123.上述实施例提供的基于视频的换脸方法，首先，获取待显示视频中的待换真实脸部图像，其次，确定待换真实脸部图像需要替换成的虚拟脸部图像，即，预设虚拟脸部图像；然后，通过目标换脸模型对待换真实脸部图像和预设虚拟脸部图像进行生成处理，即可得到匹配预设虚拟脸部图像的脸部形象和待换真实脸部图像的脸部状态的虚拟脸部图像，即，目标虚拟脸部图像，该目标虚拟脸部图像更加逼真地表达预设虚拟脸部图像的脸部形象；最后，在显示待显示视频时，利用目标虚拟脸部图像替换待换真实脸部图像以完成换脸，换脸后虚拟脸部的脸部形象质感更好。
124.针对上文描述的换脸模型的训练方法，本技术实施例还提供了一种用于换脸模型的训练装置，下面对本技术实施例提供的换脸模型的训练装置进行具体介绍。
125.参见图10，图10为本技术实施例提供的一种换脸模型的训练装置的结构示意图。如图10所示，该换脸模型的训练装置1000，包括：采样单元1001、第一生成单元1002、训练单元1003和第一确定单元1004；
采样单元1001，用于对多个真实脸部图像和多个虚拟脸部图像进行采样，获得多个第一目标样本图像和对应的多个第一源样本图像；多个第一目标样本图像包括真实脸部图像，多个第一源样本图像包括虚拟脸部图像；第一生成单元1002，用于针对每个第一目标样本图像和对应的第一源样本图像，通过第一生成模型对第一目标样本图像和第一源样本图像进行生成处理，获得第一脸部生成图像；训练单元1003，用于根据第一脸部生成图像、第一目标样本图像和第一源样本图像，通过最小化第一损失函数训练第一生成模型获得第一换脸模型；第一损失函数用于计算第一脸部生成图像和第一源样本图像之间的脸部形象损失、以及第一脸部生成图像和第一目标样本图像之间的脸部状态损失；第一确定单元1004，用于将第一换脸模型确定为目标换脸模型。
126.作为一种可能的实现方式，采样单元1001，具体用于：按照真实脸部图像和虚拟脸部图像的第一比例，以及第一目标样本图像和对应的第一源样本图像所属相同对象和不同对象的第二比例，对多个真实脸部图像和多个虚拟脸部图像进行采样，获得多个第一目标样本图像和对应的多个第一源样本图像。
127.作为一种可能的实现方式，第一损失函数包括第一重建损失函数、第一身份损失函数和第一特征损失函数；训练单元1003，包括：第一获得子单元和第一训练子单元；第一获得子单元，用于若第一源样本图像的对象标识和第一目标样本图像的对象标识相同，根据第一脸部生成图像、第一目标样本图像和第一重建损失函数，获得第一重建损失值；第一获得子单元，还用于根据第一脸部生成图像的对象标识、第一源样本图像的对象标识和第一身份损失函数，获得第一身份损失值；第一获得子单元，还用于根据第一脸部生成图像的判别特征、第一目标样本图像的判别特征和第一特征损失函数，获得第一特征损失值；第一获得子单元，还用于根据第一重建损失值、第一身份损失值、第一特征损失值和对应的第一预设系数进行加权处理，获得第一总损失值；第一训练子单元，用于根据第一总损失值，通过最小化第一损失函数训练第一生成模型的模型参数，直至模型收敛获得第一换脸模型。
128.作为一种可能的实现方式，第一身份损失函数包括第一子损失函数和第二子损失函数；第一获得子单元，具体用于：根据第一脸部生成图像的对象标识、第一源样本图像的对象标识和第一子损失函数，获得第一子损失值；根据第一脸部生成图像的对象标识、第一源样本图像的对象标识、第一目标样本图像的对象标识和第二子损失函数，获得第二子损失值；第二子损失函数用于计算第一相似度和第二相似度之间的损失，第一相似度为第一脸部生成图像的对象标识和第一目标样本图像的对象标识之间的相似度，第二相似度为第一源样本图像的对象标识和第一目标样本图像的对象标识之间的相似度；对第一子损失值和第二子损失值进行求和处理，获得第一身份损失值。
129.作为一种可能的实现方式，第一损失函数还包括第一表情损失函数和第一生成对
抗损失函数；第一获得子单元，还用于：根据第一脸部生成图像的表情类别、第一目标样本图像的表情类别和第一表情损失函数，获得第一表情损失值；根据第一脸部生成图像的判别类别、第一目标样本图像的判别类别和第一生成对抗损失函数，获得第一生成对抗损失值；第一获得子单元，具体用于：根据第一重建损失值、第一身份损失值、第一特征损失值、第一表情损失值、第一生成对抗损失值和对应的第二预设系数进行加权处理，获得第一总损失值。
130.作为一种可能的实现方式，采样单元1001，还用于按照真实脸部图像和虚拟脸部图像的第一比例，对多个真实脸部图像和多个虚拟脸部图像进行采样，获得多个第二目标样本图像和对应的多个第二源样本图像；多个第二目标样本图像包括真实脸部图像，多个第二源样本图像包括虚拟脸部图像；第一生成单元1002，还用于针对每个第二目标样本图像和对应的第二源样本图像，通过第二生成模型对第二目标样本图像和第二源样本图像进行生成处理，获得第二脸部生成图像；第二生成模型的计算量小于第一生成模型的计算量；第一生成单元1002，还用于通过第一换脸模型对第二目标样本图像和第二源样本图像进行生成处理，获得第三脸部生成图像；训练单元1003，用于根据第二脸部生成图像、第三脸部生成图像和第二源样本图像，通过最小化第二损失函数训练第二生成模型获得第二换脸模型；第二损失函数用于计算第二脸部生成图像和第二源样本图像之间的脸部形象损失、以及第二脸部生成图像和第三脸部生成图像之间的脸部状态损失；第一确定单元1004，具体用于：将第二换脸模型确定为目标换脸模型。
131.作为一种可能的实现方式，训练单元1003，包括：第二获得子单元和第二训练子单元；第二获得子单元，用于根据第二脸部生成图像、第三脸部生成图像和第二重建损失函数，获得第二重建损失值；第二获得子单元，还用于根据第二脸部生成图像的对象标识、第二源样本图像的对象标识和第二身份损失函数，获得第二身份损失值；第二获得子单元，还用于根据第二脸部生成图像的判别特征、第三脸部生成图像的判别特征和第二特征损失函数，获得第二特征损失值；第二获得子单元，还用于根据第二重建损失值、第二身份损失值、第二特征损失值和对应的第三预设系数进行加权处理，获得第二总损失值；第二训练子单元，用于根据第二总损失值，通过最小化第二损失函数训练第二生成模型的模型参数，直至模型收敛获得第二换脸模型。
132.作为一种可能的实现方式，第二损失函数还包括第二表情损失函数和第二生成对抗损失函数；第二获得子单元，还用于：根据第二脸部生成图像的表情类别、第二目标样本图像的表情类别和第二表情损失函数，获得第二表情损失值；
根据第二脸部生成图像的判别类别、第二目标样本图像的判别类别和第二生成对抗损失函数，获得第二生成对抗损失值；第二获得子单元，具体用于：根据第二重建损失值、第二身份损失值、第二特征损失值、第二表情损失值、第二生成对抗损失值和对应的第四预设系数进行加权处理，获得第二总损失值。
133.作为一种可能的实现方式，第二生成模型的模型参数包括多个分支模型参数时，第二换脸模型的模型参数包括多个训练完成的分支模型参数，装置还包括：更新单元；更新单元，用于对多个训练完成的分支模型参数进行融合以更新第二换脸模型，获得更新后的第二换脸模型；更新后的第二换脸模型的模型参数包括融合后的模型参数；确定单元1004，具体用于：将更新后的第二换脸模型确定为目标换脸模型。
134.作为一种可能的实现方式，第二生成模型的计算量小于或等于预设计算量，预设计算量是根据待部署目标换脸模型的换脸设备的实时计算量确定的。
135.上述实施例提供的换脸模型的训练装置，首先，收集多个真实脸部图像和多个虚拟脸部图像，采样得到多个第一目标样本图像和对应的多个第一源样本图像，该多个第一目标样本图像包括真实脸部图像，该多个第一源样本图像包括虚拟脸部图像；然后，通过第一生成模型对每个第一目标样本图像和对应的第一源样本图像进行生成处理，得到第一脸部生成图像；最后，通过第一脸部生成图像、第一目标样本图像和第一源样本图像，以最小化第一损失函数的方式训练第一生成模型，获得第一换脸模型作为目标换脸模型；第一损失函数用于计算第一脸部生成图像和第一源样本图像之间的脸部形象损失、以及第一脸部生成图像和第一目标样本图像之间的脸部状态损失。
136.可见，在真实脸部图像的基础上增加虚拟脸部图像，采样得到包括真实脸部图像的多个第一目标样本图像、以及包括虚拟脸部图像的多个第一源样本图像；针对每个第一目标样本图像和对应的第一源样本图像训练第一生成模型，以挖掘第一源样本图像的脸部形象以及第一目标样本图像的脸部状态，使得训练得到的第一换脸模型在学习到真实脸部图像的脸部状态的基础上，进一步学习到虚拟脸部图像的脸部形象；将第一换脸模型作为目标换脸模型，该目标换脸模型在保证换脸鲁棒性的同时，能够生成更加逼真地表达虚拟脸部图像的脸部形象的脸部生成图像，从而应用目标换脸模型进行换脸能够提升换脸后虚拟脸部的脸部形象质感。
137.针对上文描述的基于视频的换脸方法，本技术实施例还提供了一种用于基于视频的换脸装置，下面对本技术实施例提供的基于视频的换脸装置进行具体介绍。
138.参见图11，图11为本技术实施例提供的一种基于视频的换脸装置的结构示意图。如图11所示，该基于视频的换脸装置1100，包括：获取单元1101、第二确定单元1102、第二生成单元1103和替换单元1104；获取单元1101，用于获取待显示视频中的待换真实脸部图像；第二确定单元1102，用于确定待换真实脸部图像对应的预设虚拟脸部图像；第二生成单元1103，用于通过目标换脸模型对待换真实脸部图像和预设虚拟脸部图像进行生成处理，获得目标虚拟脸部图像；目标虚拟脸部图像匹配预设虚拟脸部图像的脸部形象和待换真实脸部图像的脸部状态；
替换单元1104，用于在显示待显示视频时，将待换真实脸部图像替换为目标虚拟脸部图像；其中，目标换脸模型是执行上述实施例的换脸模型的训练方法获得的。
139.作为一种可能的实现方式，装置还包括：绑定单元、绑定单元，用于将预设对象的脸部特征和预设虚拟脸部图像进行绑定，获得预设绑定关系；获取单元1101，还用于获取待显示视频中已识别真实脸部图像的脸部特征；第二确定单元1102，还用于若已识别真实脸部图像的脸部特征与预设对象的脸部特征匹配，将已识别真实脸部图像确定为待换真实脸部图像；第二确定单元1102，具体用于：根据待换真实脸部图像的脸部特征和预设绑定关系，确定预设虚拟脸部图像。
140.作为一种可能的实现方式，方法还包括：复用单元；复用单元，用于若已识别真实脸部图像的脸部特征与所述预设对象的脸部特征不匹配，在显示所述待显示视频时，复用所述已识别真实脸部图像。
141.上述实施例提供的基于视频的换脸装置，首先，获取待显示视频中的待换真实脸部图像，其次，确定待换真实脸部图像需要替换成的虚拟脸部图像，即，预设虚拟脸部图像；然后，通过目标换脸模型对待换真实脸部图像和预设虚拟脸部图像进行生成处理，即可得到匹配预设虚拟脸部图像的脸部形象和待换真实脸部图像的脸部状态的虚拟脸部图像，即，目标虚拟脸部图像，该目标虚拟脸部图像更加逼真地表达预设虚拟脸部图像的脸部形象；最后，在显示待显示视频时，利用目标虚拟脸部图像替换待换真实脸部图像以完成换脸，换脸后虚拟脸部的脸部形象质感更好。
142.针对上文描述的换脸模型的训练方法和基于视频的换脸方法，本技术实施例还提供了一种用于换脸模型的训练设备或基于视频的换脸设备，以使上述换脸模型的训练方法和基于视频的换脸方法在实际中实现以及应用，下面将从硬件实体化的角度对本技术实施例提供的计算机设备进行介绍。
143.参见图12，图12是本技术实施例提供的一种服务器结构示意图，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（central processing units，cpu）1222（例如，一个或一个以上处理器）和存储器1232，一个或一个以上存储应用程序1242或数据1244的存储介质1230（例如一个或一个以上海量存储设备）。其中，存储器1232和存储介质1230可以是短暂存储或持久存储。存储在存储介质1230的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1222可以设置为与存储介质1230通信，在服务器1200上执行存储介质1230中的一系列指令操作。
144.服务器1200还可以包括一个或一个以上电源1226，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1258，和/或，一个或一个以上操作系统1241，例如windows server
tm
，mac os x
tm
，unix
tm
， linux
tm
，freebsd
tm
等等。
145.上述实施例中由服务器所执行的步骤可以基于该图12所示的服务器结构。
146.其中，cpu 1222用于执行如下步骤：对多个真实脸部图像和多个虚拟脸部图像进行采样，获得多个第一目标样本图像
和对应的多个第一源样本图像；多个第一目标样本图像包括真实脸部图像，多个第一源样本图像包括虚拟脸部图像；针对每个第一目标样本图像和对应的第一源样本图像，通过第一生成模型对第一目标样本图像和第一源样本图像进行生成处理，获得第一脸部生成图像；根据第一脸部生成图像、第一目标样本图像和第一源样本图像，通过最小化第一损失函数训练第一生成模型获得第一换脸模型；第一损失函数用于计算第一脸部生成图像和第一源样本图像之间的脸部形象损失、以及第一脸部生成图像和第一目标样本图像之间的脸部状态损失；将第一换脸模型确定为目标换脸模型。
147.其中，cpu 1222还用于执行如下步骤：获取待显示视频中的待换真实脸部图像；确定待换真实脸部图像对应的预设虚拟脸部图像；通过目标换脸模型对待换真实脸部图像和预设虚拟脸部图像进行生成处理，获得目标虚拟脸部图像；目标虚拟脸部图像匹配预设虚拟脸部图像的脸部形象和待换真实脸部图像的脸部状态；在显示待显示视频时，将待换真实脸部图像替换为目标虚拟脸部图像；其中，目标换脸模型是执行上述实施例所述的换脸模型的训练方法获得的。
148.可选的，cpu 1222还可以执行本技术实施例中换脸模型的训练方法或基于视频的换脸方法任一具体实现方式的方法步骤。
149.参见图13，图13为本技术实施例提供的一种终端设备的结构示意图。为了便于说明，仅示出了与本技术实施例相关的部分，具体技术细节未揭示的，请参照本技术实施例方法部分。该终端设备可以为包括手机、平板电脑、pda等任意终端设备，以终端设备为手机为例：图13示出的是与本技术实施例提供的终端设备相关的手机的部分结构的框图。参考图13，该手机包括：射频（radio frequency，简称rf）电路1310、存储器1320、输入单元1330、显示单元1340、传感器1350、音频电路1360、无线保真（wifi）模块1370、处理器1380、以及电源1390等部件。本领域技术人员可以理解，图13中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
150.下面结合图13对手机的各个构成部件进行具体的介绍：rf电路1310可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1380处理；另外，将设计上行的数据发送给基站。通常，rf电路1310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器（low noise amplifier，简称lna）、双工器等。此外，rf电路1310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统（global system of mobile communication，简称gsm）、通用分组无线服务（general packet radio service，简称gprs）、码分多址（code division multiple access，简称cdma）、宽带码分多址（wideband code division multiple access，简称wcdma）、长期演进（long term evolution，简称lte）、电子邮件、短消息服务（short messaging service，简称sms）等。
151.存储器1320可用于存储软件程序以及模块，处理器1380通过运行存储在存储器1320的软件程序以及模块，从而实现手机的各种功能应用以及数据处理。存储器1320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器1320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
152.输入单元1330可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1330可包括触控面板1331以及其他输入设备1332。触控面板1331，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板1331上或在触控面板1331附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1331可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1380，并能接收处理器1380发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1331。除了触控面板1331，输入单元1330还可以包括其他输入设备1332。具体地，其他输入设备1332可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。
153.显示单元1340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1340可包括显示面板1341，可选的，可以采用液晶显示器（liquid crystal display，简称lcd）、有机发光二极管（organic light-emitting diode，简称oled）等形式来配置显示面板1341。进一步的，触控面板1331可覆盖显示面板1341，当触控面板1331检测到在其上或附近的触摸操作后，传送给处理器1380以确定触摸事件的类型，随后处理器1380根据触摸事件的类型在显示面板1341上提供相应的视觉输出。虽然在图13中，触控面板1331与显示面板1341是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1331与显示面板1341集成而实现手机的输入和输出功能。
154.手机还可包括至少一种传感器1350，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1341的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1341和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
155.音频电路1360、扬声器1361，传声器1362可提供用户与手机之间的音频接口。音频电路1360可将接收到的音频数据转换后的电信号，传输到扬声器1361，由扬声器1361转换为声音信号输出；另一方面，传声器1362将收集的声音信号转换为电信号，由音频电路1360接收后转换为音频数据，再将音频数据输出处理器1380处理后，经rf电路1310以发送给比
如另一手机，或者将音频数据输出至存储器1320以便进一步处理。
156.wifi属于短距离无线传输技术，手机通过wifi模块1370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图13示出了wifi模块1370，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
157.处理器1380是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1320内的软件程序和/或模块，以及调用存储在存储器1320内的数据，执行手机的各种功能和处理数据，从而对手机进行整体控制。可选的，处理器1380可包括一个或多个处理单元；优选的，处理器1380可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1380中。
158.手机还包括给各个部件供电的电源1390（比如电池），优选的，电源可以通过电源管理系统与处理器1380逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
159.尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
160.在本技术实施例中，该手机所包括的存储器1320可以存储程序代码，并将所述程序代码传输给所述处理器。
161.该手机所包括的处理器1380可以根据所述程序代码中的指令执行上述方面的各种可选实现方式中提供的换脸模型的训练方法或基于视频的换脸方法。
162.本技术实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行上述实施例提供的换脸模型的训练方法或基于视频的换脸方法。
163.本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备的执行上述方面的各种可选实现方式中提供的换脸模型的训练方法或基于视频的换脸方法。
164.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器（read-only memory，简称rom）、随机存取存储器（random access memory，简称ram）、磁碟或者光盘等各种可以存储程序代码的介质。
165.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
166.以上所述，仅为本技术的一种具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。