人脸图像的检测方法和装置与流程

本申请实施例涉及计算机技术领域，具体涉及人工智能技术领域，尤其涉及人脸图像的检测方法和装置。

背景技术：

人脸交换技术，是在图像或视频中替换人脸的技术，通常采用人工智能技术将图像或视频中一个人的面部自动替换为另一个人的面部，这些图像或视频无法由人眼准确地鉴别。这项技术如果被不正当使用，会产生肖像权侵犯、散步虚假消息、引发公共事件等严重后果。

技术实现要素：

本申请实施例提出了人脸图像的检测方法、装置、电子设备和计算机可读介质。

第一方面，本公开的实施例提供了一种人脸图像的检测方法，包括：获取包含人脸对象的图像帧；对图像帧进行人脸检测，定位出人脸区域；采用已训练的换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行检测。

在一些实施例中，上述对图像帧进行人脸检测，定位出人脸区域，包括：对视频帧进行人脸关键点检测，基于检测出的人脸关键点定位出人脸关键区域，将视频帧中对人脸关键区域向外扩展预设范围的区域作为定位出的人脸区域。

在一些实施例中，上述已训练的换脸检测模型是通过执行如下第一训练操作得出的：获取第一样本图像集合，第一样本图像集合中的第一样本图像包括真实人脸图像和合成人脸图像，合成人脸图像为将图像中的人脸对象替换为另一个人脸对象后生成的图像；对第一样本图像进进行人脸关键点检测，基于检测出的人脸关键点定位出人脸关键区域，将第一样本图像中对人脸关键区域向外扩展预设范围的区域作为从第一样本图像中定位出的人脸区域；基于从第一样本图像中定位出的人脸区域对已构造的图像分类神经网络进行训练，在图像分类神经网络对从第一样本图像中定位出的人脸区域所包含的人脸对象是否为合成的伪造人脸的预测误差达到预设的第一收敛条件时停止训练，将训练完成的图像分类神经网络确定为已训练的换脸检测模型。

在一些实施例中，上述第一训练操作还包括：将第一样本图像集合中的真实人脸图像和合成人脸图像进行几何变换后分别作为新的真实人脸图像和新的合成人脸图像添加至第一样本图像集合中。

在一些实施例中，上述换脸检测模型包括分类模型；上述方法还包括：采用已训练的人脸识别模型提取定位出的人脸区域的特征；以及上述采用已训练的换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行检测，包括：基于人脸识别模型提取出的人脸区域的特征，采用换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行分类。

在一些实施例中，上述换脸检测模型是通过如下第二训练操作得出的：获取第二样本图像集合，第二样本图像集合中的第二样本图像包括真实人脸图像和合成人脸图像，合成人脸图像为将图像中的人脸对象替换为另一个人脸对象后生成的图像；对第二样本图像进行人脸检测，定位出第二样本图像的人脸区域；采用已训练的人脸识别模型对第二样本图像的人脸区域进行特征提取；基于提取出的特征对已构造的分类模型进行训练，在分类模型对第二样本图像的人脸区域中所包含的人脸对象是否为合成的伪造人脸的预测误差达到预设的第二收敛条件时停止训练，基于训练完成的分类模型生成已训练的换脸检测模型。

第二方面，本公开的实施例提供了一种人脸图像的检测装置，包括：获取单元，被配置为获取包含人脸对象的图像帧；定位单元，被配置为对图像帧进行人脸检测，定位出人脸区域；检测单元，被配置为采用已训练的换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行检测。

在一些实施例中，上述定位单元进一步被配置为按照如下方式对图像帧进行人脸检测，定位出人脸区域：对视频帧进行人脸关键点检测，基于检测出的人脸关键点定位出人脸关键区域，将视频帧中对人脸关键区域向外扩展预设范围的区域作为定位出的人脸区域。

在一些实施例中，上述已训练的换脸检测模型是通过执行如下第一训练操作得出的：获取第一样本图像集合，第一样本图像集合中的第一样本图像包括真实人脸图像和合成人脸图像，合成人脸图像为将图像中的人脸对象替换为另一个人脸对象后生成的图像；对第一样本图像进进行人脸关键点检测，基于检测出的人脸关键点定位出人脸关键区域，将第一样本图像中对人脸关键区域向外扩展预设范围的区域作为从第一样本图像中定位出的人脸区域；基于从第一样本图像中定位出的人脸区域对已构造的图像分类神经网络进行训练，在图像分类神经网络对从第一样本图像中定位出的人脸区域所包含的人脸对象是否为合成的伪造人脸的预测误差达到预设的第一收敛条件时停止训练，将训练完成的图像分类神经网络确定为已训练的换脸检测模型。

在一些实施例中，上述第一训练操作还包括：将第一样本图像集合中的真实人脸图像和合成人脸图像进行几何变换后分别作为新的真实人脸图像和新的合成人脸图像添加至第一样本图像集合中。

在一些实施例中，上述换脸检测模型包括分类模型；上述装置还包括：提取单元，被配置为采用已训练的人脸识别模型提取定位出的人脸区域的特征；以及上述检测单元进一步被配置为按照如下方式对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行检测：基于人脸识别模型提取出的人脸区域的特征，采用换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行分类。

在一些实施例中，上述换脸检测模型是通过如下第二训练操作得出的：获取第二样本图像集合，第二样本图像集合中的第二样本图像包括真实人脸图像和合成人脸图像，合成人脸图像为将图像中的人脸对象替换为另一个人脸对象后生成的图像；对第二样本图像进行人脸检测，定位出第二样本图像的人脸区域；采用已训练的人脸识别模型对第二样本图像的人脸区域进行特征提取；基于提取出的特征对已构造的分类模型进行训练，在分类模型对第二样本图像的人脸区域中所包含的人脸对象是否为合成的伪造人脸的预测误差达到预设的第二收敛条件时停止训练，基于训练完成的分类模型生成已训练的换脸检测模型。

第三方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面提供的人脸图像的检测方法。

第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现第一方面提供的人脸图像的检测方法。

本公开的上述实施例的人脸图像的检测方法和装置、电子设备及计算机可读介质，通过获取包含人脸对象的图像帧，对图像帧进行人脸检测，定位出人脸区域，采用已训练的换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行检测，实现了“换脸”的准确检测，能够有效检测出基于神经网络技术替换图像中的人脸而生成的伪造图像。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的人脸图像的检测方法的一个实施例的流程图；

图3是根据本申请的人脸图像的检测方法的另一个实施例的流程图；

图4是根据本申请的人脸图像的检测方法的又一个实施例的流程图；

图5是本申请的人脸图像的检测装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的人脸图像的检测方法或人脸图像的检测装置的示例性系统架构。

如图1所示，系统架构100中可以包括终端设备101、102、103、网络104及服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103可以是具有显示屏的电子设备，可以是智能手机、笔记本电脑、台式电脑、平板电脑、智能手表，等等。终端设备101、102、103上可以安装有各种网络资源应用，例如音视频播放应用、资讯客户端、浏览器应用，等等。用户可以使用终端设备101、102、103访问网络资源，浏览网络中的图像、视频，等等。

服务器105可以是为终端设备101、102、103显示的内容提供后台支持的服务器。服务器105可以通过网络104接收终端设备101、102、103发送的资源访问请求或数据分析请求，查找相关资源或对数据分析处理得到处理结果后反馈至终端设备101、102、103。

在本公开的应用场景中，服务器105可以是提供真伪人脸图像/视频鉴别服务的服务器。服务器105可以对从终端设备101、102、103或其他服务器接收到的、或者从数据库中查找出的图像或视频中的人脸是否为经过换脸操作生成的合成人脸进行鉴别。服务器105可以将鉴别结果反馈至终端设备101、102、103，用户可以通过终端设备101、102、103获知鉴别结果。

在一些场景中，终端设备101、102、103也可以运行真伪人脸图像/视频鉴别程序，对图像或视频中的人脸是否为经过换脸操作生成的合成人脸进行鉴别。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

上述终端设备101、102、103也可以是软件。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本公开的实施例所提供的人脸图像的检测方法可以由终端设备101、102、103或服务器105执行，相应地，人脸图像的检测装置可以设置于终端设备101、102、103或服务器105。

应该理解，图1中的终端设备、网络、服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器。

继续参考图2，其示出了根据本申请的人脸图像的检测方法的一个实施例的流程200。该人脸图像的检测方法，包括以下步骤：

步骤201，获取包含人脸对象的图像帧。

在本实施例中，人脸图像的检测方法的执行主体可以获取包含人脸对象的图像帧，作为待检测的图像帧。可以从数据库中获取人物对象的视频资源，从视频资源中提取出包含人脸对象的图像帧；也可以获取其他电子设备传输的待检测视频中的包含人脸对象的图像帧作为待检测的图像帧。

上述包含人脸对象的图像帧还可以是用户指定的图像帧，例如用户提交的图像鉴别请求中指定的包含人脸对象的图像帧。

在实践中，用户可以向终端设备发起人脸图像或视频是否经过换脸生成的伪造人脸图像或视频的鉴别请求，并上传待鉴别的人脸图像或视频。上述执行主体可以将上传的人脸图像作为待检测的图像帧，或者可以从上传的人脸视频中提取出一个或多个图像帧作为待检测的图像帧。

步骤202，对图像帧进行人脸检测，定位出人脸区域。

除了人脸对象之外，上述图像帧中还可以包含其他的对象，例如人的其他身体部位(如脖子、四肢、躯干等)。在本实施例中，上述执行主体可以对获取到的包含人脸对象的图像帧进行人脸检测，从而定位出人脸区域。具体地，可以提取图像帧中的特征，创建检测窗口，基于提取出的特征采用分类器判断检测窗口中的对象是否为人脸对象。或者，可以检测出图像中符合人脸关键点(如眼角、嘴巴、鼻子、眉毛等)特征的点，然后采用回归的方式确定出人脸区域的边界。又或者，还可以基于肤色特征以及头部尺寸、人脸关键点之间的相对位置特征从图像帧中定位出人脸的边界，从而定位出人脸区域。

步骤203，采用已训练的换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行检测。

可以从步骤201获取的图像帧中切分出人脸区域图像，将切分出的人脸区域图像输入已训练的换脸检测模型进行检测。其中，换脸检测模型可以预测输入的图像中的人脸对象是否为合成的伪造人脸，或者可以确定出输入的图像中的人脸对象是合成的伪造人脸的概率值。在这里，合成的伪造人脸可以是通过神经网络模型将图像或视频中的人脸对象替换为另一个人脸对象后生成的图像或视频中的人脸对象。

上述已训练的换脸检测模型可以是基于具有真伪标签的人脸图像的集合训练出的。其中，真伪标签用于标注人脸图像中的人脸对象是对真实的人脸进行图像采集生成的还是经过换脸操作(即将图像中的人脸对象替换为另一个人的人脸对象的操作)生成的。

上述集合中的人脸图像可以来自于多个不同的人脸对象。在实践中，可以收集多个不同人的人脸图像，作为具有标签“真实人脸”的人脸图像，并采用基于神经网络的换脸方法对收集到的人脸图像进行换脸操作，生成具有标签“伪造人脸”的人脸图像。

在训练过程中，可以基于待训练的换脸检测模型对人脸图像中的人脸对象的真伪检测结果与对应的真伪标签之间的差异重复迭代调整换脸检测模型的参数，使得换脸检测模型在迭代过程中的预测误差逐渐缩小至一定的区间内。

上述已训练的换脸检测模型可以是基于神经网络架构来构建的，例如vgg、restnet等神经网络架构。该换脸检测模型的输出可以是输入图像中的人脸对象为合成的伪造人脸的概率，或者是输入图像中的人脸对象是否合成的伪造人脸的分类结果。

本申请上述实施例的人脸图像的检测方法，通过获取包含人脸对象的图像帧，对图像帧进行人脸检测，定位出人脸区域，采用已训练的换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行检测，实现了“换脸”的准确检测，能够有效检测出基于神经网络技术替换图像中的人脸而生成的伪造人脸图像。

继续参考图3，其示出了根据本申请的人脸图像的检测方法的另一个实施例的流程图。如图3所示，本实施例的人脸图像的检测方法的流程300，包括以下步骤：

步骤301，获取包含人脸对象的图像帧。

在本实施例中，人脸图像的检测方法的执行主体可以获取包含人脸对象的图像帧，作为待检测的图像帧。具体可以从数据库提取出包含人脸对象的图像帧，或者可以接收其他电子设备传输的待检测视频中的包含人脸对象的图像帧作为待检测的图像帧。

步骤302，对视频帧进行人脸关键点检测，基于检测出的人脸关键点定位出人脸关键区域，将视频帧中对人脸关键区域向外扩展预设范围的区域作为定位出的人脸区域。

上述执行主体可以从视频帧中定位出人脸区域。具体地，可以检测视频中的人脸关键点。在这里，人脸关键点可以是表征人脸关键部位特征的点，包括表征五官的位置、形状等特征的点，或者还可以包括表征颧骨、下巴、酒窝等人脸关键属性的特征的点。

可选地，上述人脸关键点可以包括眼睛、鼻子、嘴巴、眉毛等关键部位的轮廓上的点，例如眼角、嘴角、眉峰，等等。

在检测出人脸关键点之后，确定出将所有人脸关键点包含在内的最小外接多边形为人脸关键区域。在实践中，可以基于眉毛的外边界或外眼角、以及嘴巴的下端创建最小外接矩形作为定位出的人脸关键区域。

通常人脸检测方法较少利用脸部的边缘信息，因此定位出的人脸关键区域可能不包含脸部边缘。在本实施例中，可以将人脸关键区域向外扩展预设范围后的区域作为定位出的人脸区域，以将脸部边缘包含在定位出的人脸区域中。其中，预设范围可以是基于定位出的人脸关键区域的尺寸确定的，例如，可以将人脸关键区域的边界向外扩大预设倍数作为人脸区域，确保下巴、脸颊等人脸边缘被包含在扩大后的区域中。

目前的换脸技术关注眼睛、眉毛、嘴巴、鼻子等人脸关键部位的转移和替换，在人脸关键区域内的换脸效果比较逼真，但是对于脸颊、下巴等边缘区域难以做到精准的替换。本实施例中通过将检测到的人脸关键区域向外扩展以将人脸的边缘区域包含在定位出的人脸区域中，可以在后续检测中有效利用人脸边缘区域的特征来识别图像中的人脸对象是否为伪造的，从而提升检测结果的准确性和可靠性。

步骤303，采用已训练的换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行检测。

可以从基于步骤302定位出的人脸区域从图像帧中切分出人脸区域图像，将切分出的人脸区域图像输入已训练的换脸检测模型进行检测。其中，换脸检测模型可以是基于具有真伪标签的人脸图像的集合训练出的，换脸检测模型可以检测出输入的人脸区域图像中的人脸对象是否为合成的伪造人脸，或者可以确定出输入的人脸区域图像中的人脸对象是合成的伪造人脸的概率值。

本实施例的步骤301和步骤303分别与前述实施例的步骤201、步骤203对应，步骤301、步骤303的具体实现方式可以分别参考前述实施例中对步骤201、步骤203的描述，此处不再赘述。

在本实施例的一些可选的实现方式中，上述换脸检测模型可以是通过第一训练操作得出的。如图3所示，第一训练操作可以包括：

首先，在步骤311中，获取第一样本图像集合。

第一样本图像集合是用于训练换脸检测模型的样本数据集。第一样本图像集合中的第一样本图像可以包括真实人脸图像和合成人脸图像。合成人脸图像是将图像中的人脸对象替换为另一个人脸对象后生成的图像，即换脸后生成的伪造人脸的图像。

在本实施例中，可以采集人脸的图像作为第一样本图像集合中的真实人脸图像，或者获取真实人脸的视频，从中提取出真实人脸图像。可以从已有数据集中获取换脸后生成的伪造人脸的图像作为第一样本图像集合中的合成人脸图像。还可以对真实人脸图像进行换脸处理，将真实人脸图像中的人脸对象替换为其他人脸对象来生成合成人脸图像。

在这里，第一样本图像集合中的第一样本图像具有标签，该标签可以作为第一样本图像中的人脸对象为真实的人脸对象(未经过换脸的人脸对象)或伪造的合成人脸对象(换脸后的人脸对象)的标注信息。

然后，在步骤312中，对第一样本图像进进行人脸关键点检测，基于检测出的人脸关键点定位出人脸关键区域，将第一样本图像中对人脸关键区域向外扩展预设范围的区域作为从第一样本图像中定位出的人脸区域。

可以采用与步骤302相同的方法，从第一样本图像中定位出人脸区域。具体可以对第一样本图像进行人脸关键点检测，检测出眉毛、眼睛、鼻子、嘴巴等关键点的位置，或者可以提取出这些人脸关键点的位置特征。然后基于人脸关键点的位置特征确定出人脸关键区域。然后，可以将人脸关键区域扩大预设倍数后的区域作为定位出的第一样本图像的人脸区域。

之后，在步骤313中，基于从第一样本图像中定位出的人脸区域对已构造的图像分类神经网络进行训练，在图像分类神经网络对从第一样本图像中定位出的人脸区域所包含的人脸对象是否为合成的伪造人脸的预测误差达到预设的第一收敛条件时停止训练，将训练完成的图像分类神经网络确定为已训练的换脸检测模型。

可以基于神经网络模型构建图像分类神经网络。图像分类神经网络可以是一个二分类网络，用于对输入的图像中的人脸对象为真实人脸或伪造人脸进行分类。然后利用已构建的图像分类网络对步骤312定位出的人脸区域中的人脸对象进行分类，得到第一样本图像对应的人脸对象分类结果。然后通过比对图像分类神经网络对第一样本图像的分类结果与第一样本图像的标签来确定图像分类神经网络对从第一样本图像中定位出的人脸区域所包含的人脸对象是否为合成的伪造人脸的预测误差。若该预测误差未达到预设的第一收敛条件，则采用梯度下降法调整图像分类神经网络的参数，从而更新图像分类神经网络。之后利用更新后的图像分类神经网络重新对从第一样本图像中定位出的人脸区域所包含的人脸对象是否为合成的伪造人脸进行预测，比对预测结果与第一样本图像的标签之间的差异是否满足预设的第一收敛条件。若不满足，则重复上述调整图像分类神经网络的参数、更新图像分类神经网络、利用更新后的图像分类神经网络预测对从第一样本图像中定位出的人脸区域所包含的人脸对象是否为合成的伪造人脸进行预测，比对预测结果与第一样本图像的标签之间的差异是否满足预设的第一收敛条件的操作。直到图像分类神经网络的预测结果与第一样本图像的标签之间的差异满足预设的第一收敛条件时，停止更新图像分类神经网络的参数，完成训练。将训练完成的图像分类神经网络确定为已训练的换脸检测模型。

上述预设的第一收敛条件可以是差异值小于预设的阈值，也可以是参数更新次数超过预设的次数阈值。

换脸操作后的合成人脸的边缘包含替换之前的人脸特征，通过对真实人脸图像和伪造人脸图像进行人脸关键点检测并确定出包含人脸边缘的人脸区域，使得图像分类神经网络在训练中获得利用人脸边缘的特征分辨真实人脸和伪造人脸的能力，保证训练得到的换脸检测模型的可靠性，从而提升人脸检测结果的准确度。

可选地，为了提升模型对不同尺度或不同方位的人脸图像的实用性，在训练换脸检测模型时，还可以扩展训练样本，使得训练样本中包含各种尺度和方位的人脸图像，以增强换脸检测模型的能力。上述第一训练操作还可以包括：将第一样本图像集合中的真实人脸图像和合成人脸图像进行几何变换后分别作为新的真实人脸图像和新的合成人脸图像添加至第一样本图像集合中。即可以通过对第一样本图像集合中已有的人脸图像进行旋转、随机缩放、剪切变换等几何变换，得到新的人脸图像。由于在几何变换过程中并未对人脸的关键点进行替换或移动，所以几何变换后得到的人脸图像与对应的变换前的人脸图像具有相同的真伪标签。也即真实人脸图像经过几何变换后生成的图像是另一幅真实人脸图像，合成人脸图像经过几何变换后生成的图像是另一幅合成人脸图像。

这样，通过训练样本中图像的几何变换来提升训练样本的多样性，使得训练得出的换脸检测模型具有针对各种形态的人脸图像的检测能力，从而进一步提升了人脸图像检测结果的可靠性。

继续参考图4，其示出了根据本申请的人脸图像的检测方法的又一个实施例的流程图。如图4所示，本实施例的人脸图像的检测方法的流程400，包括以下步骤：

步骤401，获取包含人脸对象的图像帧。

在本实施例中，人脸图像的检测方法的执行主体可以获取包含人脸对象的图像帧，作为待检测的图像帧。具体可以从数据库提取出包含人脸对象的图像帧，或者可以接收其他电子设备传输的待检测视频中的包含人脸对象的图像帧作为待检测的图像帧。

步骤402，对图像帧进行人脸检测，定位出人脸区域。

在本实施例中，首先可以确定候选人脸检测框，提取候选人脸检测框中的图像特征，利用分类器判断候选人脸检测框中是否存在人脸对象，若是，则可以将候选人脸检测框缩小一定尺寸，在缩小尺寸的候选人脸检测框中提取特征并判断是否存在人脸对象，循环执行上述过程直到确定出尺寸最小且包含人脸对象的候选人脸检测框，作为检测出的人脸的边界。可以滑动候选人脸检测框并重复上述过程以检测图像帧中是否存在其他人脸对象。或者，如果分类器判别出候选人脸检测框中不存在人脸对象，则可以滑动候选人脸检测框或放大候选人脸检测框后重复上述过程。由此，可以将图像帧中的人脸区域定位出来。

本实施例的步骤401、步骤402分别与前述实施例的步骤201、步骤202一致，步骤401、步骤402的具体实现方式还可以分别参考前述实施例中对步骤201、步骤202的描述，此处不再赘述。

可选地，本实施例中也可以采用步骤302的方式来定位出人脸区域：对视频帧进行人脸关键点检测，基于检测出的人脸关键点定位出人脸关键区域，将视频帧中对人脸关键区域向外扩展预设范围的区域作为定位出的人脸区域。

可选地，在定位出人脸区域之后，还可以对人脸区域进行对齐，具体可以基于人脸关键点，使用仿射变换将人脸姿态和位置校正，对人脸区域的尺寸进行归一化，以尽量消除不同人脸的姿态、人脸区域的尺寸不同带来的误差。

步骤403，采用已训练的人脸识别模型提取定位出的人脸区域的特征。

可以利用预先训练好的人脸识别模型对步骤402定位出的人脸区域进行特征提取。在这里，人脸识别模型可以是基于机器学习方法训练得出的模型，其在识别人脸时可以对人脸进行特征提取，并基于提取出的特征与特征模板库进行比对得到人脸识别结果。本实施例中，可以利用已有的人脸识别模型来提取人脸区域的特征。该人脸识别模型可以从其他设备获取，并在上述执行主体上运行。

由于人脸识别模型具有良好的特征提取能力，能够提取出不同人的差异化特征，而本实施例的场景中合成人脸是将另一个人脸与原来的人脸替换，也需要利用不同人的差异化特征，所以将人脸识别模型应用于真实人脸和伪造人脸的分类中也可以达到较好的效果。并且，本实施例可以利用成熟的人脸识别模型，省去了换脸检测模型训练中对特征提取能力的学习，简化了换脸检测模型的架构。

步骤404，基于人脸识别模型提取出的人脸区域的特征，采用换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行分类。

在本实施例中，换脸检测模型可以包括分类模型。该分类模型可以基于svm(supportvectormachine，支持向量机)、神经网络等构建。可以将人脸识别模型提取出的特征输入分类模型，获得分类预测结果。

在本实施例的一些可选的实现方式中，上述换脸检测模型可以是通过第二训练操作训练得出的。第二训练操作可以包括步骤411、步骤412、步骤413和步骤414。

首先，在步骤411中，获取第二样本图像集合。

第二样本图像集合是用于训练换脸检测模型的样本数据集。第二样本图像集合中的第二样本图像包括真实人脸图像和合成人脸图像，合成人脸图像为将图像中的人脸对象替换为另一个人脸对象后生成的图像。

第二样本图像集合的获取方法可以参考上文对步骤311的描述，此处不再赘述。并且，可选地，第一样本图像集合和第二样本图像集合可以有交集，或者第一样本图像集合与第二样本图像集合为同一个集合。

在步骤412中，对第二样本图像进行人脸检测，定位出第二样本图像的人脸区域。

可以采用与步骤402类似的方法对第二样本图像进行人脸检测，定位出第二样本图像中的人脸区域。

可选地，还可以对第二样本图像中的人脸区域进行对齐，利用图像的仿射变换校正人脸，以减小误差。

在步骤413中，采用已训练的人脸识别模型对第二样本图像的人脸区域进行特征提取。

人脸识别模型可以是预先训练好的用于识别人脸的模型，可以预先存储在上述执行主体中，或者可以由上述执行主体从其他电子设备获取。已训练的人脸识别模型具有良好的人脸特征提取能力，能够提取出不同人脸的差异化特征。可以利用与步骤403中一致的人脸识别模型对第二样本图像的人脸区域进行特征提取，得到第二样本图像中的人脸对象的特征。或者也可以采用另一种人脸识别模型对第二样本图像的人脸区域进行特征提取。

在步骤414中，基于提取出的特征对已构造的分类模型进行训练，在分类模型对第二样本图像的人脸区域中所包含的人脸对象是否为合成的伪造人脸的预测误差达到预设的第二收敛条件时停止训练，基于训练完成的分类模型生成已训练的换脸检测模型。

在这里，可以基于svm、神经网络等构造分类模型，并利用分类模型对步骤413提取出的特征进行分类，得到第二样本图像的人脸区域中所包含的人脸对象是否为合成的伪造人脸的预测结果。然后，根据分类模型的预测结果与第二样本图像是否为合成的伪造人脸的标注信息(真实人脸的标注信息为“否”，合成人脸的标注信息为“是”)之间的差异确定分类模型的预测误差。在确定分类模型的预测误差未达到预设的第二收敛条件时，可以基于梯度下降算法迭代调整分类模型的参数，基于调整参数后的分类模型重新对步骤413提取出的特征进行分类预测。在分类模型的预测误差达到预设的第二收敛条件时，可以停止调整分类模型的参数，完成训练。将完成训练的分类模型确定为已训练的换脸检测模型。上述预设的第二收敛条件可以是迭代调整参数的次数达到预设的次数阈值，或者预测误差达到预设的收敛值。

可以看出，在训练分类模型的过程中，不需要重复提取第二样本图像中的人脸区域的特征，只需要迭代更新分类模型的参数即可。由此，可以提升分类模型的训练速度，减少资源消耗，同时保证分类模型的准确度。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种人脸图像的检测装置的一个实施例，该装置实施例与图2、图3和图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的人脸图像的检测装置500包括：获取单元501、定位单元502和检测单元503。其中，获取单元501被配置为获取包含人脸对象的图像帧；定位单元502被配置为对图像帧进行人脸检测，定位出人脸区域；检测单元503被配置为采用已训练的换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行检测。

在一些实施例中，上述定位单元502可以进一步被配置为按照如下方式对图像帧进行人脸检测，定位出人脸区域：对视频帧进行人脸关键点检测，基于检测出的人脸关键点定位出人脸关键区域，将视频帧中对人脸关键区域向外扩展预设范围的区域作为定位出的人脸区域。

在一些实施例中，上述已训练的换脸检测模型是通过执行如下第一训练操作得出的：获取第一样本图像集合，第一样本图像集合中的第一样本图像包括真实人脸图像和合成人脸图像，合成人脸图像为将图像中的人脸对象替换为另一个人脸对象后生成的图像；对第一样本图像进进行人脸关键点检测，基于检测出的人脸关键点定位出人脸关键区域，将第一样本图像中对人脸关键区域向外扩展预设范围的区域作为从第一样本图像中定位出的人脸区域；基于从第一样本图像中定位出的人脸区域对已构造的图像分类神经网络进行训练，在图像分类神经网络对从第一样本图像中定位出的人脸区域所包含的人脸对象是否为合成的伪造人脸的预测误差达到预设的第一收敛条件时停止训练，将训练完成的图像分类神经网络确定为已训练的换脸检测模型。

在一些实施例中，上述第一训练操作还包括：将第一样本图像集合中的真实人脸图像和合成人脸图像进行几何变换后分别作为新的真实人脸图像和新的合成人脸图像添加至第一样本图像集合中。

在一些实施例中，上述换脸检测模型包括分类模型；上述装置500还可以包括：提取单元，被配置为采用已训练的人脸识别模型提取定位出的人脸区域的特征；以及上述检测单元503可以进一步被配置为按照如下方式对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行检测：基于人脸识别模型提取出的人脸区域的特征，采用换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行分类。

在一些实施例中，上述换脸检测模型是通过如下第二训练操作得出的：获取第二样本图像集合，第二样本图像集合中的第二样本图像包括真实人脸图像和合成人脸图像，合成人脸图像为将图像中的人脸对象替换为另一个人脸对象后生成的图像；对第二样本图像进行人脸检测，定位出第二样本图像的人脸区域；采用已训练的人脸识别模型对第二样本图像的人脸区域进行特征提取；基于提取出的特征对已构造的分类模型进行训练，在分类模型对第二样本图像的人脸区域中所包含的人脸对象是否为合成的伪造人脸的预测误差达到预设的第二收敛条件时停止训练，基于训练完成的分类模型生成已训练的换脸检测模型。

本申请上述实施例的人脸图像的检测装置500，通过获取包含人脸对象的图像帧，对图像帧进行人脸检测，定位出人脸区域，采用已训练的换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行检测，实现了“换脸”的准确检测，能够有效检测出基于神经网络技术替换图像中的人脸而生成的伪造图像。

下面参考图6，其示出了适于用来实现本公开的实施例的电子设备(例如图1中的服务器)600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储装置608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。

通常，以下装置可以连接至i/o接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置607；包括例如硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从rom602被安装。在该计算机程序被处理装置601执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取包含人脸对象的图像帧；对图像帧进行人脸检测，定位出人脸区域；采用已训练的换脸检测模型对定位出的人脸区域中所包含的人脸对象是否为合成的伪造人脸进行检测。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、定位单元和检测单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取包含人脸对象的图像帧的单元”。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。