人脸抠图图片的优选方法及装置与流程

本发明涉及图像处理技术领域，尤其涉及一种人脸抠图图片的优选方法、装置、终端及可读存储介质。

背景技术：

在监控或抓拍视频中，通常采用人脸抠图技术从视频帧序列的图像中抠出人脸图片。由于视频中行人的状态不断变化，视频中人脸的位置也会不断变化，在白天场景下进行人脸抓拍抠图时，人脸抠图的图片容易出现脸不正的问题。另外，由于行人移动至不同位置时，行人人脸的大小及位置也各不相同，经过人脸抠图的人脸图片有的比较小，有的比较靠近监控画面的边框，导致人脸抠图的效果较差。

有鉴于此，有必要提出对目前的人脸抠图技术进行进一步的改进。

技术实现要素：

为解决上述至少一技术问题，本发明的主要目的是提供一种人脸抠图图片的优选方法、装置、终端及可读存储介质。

为实现上述目的，本发明采用的第一个技术方案为：提供一种人脸抠图图片的优选方法，包括：

对视频帧序列的视频原图进行人脸检测，得到多个人脸框坐标；

根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点；

根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分；根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分；

根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分；

确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图。

其中，所述根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点，包括：

在检测出多个人脸框坐标后，从视频原图上抠出人脸图片；

将人脸图片以居中形式填充成指定形状并缩小到设定分辨率；

利用nnie神经网络加速引擎对缩小的人脸图片进行处理，并根据深度学习神经网络算法检测出多个人脸关键点。

其中，所述根据人脸关键点计算出人脸角度评分，包括：

在检测出的多个人脸关键点中，选定一人脸关键点作为起点，剩下的关键点作为终端，连接起点与多个终点后得到多组向量，并计算相邻两组向量之间的夹角；

根据标准正脸的多个关键点得到多个标准向量，并计算出相邻两组标准向量之间的夹角；

根据相邻两组向量之间的夹角与对应相邻两组标准向量之间的夹角计算出人脸角度评分。

其中，所述根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分，包括：

根据人脸框坐标算出人脸的宽度高度；

根据人脸高度及宽度算出人脸面积；以及

将人脸面积除以视频原图面积，计算出人脸面积评分。

其中，所述根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分，包括：

根据多个人脸的人脸框坐标计算出视频原图的中心点坐标以及人脸中心点坐标；

根据中心点坐标计算出每个人脸的人脸中心点到视频原图中心点的距离；

对每个人脸中心点到视频原图中心点的距离除以视频原图对角线的长度，得到人脸位置评分。

其中，所述根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分，具体为：

所述人脸图片总评分为a*人脸角度评分、b*人脸面积评分以及c*人脸位置评分三者之和，

其中，a，b，c均为评分系数，a＝10000，b＝100，c＝1。

为实现上述目的，本发明采用的第二个技术方案为：提供一种人脸抠图图片的优选装置，包括：

第一检测模块，用于对视频帧序列的视频原图进行人脸检测，得到多个人脸框坐标；

第二检测模块，用于根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点；

计算模块，根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分；根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分；

统计模块，用于根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分；

确认模块，用于确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图。

为实现上述目的，本发明采用的第三个技术方案为：提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现上述方法的步骤。

为实现上述目的，本发明采用的第四个技术方案为：提供一种可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现上述的方法的步骤。

本发明的技术方案主要采用先对视频帧序列的视频原图进行人脸检测，得到多个人脸框坐标，然后根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点；以及根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分，根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分，而后根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分，最后确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图，能够筛选出人脸比较正，人脸面积较大以及人脸位置比较居中的图片，能够提升抠图效果。

附图说明

图1为本发明一实施例人脸抠图图片的优选方法的方法流程图；

图2为本发明一实施例人脸抠图图片的优选装置的模块方框图；

图3为本发明一实施例终端的内部结构图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请参照图1，图1为本发明一实施例人脸抠图图片的优选方法的方法流程图。在本发明实施例中，该人脸抠图图片的优选方法，包括：

步骤s10、对视频帧序列的视频原图进行人脸检测，得到多个人脸框坐标；

步骤s20、根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点；

步骤s30、根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分；根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分；

步骤s40、根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分；

步骤s50、确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图。

本实施例中的视频帧序列是基于海思hi3559平台上摄像头所捕捉，其视频帧的格式为nv21，视频分辨率为960*540。一个视频帧序列中有多张图片，每一张视频原图均需进行人脸检测，得到多个人脸框坐标。之后再根据人脸框坐标从视频的nv21的960*540原图上扣出人脸图片，数据格式为nv21。根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点。多个人脸关键点可以为左眼中心、右眼中心、鼻尖、嘴左角及嘴右角等。而后根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分。根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分，进一步，根据三者的加权之和计算出总评分，得到最优选的图片方案。最后确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图。

本发明的技术方案主要采用先对视频帧序列的视频原图进行人脸检测，得到多个人脸框坐标，然后根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点；以及根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分，根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分，而后根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分，最后确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图，能够筛选出人脸比较正，人脸面积较大以及人脸位置比较居中的图片，能够提升抠图效果。

在一具体的实施方式中，所述根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点，包括：

在检测出多个人脸框坐标后，从视频原图上抠出人脸图片；

将人脸图片以居中形式填充成指定形状并缩小到设定分辨率；

利用nnie神经网络加速引擎对缩小的人脸图片进行处理，并根据深度学习神经网络算法检测出多个人脸关键点。

本实施例中，每个人脸框坐标的数量具体为4个，通过4个人人脸框坐标可以选出人脸框坐标。4个人脸框坐标所围成的人脸框为长方形，然后可以从视频原图上抠出人脸图片。将人脸图片以居中形式填充成指定形状并缩小到设定分辨率。指定形状优选为正方形，人脸图片位于正方形的中间。填充后的人脸图片可以缩小到关键点检测模型的分辨率。

在一具体的实施方式中，所述根据人脸关键点计算出人脸角度评分，包括：

在检测出的多个人脸关键点中，选定一人脸关键点作为起点，剩下的关键点作为终端，连接起点与多个终点后得到多组向量，并计算相邻两组向量之间的夹角；

根据标准正脸的多个关键点得到多个标准向量，并计算出相邻两组标准向量之间的夹角；

根据相邻两组向量之间的夹角与对应相邻两组标准向量之间的夹角计算出人脸角度评分。

本实施例中，多个关键点有5个，分别为左眼中心、右眼中心、鼻尖、嘴左角及嘴右角。在实际的计算中，可以以鼻尖关键点为起点，其他关键点为终点，得到4个向量：鼻尖关键点到左眼中心关键点向量，鼻尖关键点到右眼中心关键点向量，鼻尖关键点到嘴左角关键点向量，鼻尖关键点到嘴右边关键点向量，然后计算这些向量两两间的夹角。标准正脸也按照上述方式进行处理，得到标准正脸的两两夹角。根据相邻两组向量之间的夹角与对应相邻两组标准向量之间的夹角计算出人脸角度评分。还可以对人脸位置进行归一化处理，两者的比值越接近1，则表示脸越正。

在一具体的实施方式中，所述根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分，包括：

根据人脸框坐标算出人脸的宽度高度；

根据人脸高度及宽度算出人脸面积；以及

将人脸面积除以视频原图面积，计算出人脸面积评分。

本实施例中，人脸框坐标有4个，4个人脸框坐标围成长方形，通过人脸框坐标可以计算出矩形的宽度及长度，以得到人脸面积，将人脸面积除以视频原图面积，计算出人脸面积评分。

在一具体的实施方式中，所述根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分，包括：

根据多个人脸的人脸框坐标计算出视频原图的中心点坐标以及人脸中心点坐标；

根据中心点坐标分别计算出人脸中心点到视频原图中心点的距离；

把人脸中心点到视频原图中心点的距离除以视频原图对角线的长度，得到人脸位置评分。

本实施例中，在把人脸中心点到视频原图中心点的距离除以视频原图对角线的长度，得到人脸位置评分的步骤之后，还包括，把人脸按照扩成大图的算法，得到扩成大图的坐标(比如按照1.5倍扩大，人脸图宽度高度扩大成1.5倍)，如果扩成大图的坐标超过了视频原图的范围，则直接让人脸位置评分为0。

在一具体的实施方式中，所述根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分，具体为：

所述人脸图片总评分为a*人脸角度评分、b*人脸面积评分以及c*人脸位置评分三者之和，

其中，a，b，c均为评分系数，a＝10000，b＝100，c＝1。

下面提供了本实施例的一个计算公式，具体如下：

人脸图片总评分＝人脸角度最终评分*10000+人脸面积最终评分*100+人脸位置最终评分。

请参照图2，图2为本发明一实施例人脸抠图图片的优选装置的模块方框图。本发明的实施例中，该人脸抠图图片的优选装置，包括：

第一检测模块10，用于对视频帧序列的视频原图进行人脸检测，得到多个人脸框坐标；

第二检测模块20，用于根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点；

计算模块30，根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分；根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分；

统计模块40，用于根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分；

确认模块50，用于确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图。

本实施例中，视频帧序列是基于海思hi3559平台上摄像头所捕捉，其视频帧的格式为nv21，视频分辨率为960*540。一个视频帧序列中有多张图片，每一张视频原图均通过第一检测模块10进行人脸检测，得到多个人脸框坐标。之后再通过第二检测模块20，根据人脸框坐标从视频的nv21的960*540原图上扣出人脸图片，数据格式为nv21。根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点。多个人脸关键点可以为左眼中心、右眼中心、鼻尖、嘴左角及嘴右角等。而后通过计算模块30，根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分。根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分，进一步，通过统计模块40根据三者的加权之和计算出总评分，得到最优选的图片方案。最后，通过确定模块，确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图。

请参照图3，图3为本发明一实施例终端的内部结构图。在一实施例中，该终端包括通过系统总线连接的处理器、存储器及网络接口。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、程序和数据库。该内存储器为非易失性存储介质中的操作系统和程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该程序被处理器执行时以实现一种人脸抠图图片的优选方法。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以上各个方法实施例中的步骤。

在一个实施例中，提供了一种可读存储介质，其上存储有程序，程序被处理器执行时实现以上各个方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一非易失性可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。