一种人脸抓拍对象确定方法及装置与流程

本发明涉及人脸分析技术领域，具体而言，涉及一种人脸抓拍对象确定方法及装置。

背景技术：

随着深度学习算法和图形处理器(graphicsprocessingunit，gpu)芯片运算能力的不断优化提升，人脸识别应用的需求也越来越迫切，其中在公安行业应用最为广泛，一种是实时人脸识别告警，即部署人脸抓拍摄像机实时抓拍人脸进行黑名单人员的布控预警，还有一种是针对录像进行案发后的人脸抓拍和比对，提取案件相关的信息，辅助破案。而对于录像分析模式，通常对录线分析速度的需求，要求能实现高效率的抓拍。

现有技术中，通过录像切片的方式实现高效率的抓拍，即一段录像切片为多个等时长的小片段，将每个片段分配到不同的分析算法分析单元上进行并行分析从而达到多倍速的效果；然而这种分析模式必然存在连续的两个分片处对同一个目标的多拍，且分片越多，多拍越严重。多拍的图片不仅没有进行同一个人脸的最优选择，影响后续人脸的比对性能消耗和准确率降低，还浪费了存储空间，经济效益低。

技术实现要素：

有鉴于此，本发明的目的在于提供一种人脸抓拍对象确定方法及装置，以解决上述问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种人脸抓拍对象确定方法，所述人脸抓拍对象确定方法包括：

从预先按照预设定的时长间隔对待分析视频进行划分获得的多个视频片段中抽取连续的第一视频片段以及第二视频片段；

获取所述第一视频片段中最后一帧包含的第一目标、所述第一目标的第一人脸特征数据以及所述第二视频片段中第一帧包含的第二目标、所述第二目标的第二人脸特征数据；

预测所述第一目标在所述第二视频片段内的第一运动轨迹；

确定所述第二目标在所述第二视频片段内的第二运动轨迹；

依据所述第一运动轨迹、所述第二运动轨迹、所述第一人脸特征数据以及所述第二人脸特征数据确定人脸抓拍对象。

第二方面，本发明实施例还提供了一种人脸抓拍对象确定装置，所述人脸抓拍对象确定装置包括：

视频片段抽取单元，用于从预先按照预设定的时长间隔对待分析视频进行划分获得的多个视频片段中抽取连续的第一视频片段以及第二视频片段；

人脸参数获取单元，用于获取所述第一视频片段中最后一帧包含的第一目标、所述第一目标的第一人脸特征数据以及所述第二视频片段中第一帧包含的第二目标、所述第二目标的第二人脸特征数据；

运动轨迹预测单元，用于预测所述第一目标在所述第二视频片段内的第一运动轨迹；

运动轨迹确定单元，用于确定所述第二目标在所述第二视频片段内的第二运动轨迹；

人脸抓拍对象确定单元，用于依据所述第一运动轨迹、所述第二运动轨迹、所述第一人脸特征数据以及所述第二人脸特征数据确定人脸抓拍对象。

本发明实施例提供的人脸抓拍对象确定方法及装置，通过从预先按照预设定的时长间隔对待分析视频进行划分获得的多个视频片段中抽取连续的第一视频片段以及第二视频片段，并获取第一视频片段中最后一帧包含的第一目标、第一目标的第一人脸特征数据以及第二视频片段中第一帧包含的第二目标、第二目标的第二人脸特征数据，接着预测第一目标在第二视频片段内的第一运动轨迹并确定第二目标在第二视频片段内的第二运动轨迹，从而依据第一运动轨迹、第二运动轨迹、第一人脸特征数据以及第二人脸特征数据确定人脸抓拍对象；由于最终确定的人脸抓拍对象是通过第一运动轨迹、第二运动轨迹、第一人脸特征数据以及第二人脸特征数据确定的连续片段中最优选的人脸，在降低了高效率抓拍过程中的多拍率，为后续人脸比对提高了准确率的同时，也节省了人脸抓拍图片的存储空间。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的服务器的方框示意图。

图2示出了本发明实施例提供的人脸抓拍对象确定方法的流程图。

图3示出了图2中步骤s205的具体流程图。

图4示出了本发明实施例提供的人脸抓拍对象确定装置的功能模块图。

图标：100-服务器；111-存储器；112-处理器；113-通信单元；200-人脸抓拍对象确定装置；210-视频片段抽取单元；220-人脸参数获取单元；230-运动轨迹预测单元；240-运动轨迹确定单元；250-人脸抓拍对象确定单元。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

请参照图1，是服务器100的方框示意图。所述服务器100包括人脸抓拍对象确定装置200、存储器111、处理器112及通信单元113。

所述存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述人脸抓拍对象确定装置200包括一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述服务器100的操作系统(operatingsystem，os)中的软件功能模块。所述处理器112用于执行所述存储器111中存储的可执行模块，例如所述人脸抓拍对象确定装置200所包括的软件功能模块及计算机程序等。

其中，所述存储器111可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器111用于存储程序或者数据。所述通信单元113用于通过所述网络建立所述服务器100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。

应当理解的是，图1所示的结构仅为服务器100的结构示意图，所述服务器100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

第一实施例

本发明实施例提供了一种人脸抓拍对象确定方法，用于在对录像进行高效率抓拍过程中，降低抓拍过程中的多拍率，确定人脸抓拍对象，为后续人脸比对提高准确率。请参阅图2，为本发明实施例提供的人脸抓拍对象确定方法的流程图。该人脸抓拍对象确定方法包括：

步骤s201：从预先按照预设定的时长间隔对待分析视频进行划分获得的多个视频片段中抽取连续的第一视频片段以及第二视频片段。

通过将待分析视频按照预设定的时长间隔划分为多个视频片段，并将每个视频片段分配至不同的分析算法分析单元上进行并行分析，从而实现对待分析视频进行多倍速人脸抓拍分析的需求。

同时，从多个视频片段中抽取连续的第一视频片段以及第二视频片段，以便进一步确定第一视频片段与第二视频片段中是否具有相同的人脸目标。

步骤s202：获取第一视频片段中最后一帧包含的第一目标、第一目标的第一人脸特征数据以及第二视频片段中第一帧包含的第二目标、第二目标的第二人脸特征数据。

具体地，通过预设的人脸检测方法便能分别从第一视频片段的最后一帧中提取出第一目标以及从第二视频片段的第一帧中提取出第二目标。

需要说明的是，第一人脸特征数据包括第一目标在第一视频片段中的第一最优特征值、第一最优特征值所对应的第一质量分数；第二人脸特征数据包括第二目标在第二视频片段中的第二最优特征值以及第二最优特征值所对应的第二质量分数。

具体地，通过预设的人脸特征提取算法可确定第一目标的第一最优特征值以及第一质量分数；通过常规地人脸特征提取算法可确定第二目标的第二最优特征值以及第二质量分数。

其中，第一最优特征值用于表示第一目标；第二最优特征值用于表示第二目标。质量分数是依据目标脸部的角度以及清晰度等参数计算出来用于表征图片好坏程度的参数。则第一质量分数用于表征第一最优特征值的好坏程度；第二质量分数用于表征第二最优特征值的好坏程度。

需要说明的是，在本实施例中，利用pn表征第一目标，利用表征第一最优特征值，利用fn表征第一质量分数，利用目标pn'表征第二目标，利用表征第二最优特征值，利用f′n表征第二质量分数。

步骤s203：预测第一目标在第二视频片段内的第一运动轨迹。

具体地，服务器100可通过分析第一视频片段中第一目标的运动速度以及运动方向，再利用预设的轨迹预测算法预测第一目标在第二视频片段内的第一运动轨迹。

步骤s204：确定第二目标在第二视频片段内的第二运动轨迹。

具体地，服务器100可通过分析第二视频片段中第二目标的运动速度以及运动方向，便能确定第二目标在第二视频片段内的第二运动轨迹。

步骤s205：依据第一运动轨迹、第二运动轨迹、第一人脸特征数据以及第二人脸特征数据确定人脸抓拍对象。

请参阅图3，为步骤s205的具体流程图。该步骤s205包括：

子步骤s2051：依据第一运动轨迹及第二运动轨迹确定三组第一目标、第二目标在同一时刻分别对应的第一位置向量及第二位置向量。

即在确定第一运动轨迹为pnt(point,time)后，通过该第一运动轨迹预测在第二视频片段中连续几个时刻第一目标的位置坐标。

例如：预测到t1、t2、t3三个时刻的第一目标的位置坐标分别为wt1(point,time)、wt2(point,time)、wt3(point,time)，从而得到三个时刻的位置向量分别为：

在确定第二运动轨迹为p′nt(point,time)后，获取在t1、t2、t3三个时刻的第二目标的位置坐标分别为w′t1(point,time)、w′t2(point,time)、w′t3(point,time)，同理可以得到三个时刻的位置向量分为为：

子步骤s2052：判断每组第一位置向量与第二位置向量的相似度是否均大于或等于预设定的第一相似度阈值，如果是，则执行子步骤s2053；如果否，则执行子步骤s2057。

首先，计算每组第一位置向量与第二位置向量的相似度。可以理解地，t1、t2、t3三个时刻分别对应的两个向量的夹角为θ1、θ2、θ3，因此，每组第一位置向量与第二位置向量的相似度分别等于每个夹角的余弦值，具体算式如下：

通过判断c1、c2、c3是否均大于或等于预设定的第一相似度阈值c0，可判断通过第一运动轨迹预测得到的三个位置坐标是否均位于第二目标的第二运动轨迹上，进而初步判定第一目标与第二目标是否为同一目标。

需要说明的是，在一种优选的实施例中，第一相似度阈值c0为夹角等于0时的余弦值，即c0＝1。需要说明的是，在其他实施例中，第一相似度阈值c0也可以为无限趋近于1的数。

子步骤s2053：判断第一最优特征值与第二最优特征值的相似度是否大于或等于预设定的第二相似度阈值，如果是，则执行子步骤s2054；如果否，则执行子步骤s2057。

可以理解地，当两个向量的夹角为0度时，两个向量共线，而当三组向量均共线时，即c1≥c0、c2≥c0且c3≥c0时，表明通过第一运动轨迹预测得到的三个位置坐标均位于第二目标的第二运动轨迹上，第一目标和第二目标很可能是同一个人脸目标，因而需要通过第一最优特征值与第二最优特征值进一步确定第一目标与第二目标是否为同一目标。

其中，第一最优特征值与第二最优特征值的相似度可通过以下算式进行计算：

再次判断第一最优特征值与第二最优特征值的相似度sn与预设定的第二相似度阈值n0的大小，可以进一步确定第一目标与第二目标是否为同一目标。

子步骤s2054：判断第一质量分数是否大于或等于第二质量分数，如果是，则执行子步骤s2055；如果否，则执行子步骤s2056。

当sn≥n0时，表明第一最优特征值与第二最优特征值的相似度sn较大，则能判断第一目标与第二目标是同一个人脸目标，此时为了降低多拍率、提高后续识别分析过程中的准确率，需要选取第一目标、第二目标中质量更好的作为人脸抓拍对象。因此，通过再对第一质量分数与第二质量分数的大小进行比较。

子步骤s2055：将第一目标确定为人脸抓拍对象。

当第一质量分数大于或等于第二质量分数，即fn≥f′n时，表明第一最优特征值的质量分数高于第二最优特征值的质量分数，第一目标更加清晰、更易识别，因此将第一目标确定为人脸抓拍对象。

子步骤s2056：将第二目标确定为人脸抓拍对象。

当第一质量分数小于第二质量分数，即fn<f′n时，表明第一最优特征值的质量分数小于第二最优特征值的质量分数，第二目标更加清晰、更易识别，因此将第二目标确定为人脸抓拍对象。

子步骤s2057：将第一目标及第二目标均确定为人脸抓拍对象。

当任意一组所述第一位置向量与所述第二位置向量的相似度小于预设定的第一相似度阈值时，表明通过第一运动轨迹预测得到的三个位置坐标并非全部位于第二目标的第二运动轨迹上，从而认为第一目标与第二目标不是同一人脸目标，因此此时将第一目标及第二目标均确定为人脸抓拍对象。

此外，当每组所述第一位置向量与所述第二位置向量的相似度均大于或等于预设定的第一相似度阈值，且第一最优特征值与所述第二最优特征值的相似度小于预设定的第二相似度阈值时，同样可以确定第一目标与第二目标不是同一人脸目标，因此此时将第一目标及第二目标均确定为人脸抓拍对象。

第二实施例

请参阅图4，图4为本发明较佳实施例提供的一种人脸抓拍对象确定装置200的功能模块图。需要说明的是，本实施例所提供的人脸抓拍对象确定装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该人脸抓拍对象确定装置200包括：视频片段抽取单元210、人脸参数获取单元220、运动轨迹预测单元230、运动轨迹确定单元240以及人脸抓拍对象确定单元250。

其中，视频片段抽取单元210用于从预先按照预设定的时长间隔对待分析视频进行划分获得的多个视频片段中抽取连续的第一视频片段以及第二视频片段。

可以理解地，在一种优选的实施例中，该视频片段抽取单元210可用于执行步骤s201。

人脸参数获取单元220用于获取第一视频片段中最后一帧包含的第一目标、第一目标的第一人脸特征数据以及第二视频片段中第一帧包含的第二目标、第二目标的第二人脸特征数据。

可以理解地，在一种优选的实施例中，该人脸参数获取单元220可用于执行步骤s202。

运动轨迹预测单元230用于预测第一目标在第二视频片段内的第一运动轨迹。

可以理解地，在一种优选的实施例中，该运动轨迹预测单元230可用于执行步骤s203。

运动轨迹确定单元240用于确定第二目标在第二视频片段内的第二运动轨迹。

可以理解地，在一种优选的实施例中，该运动轨迹确定单元240可用于执行步骤s204。

人脸抓拍对象确定单元250用于依据第一运动轨迹、第二运动轨迹、第一人脸特征数据以及第二人脸特征数据确定人脸抓拍对象。

具体地，人脸抓拍对象确定单元250用于依据第一运动轨迹及第二运动轨迹确定三组第一目标、第二目标在同一时刻分别对应的第一位置向量及第二位置向量。

人脸抓拍对象确定单元250还用于判断每组第一位置向量与第二位置向量的相似度是否均大于或等于预设定的第一相似度阈值，并用于当每组第一位置向量与第二位置向量的相似度均大于或等于预设定的第一相似度阈值时，依据第一人脸特征数据、第二人脸特征数据确定人脸抓拍对象；用于当任意一组第一位置向量与第二位置向量的相似度小于预设定的第一相似度阈值时，将第一目标及第二目标均确定为人脸抓拍对象。

人脸抓拍对象确定单元250还用于当第一最优特征值与第二最优特征值的相似度大于或等于预设定的第二相似度阈值时，判断第一最优特征值与第二最优特征值的相似度是否大于或等于预设定的第二相似度阈值，并用于当第一最优特征值与第二最优特征值的相似度大于或等于预设定的第二相似度阈值时，依据第一质量分数及第二质量分数确定人脸抓拍对象；用于当第一最优特征值与第二最优特征值的相似度小于预设定的第二相似度阈值时，将第一目标及第二目标均确定为人脸抓拍对象。

人脸抓拍对象确定单元250还用于当第一最优特征值与第二最优特征值的相似度大于或等于预设定的第二相似度阈值且第一最优特征值与第二最优特征值的相似度大于或等于预设定的第二相似度阈值时，判断第一质量分数是否大于或等于第二质量分数，并用于当第一质量分数大于或等于第二质量分数时，将第一目标确定为人脸抓拍对象；用于当第一质量分数小于第二质量分数时，将第二目标确定为人脸抓拍对象。

可以理解地，在一种优选的实施例中，该人脸抓拍对象确定单元250可用于执行步骤s205、子步骤s2051、子步骤s2052、子步骤s2053、子步骤s2054、子步骤s2055、子步骤s2056及子步骤s2057。

综上所述，本发明实施例提供的人脸抓拍对象确定方法及装置，通过从预先按照预设定的时长间隔对待分析视频进行划分获得的多个视频片段中抽取连续的第一视频片段以及第二视频片段，并获取第一视频片段中最后一帧包含的第一目标、第一目标的第一人脸特征数据以及第二视频片段中第一帧包含的第二目标、第二目标的第二人脸特征数据，接着预测第一目标在第二视频片段内的第一运动轨迹并确定第二目标在第二视频片段内的第二运动轨迹，从而依据第一运动轨迹、第二运动轨迹、第一人脸特征数据以及第二人脸特征数据确定人脸抓拍对象；由于最终确定的人脸抓拍对象是通过第一运动轨迹、第二运动轨迹、第一人脸特征数据以及第二人脸特征数据确定的连续片段中最优选的人脸，在降低了高效率抓拍过程中的多拍率，为后续人脸比对提高了准确率的同时，也节省了人脸抓拍图片的存储空间。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。