一种人脸抓拍方法及装置与流程

本发明属于目标检测和跟踪技术领域，更具体地，涉及一种人脸抓拍方法及装置。

背景技术：

无处不在的摄像头对维护社会治安和侦破刑事案件有着重要作用。人脸作为像指纹和虹膜一样的生物特征因其具有唯一性成为智能监控和图侦领域研究的热点。人脸抓拍是人脸识别技术的关键环节，抓拍好坏直接影响人脸识别的效果。

现有的人脸抓拍方法一般包括以下流程：人脸检测、图像质量评价和人脸抓拍等环节。根据应用场景的需求，选择离开后抓拍、快速抓拍、间隔帧抓拍和间隔秒抓拍模式中的一种。其中，离开后抓拍是指当人脸离开镜头后，对离开前拍摄的多帧人脸图像进行图像质量评价，从中选择质量最好的一张作为抓拍的结果；快速抓拍是指从预先设定时长内拍摄的多帧人脸图像进行图像质量评价，从中选择质量最好的一张作为抓拍的结果；间隔帧抓拍是指将每隔预设帧数拍摄的人脸图像作为抓拍结果；间隔秒抓拍是指将每隔预设秒数拍摄的人脸图像作为抓拍结果。

由于现有的人脸抓拍模式比较单一，并且人脸抓拍的实时性很大程度上取决于人脸检测算法的运算速度，若对每帧进行人脸检测，很难实时进行人脸抓拍。同时，基于人脸检测算法进行人脸抓拍无法避免对人脸重复抓拍，会导致抓拍多张重复的人脸照片，浪费运算资源。

技术实现要素：

为克服上述现有的人脸抓拍方法不能进行实时抓拍，且容易出现重复抓拍的问题或者至少部分地解决上述问题，本发明提供一种人脸抓拍方法及装置。

根据本发明的第一方面，提供一种人脸抓拍方法，包括：

基于人脸检测算法对当前视频帧进行人脸检测，根据检测结果判断所述当前视频帧中是否存在第一人脸；

若所述当前视频帧中存在第一人脸，则基于目标跟踪算法从所述当前视频帧开始对所述第一人脸进行跟踪，获取从所述当前视频帧开始的各视频帧中所述第一人脸的第一坐标；

根据各所述视频帧中第一人脸的第一坐标，基于图像质量评价算法判断各所述视频帧中第一人脸的质量是否满足预设条件，直到获取到所述第一人脸的质量满足预设条件的目标视频帧，则将所述目标视频帧作为人脸抓拍结果。

根据本发明第二方面提供一种人脸抓拍装置，包括：

检测模块，用于基于人脸检测算法对当前视频帧进行人脸检测，根据检测结果判断所述当前视频帧中是否存在第一人脸；

跟踪模块，用于在所述当前视频帧中存在第一人脸时，基于目标跟踪算法从所述当前视频帧开始对所述第一人脸进行跟踪，获取从所述当前视频帧开始的各视频帧中所述第一人脸的第一坐标；

抓拍模块，用于根据各所述视频帧中第一人脸的第一坐标，基于图像质量评价算法判断各所述视频帧中第一人脸的质量是否满足预设条件，直到获取到所述第一人脸的质量满足预设条件的目标视频帧，则将所述目标视频帧作为人脸抓拍结果。

根据本发明的第三方面，提供一种电子设备，包括：

至少一个处理器、至少一个存储器和总线；其中，

所述处理器和存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如前所述的方法。

根据本发明的第四方面，提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如前所述的方法。

本发明提供一种人脸抓拍方法及装置，该方法通过首先对视频帧进行人脸检测，当检测到存在第一人脸的视频帧时，从该视频帧开始对第一人脸进行跟踪，实时返回各视频帧中人脸的第一坐标，根据第一人脸的第一坐标使用图像质量评价算法实时判断各视频帧中第一人脸的质量是否满足预设条件，直到获取到第一人脸的质量满足预设条件的目标视频帧，将目标视频帧作为人脸抓拍结果，一方面，在获取到目标视频帧后，对目标视频帧的后续帧仅进行目标跟踪，不再进行图像质量评价和人脸抓拍，避免对第一人脸进行重复抓拍；另一方面，在使用人脸检测算法检测到第一人脸后使用目标跟踪算法对第一人脸进行跟踪，加快了各帧中第一人脸的获取速度，实现了对第一人脸的实时抓拍。

附图说明

图1为本发明实施例提供的人脸抓拍方法整体流程示意图；

图2为本发明实施例提供的人脸抓拍装置整体结构示意图；

图3为本发明实施例提供的电子设备整体结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

在本发明的一个实施例中提供一种人脸抓拍方法，图1为本发明实施例提供的人脸抓拍方法整体流程示意图，该方法包括：s101，基于人脸检测算法对当前视频帧进行人脸检测，根据检测结果判断当前视频帧中是否存在第一人脸；

其中，人脸检测算法用于检测出图像中的人脸。本实施例不限于人脸检测算法的种类。当前视频帧为视频中的当前帧。第一人脸为当前视频帧中某一个人的人脸。首先对视频中的当前帧进行人脸检测，获取人脸检测结果。根据人脸检测结果判断当前视频帧中是否存在第一人脸。若从当前视频帧中没有检测出人脸则继续对当前视频帧的下一帧进行人脸检测或对当前视频帧的后续帧每隔预设帧数进行人脸检测，直到检测到存在人脸的视频帧，将存在人脸的视频帧作为当前视频帧，进行后续操作。

s102，若当前视频帧中存在第一人脸，则基于目标跟踪算法从当前视频帧开始对第一人脸进行跟踪，获取从当前视频帧开始的各视频帧中第一人脸的第一坐标；

其中，目标跟踪算法用于对视频中的第一人脸进行跟踪，本实施例不限于目标跟踪算法的种类。第一坐标为使用目标跟踪算法获取的第一人脸的坐标。若从当前视频帧中检测到第一人脸，使用目标跟踪算法，创建第一个人脸跟踪器，使用第一个人脸跟踪器从当前视频帧开始对第一人脸进行跟踪。跟踪完一个视频帧，立即返回该视频帧中第一人脸的第一坐标。从而根据实时跟踪结果实现实时进行人脸抓拍。

s103，根据各视频帧中第一人脸的第一坐标，基于图像质量评价算法判断各视频帧中第一人脸的质量是否满足预设条件，直到获取到第一人脸的质量满足预设条件的目标视频帧，则将目标视频帧作为人脸抓拍结果。

其中，图像质量评价算法用于评价各视频帧中第一人脸的质量，本实施例不限于图像质量评价算法的种类。根据实时返回的各视频帧中第一人脸的第一坐标，实时确定各视频帧中第一人脸的区域。实时使用图像质量评价算法对各视频帧中第一人脸的区域进行图像质量评价，获取各视频帧中第一人脸的区域的图像质量指标值，如人脸大小、亮度、清晰度和对比度等。预设条件为预先设定的每一项图像质量指标值的范围。实时判断第一人脸的区域各项图像质量指标值是否满足预设条件。若第一人脸的区域各项图像质量指标值均满足预设条件，则将第一人脸的区域所在的视频帧作为人脸抓拍结果。对人脸抓拍结果的后续帧继续进行跟踪，但不再进行人脸质量评价处理，减少资源浪费；同时不再对第一人脸进行抓拍，从而避免对第一人脸的重复抓拍。目标视频帧为第一人脸的质量满足预设条件的视频帧。

本实施例首先对视频帧进行人脸检测，当检测到存在第一人脸的视频帧时，从该视频帧开始对第一人脸进行跟踪，实时返回各视频帧中人脸的第一坐标，根据第一人脸的第一坐标使用图像质量评价算法实时判断各视频帧中第一人脸的质量是否满足预设条件，直到获取到第一人脸的质量满足预设条件的目标视频帧，将目标视频帧作为人脸抓拍结果，一方面，在获取到目标视频帧后，对目标视频帧的后续帧仅进行目标跟踪，不再进行图像质量评价和人脸抓拍，避免对第一人脸进行重复抓拍；另一方面，在使用人脸检测算法检测到第一人脸后使用目标跟踪算法对第一人脸进行跟踪，加快了各帧中第一人脸的获取速度，实现了对第一人脸的实时抓拍。

在上述实施例的基础上，本实施例中基于人脸检测算法对当前视频帧进行人脸检测的步骤还包括：每隔预设帧数，基于人脸检测算法对视频帧进行人脸检测。

具体地，无论是否检测到第一人脸，每隔预设帧数均使用人脸检测算法对视频帧进行人脸检测。在检测到第一人脸后继续进行人脸检测，一方面，可以用于检测在对第一人脸进行跟踪的过程中或跟踪结束后是否出现另一个或多个人的人脸。另一方面，由于目标跟踪算法跟踪的第一人脸的位置可能受到环境影响出现偏差，使用人脸检测算法获取第一人脸的位置，用于对目标跟踪算法获取的人脸位置进行校正，从而使抓拍的人脸更精确。

在上述实施例的基础上，本实施例中基于目标跟踪算法从当前视频帧开始对第一人脸进行跟踪，获取从当前视频帧开始的各视频帧中第一人脸的坐标步骤之后还包括：对于进行人脸检测的任一视频帧，根据该视频帧的人脸检测结果，获取该视频帧中第一人脸的第二坐标；若该视频帧的第二坐标与该视频帧的第一坐标之间的距离大于预设阈值，则将第二坐标作为该视频帧的跟踪结果。

其中，第二坐标为使用人脸检测算法检测出第一人脸的坐标。由于每隔预设帧数对各视频帧中的第一人脸进行人脸检测，对于进行人脸检测的任一视频帧，根据该视频帧的人脸检测结果，获取该视频帧中第一人脸的第二坐标，将该视频中第一人脸的第一坐标和第二坐标进行比较，若两者之间的距离大于预设阈值，则将第二坐标作为该视频帧的跟踪结果。从而实现对第一人脸跟踪结果的纠正，使抓拍的人脸更加精确。

在上述实施例的基础上，本实施例中根据各视频帧中第一人脸的第一坐标，基于图像质量评价算法判断各视频帧中第一人脸的质量是否满足预设条件的步骤还包括：对于进行人脸检测的任一视频帧，若该视频帧的第二坐标与该视频帧的第一坐标之间的距离大于预设阈值，则根据该视频帧中第一人脸的第二坐标，基于图像质量评价算法判断该视频帧中第一人脸的质量是否满足预设条件。

具体地，对于进行人脸检测的任一视频帧，若该视频帧的第二坐标与该视频帧的第一坐标之间的距离大于预设阈值，则说明目标跟踪算法跟踪的第一人脸不准确，使用人脸检测算法检测出的第一人脸的第二坐标纠正目标跟踪算法跟踪的第一人脸的第一坐标。使用该视频帧中第一人脸的第二坐标确定该视频中第一人脸的区域，从而使得该视频帧中第一人脸的区域更加准确，人脸抓拍的结果也更加准确。

在上述实施例的基础上，本实施例中基于目标跟踪算法从当前视频帧开始对第一人脸进行跟踪的步骤还包括：若检测出当前视频帧或当前视频帧的后续帧中存在除第一人脸以外的一个或多个人脸，则基于目标跟踪算法对当前视频帧或当前视频帧的后续帧中除第一人脸以外的人脸分别进行跟踪，以分别获得当前视频帧或当前视频帧的后续帧中除第一人脸以外的人脸对应的人脸抓拍结果。

具体地，由于无论是否检测到人脸，每隔预设帧数，都对视频帧进行人脸检测。当检测到当前视频帧或当前视频帧的后续帧中存在除第一人脸以外的一个或多个人脸。则对于当前视频帧或当前视频帧的后续帧中除第一人脸以外的每个人脸分别创建一个人脸跟踪器，使用各人脸跟踪器对相应的人脸进行跟踪和后续操作，从而实现同时对多个人脸进行抓拍。

在上述实施例的基础上，本实施例中将目标视频帧作为人脸抓拍结果的步骤之后还包括：基于目标跟踪算法对目标视频帧的后续帧进行跟踪，直到跟踪不到第一人脸；获取跟踪不到第一人脸的视频帧对应的时间，将从时间之后的视频帧中首次检测出的人脸作为第二人脸，获取第二人脸对应的人脸抓拍结果。

具体地，在对第一人脸进行抓拍后，继续对目标视频帧的后续帧进行跟踪，以确定下一次进行人脸抓拍的时机。若能跟踪到第一人脸，则不进行人脸抓拍，避免对第一人脸的重复抓拍。当跟踪不到搜索第一人脸时，记录跟踪不到第一人脸的视频帧对应的时间。由于每隔预设帧数，对视频帧进行人脸检测，将从该时间之后的视频帧中首次检测出的人脸作为第二人脸，第二人脸为再次进行抓拍的人脸。采用对第一人脸抓拍的方法对第二人脸进行抓拍。

在本发明的另一个实施例中提供一种人脸抓拍装置，该装置用于实现前述各实施例中的方法。因此，在前述人脸抓拍方法的各实施例中的描述和定义，可以用于本发明实施例中各个执行模块的理解。图2为本发明实施例提供的人脸抓拍装置整体结构示意图，该装置包括检测模块201、跟踪模块202和抓拍模块203；其中：

检测模块201用于基于人脸检测算法对当前视频帧进行人脸检测，根据检测结果判断当前视频帧中是否存在第一人脸；跟踪模块202用于在当前视频帧中存在第一人脸时，基于目标跟踪算法从当前视频帧开始对第一人脸进行跟踪，获取从当前视频帧开始的各视频帧中第一人脸的第一坐标；抓拍模块203用于根据各视频帧中第一人脸的第一坐标，基于图像质量评价算法判断各视频帧中第一人脸的质量是否满足预设条件，直到获取到第一人脸的质量满足预设条件的目标视频帧，则将目标视频帧作为人脸抓拍结果。

在上述实施例的基础上，本实施例中检测模块还用于：每隔预设帧数，基于人脸检测算法对视频帧进行人脸检测。

在上述实施例的基础上，本实施例中还包括纠正模块，用于对于进行人脸检测的任一视频帧，根据该视频帧的人脸检测结果，获取该视频帧中第一人脸的第二坐标；若该视频帧的第二坐标与该视频帧的第一坐标之间的距离大于预设阈值，则将第二坐标作为该视频帧的跟踪结果。

在上述实施例的基础上，本实施例中抓拍模块还用于：对于进行人脸检测的任一视频帧，若该视频帧的第二坐标与该视频帧的第一坐标之间的距离大于预设阈值，则根据该视频帧中第一人脸的第二坐标，基于图像质量评价算法判断该视频帧中第一人脸的质量是否满足预设条件。

在上述实施例的基础上，本实施例中跟踪模块还用于若检测出当前视频帧或当前视频帧的后续帧中存在除第一人脸以外的一个或多个人脸，则基于目标跟踪算法对当前视频帧或当前视频帧的后续帧中除第一人脸以外的人脸分别进行跟踪，以分别获得当前视频帧或当前视频帧的后续帧中除第一人脸以外的人脸对应的人脸抓拍结果。

在上述各实施例的基础上，本实施例中还包括切换模块，用于基于目标跟踪算法对目标视频帧的后续帧进行跟踪，直到跟踪不到第一人脸；获取跟踪不到第一人脸的视频帧对应的时间，将从时间之后的视频帧中首次检测出的人脸作为第二人脸，获取第二人脸对应的人脸抓拍结果。

本实施例通过首先对视频帧进行人脸检测，当检测到存在第一人脸的视频帧时，从该视频帧开始对第一人脸进行跟踪，实时返回各视频帧中人脸的第一坐标，根据第一人脸的第一坐标使用图像质量评价算法实时判断各视频帧中第一人脸的质量是否满足预设条件，直到获取到第一人脸的质量满足预设条件的目标视频帧，将目标视频帧作为人脸抓拍结果，一方面，在获取到目标视频帧后，对目标视频帧的后续帧仅进行目标跟踪，不再进行图像质量评价和人脸抓拍，避免对第一人脸进行重复抓拍；另一方面，在使用人脸检测算法检测到第一人脸后使用目标跟踪算法对第一人脸进行跟踪，加快了各帧中第一人脸的获取速度，实现了对第一人脸的实时抓拍。

本实施例提供一种电子设备，图3为本发明实施例提供的电子设备整体结构示意图，该设备包括：至少一个处理器301、至少一个存储器302和总线303；其中，

处理器301和存储器302通过总线303完成相互间的通信；

存储器302存储有可被处理器301执行的程序指令，处理器调用程序指令能够执行上述各方法实施例所提供的方法，例如包括：基于人脸检测算法对当前视频帧进行人脸检测，根据检测结果判断当前视频帧中是否存在第一人脸；若当前视频帧中存在第一人脸，则基于目标跟踪算法从当前视频帧开始对第一人脸进行跟踪，获取从当前视频帧开始的各视频帧中第一人脸的第一坐标；根据各视频帧中第一人脸的第一坐标，基于图像质量评价算法判断各视频帧中第一人脸的质量是否满足预设条件，直到获取到第一人脸的质量满足预设条件的目标视频帧，则将目标视频帧作为人脸抓拍结果。

本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：基于人脸检测算法对当前视频帧进行人脸检测，根据检测结果判断当前视频帧中是否存在第一人脸；若当前视频帧中存在第一人脸，则基于目标跟踪算法从当前视频帧开始对第一人脸进行跟踪，获取从当前视频帧开始的各视频帧中第一人脸的第一坐标；根据各视频帧中第一人脸的第一坐标，基于图像质量评价算法判断各视频帧中第一人脸的质量是否满足预设条件，直到获取到第一人脸的质量满足预设条件的目标视频帧，则将目标视频帧作为人脸抓拍结果。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的电子设备实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。