一种人脸图像的识别方法及设备与流程

本发明属于图像处理技术领域，尤其涉及一种人脸图像的识别方法及设备。

背景技术：

随着识别技术的不断发展，越来越多的识别任务可以计算机自动执行，例如通过orc算法识别图片中的文字，又例如通过二维码识别算法，对二维码图像进行解析提取其中携带的信息。除了上述识别技术外，人脸识别技术由于能够自动确定用户身份，应用领域也越来越广，如何能够高效准确地完成人脸识别，成为了现今亟需解决的问题。

现有的人脸识别技术，主要是应用于与静态图像识别，而对于视频中的人脸识别则较难实现，特别对于大部分的视频播放应用，需要用户手动截取目标用户所在的视频图像帧，并交由对应的软件进行识别，从而增加了人脸采集的难度以及操作效率。

技术实现要素：

有鉴于此，本发明实施例提供了一种人脸图像的识别方法及设备，以解决现有的人脸图像的识别技术，只能对静态图像进行人脸识别，需要用户手动截取目标用户所在的视频图像帧，并交由对应的软件进行识别，从而增加了人脸采集的难度以及操作效率的问题。

本发明实施例的第一方面提供了一种人脸图像的识别方法，包括：

接收视频播放指令；所述视频播放指令携带有播放视频文件时所需调用的视频播放插件的插件标识；

启动视频播放应用，并基于所述插件标识加载所述视频播放插件至所述视频播放应用；

若所述插件标识与人脸识别插件的标识匹配，则通过加载插件后的所述视频播放应用提取所述视频文件的各个视频图像帧；

调用所述人脸识别插件提取各个所述视频图像帧包含的人脸图像；

根据各个所述人脸图像对应的实体用户，建立所述视频文件的人脸图像库。

本发明实施例的第二方面提供了一种人脸图像的识别设备，包括：

视频播放指令接收单元，用于接收视频播放指令；所述视频播放指令携带有播放视频文件时所需调用的视频播放插件的插件标识；

视频播放应用启动单元，用于启动视频播放应用，并基于所述插件标识加载所述视频播放插件至所述视频播放应用；

视频图像帧提取单元，用于若所述插件标识与人脸识别插件的标识匹配，则通过加载插件后的所述视频播放应用提取所述视频文件的各个视频图像帧；

人脸图像识别单元，用于调用所述人脸识别插件提取各个所述视频图像帧包含的人脸图像；

人脸图像库建立单元，用于根据各个所述人脸图像对应的实体用户，建立所述视频文件的人脸图像库。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面的各个步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面的各个步骤。

实施本发明实施例提供的一种人脸图像的识别方法及设备具有以下有益效果：

本发明实施例通过接收用户发起的视频播放指令，启动视频播放应用，并加载该视频播放指令指示的视频播放插件，以对视频播放应用的功能进行扩展，若检测到加载的视频播放插件为人脸识别插件，则可以通过视频播放应用对视频文件进行解析，提取各个视频图像帧，并将各个视频图像帧导入到人脸识别插件，以通过人脸识别插件识别各个视频图像帧包含的人脸图像，并根据所有人脸图像构建视频文件关联的人脸图像库，从而实现了对动态的视频文件进行人脸识别。与现有的人脸图像的识别技术相比，本发明无需用户手动截取视频图像帧，并交由其他应用进行人脸图像识别，而是可以通过在视频播放应用中加载人脸识别插件，在播放视频文件的同时，自动识别每个视频图像帧所包含的人脸图像，提高了人脸图像的识别效率，减少了用户的操作。另一方面，由于人脸图像的识别过程与视频文件的播放是同步进行的，用户无需在视频文件观看后，再执行人脸图像识别，从而减少了人脸识别操作的耗时。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的一种人脸图像的识别方法的实现流程图；

图2是本发明一实施例提供的视频文件的播放示意图；

图3是本发明第二实施例提供的一种人脸图像的识别方法具体实现流程图；

图4是本发明第三实施例提供的一种人脸图像的识别方法s105具体实现流程图；

图5是本发明第四实施例提供的一种人脸图像的识别方法s1051具体实现流程图；

图6是本发明第五实施例提供的一种人脸图像的识别方法s105具体实现流程图；

图7是本发明第六实施例提供的一种人脸图像的识别方法s104具体实现流程图；

图8是本发明第七实施例提供的一种人脸图像的识别方法s102具体实现流程图；

图9是本发明一实施例提供的一种人脸图像的识别设备的结构框图；

图10是本发明另一实施例提供的一种终端设备的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例通过接收用户发起的视频播放指令，启动视频播放应用，并加载该视频播放指令指示的视频播放插件，以对视频播放应用的功能进行扩展，若检测到加载的视频播放插件为人脸识别插件，则可以通过视频播放应用对视频文件进行解析，提取各个视频图像帧，并将各个视频图像帧导入到人脸识别插件，以通过人脸识别插件识别各个视频图像帧包含的人脸图像，并根据所有人脸图像构建视频文件关联的人脸图像库，从而实现了对动态的视频文件进行人脸识别，解决了现有的人脸图像的识别技术，只能对静态图像进行人脸识别，需要用户手动截取目标用户所在的视频图像帧，并交由对应的软件进行识别，从而增加了人脸采集的难度以及操作效率的问题。

在本发明实施例中，流程的执行主体为终端设备。该终端设备包括但不限于：服务器、计算机、智能手机以及平板电脑等能够执行人脸图像的识别任务的设备。图1示出了本发明第一实施例提供的人脸图像的识别方法的实现流程图，详述如下：

在s101中，接收视频播放指令；所述视频播放指令携带有播放视频文件时所需调用的视频播放插件的插件标识。

在本实施例中，用户可以向终端设备发送一个视频播放指令。具体地，用户可以通过终端设备配置的交互模块，例如键盘、鼠标或触控屏等模块，在终端设备本地触发视频播放指令；当然，用户也可以在本地的用户终端生成视频播放指令，并建立用户终端与终端设备之间的通信链路，通过通信链路将视频播放指令发送给终端设备，即用户终端相当于一遥控装置，可以控制终端设备执行视频播放操作。

在本实施例中，用户发起视频播放操作时，可以从终端设备的可加载插件列表中选取所需调用的视频播放插件，通过点击或勾选等方式，从可加载插件列表中选择一个或多个视频播放插件，并在选取完成后点击播放按钮，此时，终端设备会识别用户选择完毕，并将用户选择的视频播放插件的插件标识添加到视频播放指令内，触发视频播放操作。可选地，终端设备可以配置有默认配置模式，即终端设备在执行视频播放操作时，可以默认加载一个或多个视频播放插件，无需用户在每次播放操作时，均需要重新进行插件选择，从而提高了用户的操作效率。例如，终端设备的默认配置模式为默认加载帧率优化插件以及人脸识别插件，则在检测到用户点击视频播放按钮且没有选择所需加载的视频播放插件时，将上述两个插件的插件标识添加到视频播放指令内，并生成视频播放指令。该默认配置模式中所需加载的视频播放插件可以由系统默认设置，也可以由用户手动配置。优选地，终端设备可以统计各个视频播放插件的使用次数，若检测到某一视频播放插件的使用次数大于预设的使用阈值，则提示用户是否将所述视频播放插件添加到默认配置模式，若接收到用户反馈的同意添加指令，则将使用次数大于使用阈值的视频播放插件添加到默认配置模式内，以便在后续的播放操作中，自动加载该视频播放插件。

具体地，该终端设备安装有vlc视频播放应用，该vlc视频播放应用具体为一个具有核心框架执行视频播放功能应用程序，该应用程序可以基于用户需求添加多个基于视频播放的插件，例如视频优化插件、视频录制插件以及本实施例中所需要调用的人脸识别插件。用户在执行播放操作时，在该视频播放指令中除了可以指定所需播放的视频文件外，还可以携带有所需加载的插件标识。举例性地，该视频播放指令可以为：vlc.exe--video-filterall,facereadertest.mp4，其中，vlc.exe为所需启动的视频播放应用，而facereader即为插件标识；test.mp4为所需播放的视频文件的文件标识。

在s102中，启动视频播放应用，并基于所述插件标识加载所述视频播放插件至所述视频播放应用。

在本实施例中，终端设备在接收到视频播放指令后，可以启动与指令关联的视频播放应用，终端设备还会对视频播放指令进行解析，提取视频播放插件对应的插件标识，查询各个插件标识对应的视频播放插件，将视频播放插件加载到视频播放应用，以扩展视频播放应用的功能。

在本实施例中，视频播放应用可以关联有一可加载插件列表，各个视频播放插件可以将启动声明文件存储在视频播放应用的安装地址内，在视频播放应用启动时，会检测所在安装位置中存储有的所有启动声明文件，从而生成该视频播放应用的可加载插件列表。终端设备会检测视频播放指令中的插件标识是否在可加载插件列表内，若是，查询视频播放插件的安装地址，并在视频播放应用的进程中创建一新的线程，通过该线程运行该视频播放插件的运行文件，以将视频播放插件加载至视频播放应用；若检测到插件标识不在可加载插件列表内，则输出插件不存在信息。

可选地，在本实施例中，若检测到视频播放指令携带的插件标识不在可加载插件列表内，则可以基于插件标识生成插件下载请求，将插件下载请求发送给视频播放应用对应的服务器，以便从服务器下载与插件标识对应的插件运行文件，并在下载完毕后，将插件标识添加到可加载插件列表内，以将视频播放插件加载至视频播放应用。

在s103中，若所述插件标识与人脸识别插件的标识匹配，则通过加载插件后的所述视频播放应用提取所述视频文件的各个视频图像帧。

在本实施例中，终端设备对视频播放指令进行解析，确定所需播放的视频文件的文件标识，并基于文件标识获取视频文件，将视频文件导入视频播放应用，通过视频播放应用输出视频文件。视频播放应用在输出视频文件时，会读取视频文件包含的各个视频图像帧，并基于各个视频图像帧的帧序号，以预设的视频播放帧率依次输出各个视频播放帧，例如，该视频播放帧率可以为60dps，即每秒输出60幅视频图像帧。

在本实施例中，由于视频播放应用可以加载有多个视频播放插件，终端设备可以在视频播放应用的进程内创建多条并行处理线程，并通过各个不同并行处理线程运行各个视频播放插件对应的视频处理操作，而不同的视频播放插件对所需输入的数据类型不同，例如对于人声优化插件，则输入的数据类型为音频信号；而对于视频画面提亮插件，则输入的数据类型为视频图像帧。因此，终端设备在播放视频文件过程之前，需要确定当前加载的视频播放插件，并基于各个不同视频播放插件所需输入的数据类型，从视频文件提取对应的数据，并通过对应的并发线程处理该数据。若终端设备检测到需要加载的视频播放插件包含人脸识别插件，即插件标识与人脸识别插件的标识匹配，则需要获取人脸识别插件的输入数据，由于人脸识别插件是对各个视频图像帧进行识别，即输入的数据类型为视频图像帧，因此可以在视频应用播放视频文件时，根据帧序号依次提取的各个视频图像帧，并导入到人脸识别插件，进行人脸识别操作。

在s104中，调用所述人脸识别插件提取各个所述视频图像帧包含的人脸图像。

在本实施例中，视频播放应用在播放过程中，可以将视频图像帧输出到图像处理单元gpu进行显示输出流程，与此同时，可以将视频图像帧导入到人脸识别插件，人脸识别插件会对输入的视频图像帧进行解析，通过内置的人脸识别算法提取各个视频图像包含的人脸图像。由于被拍摄的对象可以为多个，因此一个视频图像帧内包含的人脸图像的数量可以为多个。

具体地，人脸识别插件获取人脸图像的方式可以为：通过内置的多尺寸的人脸模板在视频图像帧中进行滑动框取，并计算框取的区域图像与人脸模板之间的匹配度，若检测到两者之间的匹配度大于预设的匹配阈值，则识别当前框取的区域图像包含人脸，识别该区域图像为人脸图像。

可选地，在本实施例中，终端设备可以先进行人脸识别，确定视频图像帧包含的人脸图像后，再执行视频播放操作。在该情况下，终端设备可以将识别得到的人脸图像在视频图像帧中进行标记，例如通过矩形框标记人脸区域，终端设备输出标记后的视频图像帧，从而方便用户快速确定视频文件的人脸图像。参见图2所示，图2示出了本发明一实施例提供的视频文件的播放示意图。

在s105中，根据各个所述人脸图像对应的实体用户，建立所述视频文件的人脸图像库。

在本实施例中，终端设备在获取了各个视频图像帧的人脸图像后，可以确定各个人脸图像所属的实体用户，并基于所属的实体用户对人脸图像进行分类，建立视频文件的人脸图像库。

具体地，在本实施例中，终端设备可以计算任意两个人脸图像之间的相似度，例如将各个人脸图像转换为人脸特征向量，并计算两个人脸特征向量之间的欧氏距离，将该欧氏距离的倒数作为两者的相似度，将相似度较大的多个人脸区域图像识别为同一实体用户，区分属于不同实体用户的人脸图像，实现了人脸图像的分类，并为属于同一实体用户的人脸区域图像标记一个用户标识。

以上可以看出，本发明实施例提供的一种人脸图像的识别方法通过接收用户发起的视频播放指令，启动视频播放应用，并加载该视频播放指令指示的视频播放插件，以对视频播放应用的功能进行扩展，若检测到加载的视频播放插件为人脸识别插件，则可以通过视频播放应用对视频文件进行解析，提取各个视频图像帧，并将各个视频图像帧导入到人脸识别插件，以通过人脸识别插件识别各个视频图像帧包含的人脸图像，并根据所有人脸图像构建视频文件关联的人脸图像库，从而实现了对动态的视频文件进行人脸识别。与现有的人脸图像的识别技术相比，本发明无需用户手动截取视频图像帧，并交由其他应用进行人脸图像识别，而是可以通过在视频播放应用中加载人脸识别插件，在播放视频文件的同时，自动识别每个视频图像帧所包含的人脸图像，提高了人脸图像的识别效率，减少了用户的操作。另一方面，由于人脸图像的识别过程与视频文件的播放是同步进行的，用户无需在视频文件观看后，再执行人脸图像识别，从而减少了人脸识别操作的耗时。

图3示出了本发明第二实施例提供的一种人脸图像的识别方法的具体实现流程图。参见图3，相对于图1所述实施例，本实施例提供的一种人脸图像的识别方法中在所述启动视频播放应用，并基于所述插件标识加载所述视频播放插件至所述视频播放应用之前，还包括：s301～s303，具体详述如下：

进一步地，在所述启动视频播放应用，并基于所述插件标识加载所述视频播放插件至所述视频播放应用之前，还包括：

在s301中，获取所述人脸识别插件的插件数据包。

在本实施例中，终端设备可以通过移动存储设备或者网络下载的方式，获取人脸识别插件的插件数据包。可选地，终端设备可以对获取得到的插件数据包的完备性进行检测，例如通过提取插件数据包的crc校验码来确定该插件数据包是否完整。

优选地，在本实施例中，终端设备可以运行上述插件数据包，并将预设的测试图像导入运行的进程，获取输出结果，若输出结果内标记的人脸图像的位置与预设的标准坐标匹配，则识别该插件数据包为完备数据包，执行s302的操作；反之，若无法运行或无法识别测试图像包含的人脸图像，则识别该插件数据包为异常数据包，重新获取人脸识别插件的插件数据包。

在s302中，向服务器发送版本校验请求，并接收所述服务器基于所述版本校验请求反馈的合法校验结果；所述版本校验请求包含所述插件数据包的版本标识。

在本实施例中，终端设备可以提取插件数据包携带的版本标识，并生成携带所述版本标识的版本校验请求，向视频播放应用对应的服务器发送版本校验请求。由于需要将人脸识别插件加载至视频播放应用，因此需要视频播放应用于人脸识别插件兼容。若服务器检测到该人脸识别插件与视频播放应用相互兼容，则可以返回校验成功的合法校验结果给终端设备；反之，若服务器检测到该视频播放插件与视频播放应用不兼容，则返回检验是被的合法校验结果。

可选地，若合法校验结果为检验失败，则终端设备可以提取该合法校验结果携带有的下载链接，通过所述下载链接重新获取人脸识别插件的插件数据包。在服务器检测到当前的人脸识别插件与视频播放应用之间不兼容，可以提供一个兼容的人脸播放插件的下载链接，以使终端设备可以通过该下载链接获取合法的人脸识别插件。

在s303中，若所述合法校验结果为校验成功，则查询所述视频播放应用的安装位置，并将所述插件数据包内的调用声明文件添加到所述安装位置关联的文件目录内，以添加所述人脸识别插件至所述视频播放应用的可调用插件列表。

在本实施例中，终端设备若确定该插件数据包为合法数据包，即合法校验结果为校验成功，则提取插件数据包内包含的调用声明文件，并查询视频播放应用的安装位置，将提取得到的调用声明文件添加到该安装位置对应的文件目录内，由于视频播放应用在启动过程中，会检测安装位置对应的文件目录中包含的声明文件，并基于包含的声明文件生成可调用插件列表，通过上述操作，则视频播放应用可以在后续播放操作中调用人脸识别插件。

举例性地，该视频播放应用为vlc视频播放应用，该vlc视频播放应用的安装位置为//plugins，即将人脸识别插件的调用声明文件添加至该安装位置所对应的目录下，即将facereader插件的libfacereader_plugin.dll文件放到vlc播放器安装目录的plugins目录。

在本发明实施例中，通过对插件数据包进行合法性检测，可以确保人脸识别插件与视频播放应用之间相互兼容，并且在原有视频播放应用中添加人脸识别插件，可以提高人脸识别操作的便捷性。

图4示出了本发明第三实施例提供的一种人脸图像的识别方法s105的具体实现流程图。参见图4，相对于图1所述的实施例，本实施例提供的一种人脸图像的识别方法中s105包括：s1051～s1054，具体详述如下：

进一步地，所述根据各个所述人脸图像对应的实体用户，建立所述视频文件的人脸图像库，包括：

在s1051中，计算任意两个所述视频图像帧内的所述人脸图像之间的相似度。

在本实施例中，终端设备提取了每个视频图像帧内包含的人脸图像后，可以从任意两个视频图像帧中选取的人脸图像进行相似度计算操作，例如第一视频图像帧包含有人脸图像a、人脸图像b以及人脸图像c，而第二视频图像帧包含有人脸图像a’、人脸图像b’以及人脸图像c’，终端设备可以从第一视频图像帧中提取人脸图像a，以及从第二视频图像帧中提取人脸图像c’，并计算人脸图像a以及人脸图像c’之间的相似度。其中，相似度的计算可以参见s105的描述，即将人脸图像转换为人脸特征向量，并计算位于两个视频图像帧上的人脸特征向量之间的欧氏距离，并将欧氏距离的倒数作为上述两个人脸图像之间的相速度。

优选地，终端设备在计算相似度时，会选取相邻的视频图像帧中的人脸图像进行比对，并计算各个人脸图像的中心坐标之间的差值，将中心坐标之间的差值小于预设的距离阈值的人脸图像识别为目标图像，并计算目标图像之间的相似度。由于两个视频图像帧相邻，则人脸移动的距离较小，可以选取人脸移动距离较小的人脸图像为目标图像，并计算目标图像之间的相似度，从而能够减少大量无效的人脸相似度的计算操作，提高了人脸库的构建速度。

在s1052中，若所述相似度大于预设的关联阈值，则识别位于两个不同的所述视频图像帧内的所述人脸图像为关联图像，建立两个所述人脸图像之间的关联关系。

在本实施例中，终端设备设置有关联阈值，若检测到两个人脸图像之间的相似度小于预设的关联阈值，则判定上述两个人脸图像属于不同的实体用户，则无需建立两者之间的关联关系；反之，若检测到两个人脸图像之间的相似度大于预设的关联阈值，则判定上述两个人脸图像属于相同的实体用户，识别上述两个人脸图像互为关联图像，并建立上述两个人脸图像之间的关联关系，以便根据关联关系确定属于同一实体用户的所有人脸图像。

在s1053中，基于所有所述人脸图像的所述关联关系，划分为多个用户人脸组，并为各个所述用户人脸组配置用户标识；所述用户人脸组内的所有人脸图像互为所述关联图像。

在本实施例中，终端设备在确定了所有人脸图像之间的关联关系后，可以根据关联关系对人脸图像进行划分，将所有互为关联图像划分至一个用户人脸组，由于两个人脸图像为关联图像，则表示两个关联图像属于同一实体用户，实现了基于实体用户对人脸图像进行分组，并为划分所有划分得到的人脸组配置用户标识，该用户标识可以为用户序号，其中该用户序号可以根据用户人脸组内最早人脸图像的出现时间的先后次序确定。

可选地，在本实施例中，终端设备可以存储有候选用户的标准人脸图像，终端设备可以根据各个用户人脸组内的人脸图像与标准人脸图像进行匹配，并根据匹配结果识别该候选用户关联的用户人脸组，并将候选用户的用户标识作为该用户人脸组的用户标识。

在s1054中，根据所述用户人脸组以及所述用户标识，建立所述人脸图像库。

在本实施例中，终端设备在识别了所有用户人脸组以及为每个用户人脸组配置用户标识后，可以构建关于视频文件的人脸图像库。

在本发明实施例中，通过计算人脸图像之间的相似度，识别得到关联图像，并基于关联图像之间的关联关系，划分为属于相同实体用户的用户人脸组，实现了人脸图像的分类，提高了人脸图像的管理效率。

图5示出了本发明第四实施例提供的一种人脸图像的识别方法s1051的具体实现流程图。参见图5，相对于图4所述实施例，本实施例提供的一种人脸图像的识别方法s1051包括：s501～s505，具体详述如下：

进一步地，所述计算任意两个所述视频图像帧内的所述人脸图像之间的相似度，包括：

在s501中，基于预设的人脸关键特征列表，标记出所述人脸图像中关于各个人脸关键特征的特征坐标。

在本实施例中，终端设备可以根据所需定位的人脸特征，配置人脸关键特征列表，例如，该人脸关键特征列表可以包含：眼、耳、口、鼻四个人脸特征，还可以包括眉毛、额头等，具体包含的人脸特征可以根据识别准确度的不同进行对应配置。终端设备可以根据人脸关键特征列表，在人脸图像中标记出各个人脸关键特征，并根据各个人脸关键特征在人脸图像内的坐标，得到特征坐标。

在s502中，根据所述人脸关键特征列表内的所有人脸关键特征的特征坐标，构建所述人脸图像的特征坐标序列。

在本实施例中，终端设备可以配置有序列模板，规定了各个人脸关键特征在序列模板内关联的位置，根据人脸图像中各个人脸关键特征的特征坐标，依次导入到序列模板中关联的位置，从而生成了人脸图像对应的特征坐标序列。

在s503中，计算任意两个所述视频图像帧的所述人脸图像的特征坐标序列之间的特征距离值。

在本实施例中，终端设备在确定了人脸图像的特征坐标序列后，可以通过欧氏距离计算公式等坐标距离计算公式，计算两个特征坐标序列之间的特征距离值。

在s504中，识别任意两个所述视频图像帧之间的间隔图像帧数。

在本实施例中，终端设备还可以识别两个视频图像帧的帧序号，并基于帧序号之间的差值，确定两个视频图像帧之间的间隔图像帧数。例如，若某一视频图像帧的帧序号为65，而另一视频图像帧的帧序号为68，则间隔图像帧数为68-65＝3。

在s505中，将所述特征距离值以及所述间隔图像帧数导入预设的相似度计算模型，得到两个所述视频图像帧内的所述人脸图像之间的相似度；所述相似度计算模型具体为：

其中，similarity为所述相似度；actframe为所述间隔图像帧数；figdist为所述特征距离值；basedist为基准距离值；baseframe为所述视频文件的拍摄帧率；standarddist为预设调整系数

在本实施例中，由于两个视频图像帧之间的间隔图像帧数的数值越大，则同一实体用户的人脸移动距离越长，因此在计算两个人脸图像之间的相似度时，可以通过间隔图像帧数进行归一化处理，从而减少了帧数之间的差异而对相似度计算的影响。并根据特征距离值与标准距离值之间的差值，判断特征距离之间的差异度，从而计算出两个人脸图像之间的相似度，通过人脸特征坐标，来进行相似度计算。

在本发明实施例中，通过识别人脸特征坐标，并构建人脸特征序列，并通过两个视频图像帧之间的间隔图像帧数以及人脸特征序列之间的特征距离值，计算人脸图像的相似度，提高了相似度计算的准确性。

图6示出了本发明第五实施例提供的一种人脸图像的识别方法s105的具体实现流程图。参见图6，相对于图1-5任一所述实施例，本实施例提供的一种人脸图像的识别方法s105包括：s601～s603，具体详述如下：

进一步地，所述若当前时间在所述有效时长内，则通过所述页面数据显示所述网络页面，包括：

在s601中，确定所述人脸图像的表情类型，并识别所述表情类型为基准表情。

在本实施例中，终端设备可以通过表情识别算法，确定该人脸图像中拍摄时刻对应的表情类型。例如，表情类型可以为：微笑类型、大笑类型、哭泣类型、伤心类型等，并识别该人脸图像的表情类型为基准表情。

在s602中，根据表情转换算法以及所述基准表情，输出所述人脸图像的衍生图像；所述衍生图像的表情类型与所述人脸图像的表情类型不同。

在本实施例中，终端设备可以根据基准表情调整表情转换算法，确定如何从基准表情转换到其他表情，例如从微笑表情调整到哭泣表情，以及从微笑表情调整到大笑表情。终端设备可以将人脸图像导入到根据基准表情调整的表情转换算法，可以输出对应不同标签类型的衍生图像。

在s603中，根据所述人脸图像以及所述衍生图像，生成所述人脸图像库。

在本实施例中，终端设备在输出了人脸图像以及基于人脸图像得到的不同表情的衍生图像后，可以建立人脸图像库，从而能够扩展人脸图像库的内容。

在本发明实施例中，基于人脸图像得到多个不同标签的衍生图像，从而能够提高人脸图像库的丰富度。

图7示出了本发明第六实施例提供的一种人脸图像的识别方法s104的具体实现流程图。参见图7，相对于图1至图5任一所述实施例，本实施例提供的一种人脸图像的识别方法中s104包括：s1041～s1043，具体详述如下：

进一步地，所述调用所述人脸识别插件提取各个所述视频图像帧包含的人脸图像，包括：

在s1041中，基于视频图像帧中的rgb通道对应的图像数据，生成所述视频图像帧的图像矩阵。

在本实施例中，终端设备在获取了视频图像帧后，在导入到人脸识别插件之间，可以对视频图像帧进行预处理，具体的操作为，根据视频图像帧在rgb三个通道上的图像数据进行数据融合，生成关于视频图像帧的图像矩阵。

在s1042中，根据所述图像矩阵的矩阵尺寸，配置所述视频图像帧对应的卷积核，并通过所述卷积核对所述图像矩阵进行卷积操作，得到标准矩阵。

在本实施例中，终端设备在生成了视频图像帧的图像矩阵后，可以识别该图像矩阵的矩阵尺寸，并基于矩阵尺寸以及标准矩阵的矩阵尺寸，确定卷积操作所使用的卷积核，并通过该卷积核对图像矩阵进行卷积操作，从而将图像矩阵的尺寸调整为标准尺寸，得到标准矩阵。

在s1043中，将所述标准矩阵导入所述人脸识别插件的人脸识别算法，输出所述人脸图像。

在本实施例中，将标准矩阵导入到人脸识别插件，通过人脸识别插件内的人脸识别算法对标准矩阵进行解析，输出人脸图像。

在本发明实施例中，通过对视频图像帧进行预处理，得到标准矩阵，将标准矩阵导入到人脸识别插件，输出人脸图像，从而提高了人脸识别插件对于视频图像帧的处理效率以及人脸识别的准确率。

图8示出了本发明第七实施例提供的一种人脸图像的识别方法s102的具体实现流程图。参见图8，相对于图1至图5任一所述实施例，本实施例提供的一种人脸图像的识别方法中s102包括：s1021～s1022，具体详述如下：

在s1021中，根据预设的播放插件寻址表，查询所述插件标识对应的所述视频播放插件的安装地址。

在本实施例中，终端设备启动了视频播放应用，需要加载视频播放插件时，需要确定视频播放插件的安装位置，以允许对应的插件文件，因此，可以根据播放插件寻址表，查询插件标识关联的存储地址，该存储地址即为视频播放插件的安装地址。

在s1022中，从所述安装地址获取所述视频播放插件的插件文件，通过所述视频播放应用运行所述插件文件，以将所述视频播放插件加载至所述视频播放应用。

在本实施例中，终端设备从安装地址提取视频播放插件的插件文件，通过视频播放应用运行插件文件，即在视频播放应用对应的进程下创建新的并发线程，通过并发线程执行插件文件，实现将视频播放插件加载至视频播放应用。

在本发明实施例中，通过播放插件寻址表确定视频播放应用的安装位置，实现将视频播放插件加载至视频播放应用，提高了加载操作的效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图9示出了本发明一实施例提供的一种人脸图像的识别设备的结构框图，该人脸图像的识别设备包括的各单元用于执行图1对应的实施例中的各步骤。具体请参阅图1与图1所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。

参见图9，所述人脸图像的识别设备包括：

视频播放指令接收单元91，用于接收视频播放指令；所述视频播放指令携带有播放视频文件时所需调用的视频播放插件的插件标识；

视频播放应用启动单元92，用于启动视频播放应用，并基于所述插件标识加载所述视频播放插件至所述视频播放应用；

视频图像帧提取单元93，用于若所述插件标识与人脸识别插件的标识匹配，则通过加载插件后的所述视频播放应用提取所述视频文件的各个视频图像帧；

人脸图像识别单元94，用于调用所述人脸识别插件提取各个所述视频图像帧包含的人脸图像；

人脸图像库建立单元95，用于根据各个所述人脸图像对应的实体用户，建立所述视频文件的人脸图像库。

可选地，所述人脸图像的识别设备还包括：

插件数据包获取单元，用于获取所述人脸识别插件的插件数据包；

合法校验结果接收单元，用于向服务器发送版本校验请求，并接收所述服务器基于所述版本校验请求反馈的合法校验结果；所述版本校验请求包含所述插件数据包的版本标识；

调用声明文件添加单元，用于若所述合法校验结果为校验成功，则查询所述视频播放应用的安装位置，并将所述插件数据包内的调用声明文件添加到所述安装位置关联的文件目录内，以添加所述人脸识别插件至所述视频播放应用的可调用插件列表。

可选地，所述人脸图像库建立单元95包括：

相似度计算单元，用于计算任意两个所述视频图像帧内的所述人脸图像之间的相似度；

关联关系建立单元，用于若所述相似度大于预设的关联阈值，则识别位于两个不同的所述视频图像帧内的所述人脸图像为关联图像，建立两个所述人脸图像之间的关联关系；

用户人脸组划分单元，用于基于所有所述人脸图像的所述关联关系，划分为多个用户人脸组，并为各个所述用户人脸组配置用户标识；所述用户人脸组内的所有人脸图像互为所述关联图像；

第一人脸图像库建立单元，用于根据所述用户人脸组以及所述用户标识，建立所述人脸图像库。

可选地，所述相似度计算单元包括：

特征坐标标记单元，用于基于预设的人脸关键特征列表，标记出所述人脸图像中关于各个人脸关键特征的特征坐标；

特征坐标序列生成单元，用于根据所述人脸关键特征列表内的所有人脸关键特征的特征坐标，构建所述人脸图像的特征坐标序列；

特征距离值计算单元，用于计算任意两个所述视频图像帧的所述人脸图像的特征坐标序列之间的特征距离值；

间隔图像帧数识别单元，用于识别任意两个所述视频图像帧之间的间隔图像帧数；

相似度转换单元，用于将所述特征距离值以及所述间隔图像帧数导入预设的相似度计算模型，得到两个所述视频图像帧内的所述人脸图像之间的相似度；所述相似度计算模型具体为：

其中，similarity为所述相似度；actframe为所述间隔图像帧数；figdist为所述特征距离值；basedist为基准距离值；baseframe为所述视频文件的拍摄帧率；standarddist为预设调整系数。

可选地，所述人脸图像库建立单元95包括：

基准表情识别单元，用于确定所述人脸图像的表情类型，并识别所述表情类型为基准表情；

衍生图像输出单元，用于根据表情转换算法以及所述基准表情，输出所述人脸图像的衍生图像；所述衍生图像的表情类型与所述人脸图像的表情类型不同；

第二人脸图像库建立单元，用于根据所述人脸图像以及所述衍生图像，生成所述人脸图像库。

可选地，所述人脸图像识别单元94包括：

图像矩阵生成单元，用于基于视频图像帧中的rgb通道对应的图像数据，生成所述视频图像帧的图像矩阵；

标准矩阵生成单元，用于根据所述图像矩阵的矩阵尺寸，配置所述视频图像帧对应的卷积核，并通过所述卷积核对所述图像矩阵进行卷积操作，得到标准矩阵；

标准矩阵导入单元，用于将所述标准矩阵导入所述人脸识别插件的人脸识别算法，输出所述人脸图像。

可选地，所述视频播放应用启动单元92包括：

安装地址获取单元，用于根据预设的播放插件寻址表，查询所述插件标识对应的所述视频播放插件的安装地址；

视频播放插件加载单元，用于从所述安装地址获取所述视频播放插件的插件文件，通过所述视频播放应用运行所述插件文件，以将所述视频播放插件加载至所述视频播放应用。

因此，本发明实施例提供的人脸图像的识别设备同样可以无需用户手动截取视频图像帧，并交由其他应用进行人脸图像识别，而是可以通过在视频播放应用中加载人脸识别插件，在播放视频文件的同时，自动识别每个视频图像帧所包含的人脸图像，提高了人脸图像的识别效率，减少了用户的操作。另一方面，由于人脸图像的识别过程与视频文件的播放是同步进行的，用户无需在视频文件观看后，再执行人脸图像识别，从而减少了人脸识别操作的耗时。

图10是本发明另一实施例提供的一种终端设备的示意图。如图10所示，该实施例的终端设备10包括：处理器100、存储器101以及存储在所述存储器101中并可在所述处理器100上运行的计算机程序102，例如人脸图像的识别程序。所述处理器100执行所述计算机程序102时实现上述各个人脸图像的识别方法实施例中的步骤，例如图1所示的s101至s105。或者，所述处理器100执行所述计算机程序102时实现上述各装置实施例中各单元的功能，例如图8所示模块91至95功能。

示例性的，所述计算机程序102可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器101中，并由所述处理器100执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序102在所述终端设备10中的执行过程。例如，所述计算机程序102可以被分割成视频播放指令接收单元、视频播放应用启动单元、视频图像帧提取单元、人脸图像识别单元以及人脸图像库建立单元，各单元具体功能如上所述。

所述终端设备10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器100、存储器101。本领域技术人员可以理解，图10仅仅是终端设备10的示例，并不构成对终端设备10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器100可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器101可以是所述终端设备10的内部存储单元，例如终端设备10的硬盘或内存。所述存储器101也可以是所述终端设备10的外部存储设备，例如所述终端设备10上配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。进一步地，所述存储器101还可以既包括所述终端设备10的内部存储单元也包括外部存储设备。所述存储器101用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。