人脸最优帧选取方法、装置及电子设备与流程

1.本发明涉及图像识别技术领域，尤其涉及一种人脸最优帧选取方法、装置及电子设备。


背景技术：

2.为保障公共安全，小区门口、商场门口、人行道路等地方都安装了人脸摄像头来获取行人的人脸信息，这种信息通常是以视频的形式进行存储，需要耗费极大的存储空间，且不易于查找所需的人脸信息。


技术实现要素：

3.本发明的目的在于提供一种人脸最优帧选取方法，能够自动识别选取同一个监控画面下的人脸最优帧，进而通过存储人脸最优帧减少存储量，提升人脸查找效率。
4.为实现上述目的，本发明首先提供一种人脸最优帧选取方法，包括如下步骤：步骤s1、获取训练图片集，标注训练图片集中的各训练图片中人脸的关键点位置及属性，用标注好的训练图片集训练人脸检测模型；步骤s2、接收视频流，从所述视频流中提取待检测图像输入训练好的人脸检测模型，得到待检测图像中各个人脸的第一信息，所述第一信息包括人脸的检测框边界、人脸的关键点位置、人脸的属性以及人脸的检测置信度；步骤s3、根据每一人脸的第一信息和预设的信息转换算法得到该人脸的第二信息，所述第二信息包括：人脸的欧拉角、人脸的遮挡程度值及人脸的模糊程度值；步骤s4、通过人脸跟踪模型对检测到的人脸进行跟踪，确定每一人脸的id，并根据每一帧画面中各个id的人脸的第二信息、人脸检测置信度及预设的质量分数算法确定该帧画面中每一id的人脸的质量分数；步骤s5、对于同一id的人脸，定义其在当前帧画面中计算得到的质量分数为第一质量分数，其在当前帧之前确定的最优帧中计算得到的质量分数为第二质量分数，比较第一质量分数与第二质量分数，若第一质量分数大于或等于第二质量分数，则将最优帧替换为当前帧，否则保持最优帧不变；步骤s6、当人脸跟踪模型跟丢一id的人脸的时长超过预设的时长阈值时，输出最优帧的人脸图像。
5.可选地，所述步骤s3中预设的信息转换算法包括：根据第一信息中的人脸的属性的不同选择不同的人脸遮挡程度值计算公式，所述第一信息中的人脸的属性至少包括：人脸的口罩遮挡状态以及肤色区域；根据确定的人脸遮挡程度值计算公式、人脸的检测框边界以及人脸的关键点位置计算得到人脸的遮挡程度值；可选地，根据第一信息中的人脸的属性的不同选择不同的人脸遮挡程度值计算公式具体包括：
当人脸的口罩遮挡区域为有口罩且同时遮挡住鼻和嘴时，确定人脸遮挡程度值计算公式为第一公式；当人脸的口罩遮挡区域为有口罩且遮住嘴且暴露出鼻时，确定人脸遮挡程度值计算公式为第二公式；当人脸的口罩遮挡区域为有口罩且暴露出嘴且暴露出鼻时，确定人脸遮挡程度值计算公式为第三公式；当人脸的口罩遮挡区域为无口罩时，确定人脸遮挡程度值计算公式为第四公式。
6.可选地，第一公式为：；第二公式为：；第三公式为：；第四公式为：；其中，occupy为人脸的遮挡程度值，area_skin为肤色区域的面积，area_face为人脸面积，x1和y1为人脸的检测框的左上角的横坐标和纵坐标，x2和y2为人脸的检测框的右下角的横坐标和纵坐标，y
le
、y
re 、yn、y
lm
及y
rm
分别为人脸左眼位置的纵坐标、右眼位置的纵坐标、鼻尖位置的纵坐标、左嘴角位置的纵坐标及右嘴角位置的纵坐标。
7.可选地， 所述步骤s3中预设的信息转换算法包括：根据第一信息中的人脸的关键点位置对应计算得第二信息中的人脸的欧拉角；提取检测框边界内的人脸图像；通过cv2.laplacian算法对检测框边界内的人脸图像进行模糊检测，得到该人脸的模糊程度值；可选地，所述步骤s4中预设的质量分数算法为：；其中，score为该帧画面中一id的人脸的质量分数，conf为该帧画面中该id的人脸的检测置信度，size为该帧画面中该id的人脸的检测框尺寸，pitch、yaw和roll为该帧画面中该id的人脸的欧拉角，occupy为该帧画面中该id的人脸的遮挡程度值，blur为该帧画面中该id的人脸的模糊程度值，a1、a2、a3、a4、a5、a6、a7为比例常数，所述a1、a2、a3、a4、a5、a6、a7的数值通过多元梯度下降法确定。
8.可选地，所述人脸训练模型为加入属性识别头和属性识别函数的retinaface网络模型，以使得经过训练后的人脸训练模型能够同时检测人脸的检测框边界、人脸的关键点
位置、人脸的属性以及人脸的检测置信度；所述人脸跟踪模型是将特征提取网络从resnet18网络改进为mobilefacenet网络的deep-sort网络模型。
9.本发明还提供一种人脸最优帧选取装置， 包括：训练单元，用于获取训练图片集，标注训练图片集中的各训练图片中人脸的关键点位置及属性，用标注好的训练图片集训练人脸检测模型；检测单元，用于接收视频流，从所述视频流中提取待检测图像输入训练好的人脸检测模型，得到待检测图像中各个人脸的第一信息，所述第一信息包括人脸的检测框边界、人脸的关键点位置、人脸的属性以及人脸的检测置信度；计算单元，用于根据每一人脸的第一信息和预设的信息转换算法得到该人脸的第二信息，所述第二信息包括：人脸的欧拉角、人脸的遮挡程度值及人脸的模糊程度值；跟踪单元，用于通过人脸跟踪模型对检测到的人脸进行跟踪，确定每一人脸的id，并根据每一帧画面中各个id的人脸的第二信息、人脸检测置信度及预设的质量分数算法确定该帧画面中每一id的人脸的质量分数；比较单元，用于对于同一id的人脸，定义其在当前帧画面中计算得到的质量分数为第一质量分数，其在当前帧之前确定的最优帧中计算得到的质量分数为第二质量分数，比较第一质量分数与第二质量分数，若第一质量分数大于或等于第二质量分数，则将最优帧替换为当前帧，否则保持最优帧不变；输出单元，用于当人脸跟踪模型跟丢一id的人脸的时长超过预设的时长阈值时，输出最优帧的人脸图像。
10.本发明还提供一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
11.本发明的有益效果：本发明提供一种人脸最优帧选取方法、装置及电子设备。所述方法包括如下步骤：获取训练图片集，标注训练图片集中的各训练图片中人脸的关键点位置及属性，用标注好的训练图片集训练人脸检测模型；接收视频流，从所述视频流中提取待检测图像输入训练好的人脸检测模型，得到待检测图像中各个人脸的第一信息，所述第一信息包括人脸的检测框边界、人脸的关键点位置、人脸的属性以及人脸的检测置信度；根据每一人脸的第一信息和预设的信息转换算法得到该人脸的第二信息，所述第二信息包括：人脸的欧拉角、人脸的遮挡程度值及人脸的模糊程度值通过人脸跟踪模型对检测到的人脸进行跟踪，确定每一人脸的id，并根据每一帧画面中各个id的人脸的第二信息、人脸检测置信度及预设的质量分数算法确定该帧画面中每一id的人脸的质量分数；对于同一id的人脸，定义其在当前帧画面中计算得到的质量分数为第一质量分数，其在当前帧之前确定的最优帧中计算得到的质量分数为第二质量分数，比较第一质量分数与第二质量分数，若第一质量分数大于或等于第二质量分数，则将最优帧替换为当前帧，否则保持最优帧不变；当人脸跟踪模型跟丢一id的人脸的时长超过预设的时长阈值时，输出最优帧的人脸图像，能够自动识别选取同一个监控画面下的人脸最优帧，进而通过存储人脸最优帧减少存储量，提升人脸查找效率。
12.附图说明
13.为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。
14.附图中，图1为本发明的人脸最优帧选取方法的流程图；图2至图3为本发明的人脸最优帧选取方法的步骤s3的流程图；图4为本发明的人脸最优帧选取方法在人脸关键点位置示意图；图5至图8为本发明的人脸最优帧选取方法中人脸的不同遮挡区域示意图；图9为本发明的人脸最优帧选取装置的示意图；图10为本发明的电子装置的示意图。
15.具体实施方式
16.为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。
17.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
18.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
19.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
20.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
21.请参阅图1，本发明提供一种人脸最优帧选取方法，包括如下步骤：步骤s1、获取训练图片集，标注训练图片集中的各训练图片中人脸的关键点位置及属性，用标注好的训练图片集训练人脸检测模型。
22.具体地，如图4所示，所述人脸的关键点位置包括五个位置，分别为左眼le、右眼re、鼻尖n、左嘴角lm及右嘴角rm。
23.具体地，所述人脸的属性主要包括人脸的口罩遮挡状态以及肤色区域，此外， 其中，人脸的口罩遮挡状态具体包括：人脸是否被口罩遮挡以及当人脸被口罩遮挡时，口罩遮挡人脸的哪些区域，所述肤色区域具体是指训练图片中颜色与人体肤色相同或接近的区域
的位置及大小。
24.当然，根据需要在本发明的一些实施例中所述人脸的属性还可以进一步包括人脸的性别、胡子、帽子及眼镜的属性。
25.进一步地，所述人脸训练模型为改进的retinaface网络模型，具体改进为加入属性识别头和属性识别函数，使其经过训练后的人脸训练模型能够同时检测人脸的检测框边界、关键点位置、属性并输出检测置信度，以便于后续根据关键点位置计算最优帧的质量分数，使得最优帧的质量分数可同时参考人脸检测置信度、人脸尺寸、人脸欧拉角、人脸遮挡程度、人脸模糊度等因素来确定，质量分数的确定更为全面，最优帧更为准确。
26.步骤s2、接收视频流，从所述视频流中提取待检测图像输入训练好的人脸检测模型，得到待检测图像中各个人脸的第一信息，所述第一信息包括人脸的检测框边界、人脸的关键点位置、人脸的属性以及人脸的检测置信度。
27.步骤s3、根据每一人脸的第一信息和预设的信息转换算法得到该人脸的第二信息，所述第二信息包括：人脸的欧拉角、人脸的遮挡程度值及人脸的模糊程度值。
28.具体地，所述步骤s3中预设的信息转换算法包括：根据第一信息中的人脸的关键点位置对应计算得第二信息中的人脸的欧拉角，详细来说，即是用该人脸5个关键点位置计算pitch、yaw和roll三个角度。
29.具体地，所述步骤s3中预设的信息转换算法包括：如图2所示，根据第一信息中的人脸的属性的不同选择不同的人脸遮挡程度值计算公式；根据确定的人脸遮挡程度值计算公式、人脸的检测框边界以及人脸的关键点位置计算得到人脸的遮挡程度值。
30.具体地，所述第一信息中的人脸的属性包括：人脸的口罩遮挡状态以及肤色区域；根据第一信息中的人脸的属性的不同选择不同的人脸遮挡程度值计算公式具体包括：如图5所示，当人脸的口罩遮挡区域为有口罩且同时遮挡住鼻和嘴时，确定人脸遮挡程度值计算公式为第一公式；如图6所示，当人脸的口罩遮挡区域为有口罩且遮住嘴且暴露出鼻时，确定人脸遮挡程度值计算公式为第二公式；如图7所示，当人脸的口罩遮挡区域为有口罩且暴露出嘴且暴露出鼻时，确定人脸遮挡程度值计算公式为第三公式；如图8所示，当人脸的口罩遮挡区域为无口罩时，确定人脸遮挡程度值计算公式为第四公式。
31.进一步地，第一公式为：；第二公式为：；
第三公式为：；第四公式为：；其中，occupy为人脸的遮挡程度值，area_skin为肤色区域的面积，area_face为人脸面积，x1和y1为人脸的检测框的左上角的横坐标和纵坐标，x2和y2为人脸的检测框的右下角的横坐标和纵坐标，y
le
、y
re 、yn、y
lm
及y
rm
分别为人脸左眼位置的纵坐标、右眼位置的纵坐标、鼻尖位置的纵坐标、左嘴角位置的纵坐标及右嘴角位置的纵坐标。
32.此外，值得一提的是，在本发明的一些实施例中，确定人脸遮挡程度值还考虑人脸被其他人脸遮挡时，肤色提取会有错误，因此再加入人脸和其他人脸的iou计算，而一般情况为该人脸被站在该人脸前面的人脸遮挡，因此只用计算该人脸和站在该人脸前面的人脸的iou即可，并在上述第一至第四公式的area_face部分扣除该人脸被站在该人脸前面的人脸遮挡的部分面积。
33.具体地，如图3所示，所述步骤s3中预设的信息转换算法包括：提取检测框边界内的人脸图像；通过cv2.laplacian算法对检测框边界内的人脸图像进行模糊检测，得到该人脸的模糊程度值。
34.步骤s4、通过人脸跟踪模型对检测到的人脸进行跟踪，确定每一人脸的id，并根据每一帧画面中各个id的人脸的第二信息、人脸检测置信度及预设的质量分数算法确定该帧画面中每一id的人脸的质量分数。
35.具体地，所述人脸跟踪模型改进的deep-sort网络模型，具体改进是将其默认的特征提取模型resnet18改为mobilefacenet，用型改进的deep-sort网络模型进行人脸跟踪，获取人脸的id。
36.步骤s5、对于同一id的人脸，定义其在当前帧画面中计算得到的质量分数为第一质量分数，其在当前帧之前确定的最优帧中计算得到的质量分数为第二质量分数，比较第一质量分数与第二质量分数，若第一质量分数大于或等于第二质量分数，则将最优帧替换为当前帧，否则保持最优帧不变。
37.具体地，所述步骤s4中预设的质量分数算法为：；其中，score为该帧画面中一id的人脸的质量分数，conf为该帧画面中该id的人脸的检测置信度，size为该帧画面中该id的人脸的检测框尺寸，pitch、yaw和roll为该帧画面中该id的人脸的欧拉角，occupy为该帧画面中该id的人脸的遮挡程度值，blur为该帧画面中该id的人脸的模糊程度值，a1、a2、a3、a4、a5、a6、a7为比例常数。
38.其中，其中a1、a2、a3、a4、a5、a6、a7的计算为一个多变量线性回归问题，可通过多元梯度下降法解出，具体步骤为：首先，准备n组不同id的人脸数据，其中每组数据即每个id有m张不同大小、角度、
遮挡程度、模糊程度的图片；然后，提前计算好每组数据的值，按如下表统计：idconfsizepitchyawrolloccupyblurscore1_10.7503450.30.50.6...
ꢀꢀꢀꢀꢀꢀꢀꢀ
1_m0.8606780.60.70.5...
ꢀꢀꢀꢀꢀꢀꢀꢀ
n_10.8606780.60.70.5...
ꢀꢀꢀꢀꢀꢀꢀꢀ
n_m0.8606780.60.70.5接着，用多元梯度下降法计算每组的a
i1
、a
i2
、a
i3
、a
i4
、a
i5
、a
i6
、a
i7
参数，其中i=1,2,
…
,n，然后将n组的参数求平均，得到最后的参数，即其中i=1,2,
…
,n表示n组，j=1,2,
…
,7表示参数编号。
39.进而，最终完成人脸的质量分数的计算。
40.步骤s6、当人脸跟踪模型跟丢一id的人脸的时长超过预设的时长阈值时，输出最优帧的人脸图像。
41.实际应用时，对步骤s5及步骤s6来说，对同一个id的人脸，定义其在当前帧画面中图像为current_img，当前帧画面之前确定的最优帧中的图像为best_img，当前帧画面中图像current_img的图像质量分数为current_score，当前帧画面之前确定的最优帧中的图像为best_img的图像质量分数为best_score，若current_score》best_score，则更新该id的人脸最优帧和相应的人脸质量分数，即令best_img=current_img且best_score=current_score，直到该id的人脸离开监控画面，保存并输出其最优帧best_img，从而本发明的能够自动识别选取同一个监控画面下的人脸最优帧，且速度快、人脸最优帧质量高，质量分数计算考虑了人脸检测置信度、人脸尺寸、人脸欧拉角、人脸遮挡程度、人脸模糊度等因素，更为全面，且计算人脸遮挡程度时，考虑了人脸口罩属性、肤色区域、关键点等信息，更为准确。
42.请参阅图9，本发明还提供一种人脸最优帧选取装置， 包括：训练单元10，用于获取训练图片集，标注训练图片集中的各训练图片中人脸的关键点位置及属性，用标注好的训练图片集训练人脸检测模型；检测单元20，用于接收视频流，从所述视频流中提取待检测图像输入训练好的人脸检测模型，得到待检测图像中各个人脸的第一信息，所述第一信息包括人脸的检测框边界、人脸的关键点位置、人脸的属性以及人脸的检测置信度；计算单元30，用于根据每一人脸的第一信息和预设的信息转换算法得到该人脸的第二信息，所述第二信息包括：人脸的欧拉角、人脸的遮挡程度值及人脸的模糊程度值；跟踪单元40，用于通过人脸跟踪模型对检测到的人脸进行跟踪，确定每一人脸的id，并根据每一帧画面中各个id的人脸的第二信息、人脸检测置信度及预设的质量分数算法确定该帧画面中每一id的人脸的质量分数；
比较单元50，用于对于同一id的人脸，定义其在当前帧画面中计算得到的质量分数为第一质量分数，其在当前帧之前确定的最优帧中计算得到的质量分数为第二质量分数，比较第一质量分数与第二质量分数，若第一质量分数大于或等于第二质量分数，则将最优帧替换为当前帧，否则保持最优帧不变；输出单元60，用于当人脸跟踪模型跟丢一id的人脸的时长超过预设的时长阈值时，输出最优帧的人脸图像。
43.请参阅图10，本发明还提供一种电子设备，包括：存储器100和处理器200，所述存储器100存储有计算机程序，所述计算机程序被所述处理器200执行时，使得所述处理器200执行上述方法的步骤。
44.综上所述，本发明提供一种人脸最优帧选取方法、装置及电子设备。所述方法包括如下步骤：获取训练图片集，标注训练图片集中的各训练图片中人脸的关键点位置及属性，用标注好的训练图片集训练人脸检测模型；接收视频流，从所述视频流中提取待检测图像输入训练好的人脸检测模型，得到待检测图像中各个人脸的第一信息，所述第一信息包括人脸的检测框边界、人脸的关键点位置、人脸的属性以及人脸的检测置信度；根据每一人脸的第一信息和预设的信息转换算法得到该人脸的第二信息，所述第二信息包括：人脸的欧拉角、人脸的遮挡程度值及人脸的模糊程度值通过人脸跟踪模型对检测到的人脸进行跟踪，确定每一人脸的id，并根据每一帧画面中各个id的人脸的第二信息、人脸检测置信度及预设的质量分数算法确定该帧画面中每一id的人脸的质量分数；对于同一id的人脸，定义其在当前帧画面中计算得到的质量分数为第一质量分数，其在当前帧之前确定的最优帧中计算得到的质量分数为第二质量分数，比较第一质量分数与第二质量分数，若第一质量分数大于或等于第二质量分数，则将最优帧替换为当前帧，否则保持最优帧不变；当人脸跟踪模型跟丢一id的人脸的时长超过预设的时长阈值时，输出最优帧的人脸图像，能够自动识别选取同一个监控画面下的人脸最优帧，进而通过存储人脸最优帧减少存储量，提升人脸查找效率。
45.以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。