人脸检测方法及装置、电子设备和计算机可读存储介质与流程

文档序号:28974755发布日期:2022-02-19 18:24阅读:66来源:国知局
人脸检测方法及装置、电子设备和计算机可读存储介质与流程

1.本技术用于人工智能技术领域,提出一种人脸检测方法及装置、电子设备和计算机可读存储介质。


背景技术:

2.在人脸检测过程中,一般对待检测图像直接执行人脸检测算法,得到可识别到的每张人脸的人脸框位置信息。
3.然而,在实际应用中,待检测图像常常包括有距离拍摄位置较远的、相对模糊的人脸,这样的人脸在待检测图像所占的像素非常少,现有的人脸检测算法很难将其识别。
4.因此,如何避免在人脸检测中漏检难识别的人脸,以提升人脸检测的准确性,成为目前亟待解决的技术问题。


技术实现要素:

5.为了解决上述技术问题,提出了本技术。本技术的实施例提供了一种人脸检测方法及装置、电子设备和计算机可读存储介质,以解决相关技术中难识别的人脸在人脸检测中易被漏检的技术问题。
6.根据本技术的第一方面,提供了一种人脸检测方法,包括:
7.对待检测图像进行人体检测,得到至少一个人体区域;
8.对每个所述人体区域进行人脸检测,得到至少一个第一人脸区域,获取所述第一人脸区域组成第一人脸集合;
9.对所述待检测图像进行人脸检测,得到至少一个第二人脸区域,获取所述第二人脸区域组成第二人脸集合;
10.基于所述第一人脸集合和所述第二人脸集合,确定人脸检测结果。
11.在一可实施例中,所述对所述待检测图像进行人体检测,得到至少一个人体区域,包括:
12.通过第一检测模型对所述待检测图像进行人体检测,得到所述待检测图像的至少一个人体区域。
13.在一可实施例中,所述对每个所述人体区域进行人脸检测,得到至少一个第一人脸区域,包括:
14.通过第二检测模型对每个所述人体区域进行人脸检测,得到每个所述人体区域的候选第一人脸区域;
15.获取每个所述候选第一人脸区域的人脸置信度,得到至少一个候选第一人脸置信度;
16.给定第一阈值,筛选大于所述第一阈值的所述候选第一人脸置信度对应的所述第一人脸区域,从所述候选第一人脸区域中得到至少一个第一人脸区域。
17.在一可实施例中,所述对待检测图像进行人脸检测,得到至少一个第二人脸区域,
包括:
18.通过第三检测模型对所述待检测图像进行人脸检测,得到所述待检测图像的至少一个候选第二人脸区域;
19.获取每个所述候选第二人脸区域的人脸置信度,得到至少一个候选第二人脸置信度;
20.给定第二阈值,筛选大于所述第二阈值的所述候选第二人脸置信度对应的所述第二人脸区域,从所述候选第二人脸区域中得到至少一个第二人脸区域。
21.在一可实施例中,所述第一阈值小于所述第二阈值。
22.在一可实施例中,所述对每个所述人体区域进行人脸检测包括:
23.获取每个所述人体区域的指定区域,对每个所述人体区域的所述指定区域进行人脸检测。
24.在一可实施例中,所述基于所述第一人脸集合和所述第二人脸集合,确定人脸检测结果包括:
25.计算每个所述第一人脸区域与每个所述第二人脸区域的交并比;
26.获取所述交并比,给定第三阈值,判定大于所述第三阈值所对应的第一人脸区域和第二人脸区域为相同人脸集合区域;
27.基于所述相同人脸区域,获取所述第一人脸集合和所述第二人脸集合的并集,确定人脸检测结果。
28.根据本技术的第二方面,提供了一种人脸检测装置,包括:
29.人体检测模块,用于对待检测图像进行人体检测,得到至少一个人体区域;
30.第一人脸检测模块,用于对每个所述人体区域进行人脸检测,得到至少一个第一人脸区域,获取所述第一人脸区域组成第一人脸集合;
31.第二人脸检测模块,用于对所述待检测图像进行人脸检测,得到至少一个第二人脸区域,获取所述第二人脸区域组成第二人脸集合;
32.人脸检测结果生成模块,用于基于所述第一人脸集合和所述第二人脸集合,确定人脸检测结果。
33.根据本技术的第三方面,提供了一种终端,包括:处理器;
34.用于存储所述处理器可执行指令的存储器;
35.所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述第一方面中任一项所述的方法。
36.根据本技术的第四方面,提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序用于执行上述第一方面中任一项所述的方法流程。
37.本发明通过以上技术方案,将两种检测路径得到的结果相结合,相较于现有技术,可避免漏检难识别的人脸图像,提升了人脸图像检测的准确性。
附图说明
38.通过结合附图对本技术实施例进行更详细的描述,本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解,并且构成说明书的一部分,与本技术实施例一起用于解释本技术,并不构成对本技术的限制。在附图中,
相同的参考标号通常代表相同部件或步骤。
39.图1是本技术一示例性实施例提供的人脸检测方法的流程示意图。
40.图2是本技术一示例性实施例提供的人脸检测方法的部分场景示意图。
41.图3是本技术一示例性实施例提供的人脸检测方法的部分场景示意图。
42.图4是本技术一示例性实施例提供的人脸检测方法的部分场景示意图。
43.图5是本技术另一示例性实施例提供的人脸检测方法的流程示意图。
44.图6是本技术一示例性实施例提供的人脸检测方法的部分场景示意图。
45.图7是本技术另一示例性实施例提供的人脸检测方法的流程示意图。
46.图8是本技术一示例性实施例提供的人脸检测装置的框图。
47.图9是本技术另一示例性实施例提供的人脸检测装置的框图。
48.图10是本技术另一示例性实施例提供的人脸检测结果生成模块510内部单元的框图。
49.图11是本技术另一示例性实施例提供的人脸检测装置的框图。
50.图12是本技术另一示例性实施例提供的人脸检测结果生成模块610内部单元的框图。
51.图13是本技术一示例性实施例提供的电子设备的结构图。
具体实施方式
52.下面,将参考附图详细地描述根据本技术的示例实施例。显然,所描述的实施例仅仅是本技术的一部分实施例,而不是本技术的全部实施例,应理解,本技术不受这里描述的示例实施例的限制。
53.申请概述
54.在相关技术中受到拍摄距离、拍摄设备能力等因素的限制,常常在拍摄图像中出现距离拍摄位置较远的、相对模糊的人脸,而遇到通过人脸检测算法识别图像中人脸的情况时,这样的人脸由于在图像所占的像素非常少,很难被现有的人脸检测算法所识别,这就造成人脸检测的使用局限性。
55.由于对同一图像的同一人来说,人体面积远大于人脸面积,人体所占像素远多于人脸所占像素,因此,人体相对于人脸具有更高的可识别性。基于此,本技术实施例基于上述原理提出,在人脸检测的基础上增加了人体检测,借助人体检测识别人脸检测所难识别的拍摄位置较远的、相对模糊的人脸所在人体,再对该人体进行人脸检测,避免单纯的人脸检测对难识别的人脸漏检,从而解决相关技术中难识别的人脸在人脸检测中易被漏检的技术问题。
56.示例性方法
57.图1是本技术一示例性实施例提供的人脸检测方法的流程示意图。
58.如图1所示,该方法包括:
59.步骤102,对待检测图像进行人体检测,得到至少一个人体区域。
60.待检测图像为需要检测是否含有人脸的图像。
61.距离拍摄位置较远的、相对模糊的人脸由于在待检测图像所占的像素非常少,很难被现有的人脸检测算法所识别,这就造成人脸检测的使用局限性。由于对同一图像的同
一人来说,人体面积远大于人脸面积,人体所占像素远多于人脸所占像素,故人体相对于人脸具有更高的可识别性。因此,为了避免漏检难识别的人脸,在初次检测时,可先进行人体检测,先识别所占像素更多、更易被识别的人脸所在人体。
62.因此,通过第一检测模型对待检测图像进行人体检测,进行人体区域的筛选,人体区域通过人体区域识别框1显现,如图2所示,待检测图像经过第一检测模型检测后,出现四个人体区域识别框1,每个人体区域识别框1对应一个人体区域。
63.这样,用检测人脸所在人体取代直接检测难检测的人脸,通过增加检测的像素面积来降低检测到难识别人脸的难度,最终得到的人体区域既包括人脸检测所能直接识别的人脸所在人体,也包括了难识别人脸所在人体,从而避免了对难识别人脸的漏检。
64.步骤104,对每个所述人体区域进行人脸检测,得到至少一个第一人脸区域,获取所述第一人脸区域组成第一人脸集合。
65.通过第二检测模型对每个人体区域进行人脸检测,得到每个人体区域的候选第一人脸区域,获取每个所述候选第一人脸区域的人脸置信度,得到至少一个候选第一人脸置信度。
66.在一种可能的设计中,第二检测模型为人脸检测模型,基于每个人体区域,在第二检测模型检测的过程中,通过模型检测产生多个候选第一人脸识别框,每个候选第一人脸识别框对应于一个候选第一人脸区域,每个候选第一人脸识别框均在模型检测的过程中计算并给出得分,该得分即为每个候选第一人脸区域对应的候选第一人脸置信度。
67.在一种可能的设计中,给定第一阈值,筛选大于第一阈值的候选第一人脸置信度对应的第一人脸区域,第一阈值为人体区域中检测目标为人脸的最低可信程度。也就是说,当候选第一人脸置信度达到人体区域中检测目标为人脸的最低可信程度时,识别为人脸,即从候选第一人脸区域中确定至少一个第一人脸区域。
68.例如,假设候选第一人脸区域有5个,候选第一人脸置信度分别为0.4,0.65,0.95,0.7,0.95,给定第一阈值为0.6时,筛选出的第一人脸区域所对应的人脸置信度分别为0.65,0.95,0.7,0.95。
69.应该理解的是,第一阈值是用于从候选第一人脸区域中筛选出第一人脸区域的标准,而候选第一人脸区域是从人体区域中获取的,因此,可预先使用包括人体图像的训练集进行人脸检测的训练,以得到第一阈值。
70.其中,训练集包括多张人体图像,每张人体图像上包括人脸或不包括人脸,通过第二检测模型对人体图像进行人脸检测,设定任意的数值作为初始的第一阈值,得到检测的结果,逐步调整设定的数值并进行检测,获取每次检测的结果,人为判断结果的正确性,当人脸区域和非人脸区域完全区别,即人体图像中的人脸区域不漏检、非人脸区域不多检,则认定该结果为正确结果,获取正确结果对应设定的数值,作为最终的第一阈值。
71.值得注意的是,可能出现多个第一阈值均对应正确结果的情况,可选取数值较小的作为第一阈值,在此不做具体限定。
72.根据第一阈值,从候选第一人脸区域中筛选第一人脸区域,在结果呈现时,小于第一阈值的候选第一人脸置信度所对应的候选第一人脸识别框隐去,大于第一阈值的候选第一人脸置信度所对应的第一人脸识别框2显现。
73.在一种可能的设计中,如图2所示,通过第二检测模型对人体区域进行人脸检测,
最终第一人脸区域通过第一人脸识别框2显现,每个第一人脸识别框2对应一个人脸区域。
74.步骤106,对所述待检测图像进行人脸检测,得到至少一个第二人脸区域,获取所述第二人脸区域组成第二人脸集合。
75.通过第三检测模型对待检测图像检测,进行人脸识别,将其中容易识别的人脸筛选出来,得到至少一个候选第二人脸区域。
76.在一种可能的设计中,如图3所示,通过第三检测模型对待检测图像进行检测,最终第二人脸区域通过第二人脸识别框3显现,每个第二人脸识别框3对应一个人脸区域。
77.第三检测模型的具体工作过程为:获取每个所述候选第二人脸区域的人脸置信度,得到至少一个候选第二人脸置信度;
78.给定第二阈值,筛选大于所述第二阈值的候选第二人脸置信度对应的第二人脸区域,从候选第二人脸区域中得到至少一个第二人脸区域;
79.通过这一步骤,可将人脸识别算法所能够直接识别的人脸筛选出来。
80.在一种可能的设计中,人脸置信度指的是待检测图像中检测目标为人脸的可信程度,第二阈值为检测目标为人脸的最低可信程度。也就是说,当候选第二人脸区域的人脸置信度达到待检测图像中检测目标为人脸的最低可信程度时,将其识别为人脸。
81.在一种可能的设计中,第三检测模型为人脸检测模型,基于待检测图像,在第三检测模型检测的过程中,通过模型检测产生多个候选第二人脸识别框,每个候选第二人脸识别框对应于一个候选第二人脸区域,每个候选第二人脸识别框均在模型检测的过程中计算并给出得分,该得分即为每个候选第二人脸区域对应的候选第二人脸置信度。
82.其中,第二阈值则为待检测图像中候选第二人脸区域被识别为人脸所需的最低标准。
83.应该理解的是,第二阈值是用于从候选第二人脸区域中筛选出第二人脸区域的标准,而候选第二人脸区域是从待检测图像中获取的,因此,可预先使用包括待检测图像的训练集进行人脸检测的训练,以得到第二阈值。
84.其中,训练集包括多张待检测图像,每张待检测图像上包括人脸或不包括人脸,通过第三检测模型对待检测图像进行人脸检测,设定任意的数值作为初始的第二阈值,得到检测的结果,逐步调整设定的数值并进行检测,获取每次检测的结果,人为判断结果的正确性,当人脸区域和非人脸区域完全区别,即待检测图像中的人脸区域不漏检、非人脸区域不多检,则认定该结果为正确结果,获取正确结果对应设定的数值,作为最终的第二阈值。
85.值得注意的是,可能出现多个第二阈值均对应正确结果的情况,可选取数值较小的作为第二阈值,在此不做具体限定。
86.根据第二阈值,从候选第二人脸区域中筛选第二人脸区域,在结果呈现时,小于第二阈值的候选第二人脸置信度所对应的候选第二人脸识别框隐去,大于第二阈值的候选第二人脸置信度所对应的第二人脸识别框3显现。
87.在一种可能的设计中,第一阈值小于第二阈值。相较于通过第二检测模型对人体区域进行的人脸检测,人脸像素的占比大于在待检测图像上的占比,故对人体区域通过第二检测模型进行人脸检测的检测标准也相应低于在待检测图像上直接进行第三检测模型进行人脸检测的检测标准。
88.此外,通过第三检测模型对待检测图像上直接进行检测时,难识别的人脸所占据
的像素少于可识别的人脸所占据的像素。
89.因此在同一维度下,难识别的人脸模糊程度高于可识别的人脸,基于上述两个理由,在人体区域上进行人脸检测,相较于在待检测图像上直接进行人脸检测,第二阈值的设置应该高于第一阈值。反之,若设置其作为人脸置信度检测标准的第二阈值小于或等于第一阈值,仍有可能漏过难识别的人脸。
90.举个例子,由于第一阈值的使用场景为,从人体区域中检测人脸,第二阈值的使用场景为,从待检测图像中检测人脸,根据上述内容可知,第二阈值的设置应高于第一阈值。如第一阈值设置为0.6或0.85均可,第二阈值设置为0.85或0.95均可,可选择第一阈值为0.6,而第二阈值为0.95。需要理解的是,无论是第一阈值还是第二阈值,均通过先前经验训练得到,只要能够达到上述提到的区分即可,具体数值应根据实际训练和应用情况进行调整,此处不做限定。
91.在一种可能的设计中,通过第三模型对待检测图像进行人脸检测,与对每个人体区域进行人脸检测,可采用相同的检测模型,例如采用相同的人脸检测模型,区别仅在于两次检测对人脸置信度的筛选条件不同,即阈值设定不同。
92.在另一种可能的设计中,通过第三模型对待检测图像进行人脸检测,与对每个人体区域进行人脸检测,采用不同的检测模型。由于对每个人体区域进行人脸检测,所需的检测精度低于对待检测图像进行人脸检测所需的检测精度,故为降低系统负担,可采用体量更简化的检测模型对人体区域进行人脸检测。
93.步骤108,基于所述第一人脸集合和所述第二人脸集合,确定人脸检测结果。
94.第一人脸集合包括待检测图像里检测到的人体区域中的第一人脸区域,第二人脸集合包括待检测图像里检测到的第二人脸区域,基于第一人脸集合和第二人脸集合,确定人脸检测结果。
95.在一种可能的设计中,如图4所示,图4中显示了被第一人脸识别框2显现的四个第一人脸区域,被第二人脸识别框3显现的两个第二人脸区域,将第一人脸区域与第二人脸区域共同统计(即图中显示的识别框对应区域的总和),可得到待检测图像上的最终四个人脸。
96.通过以上技术方案,可避免漏检难识别的人脸区域,提升了在待检测图像上检测人脸的准确性。
97.图5是本技术另一示例性实施例提供的人脸检测方法的流程示意图。
98.如图5所示,该方法包括:
99.步骤202,对待检测图像进行人体检测,得到至少一个人体区域。
100.待检测图像为需要检测是否含有人脸的图像。
101.距离拍摄位置较远的、相对模糊的人脸由于在图像所占的像素非常少,很难被现有的人脸检测算法所识别,这就造成人脸检测的使用局限性。由于对同一图像的同一人来说,人体面积远大于人脸面积,人体所占像素远多于人脸所占像素,故人体相对于人脸具有更高的可识别性。因此,为了避免漏检难识别的人脸,在初次检测时,可先进行人体检测,先识别所占像素更多、更易被识别的人脸所在人体。
102.通过第一检测模型对待检测图像检测,进行人体区域的筛选。
103.这样,用检测人脸所在人体取代直接在待检测图像上检测难识别的人脸,通过增
加检测的像素面积来降低检测到难识别人脸的难度,最终得到的人体区域既包括人脸检测所能直接识别的人脸所在人体,也包括了难识别人脸所在人体,从而避免了对难识别人脸的漏检。
104.关于在待检测图像上获得人体区域的具体示例,可参照上述步骤102中的图2,在此不予赘述。
105.步骤204,获取每个所述人体区域的指定区域。
106.在获得人体区域后,在人体区域中选择用于进行人脸检测的位置,也就是在人体区域中截取人脸可能所在的区域。由于人体区域包括的人体形态多种多样,为方便检测,可设置截取人体区域上的指定区域作为统一人脸检测区域。
107.在一种可能的设计中,所述指定区域位于每个人体区域的上部,指定区域的面积与每个人体区域的面积的比值为预定比值。而人体的面部在人体站立形态下占人体的比重是具有常规规律的,故可设置将人体区域上部的预定比值的区域选取为指定区域,作为最可能的人脸区域。
108.其中,预定比值为指定区域的面积与所述每个人体区域的面积的比值,可根据实际需要进行设置。例如,获取多个场景下的不同人体图像,每个人体图像中均包括人脸,估算每个人脸区域的像素在对应的人体区域总像素上的占比,可获取最大的占比数值作为预定比值。再例如,估算四张人体图像上,人脸区域的像素在人体区域总像素上的占比分别为百分之十二,百分之十三,百分之二十,百分之十二,显然最大的占比为百分之二十,但为了更好的囊括,可设定指定区域在人体区域上的占比为百分之三十,具体的预定比值可根据实际情况灵活调整。
109.一般地,在人体站立形态下人体的面部位于人体的上部,则可设指定区域为人体区域的上部。
110.此外,若存在倒立人体区域,可设指定区域为人体区域的下部,或者上部与下部同时设定,若都不满足,则设定指定区域在人体区域上的占比为百分百,具体根据实际应用情况设定,在此不做具体限定。例如,如图6所示,图中的待检测图像上,或者说当需要进行人脸的图像均为这一类人体正立的图像时,在人体区域上选取位于上部的指定区域。
111.步骤206,对所述每个人体区域的所述指定区域进行人脸检测,得到至少一个第一人脸区域,获取所述第一人脸区域组成第一人脸集合。
112.在确定指定区域后,即可对指定区域进行人脸检测。
113.通过第二检测模型对每个人体区域的指定区域进行人脸检测,得到对应于每个指定区域的候选第一人脸区域,获取每个所述候选第一人脸区域的人脸置信度,得到至少一个候选第一人脸置信度。
114.关于候选第一人脸置信度的获取,可参照上述步骤104中的方式进行,在此不予赘述。
115.如图6所示,通过第二检测模型指定区域上进行检测,最终第一人脸区域通过第一人脸识别框2显现,每个第一人脸识别框2对应一个人脸区域。
116.在一种可能的设计中,给定第一阈值,筛选大于第一阈值的候选第一人脸置信度对应的第一人脸区域,第一阈值为人体区域中检测目标为人脸的最低可信程度。也就是说,当候选第一人脸置信度达到人体区域中检测目标为人脸的最低可信程度时,识别为人脸,
即从候选第一人脸区域中得到至少一个第一人脸区域。
117.关于第一阈值的给定,可参照上述步骤104中的方式进行,可根据实际需要更改训练集的具体图像内容,但原理相同,在此不予赘述。
118.步骤208,对所述待检测图像进行人脸检测,得到至少一个第二人脸区域,获取所述第二人脸区域组成第二人脸集合。
119.通过第三检测模型对待检测图像检测,进行人脸识别,将其中容易识别的人脸筛选出来,得到至少一个候选第二人脸区域。
120.关于在待检测图像上直接获得第二人脸区域的具体示例,可参照上述步骤106中的图3,在此不予赘述。
121.第三检测模型的具体工作过程为:获取每个候选第二人脸区域的人脸置信度,得到至少一个候选第二人脸置信度;
122.给定第二阈值,筛选大于第二阈值的候选第二人脸置信度对应的第二人脸区域,从所述候选第二人脸区域中得到至少一个第二人脸区域;
123.通过这一步骤,可将人脸识别算法所能够直接识别的人脸筛选出来。
124.在一种可能的设计中,人脸置信度指的是待检测图像中检测目标为人脸的可信程度,第二阈值为检测目标为人脸的最低可信程度。也就是说,当候选第二人脸区域的人脸置信度达到待检测图像中检测目标为人脸的最低可信程度时,将其识别为人脸。
125.关于候选第二人脸置信度的获取,可参照上述步骤106中的方式进行,在此不予赘述。
126.其中,第二阈值则为待检测图像中候选第二人脸区域被识别为人脸所需的最低标准。
127.关于第二阈值的给定,可参照上述步骤106中的方式进行,可根据实际需要更改训练集的具体图像内容,但原理相同,在此不予赘述。
128.在一种可能的设计中,第一阈值小于第二阈值。对于在人体区域上通过第二检测模型进行人脸检测,人脸像素的占比大于在待检测图像上的占比,故通过第二检测模型对人体区域进行人脸检测的检测标准也相应低于通过第三检测模型对待检测图像上直接进行人脸检测的检测标准。
129.此外,通过第三检测模型对待检测图像上直接进行检测时,难识别的人脸所占据的像素少于可识别的人脸所占据的像素。
130.因此在同一维度下,难识别的人脸模糊程度高于可识别的人脸,基于上述两个理由,在人体区域上进行人脸检测时,相较于在待检测图像上直接进行检测,第二阈值的设置应该高于第一阈值。反之,若设置其作为人脸置信度检测标准的第二阈值小于或等于第一阈值,仍有可能漏过难识别的人脸。
131.举个例子,由于第一阈值的使用场景为,从人体区域中检测人脸,第二阈值的使用场景为,从待检测图像中检测人脸,根据上述内容可知,第二阈值的设置应高于第一阈值。如第一阈值设置为0.6、0.7、0.8均可,第二阈值设置为0.75、0.85、0.95均可,可选择第一阈值为0.6,而第二阈值为0.85。需要理解的是,无论是第一阈值还是第二阈值,均通过先前经验训练得到,只要能够达到上述提到的区分即可,具体数值应根据实际训练和应用情况进行调整,此处不做限定。
132.在一种可能的设计中,通过第三检测模型对待检测图像进行人脸检测,与对每个人体区域进行人脸检测,可采用相同的检测模型,例如相同的人脸检测模型,区别仅在于两次检测对人脸置信度的筛选条件不同,即阈值设定不同。
133.在另一种可能的设计中,通过第三检测模型对待检测图像进行人脸检测,与对每个人体区域进行人脸检测,采用不同的检测模型。由于对每个人体区域进行人脸检测,所需的检测精度低于对待检测图像进行人脸检测所需的检测精度,故为降低系统负担,可采用体量更简化的检测模型对人体区域进行人脸检测。
134.步骤210,通过预定图像匹配算法将所述第一人脸集合和所述第二人脸集合进行匹配,得到所述人脸检测结果。
135.待检测图像中的人脸区域可能全部位于人体区域中,也可能只有部分位于人体区域中,例如,待检测图像中共有3个人脸区域,其中,两个人脸区域位于其各自对应的人体区域中,第三个人脸区域理应对应的人体区域被遮挡物覆盖,此种情况下,检测到的人体区域只有两个,因此第一人脸集合中的第一人脸也只有两个;而第二人脸集合中的第二人脸可能有一个或两个或三个。
136.因此,第一人脸集合的人脸区域在包括难检测的人脸区域的同时,可能包括部分或全部第二人脸集合中的第二人脸区域,也可能不包括第二人脸区域,即第一人脸集合与第二人脸集合可能有交集的存在。
137.故可通过预定图像匹配算法对第一人脸集合和第二人脸集合中的人脸区域进行匹配,筛选出对于第一人脸集合和所述第二人脸集合中的重复人脸。
138.具体匹配过程为:通过将每个第一人脸区域和每个第二人脸区域进行特征匹配,得到至少一个匹配结果;
139.根据匹配结果判断进行特征匹配的第一人脸区域和第二人脸区域是否为相同人脸区域,获取相同人脸区域,组成相同人脸集合;值得注意的是,当没有相同人脸区域时,相同人脸集合为空集。
140.计算第一人脸集合和第二人脸集合的并集,获取并集相对于相同人脸集合的差集,获取差集中的全部人脸区域得到人脸检测结果。
141.其中,通过将每个第一人脸区域和每个第二人脸区域进行特征匹配,得到至少一个匹配结果,包括将第一人脸集合中的每个第一人脸区域分别与第二人脸集合中的每个第二人脸区域进行特征匹配,此处的特征匹配方法为预定图像匹配算法,其核心为使用算法根据两者的特征进行比对,得到两者之间的一个相似度或者说匹配程度,相似度或者匹配程度可以用数值的方式来衡量,当相似度或者匹配程度足够高,则得到的匹配结果为匹配,当相似度或者匹配程度不够高,则得到的匹配结果为不匹配。
142.应该理解的是,相似度或者匹配程度的高与否,可以设定下限值来衡量,由于相似度或者匹配程度可以用数值的方式表示,则当该数值高于下限值时,两者匹配;当该数值低于下限值时,两者不匹配。
143.此外,匹配或不匹配,也可以用1或0来表示,总之,特征匹配的核心思想为提炼用于特征匹配的第一人脸区域和第二人脸区域的特征,对比两者之间的相似度或者匹配程度,以判断是否为相同的人脸,因此,能实现上述目的即可,具体方式此处不做限定。
144.预定图像匹配算法可以为平均绝对差算法、绝对误差和算法、误差平方和算法、平
均误差平方和算法、归一化积相关算法、和序贯相似性检测算法中的一个或组合,还可以包括任何符合实际图像匹配需求的其他算法。
145.图7是本技术另一示例性实施例提供的人脸检测方法的流程示意图。
146.如图7所示,该方法包括:
147.步骤302,对待检测图像进行人体检测,得到至少一个人体区域。
148.待检测图像为需要检测是否含有人脸的图像。
149.距离拍摄位置较远的、相对模糊的人脸由于在图像所占的像素非常少,很难被现有的人脸检测算法所识别,这就造成人脸检测的使用局限性。由于对同一图像的同一人来说,人体面积远大于人脸面积,人体所占像素远多于人脸所占像素,故人体相对于人脸具有更高的可识别性。因此,为了避免漏检难识别的人脸,在初次检测时,可先进行人体检测,先识别所占像素更多、更易被识别的人脸所在人体。
150.通过第一检测模型对待检测图像检测,进行人体区域的筛选。
151.这样,用检测人脸所在人体取代直接检测难检测的人脸,通过增加检测的像素面积来降低检测到难识别人脸的难度,最终得到的至少一个人体区域既包括人脸检测所能直接识别的人脸所在人体,也包括了难识别人脸所在人体,从而避免了对难识别人脸的漏检。
152.关于在待检测图像上获得人体区域的具体示例,可参照上述步骤102中的图2,在此不予赘述。
153.步骤304,获取每个所述人体区域的指定区域。
154.在获得人体区域后,在人体区域中选择用于进行人脸检测的位置,也就是在人体区域中截取人脸可能所在的区域。由于人体区域人体形态多种多样,为方便检测,可设置截取人体区域上的指定区域作为统一人脸检测区域。
155.在一种可能的设计中,所述指定区域位于每个人体区域的上部,指定区域的面积与每个人体区域的面积的比值为预定比值。而人体的面部在人体站立形态下占人体的比重是具有常规规律的,故可设置将人体区域上部的预定比值的区域选取为指定区域,作为最可能的人脸区域。
156.其中,预定比值为指定区域的面积与所述每个人体区域的面积的比值,可根据实际需要进行设置。例如,获取多个场景下的不同人体图像,每个人体图像中均包括人脸,估算每个人脸区域的像素在对应的人体区域总像素上的占比,可获取最大的占比数值作为预定比值。再例如,估算四张人体图像上,人脸区域的像素在人体区域总像素上的占比分别为百分之十二,百分之十三,百分之二十,百分之十二,显然最大的占比为百分之二十,但为了更好的囊括,可设定指定区域在人体区域上的占比为百分之三十,具体的预定比值可根据实际情况灵活调整。
157.一般地,人体的面部在人体站立形态下位于人体的上部,则可设指定区域为人体区域的上部。
158.此外,若存在倒立人体区域,可设指定区域为人体区域的下部,或者上部与下部同时设定,若都不满足,则设定指定区域在人体区域上的占比为百分百,具体根据实际应用情况设定,在此不做具体限定。
159.关于在人体区域上获得指定区域的具体示例,可参照上述步骤204中的图6,在此不予赘述。
160.步骤306,对所述每个人体区域的所述指定区域进行人脸检测,得到至少一个第一人脸区域,获取所述第一人脸区域组成第一人脸集合。
161.在确定指定区域后,即可对指定区域进行人脸检测。
162.通过第二检测模型对每个人体区域的指定区域进行人脸检测,得到对应于每个指定区域的候选第一人脸区域,获取每个所述候选第一人脸区域的人脸置信度,得到至少一个候选第一人脸置信度。
163.关于候选第一人脸置信度的获取,可参照上述步骤104中的方式进行,在此不予赘述。
164.关于在指定区域上获得第一人脸区域的具体示例,可参照上述步骤206中的图6,在此不予赘述。
165.在一种可能的设计中,给定第一阈值,筛选大于第一阈值的候选第一人脸置信度对应的第一人脸区域,第一阈值为人体区域中检测目标为人脸的最低可信程度。也就是说,当候选第一人脸置信度达到人体区域中检测目标为人脸的最低可信程度时,识别为人脸,即从候选第一人脸区域中得到至少一个第一人脸区域。关于第一阈值的给定,可参照上述步骤104中的方式进行,可根据实际需要更改训练集的具体图像内容,但原理相同,在此不予赘述。
166.步骤308,对所述待检测图像进行人脸检测,得到至少一个第二人脸区域,获取所述第二人脸区域组成第二人脸集合。
167.通过第三检测模型对待检测图像检测,进行人脸识别,将其中容易识别的人脸筛选出来,得到至少一个候选第二人脸区域。
168.关于在待检测图像上直接获得第二人脸区域的具体示例,可参照上述步骤106中的图3,在此不予赘述。
169.第三检测模型的具体工作过程为:获取每个候选第二人脸区域的人脸置信度,得到至少一个候选第二人脸置信度;
170.给定第二阈值,筛选大于第二阈值的候选第二人脸置信度对应的第二人脸区域,从所述候选第二人脸区域中得到至少一个第二人脸区域;
171.通过这一步骤,可将人脸识别算法所能够直接识别的人脸筛选出来。
172.在一种可能的设计中,人脸置信度指的是待检测图像中检测目标为人脸的可信程度,第二阈值为检测目标为人脸的最低可信程度。也就是说,当候选第二人脸区域的人脸置信度达到待检测图像中检测目标为人脸的最低可信程度时,将其识别为人脸。
173.关于候选第二人脸置信度的获取,可参照上述步骤106中的方式进行,在此不予赘述。
174.其中,第二阈值则为待检测图像中候选第二人脸区域被识别为人脸所需的最低标准。
175.关于第二阈值的给定,可参照上述步骤106中的方式进行,可根据实际需要更改训练集的具体图像内容,但原理相同,在此不予赘述。
176.在一种可能的设计中,第一阈值小于第二阈值。对于在人体区域上通过第二检测模型进行人脸检测,人脸像素的占比大于在待检测图像上的占比,故通过第二检测模型对人体区域进行人脸检测的检测标准也相应低于通过第三检测模型对待检测图像上直接进
行人脸检测的检测标准。
177.此外,通过第三检测模型对待检测图像上直接进行检测时难识别的人脸,其占据像素少于通过第三检测模型对待检测图像上直接进行检测时可识别的人脸。
178.因此在同一维度下,难识别的人脸模糊程度高于可识别的人脸,基于上述两个理由,在人体区域上进行人脸检测时,相较于在待检测图像上直接进行检测,第二阈值的设置应该高于第一阈值。反之,若设置其作为人脸置信度检测标准的第二阈值小于或等于第一阈值,仍有可能漏过难识别的人脸。
179.举个例子,由于第一阈值的使用场景为,从人体区域中检测人脸,第二阈值的使用场景为,从待检测图像中检测人脸,根据上述内容可知,第二阈值的设置应高于第一阈值。如第一阈值设置为0.7、0.75均可,第二阈值设置为0.85、0.95均可,可选择第一阈值为0.7,而第二阈值为0.95。需要理解的是,无论是第一阈值还是第二阈值,均通过先前经验训练得到,只要能够达到上述提到的区分即可,具体数值应根据实际训练和应用情况进行调整,此处不做限定。
180.在一种可能的设计中,通过第三检测模型对待检测图像进行人脸检测,与对每个人体区域进行人脸检测,可采用相同的检测模型,例如相同的人脸检测模型,区别仅在于两次检测对人脸置信度的筛选条件不同,即阈值设定不同。
181.在另一种可能的设计中,通过第三检测模型对待检测图像进行人脸检测,与对每个人体区域进行人脸检测,采用不同的检测模型。由于对每个人体区域进行人脸检测,所需的检测精度低于对待检测图像进行人脸检测所需的检测精度,故为降低系统负担,可采用体量更简化的检测模型对人体区域进行人脸检测。
182.步骤310,计算每个所述第一人脸区域与每个所述第二人脸区域的交并比。
183.步骤312,根据所述交并比,得到所述人脸检测结果。
184.待检测图像中的人脸区域可能全部位于人体区域中,也可能只有部分位于人体区域中,例如,待检测图像中共有3个人脸区域,其中,两个人脸区域位于其各自对应的人体区域中,第三个人脸区域理应对应的人体区域被遮挡物覆盖,此种情况下,检测到的人体区域只有两个,因此第一人脸集合中的第一人脸也只有两个;而第二人脸集合中的第二人脸可能有一个或两个或三个。
185.因此,第一人脸集合的人脸区域在包括难检测的人脸区域的同时,可能包括部分或全部第二人脸集合中的第二人脸区域,也可能不包括第二人脸区域,即第一人脸集合与第二人脸集合可能有交集的存在。为进一步确定第一人脸集合和第二人脸集合中的人脸区域有无重复情况,可计算第一人脸集合中的每个第一人脸区域与所述第二人脸集合中的每个第二人脸区域的交并比,若两个人脸的交并比很高,则说明两个人脸为相同人脸。
186.在一种可能的设计中,步骤312具体包括:计算每个第一人脸区域与每个第二人脸区域的交并比,得到交并比;
187.获取交并比,给定第三阈值,判定大于第三阈值的交并比所对应的第一人脸区域和第二人脸区域为相同人脸区域,获取相同人脸区域组成相同人脸集合;值得注意的是,当没有相同人脸区域时,相同人脸集合为空集。
188.计算第一人脸集合和第二人脸集合的并集,获取并集相对于相同人脸集合的差集,获取差集中的全部人脸区域,得到人脸检测结果。
189.应该理解的是,第三阈值是用于划分交并比、判定第一人脸区域和第二人脸区域是否为相同人脸区域的标准,因此,可预先使用包括多组图像的训练集进行相同人脸判定的训练,以得到第三阈值。
190.其中,训练集的同组图像中,可能包括相同人脸,也可能不包括相同人脸,计算同组图像中每个图像与其他图像的交并比,设定任意的数值作为初始的第三阈值,筛选超过数值的交并比所对应的图像作为结果,多次调整设定的数值,并筛选超过数值的交并比所对应的图像作为对应数值的结果,人为判断结果的正确性,当单次结果中的图像均为相同人脸的图像时,则认定该结果为正确结果,获取正确结果对应设定的数值,作为最终的第三阈值。
191.值得注意的是,可能出现多个第三阈值均对应正确结果的情况,可选取数值较小的作为第三阈值,在此不做具体限定。
192.例如,第一人脸区域有三个,第二人脸区域有两个,第一人脸区域和第二人脸区域对应的交并比有0.2,0.1,0.3,0.85,0.4,0.7,给定第三阈值为0.5,则交并比为0.85和0.7对应的第一人脸区域和第二人脸区域,为相同的人脸区域,因此,此处共有三个不同的人脸区域。。
193.由此,即将待检测图像中的所有人脸图区域均检测出来,得到不重复、无漏检的人脸检测结果。通过以上技术方案,可避免漏检难识别的人脸区域,以及避免重复提供相同的人脸区域,提升了人脸检测的准确性。
194.示例性装置
195.图8是本技术一示例性实施例提供的人脸检测装置的框图。
196.如图8所示,人脸检测装置400包括:
197.人体检测模块402,用于对待检测图像进行人体检测,得到至少一个人体区域;
198.第一人脸检测模块404,用于对每个所述人体区域进行人脸检测,得到至少一个第一人脸区域,获取所述第一人脸区域组成第一人脸集合;
199.第二人脸检测模块406,用于对所述待检测图像进行人脸检测,得到至少一个第二人脸区域,获取所述第二人脸区域组成第二人脸集合;
200.人脸检测结果生成模块408,用于基于所述第一人脸集合和所述第二人脸集合,确定人脸检测结果。
201.图9是本技术另一示例性实施例提供的人脸检测装置的框图。
202.如图9所示,人脸检测装置500包括:
203.人体检测模块502,用于对待检测图像进行人体检测,得到至少一个人体区域;
204.指定区域获取模块504,用于获得每个所述人体区域的指定区域,所述指定区域位于所述每个人体图像的上部和/或下部,所述指定区域的面积与所述每个人体区域的面积的比值为预定比值;
205.第一人脸检测模块506,用于对每个所述人体区域的指定区域进行人脸检测,得到至少一个第一人脸区域,获取所述第一人脸区域组成第一人脸集合;
206.第二人脸检测模块508,用于对所述待检测图像进行人脸检测,得到至少一个第二人脸区域,获取所述至少一个第二人脸区域组成第二人脸集合;
207.图10是本技术另一示例性实施例提供的人脸检测结果生成模块510内部单元的框
图;
208.人脸检测结果生成模块510,包括图像匹配单元5102、并集计算单元5104和结果处理单元5106;
209.所述图像匹配单元5102,用于将每个所述第一人脸区域和每个所述第二人脸区域进行特征匹配,得到至少一个匹配结果;
210.所述并集计算单元5104,用于计算所述第一人脸集合和所述第二人脸集合的并集;
211.所述结果处理单元5106,用于基于所述匹配结果,获取所述第一人脸集合和所述第二人脸集合的并集,确定人脸检测结果。
212.图11是本技术另一示例性实施例提供的人脸检测装置的框图。
213.如图11所示,人脸检测装置600包括:
214.人体检测模块602,用于对待检测图像进行人体检测,得到至少一个人体区域;
215.指定区域获取模块604,用于获得每个所述人体区域的指定区域,所述指定区域位于所述每个人体图像的上部和/或下部,所述指定区域的面积与所述每个人体区域的面积的比值为预定比值;
216.第一人脸检测模块606,用于对每个所述人体区域的指定区域进行人脸检测,得到至少一个第一人脸区域,获取所述第一人脸区域组成第一人脸集合;
217.第二人脸检测模块608,用于对所述待检测图像进行人脸检测,得到至少一个第二人脸区域,获取所述第二人脸区域组成第二人脸集合;
218.图12是本技术另一示例性实施例提供的人脸检测结果生成模块610内部单元的框图;
219.人脸检测结果生成模块610,包括交并比计算单元6102、交并比处理单元6104、并集计算单元6106和结果处理单元6108;
220.所述交并比计算单元6102,用于计算每个第一人脸区域与每个第二人脸区域的交并比;
221.所述交并比处理单元6104,用于获取所述交并比,给定第三阈值,判定大于第三阈值的交并比所对应的第一人脸区域和第二人脸区域为相同人脸区域;所述并集计算单元6106,用于计算所述第一人脸集合和所述第二人脸集合的并集;
222.所述结果处理单元6108,用于基于所述相同人脸区域,获取所述第一人脸集合和所述第二人脸集合的并集,确定人脸检测结果。
223.该人脸检测装置400、500、600使用图1至图7示出的实施例中任一项所述的方案,因此,具有上述所有技术效果,在此不再赘述。
224.示例性电子设备
225.下面,参考图13来描述根据本技术实施例的电子设备。该电子设备10可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。
226.如图13所示,电子设备10包括一个或多个处理器11和存储器12。
227.处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
228.存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本技术的各个实施例的人脸检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
229.在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
230.例如,在该电子设备是第一设备或第二设备时,该输入装置13可以是上述的麦克风或麦克风阵列,用于捕捉声源的输入信号。在该电子设备是单机设备时,该输入装置13可以是通信网络连接器,用于从第一设备和第二设备接收所采集的输入信号。
231.此外,该输入设备13还可以包括例如键盘、鼠标等等。
232.该输出装置14可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
233.当然,为了简化,图13中仅示出了该电子设备10中与本技术有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。
234.本技术实施例提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序用于执行上述图1至图7中任一项所述的方法流程。
235.本技术实施例提供了一种计算机程序产品,存储有计算机程序,所述计算机程序用于执行上述图1至图7中任一项所述的方法流程。
236.除了上述方法和设备以外,本技术的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的人脸检测方法中的步骤。
237.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如java、c++等,还包括常规的过程式程序设计语言,诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
238.此外,本技术的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的人脸检测方法中的步骤。
239.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储
器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
240.以上结合具体实施例描述了本技术的基本原理,但是,需要指出的是,在本技术中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本技术为必须采用上述具体的细节来实现。
241.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”,且可与其互换使用。
242.还需要指出的是,在本技术的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
243.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此,本技术不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
244.为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1