口罩佩戴的检测方法及装置与流程

1.本申请涉及图像处理技术领域，尤其涉及一种口罩佩戴的检测方法及装置。


背景技术：

2.为了应对疫情，国家规定出入公共场所必须佩戴口罩。不佩戴口罩不仅自己面临着感染的风险，也给他人造成潜在的威胁。因此，检测是否佩戴口罩十分必要。
3.现有技术中，检测人们是否佩戴口罩的方式主要有两种：第一种，通过仪器对人脸进行扫描识别；第二种，通过机器学习神经网络模型进行口罩佩戴检测。通过这两种方式可以实现对是否佩戴口罩的检测。
4.但是，现有检测方案中只是检测是否佩戴口罩，并没有对口罩佩戴是否规范进行检测。


技术实现要素：

5.本申请实施例提供了一种口罩佩戴的检测方法及装置，可以实现对口罩佩戴是否规范的检测。所述方法包括：
6.本申请第一方面提供一种口罩佩戴的检测方法，所述方法包括：
7.获取待检测的人脸图像；
8.对所述待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像；
9.在所述校正后的人脸图像中识别出口罩的佩戴位置和人脸关键点的位置；
10.根据所述口罩的佩戴位置和所述人脸关键点的位置，检测所述待检测的人脸图像中口罩佩戴的合规性。
11.在一种可选的实施方式中，所述对所述待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像，包括：
12.对所述待检测的图像进行人脸检测，确定所述待检测的图像中的人脸区域；
13.在所述人脸区域中对所述待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像。
14.在一种可选的实施方式中，所述在所述人脸区域中对所述待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像，包括：
15.计算所述待检测的人脸图像的人脸区域与标准人脸图像的相似性变换矩阵；
16.根据所述相似性变换矩阵对所述待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像。
17.在一种可选的实施方式中，所述在所述校正后的人脸图像中识别出口罩的佩戴位置和人脸关键点的位置，包括：
18.检测所述口罩在人脸上的外接矩形；
19.根据所述口罩在人脸上的外接矩形，确定所述口罩的佩戴位置。
20.在一种可选的实施方式中，所述人脸关键点包括两眼关键点和鼻尖关键点，所述
根据所述口罩的佩戴位置和所述人脸关键点的位置，检测所述待检测的人脸图像中口罩佩戴的合规性，包括：
21.确定所述两眼关键点的坐标与所述口罩的佩戴位置的坐标之间的第一差值，以及所述鼻尖关键点的坐标与所述口罩的佩戴位置的坐标之间的第二差值；
22.根据所述第二差值与所述第一差值的比值，确定所述待检测的人脸图像中口罩佩戴是否符合规范。
23.本申请第二方面提供一种口罩佩戴的检测装置，所述装置包括：
24.获取模块，用于获取待检测的人脸图像；
25.识别模块，用于对所述待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像；在所述校正后的人脸图像中识别出口罩的佩戴位置和人脸关键点的位置；
26.检测模块，用于根据所述口罩的佩戴位置和所述人脸关键点的位置，检测所述待检测的人脸图像中口罩佩戴的合规性。
27.在一种可选的方式中，所述识别模块，还用于对所述待检测的图像进行人脸检测，确定所述待检测的图像中的人脸区域；在所述人脸区域中对所述待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像。
28.在一种可选的实施方式中，所述识别模块，还用于计算所述待检测的人脸图像的人脸区域与标准人脸图像的相似性变换矩阵；根据所述相似性变换矩阵对所述待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像。
29.在一种可选的实施方式中，所述识别模块，还用于检测所述口罩在人脸上的外接矩形；根据所述口罩在人脸上的外接矩形，确定所述口罩的佩戴位置。
30.在一种可选的实施方式中，所述人脸关键点包括两眼关键点和鼻尖关键点，所述检测模块，还用于确定所述两眼关键点的坐标与所述口罩的佩戴位置的坐标之间的第一差值，以及所述鼻尖关键点的坐标与所述口罩的佩戴位置的坐标之间的第二差值；根据所述第二差值与所述第一差值的比值，确定所述待检测的人脸图像中口罩佩戴是否符合规范。
31.本申请第三方面提供一种电子设备，所述设备包括：
32.处理器和存储器；
33.所述存储器用于存储计算机程序；
34.所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如第一方面所述的方法。
35.本申请第四方面提供一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行如第一方面所述的方法。
36.本申请第五方面提供一种计算机程序，所述计算机程序使得计算机执行如第一方面所述的方法。
37.在本申请实施例中，首先，获取待检测的人脸图像，然后，对待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像，之后，在校正后的人脸图像中识别出口罩的佩戴位置和人脸关键点的位置，最后，根据口罩的佩戴位置和人脸关键点的位置，检测待检测的人脸图像中口罩佩戴的合规性。与现有技术相比，本申请对获取到的人脸图像进行人脸姿态校正后，检测人脸图像中口罩的佩戴位置，从而检测口罩的佩戴是否合规。
附图说明
38.为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1为本申请实施例提供的一种口罩佩戴的检测方法的应用场景是示意图；
40.图2为本申请实施例提供的一种口罩佩戴的检测方法的流程示意图；
41.图3为本申请实施例提供的另一种口罩佩戴的检测方法的流程示意图；
42.图4为本申请实施例提供的再一种口罩佩戴的检测方法的流程示意图；
43.图5为本申请实施例提供的一种口罩佩戴的检测装置的结构示意图；
44.图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
45.为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
46.应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
47.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
48.在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在 a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
49.为了应对疫情，国家规定出入公共场所必须佩戴口罩。不佩戴口罩不仅自己面临着感染的风险，也给他人造成潜在的威胁。因此，检测是否佩戴口罩十分必要。
50.现有技术中，检测人们是否佩戴口罩的方式主要有两种：第一种，通过仪器对人脸进行扫描识别；第二种，通过机器学习神经网络模型进行口罩佩戴检测。通过这两种方式可以实现对是否佩戴口罩的检测。但是，现有检测方案中只是检测是否佩戴口罩，没有对口罩佩戴是否规范进行检测。
51.为解决上述问题，本申请实施例提供一种口罩佩戴的检测方法及装置，当获取到待检测的人脸图像后，对待检测的人脸图像进行人脸姿态校正处理，然后检测校正后的人脸图像中口罩的佩戴位置，从而检测口罩的佩戴是否合规。
52.下面对本申请实施例的应用场景进行说明。
53.图1为本申请实施例提供的一种口罩佩戴的检测方法的应用场景是示意图，如图1
所示，包括：摄像设备001、终端002。本申请提供的口罩佩戴的检测方法可以应用于任何支持人脸识别功能的终端设备。在需要对口罩佩戴的规范性进行检测的场合中，摄像设备001获取到人脸图像后，将人脸图像发送给终端设备002，终端设备002获取到待检测的人脸图像后，对待检测的人脸图像进行人脸姿态校正处理，然后对校正后的人脸图像进行口罩佩戴合规性的检测。
54.本申请实施例对终端设备的具体类型也不做限制，例如，终端可以是工业控制(industrial control)中的无线终端、带无线收发功能的电脑、虚拟现实(virtual reality，vr)终端设备、增强现实(augmented reality，ar)终端设备、手机(mobile phone)、平板电脑(pad)、远程手术(remote medical surgery) 中的无线终端、智能电网(smart grid)中的无线终端、智慧家庭(smart home) 中的无线终端等。
55.本申请实施例中，用于实现终端的功能的装置可以是终端设备，也可以是能够支持终端实现该功能的装置，例如芯片系统，该装置可以被安装在终端设备中。本申请实施例中，芯片系统可以由芯片构成，也可以包括芯片和其他分立器件。
56.需要说明的是，本申请实施例中涉及应用场景并不构成限制，本申请实施例提供的口罩佩戴的检测方法也可以运用于其他任何口罩佩戴检测的场景中。
57.可以理解，上述口罩佩戴的检测方法可以通过本申请实施例提供的口罩佩戴的检测装置实现，口罩佩戴的检测装置可以是某个设备的部分或全部，例如为上述终端设备或者服务器的处理器。
58.下面以终端设备为例，以具体地实施例对本申请实施例的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
59.图2为本申请实施例提供的一种口罩佩戴的检测方法的流程示意图，本实施例涉及的口罩佩戴的合规性检测的具体过程。如图2所示，该方法包括：
60.s101、获取待检测的人脸图像。
61.在本步骤中，在进行人脸识别的场合中，摄像设备获取到人脸图像后，将人脸图像发送给终端设备，终端设备获取待检测的人脸图像。
62.s102、对待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像。
63.在本步骤中，当终端设备获取待检测的人脸图像后，则对待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像。
64.本申请对进行人脸检测的算法不做限制，示例性的，可以采用深度学习算法、卷积神经网络算法、局部特征分析算法等。
65.在一些实施例中，终端设备在进行人脸检测时可以进行人脸关键点的检测。
66.本申请对人脸关键点的检测方法不做限制，可以根据具体情况进行说明。下面为本申请实施例提供的进行人脸关键点检测的两种方式：
67.第一种方式，可以在进行人脸检测的同时进行人脸关键点的识别。具体的，可以通过在人脸检测的基础上并列增加实现人脸关键点检测功能的算法。其中，人脸关键点检测算法可以为多任务级联卷积神经网络算法(multi
‑
taskcascaded convolutional networks，mtcnn)、单阶段人脸检测算法 (retinaface)。
68.第二种方式，可以在人脸检测完成后，在进行人脸关键点的检测。其中，人脸关键
点检测算法可以为多任务级联卷积神经网络算法(multi
‑
taskcascaded convolutional networks，mtcnn)、单阶段人脸检测算法 (retinaface)。
69.其中，人脸关键点包括两眼关键点和鼻尖关键点。
70.本申请对人脸姿态矫正的方式不做限制，示例性的，可以通过提供标准人脸图像的方式、或者通过算法进行相应的规定方式。
71.下面提供一种可选的实施方式，对待检测的图像进行人脸检测，确定待检测的图像中的人脸区域，在人脸区域中对待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像。
72.本申请对在人脸区域中对待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像方式不做限制，示例性的，可以采用根据人脸关键点的位置建立相似性变换矩阵的方式。
73.具体的，计算待检测的人脸图像的人脸区域与标准人脸图像的相似性变换矩阵；根据相似性变换矩阵对待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像。
74.其中，相似性变化矩阵可以根据人脸关键点的信息建立。
75.示例性的，得到相似性变化矩阵后，可以使用算法对人脸图像进行校正，可以采用图像旋转算法(warpaffine)进行人脸姿态校正。
76.s103、在校正后的人脸图像中识别出口罩的佩戴位置和人脸关键点的位置。
77.在本步骤中，当终端设备对待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像后，则在校正后的人脸图像中识别出口罩的佩戴位置和人脸关键点的位置。
78.在一些实施例中，终端设备通过检测口罩在人脸上的外接矩形，根据口罩在人脸上的外接矩形，确定口罩的佩戴位置。
79.本申请对检测口罩在人脸上的外接矩形的方式不做限制，示例性的，可以通过训练相应的算法模型生成用于口罩检测的算法模型。
80.具体的，可以通过训练目标检测算法(you only look once，yolo)等算法生成用于口罩检测的算法模型。
81.其中，人脸关键点的位置可以通过步骤s101中的方式识别，此时的关键点为经过人脸姿态校正后的关键点。
82.s104、根据口罩的佩戴位置和人脸关键点的位置，检测待检测的人脸图像中口罩佩戴的合规性。
83.在本步骤中，当终端设备在校正后的人脸图像中识别出口罩的佩戴位置和人脸关键点的位置后，则根据口罩的佩戴位置和人脸关键点的位置，检测待检测的人脸图像中口罩佩戴的合规性。
84.在一些实施例中，终端设备确定两眼关键点的坐标与口罩的佩戴位置的坐标之间的第一差值，以及鼻尖关键点的坐标与口罩的佩戴位置的坐标之间的第二差值，根据第二差值与第一差值的比值，确定待检测的人脸图像中口罩佩戴是否符合规范。
85.本申请对于判断口罩佩戴是否符合规范的方式不做限制，示例性的，可以通过建立坐标系的方式进行判断。
86.在一些实施例中，假设校正后的人脸图像的左下角设为坐标原点，口罩上边框的垂直方向的坐标为ym,鼻尖的垂直方向的坐标为yn，相应的，眼睛的坐标为ye。计算比值r＝
ym
‑
yn/ye
‑
ym，若r大于或等于预设的阈值, 则认为佩戴规范，若r小于预设阈值，则认为佩戴不规范。其中，ym
‑
yn为鼻尖关键点的坐标与口罩的佩戴位置的坐标之间的第二差值；ye
‑
ym为两眼关键点的坐标与口罩的佩戴位置的坐标之间的第一差值；r为第二差值与第一差值的比值。
87.其中，预设阈值可以根据具体情况进行设定，示例性的，可以设为0.5。
88.本申请实施例提供的口罩佩戴的检测方法，首先获取待检测的人脸图像，然后对待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像，随后在校正后的人脸图像中识别出口罩的佩戴位置和人脸关键点的位置，最后根据口罩的佩戴位置和人脸关键点的位置，检测待检测的人脸图像中口罩佩戴的合规性。与现有技术相比，本申请对获取到的人脸图像进行人脸姿态校正后，检测人脸图像中口罩的佩戴位置，从而检测口罩的佩戴是否合规。
89.在上述实施例的基础上，下面将结合图3对本申请中对待检测的人脸图像进行姿态校正的具体情况进行进一步说明。图3为本申请实施例提供的另一种口罩佩戴的检测方法的流程示意图，如图3所示，包括：
90.s201、获取待检测的人脸图像。
91.s202、对待检测的图像进行人脸检测，确定待检测的图像中的人脸区域。
92.s203、在人脸区域中对待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像。
93.s204、在校正后的人脸图像中识别出口罩的佩戴位置和人脸关键点的位置。
94.s205、根据口罩的佩戴位置和人脸关键点的位置，检测待检测的人脸图像中口罩佩戴的合规性。
95.s201
‑
s205的技术名词、技术效果、技术特征，以及可选实施方式，可参照图2所示的s101
‑
s104理解，对于重复的内容，在此不再累述。
96.在上述实施例的基础上，下面将结合图4对本申请中通过校正后人脸图像检测口罩佩戴是否符合规范的具体情况进行进一步说明。图4为本申请实施例提供的再一种口罩佩戴的检测方法的流程示意图，如图4所示，包括：
97.s301、获取待检测的人脸图像。
98.s302、对待检测的图像进行人脸检测，确定待检测的图像中的人脸区域。
99.s303、在人脸区域中对待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像。
100.s304、检测口罩在人脸上的外接矩形。
101.s305、根据口罩在人脸上的外接矩形，确定口罩的佩戴位置。
102.s306、确定两眼关键点的坐标与口罩的佩戴位置的坐标之间的第一差值，以及鼻尖关键点的坐标与口罩的佩戴位置的坐标之间的第二差值。
103.s307、根据第二差值与第一差值的比值，确定待检测的人脸图像中口罩佩戴是否符合规范。
104.s301
‑
s307的技术名词、技术效果、技术特征，以及可选实施方式，可参照图2所示的s101
‑
s104理解，对于重复的内容，在此不再累述。
105.下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实
施例中未披露的细节，请参照本申请方法实施例。
106.图5为本申请实施例提供的一种口罩佩戴的检测装置的结构示意图。该口罩佩戴的检测装置可以通过软件、硬件或者两者的结合实现。该口罩佩戴的的检测装置400包括：获取模块401、识别模块402和检测模块403。
107.获取模块401，用于获取待检测的人脸图像；
108.识别模块402，用于对待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像；在校正后的人脸图像中识别出口罩的佩戴位置和人脸关键点的位置；
109.检测模块403，用于根据口罩的佩戴位置和人脸关键点的位置，检测待检测的人脸图像中口罩佩戴的合规性。
110.在一种可选的实施方式中，识别模块402，还用于对待检测的图像进行人脸检测，确定待检测的图像中的人脸区域；在人脸区域中对待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像。
111.一种可选的实施方式中，识别模块402，还用于计算待检测的人脸图像的人脸区域与标准人脸图像的相似性变换矩阵；根据相似性变换矩阵对待检测的人脸图像进行人脸姿态校正，确定校正后的人脸图像。
112.一种可选的实施方式中，识别模块402，还用于检测口罩在人脸上的外接矩形；根据口罩在人脸上的外接矩形，确定口罩的佩戴位置。
113.一种可选的实施方式中，人脸关键点包括两眼关键点和鼻尖关键点，检测模块403，还用于确定两眼关键点的坐标与口罩的佩戴位置的坐标之间的第一差值，以及鼻尖关键点的坐标口罩的佩戴位置的坐标之间的第二差值；根据第二差值与第一差值的比值，确定待检测的人脸图像中口罩佩戴是否符合规范。
114.需要说明的是，上述实施例提供的口罩佩戴的检测装置在执行口罩佩戴的检测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的口罩佩戴的检测装置与口罩佩戴的检测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
115.本实施例提供的口罩佩戴的检测装置与上述口罩佩戴的检测方法实现的原理和技术效果类似，在此不作赘述。
116.图6为本申请实施例提供的一种电子设备的结构示意图，如图6所示，该电子设备可以包括：至少一个处理器501和存储器502。图6示出的是以一个处理器为例的电子设备。
117.存储器502，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
118.存储器502可能包含高速ram存储器，也可能还包括非易失性存储器 (non
‑
volatile memory)，例如至少一个磁盘存储器。
119.处理器501用于执行存储器502存储的计算机执行指令，以实现上述口罩佩戴的检测方法；
120.其中，处理器501可能是一个中央处理器(central processing unit，简称为cpu)，或者是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本申请实施例的一个或多个集成电路。
121.可选的，在具体实现上，如果通信接口、存储器502和处理器501独立实现，则通信接口、存储器502和处理器501可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为 eisa)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
122.可选的，在具体实现上，如果通信接口、存储器502和处理器501集成在一块芯片上实现，则通信接口、存储器502和处理器501可以通过内部接口完成通信。
123.本申请实施例还提供了一种芯片，包括处理器和接口。其中接口用于输入输出处理器所处理的数据或指令。处理器用于执行以上方法实施例中提供的方法。该芯片可以应用于口罩佩戴的检测装置中。
124.本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序信息，程序信息用于上述口罩佩戴的检测方法。
125.本申请实施例还提供一种程序，该程序在被处理器执行时用于执行以上方法实施例提供的口罩佩戴的检测方法。
126.本申请实施例还提供一种程序产品，例如计算机可读存储介质，该程序产品中存储有指令，当其在计算机上运行时，使得计算机执行上述方法实施例提供的口罩佩戴的检测方法。
127.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd)) 等。
128.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。