吸烟检测方法、装置、设备及存储介质与流程

1.本发明涉及计算机视觉领域，具体涉及一种吸烟检测方法、装置、设备及存储介质。


背景技术：

2.为了控制火种危害，维护和改善施工现场的环境，确保施工现场的消防安全，需要严格避免吸烟行为。在室内场景中，通常通过烟雾传感器等设备对吸烟行为进行检测，但是烟感设备在户外场景中难以使用。
3.现有技术中大多采用普通摄像头或红外摄像头来判断是否发生吸烟事件，通过红外摄像头捕捉高温点，继而判断是否有吸烟行为，但是由于红外摄像头需要高分辨率设备，价格昂贵，需要耗费的成本较大。若采用普通摄像头，则需要结合深度学习算法，对图片进行目标检测，检测图片中是否有香烟，进而判断是否存在吸烟行为。由于香烟是比较小的目标，通过普通目标检测方法可能会将图片中的其他类似形状物体误检为香烟，另外，若有人拿出香烟但未点燃及吸食，通过普通目标检测方法可能也会误检。


技术实现要素：

4.有鉴于此，本发明实施例提供了吸烟检测方法、装置、设备及存储介质，以解决吸烟行为检测准确率不高的问题。
5.根据第一方面，本发明实施例提供了一种吸烟检测方法，包括：
6.获取目标图像序列；
7.对所述目标图像序列中的各个目标图像进行目标检测，确定所述目标图像中各目标的位置信息，所述目标包括人体手臂关节点、香烟以及嘴巴；
8.基于所述人体手臂关节点与所述香烟的位置，确定手部是否持有香烟；
9.当所述手部持有香烟时，基于所述人体手臂关节点以及所述嘴巴的位置信息，确定所述目标图像序列中手部与所述嘴巴之间的位置变化信息；
10.根据所述位置变化信息确定吸烟行为的检测结果。
11.本发明实施例提供的吸烟检测方法，获取目标图像序列，基于多种目标检测方法检测人体手臂关节点、香烟以及嘴巴的位置信息，判断是否持有香烟并判断是否存在吸烟动作或类似吸烟的动作，进而确定是否存在吸烟行为。该方法不仅对香烟进行检测，还同时检测是否存在吸烟动作，二者结合下再判断是否存在吸烟行为，采用多模式进行吸烟行为的判别，提高了吸烟行为检测的准确性。
12.在一些实施方式中，所述基于所述人体手臂关节点以及所述嘴巴的位置信息，确定所述目标图像序列中手部与所述嘴巴之间的位置变化信息，包括：
13.对于每个所述目标图像，基于所述人体手臂关节点以及所述嘴巴的位置信息，确定所述手部与所述嘴巴之间的距离；
14.基于所述目标图像的时间顺序以及每个所述目标图像中所述手部与所述嘴巴之
间的距离，确定所述位置变化信息。
15.本发明实施例提供的吸烟检测方法，确定每个目标图像中手部与嘴巴之间的距离，基于目标图像的时间顺序以及得到的手部与嘴巴之间的距离确定位置变化信息，由于吸烟动作是动态的，因此结合了多个目标图像中的信息以便后续进行吸烟动作的判断，提升了吸烟行为检测的准确性。
16.在一些实施方式中，所述基于所述目标图像的时间顺序以及每个所述目标图像中所述手部与所述嘴巴之间的距离，确定所述位置变化信息，包括：
17.基于所述目标图像的时间顺序以及每个所述目标图像中所述手部与所述嘴巴之间的距离，确定第一位置变化信息；
18.对于每个所述目标图像，基于所述人体手臂关节点确定手臂肘关节的弯曲角度；
19.基于所述目标图像的时间顺序以及所述手臂肘关节的弯曲角度确定第二位置变化信息。
20.在一些实施方式中，所述根据所述位置变化信息确定吸烟行为的检测结果，包括：
21.将所述位置变化信息中的第一位置变化信息与预设第一阈值进行比较，并将所述位置变化信息中的第二位置变化信息与预设第一角度阈值进行比较，确定第一阶段吸烟动作的检测结果；
22.将所述位置变化信息中的第一位置变化信息与预设第二阈值进行比较，并将所述位置变化信息中的第二位置变化信息与预设第二角度阈值进行比较，确定第二阶段吸烟动作的检测结果；
23.根据所述第一阶段吸烟动作的检测结果和所述第二阶段吸烟动作的检测结果，确定吸烟行为的检测结果。
24.本发明实施例提供的吸烟检测方法，将位置变化信息中的第一位置变化信息和第二位置变化信息分别与预设第一阈值和预设第一角度阈值进行比较，从而判断是否存在第一阶段吸烟动作，将第一位置变化信息和第二位置变化信息分别与预设第二阈值和预设第二角度阈值进行比较，从而判断是否存在第二阶段吸烟动作。判断是否存在吸烟行为时，由于考虑了吸烟的动作，因此需要结合第一阶段吸烟动作的检测结果和第二阶段吸烟动作的检测结果进行综合判断，提升了吸烟行为检测的准确性。
25.在一些实施方式中，所述将所述位置变化信息中的第一位置变化信息与预设第一阈值进行比较，并将所述位置变化信息中的第二位置变化信息与预设第一角度阈值进行比较，确定第一阶段吸烟动作的检测结果，包括：
26.根据所述嘴巴的位置信息确定预设第一阈值；
27.在预设时间阈值内，当所述第一位置变化信息不大于所述预设第一阈值，且所述第二位置变化信息小于预设第一角度阈值时，确定存在第一阶段吸烟动作。
28.在一些实施方式中，所述将所述位置变化信息中的第一位置变化信息与预设第二阈值进行比较，并将所述位置变化信息中的第二位置变化信息与预设第二角度阈值进行比较，确定第二阶段吸烟动作的检测结果，包括：
29.根据所述人体手臂关节点确定预设第二阈值；
30.在预设时间阈值内，当所述第一位置变化信息不小于所述预设第二阈值，且所述第二位置变化信息小于预设第二角度阈值时，确定存在第二阶段吸烟动作。
31.在一些实施方式中，所述对所述目标图像序列中的各个目标图像进行目标检测，确定所述目标图像中各目标的位置信息，包括：
32.对所述目标图像进行检测，确定所述目标图像中的人体和香烟；
33.对所述人体进行骨骼关节点提取，确定所述人体手臂关节点；
34.对所述人体的人脸进行检测，确定嘴巴的位置信息。
35.本发明实施例提供的吸烟检测方法，同时检测目标图像中的人体和香烟，再基于检测到人体检测人体手臂关节点以及嘴巴的位置信息，同时采用了多种目标检测方法，提升了检测目标的准确性。
36.根据第二方面，本发明实施例提供了一种吸烟检测装置，所述装置包括：
37.图像获取模块，用于获取目标图像序列；
38.第一检测模块，用于对所述目标图像序列中的各个目标图像进行目标检测，确定所述目标图像中各目标的位置信息，所述目标包括人体手臂关节点、香烟以及嘴巴；
39.香烟判断模块，用于基于所述人体手臂关节点与所述香烟的位置，确定手部是否持有香烟；
40.第二检测模块，用于当所述手部持有香烟时，基于所述人体手臂关节点以及所述嘴巴的位置信息，确定所述目标图像序列中手部与所述嘴巴之间的位置变化信息；
41.结果确定模块，用于根据所述位置变化信息确定吸烟行为的检测结果。
42.根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的吸烟检测方法。
43.根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的吸烟检测方法。
附图说明
44.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1是根据本发明实施例的吸烟检测方法的流程图；
46.图2是根据本发明实施例的确定位置变化信息的方法的流程图；
47.图3是根据本发明实施例的确定检测结果的方法的流程图；
48.图4是根据本发明实施例的确定各目标位置信息的方法的流程图；
49.图5是根据本发明实施例的吸烟检测方法的示意图；
50.图6是根据本发明实施例的吸烟检测方法的流程图；
51.图7是根据本发明实施例的关节点检测示意图；
52.图8是根据本发明实施例的吸烟动作示意图；
53.图9是根据本发明实施例的吸烟行为检测装置的示意图；
54.图10是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
55.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
56.根据本发明实施例，提供了一种吸烟检测方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
57.在室内场景中，判断是否存在吸烟行为可以通过烟感设备，然而在户外场景，例如工地等需要命令禁止吸烟的场所，难以通过烟感设备检测是否存在吸烟行为。本发明实施例提供的吸烟检测方法即可用于上述不方便使用烟感设备的场景。
58.在本实施例中提供了一种吸烟检测方法，可用于如电脑、平板电脑或具有人工智能算力的摄像头等设备，图1是根据本发明实施例的吸烟检测方法的流程图，如图1所示，该流程包括如下步骤：
59.s11，获取目标图像序列。
60.目标图像是需要检测是否存在吸烟行为的场所的图像，可以通过场所中的监控摄像头获取视频图像，视频数据集包含了连续帧的目标图像，即目标图像序列。
61.s12，对目标图像序列中的各个目标图像进行目标检测，确定目标图像中各目标的位置信息，目标包括人体手臂关节点、香烟以及嘴巴。
62.目标图像序列包括多个目标图像，对各个目标图像进行目标检测，需要确认的目标包括人体手臂关节点、香烟以及嘴巴。
63.为了确定人体手臂关节点以及嘴巴的位置，需要对目标图像中的人体进行检测，进而基于检测到的人体进行关节点检测以及人脸检测，通过关节点检测确定人体的手臂关节点的坐标，手臂关节点包括腕关节、肘关节和肩关节等。通过人脸检测，确定嘴巴的坐标。
64.通过目标检测算法检测目标图像中的香烟位置，在此之前首先需要检测目标图像中是否存在香烟，具体地，可以基于目标检测模型检测目标图像中的香烟状的物体，若检测到有香烟状的物体，再确定该物体的坐标。由于可能还存在其他类似香烟状的物体，本方案需要结合是否存在吸烟动作共同判断是否存在吸烟行为，因此在该步骤中的香烟指代所有检测到的香烟状的物体。
65.s13，基于人体手臂关节点与香烟的位置，确定手部是否持有香烟。
66.判断人体手臂关节点与香烟的位置，主要是根据检测到的人体手臂关节点的坐标与检测到的香烟状的物体的坐标来判断手部是否持有该香烟状的物体，例如可以设定人体手臂关节点的检测框与香烟检测框的交并比需要大于某个阈值。另外，也可以根据得到的人体手臂关节点的坐标与香烟的坐标，计算香烟与手的距离，若计算得到的距离小于某个阈值，则可以确定手部持有香烟。
67.s14，当手部持有香烟时，基于人体手臂关节点以及嘴巴的位置信息，确定目标图
像序列中手部与嘴巴之间的位置变化信息。
68.经过s13，当确定手部未持有香烟时，基本可以判断不存在吸烟行为，可能是将类似香烟形状的物体误检为香烟。
69.当确定手部持有香烟时，由于这里还不能完全确定检测到的是否是真正的香烟，可能会出现手部持有类似香烟形状物体的情况，因此不可简单判断是否存在吸烟行为，还需要判断是否存在吸烟动作。对吸烟动作的判断，需要结合多个目标图像，结合手部与嘴巴之间的位置变化信息进行综合判断。其中位置变化信息包括了手与嘴巴之间的距离、肘关节的弯曲角度等。首先需要确定手与嘴巴之间的距离关系，通过人体手臂关节点的位置包括腕关节、肘关节、肩关节以及手部关节等的位置。根据手部关节的坐标和嘴巴的坐标可以计算手与嘴巴之间的距离，根据手臂关节点可以确定肘关节的弯曲角度。由于吸烟动作是动态连续的，因此需要结合多个目标图像中手部与嘴巴之间的位置变化信息。位置变化信息包括手部与嘴巴之间的距离变化情况以及肘关节的弯曲角度的变化情况。
70.将手部与嘴巴的距离、肘关节弯曲角度与设定的手部与嘴巴的距离阈值以及肘关节弯曲阈值进行比较，判断按时间顺序的目标图像序列中，是否存在手部远离嘴巴、手部靠近嘴巴，肘部弯曲在一定角度以内和以外等情形。
71.s15，根据位置变化信息确定吸烟行为的检测结果。
72.可以根据实际情况设定手部与嘴巴的距离阈值、肘关节弯曲角度阈值等，当手部与嘴巴之间的距离小于某距离阈值，且肘关节弯曲角度在某肘关节弯曲角度阈值以内，则判断存在手部靠近嘴巴动作。当手部与嘴巴之间的距离大于某距离阈值，且肘关节弯曲角度在某肘关节弯曲角度以外，则判断存在手部远离嘴巴动作。
73.吸烟动作包括手部靠近嘴巴以及手部逐渐远离嘴巴，若在一定时间内，判断存在一定次数以上的手部靠近嘴巴动作以及手部逐渐远离嘴巴动作，基本可以判断存在吸烟动作或类似吸烟的动作。由于已经检测到存在手部持有香烟状的物体的情况，结合检测到存在吸烟或类似吸烟的动作，因此基本可以确定存在吸烟行为。若不存在吸烟动作或类似吸烟的动作，则可以确定目标图像序列的范围内不存在吸烟行为。若判断存在吸烟行为，则可以发出报警提示，以便相关人员及时对吸烟行为进行处理，保障场所的安全。
74.本发明实施例提供的吸烟检测方法，获取目标图像序列，基于多种目标检测方法检测人体手臂关节点、香烟以及嘴巴的位置信息，判断是否持有香烟并判断是否存在吸烟动作或类似吸烟的动作，进而确定是否存在吸烟行为。该方法不仅对香烟进行检测，还同时检测是否存在吸烟动作，二者结合下再判断吸烟行为的检测结果，采用多模式进行吸烟行为的判别，提高了吸烟行为检测的准确性。
75.在本实施例中提供了确定位置变化信息的方法，对应于图1中s14，可用于如电脑、平板电脑或具有人工智能算力的摄像头等设备，图2是根据本发明实施例的确定位置变化信息的方法的流程图，如图2所示，该流程包括如下步骤：
76.s21，对于每个目标图像，基于人体手臂关节点以及嘴巴的位置信息，确定手部与嘴巴之间的距离。
77.经过对目标图像进行多种目标检测，已经确定了目标图像中人体手臂关节点位置信息以及嘴巴位置信息，位置信息包括坐标信息。人体手臂关节点包括腕关节、肘关节、肩关节以及手部关节等，根据手部关节的坐标和嘴巴的坐标计算手部与嘴巴之间的距离。另
外，还可以结合各手臂关节点计算肘关节的弯曲角度。
78.s22，基于目标图像的时间顺序以及每个目标图像中手部与嘴巴之间的距离，确定位置变化信息。
79.位置变化信息包括手部与嘴巴之间的距离变化情况，以及肘关节弯曲角度的变化情况。由于吸烟动作是动态变化的，因此在判断是否存在吸烟动作时需要结合多张目标图像的检测结果，即结合目标图像的时间顺序判断在一定时间内位置变化信息是否符合吸烟动作的变化，例如手部与嘴巴之间的距离会在某预设阈值内的同时肘关节的弯曲角度小于某阈值，随着时间变化手部与嘴巴之间的距离逐渐变大且肘关节的弯曲角度大于某阈值。具体地，确定位置变化信息的步骤如下：
80.s221，基于目标图像的时间顺序以及每个目标图像中手部与嘴巴之间的距离，确定第一位置变化信息。
81.第一位置变化信息包括手部与嘴巴之间的距离变化情况，记录在时间顺序的目标图像中手部与嘴巴之间的距离，可得到第一位置变化信息。
82.s222，对于每个目标图像，基于人体手臂关节点确定手臂肘关节的弯曲角度。
83.人体手臂关节点包括腕关节、肘关节、肩关节等，由于已经确定手臂上各个关节的坐标，根据各关节的坐标，可以计算每一张目标图像中肘关节的弯曲角度。
84.s223，基于目标图像的时间顺序以及手臂肘关节的弯曲角度确定第二位置变化信息。
85.第二位置变化信息包括手臂肘关节的弯曲角度的变化情况，记录在时间顺序的目标图像中手臂肘关节的弯曲角度可得到第二位置变化信息。
86.本发明实施例提供的吸烟检测方法，确定每个目标图像中手部与嘴巴之间的距离，基于目标图像的时间顺序以及得到的手部与嘴巴之间的距离确定位置变化信息，由于吸烟动作是动态的，因此结合了多个目标图像中的信息以便后续进行吸烟动作的判断，提升了吸烟行为检测的准确性。
87.在本实施例中提供了确定检测结果的方法，对应于图1中s15，可用于如电脑、平板电脑或具有人工智能算力的摄像头等设备，图3是根据本发明实施例的确定检测结果的方法的流程图，如图3所示，该流程包括如下步骤：
88.s31，将位置变化信息中的第一位置变化信息与预设第一阈值进行比较，并将位置变化信息中的第二位置变化信息与预设第一角度阈值进行比较，确定第一阶段吸烟动作的检测结果。
89.第一位置变化信息包括在一定时间范围内手部与嘴巴之间的距离变化情况，预设第一阈值是根据实际情况设定的用于判断手部与嘴巴是否靠近的距离阈值。第二位置变化信息包括在一定时间范围内手臂肘关节的弯曲角度的变化情况，预设第一角度阈值是根据实际情况设定的用于辅助判断手部是否靠近嘴巴的角度阈值。通过将第一位置变化信息与预设第一阈值进行比较，并将第二位置变化信息与预设第一角度阈值进行比较，若在一定时间内手部与嘴巴之间的距离不大于预设第一阈值且手臂肘关节弯曲角度小于预设第一角度阈值，则可以确定存在第一阶段吸烟动作，即存在手部靠近嘴巴的动作。
90.具体地，s31包括以下步骤：
91.s311，根据嘴巴的位置信息确定预设第一阈值。
92.嘴巴的位置信息包括左嘴角的位置和右嘴角的位置，根据左嘴角的位置和右嘴角的位置可以得到左嘴角到右嘴角的距离，在本实施例中，将左嘴角到右嘴角的距离确定为预设第一阈值。预设第一阈值是根据实际情况进行设定的，考虑到个体差异，在本实施例中将左嘴角到右嘴角的距离作为预设第一阈值，在实际应用时也可采用其他方式设定预设第一阈值，具体不作限定。
93.s312，在预设时间阈值内，当第一位置变化信息不大于预设第一阈值，且第二位置变化信息小于预设第一角度阈值时，确定存在第一阶段吸烟动作。
94.当手部与嘴巴之间的距离不大于预设第一阈值，且手臂肘关节的弯曲角度小于预设第一角度阈值时，确定存在第一阶段吸烟动作，第一阶段吸烟动作即吸烟时，手部靠近嘴巴，手臂弯曲且在预设时间阈值内(例如，持续3秒及以上)。
95.s32，将位置变化信息中的第一位置变化信息与预设第二阈值进行比较，并将位置变化信息中的第二位置变化信息与预设第二角度阈值进行比较，确定第二阶段吸烟动作的检测结果。
96.第一位置变化信息包括在一定时间范围内手部与嘴巴之间的距离变化情况，预设第二阈值是根据实际情况设定的用于判断手部与嘴巴是否远离的距离阈值。第二位置变化信息包括在一定时间范围内手臂肘关节的弯曲角度的变化情况，预设第二角度阈值是根据实际情况设定的用于辅助判断手部是否远离嘴巴的角度阈值。通过将第一位置变化信息与预设第二阈值进行比较，并将第二位置变化信息与预设第二角度阈值进行比较，若在一定时间内手部与嘴巴之间的距离不小于预设第二阈值且手臂肘关节弯曲角度大于预设第一角度阈值，则可以确定存在第二阶段吸烟动作，即存在手部远离嘴巴的动作。
97.具体地，s32包括以下步骤：
98.s321，根据所述人体手臂关节点确定预设第二阈值。
99.人体手臂关节点的位置信息包括左肩的位置和右肩的位置，根据左肩的位置和右肩的位置可以得到左肩到右肩的距离，在本实施例中，将左肩到右肩的距离确定为预设第二阈值。预设第二阈值是根据实际情况进行设定的，考虑到个体差异，在本实施例中将左肩到右肩的距离作为预设第二阈值，在实际应用时也可采用其他方式设定预设第二阈值，具体不作限定。
100.s322，在预设时间阈值内，当第一位置变化信息不小于预设第二阈值，且第二位置变化信息小于预设第二角度阈值时，确定存在第二阶段吸烟动作。
101.当手部与嘴巴之间的距离不小于预设第二阈值，且手臂肘关节的弯曲角度大于预设第二角度阈值时，确定存在第二阶段吸烟动作，第二阶段吸烟动作即吸烟后，手部远离嘴巴且在预设时间阈值内(例如，持续3秒及以上)。
102.s33，根据第一阶段吸烟动作的检测结果和第二阶段吸烟动作的检测结果，确定吸烟行为的检测结果。
103.当第一阶段吸烟动作的检测结果为确定存在第一阶段吸烟动作，且第二阶段吸烟动作的检测结果为确定存在第二阶段吸烟动作，即确定在一定时间范围内，存在手部靠近嘴巴的吸烟动作以及手部远离嘴巴的动作，若判断存在一定次数以上的周期性第一阶段吸烟动作和第二阶段吸烟动作，结合检测到香烟状物体，即可确定存在吸烟行为。
104.吸烟行为的检测结果还包括确定不存在吸烟行为，若不存在第一阶段吸烟动作，
或不存在第二阶段吸烟动作，或二者都不存在，都可确定不存在吸烟动作，当不存在吸烟动作，即可确定不存在吸烟行为。
105.本发明实施例提供的吸烟检测方法，将位置变化信息中的第一位置变化信息和第二位置变化信息分别与预设第一阈值和预设第一角度阈值进行比较，从而判断是否存在第一阶段吸烟动作，将第一位置变化信息和第二位置变化信息分别与预设第二阈值和预设第二角度阈值进行比较，从而判断是否存在第二阶段吸烟动作。判断是否存在吸烟行为时，由于考虑了吸烟的动作，因此需要结合第一阶段吸烟动作的检测结果和第二阶段吸烟动作的检测结果进行综合判断，提升了吸烟行为检测的准确性。
106.在本实施例中提供了确定各目标位置信息的方法，对应于图1中s12，图4是根据本发明实施例的确定各目标位置信息的方法的流程图，如图4所示，该流程包括如下步骤：
107.s41，对目标图像进行检测，确定目标图像中的人体和香烟。
108.对目标图像进行检测的过程中，可以采用多种目标检测模型对不同的目标进行检测，例如可以通过人体检测模型检测目标图像中的人体，即使用机器学习或深度学习在图片或视频流中检测出人体，并标注其位置。通过目标检测模型检测目标图像中香烟状的物体，为了避免误检，在该步骤检测的香烟指香烟状的物体，并非直接确定是否为香烟，还需后续结合吸烟动作进行综合判断。
109.s42，对人体进行骨骼关节点提取，确定人体手臂关节点。
110.在对人体检测后，可通过深度学习模型提取人体骨骼关节点，从而确定手臂的关节点，并用连接线按照人体结构连接这些关节点。
111.s43，对人体的人脸进行检测，确定嘴巴的位置信息。
112.在对人体检测后，可基于检测到的人体进行人脸检测，例如通过人脸关键点模型进行检测，检测出五官的位置，即可确定嘴巴的位置信息，嘴巴的位置信息可以包括左嘴角的坐标，右嘴角的坐标等。
113.本发明实施例提供的吸烟检测方法，同时检测目标图像中的人体和香烟，再基于检测到人体检测人体手臂关节点以及嘴巴的位置信息，同时采用了多种目标检测方法，提升了检测目标的准确性。
114.在本实施例中提供了吸烟检测方法，可以基于摄像头加具有人工智能算力的边缘盒子的硬件组合，如图5所示，也可以基于具备人工智能算力的摄像头，方法的流程示意图如图6所示。当摄像头视频流被读入设备，将其分解成图像序列。图像序列经过多种目标检测模型，确定目标图像中的各目标。通过人体检测模型，例如yolov5模型，基于机器学习或深度学习方法在目标图像中进行人体检测，并标注其位置。基于检测到的人体，采用人体骨骼关节点检测模型提取出人体关节点，例如openpose模型，在检测出人体关节点后用连接线按照人体结构连接这些关节点，如图7所示。基于检测到的人体进行人脸检测，也可以直接进行人脸检测，采用人脸关键点模型检测出左眼、右眼、鼻子、左嘴角以及右嘴角等，例如retinaface模型。采用目标检测模型检测目标图像中的香烟状物体，例如mobilessd或yolo系列(v3、v4或v5)模型。需要注意的是，在本实施例中，几种目标检测既可以并行也可以串行使用。通过检测到的左嘴角、右嘴角以及人体手臂关节点判断是否存在吸烟动作。计算各目标图像中左嘴角和右嘴角的中点到手的距离，定义左嘴角到右嘴角的距离为预设第一阈值，左肩到右肩的距离为预设第二阈值。
115.在吸烟时，当手到嘴巴的距离不大于预设第一阈值并且肘关节的弯曲角度小于预设第一角度阈值，该动作保持一定时间以上(例如，3秒以上)，即可判断存在第一阶段吸烟动作。之后手逐渐远离嘴巴，当手到嘴巴的距离不小于预设第二阈值并且肘关节的弯曲角度大于预设第二角度阈值，该动作保持一定时间以上(例如，3秒以上)，即可判断存在第二阶段吸烟动作。之后进行周期性判断，若第一阶段吸烟动作和第二阶段吸烟动作在一定周期内重复设定次数，即判断存在吸烟动作，动作示意图如图8所示。在本实施例中，设定预设第一角度阈值为30度，预设第二角度阈值为150度。若检测到目标图像中存在香烟状物体，且香烟状物体的检测框与人体检测框的交并比大于一定数值，在本实施例中设定交并比阈值为0.8，在此前提下若判断存在吸烟动作，并且经过周期性判断，即吸烟动作在设定的时间周期内重复一定次数以上(例如3次以上)，综合判断后则完全判定存在吸烟行为，否则仍不判断为存在吸烟行为。若判断存在吸烟行为，则可以发出报警提示，以保障所监控的场所的安全，避免火灾的发生。
116.本实施例提供的基于视频或图片序列的吸烟检测方法，通过视频帧和目标检测做动作语义分析和目标捕捉，同时使用人体检测、人体关节点检测、目标检测以及人脸关键点检测来组合算法流程，根据吸烟动作的特征构造算法进行吸烟动作的判别，并结合香烟检测，采用多种判别机制，本方法中虽然是基于视频数据进行分析，但是可以对视频数据进行抽帧，解决基于静态图片检测导致检测精度较低的问题。
117.在本实施例中还提供了一种吸烟行为检测装置，该装置用于实现上述实施例及实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
118.本实施例提供一种吸烟行为检测装置，如图9所示，包括：
119.图像获取模块51，用于获取目标图像序列；
120.第一检测模块52，用于对所述目标图像序列中的各个目标图像进行目标检测，确定所述目标图像中各目标的位置信息，所述目标包括人体手臂关节点、香烟以及嘴巴；
121.香烟判断模块53，用于基于所述人体手臂关节点与所述香烟的位置，确定手部是否持有香烟；
122.第二检测模块54，用于当所述手部持有香烟时，基于所述人体手臂关节点以及所述嘴巴的位置信息，确定所述目标图像序列中手部与所述嘴巴之间的位置变化信息；
123.结果确定模块55，用于根据所述位置变化信息确定吸烟行为的检测结果。
124.在一些实施方式中，第二检测模块54包括：
125.距离确定单元，用于对于每个所述目标图像，基于所述人体手臂关节点以及所述嘴巴的位置信息，确定所述手部与所述嘴巴之间的距离；
126.位置变化信息确定单元，用于基于所述目标图像的时间顺序以及每个所述目标图像中所述手部与所述嘴巴之间的距离，确定所述位置变化信息。
127.在一些实施方式中，位置变化信息确定单元包括：
128.第一位置变化信息子单元，用于基于所述目标图像的时间顺序以及每个所述目标图像中所述手部与所述嘴巴之间的距离，确定第一位置变化信息；
129.弯曲角度确定子单元，用于对于每个所述目标图像，基于所述人体手臂关节点确
定手臂肘关节的弯曲角度；
130.第二位置变化信息子单元，用于基于所述目标图像的时间顺序以及所述手臂肘关节的弯曲角度确定第二位置变化信息。
131.在一些实施方式中，结果确定模块55包括：
132.第一结果确定单元，用于将所述位置变化信息中的第一位置变化信息与预设第一阈值进行比较，并将所述位置变化信息中的第二位置变化信息与预设第一角度阈值进行比较，确定第一阶段吸烟动作的检测结果；
133.第二结果确定单元，用于将所述位置变化信息中的第一位置变化信息与预设第二阈值进行比较，并将所述位置变化信息中的第二位置变化信息与预设第二角度阈值进行比较，确定第二阶段吸烟动作的检测结果；
134.检测结果确定单元，用于根据所述第一阶段吸烟动作的检测结果和所述第二阶段吸烟动作的检测结果，确定吸烟行为的检测结果。
135.在一些实施方式中，第一结果确定单元包括：
136.第一阈值确定子单元，用于根据所述嘴巴的位置信息确定预设第一阈值；
137.第一动作确定子单元，用于在预设时间阈值内，当所述第一位置变化信息不大于所述预设第一阈值，且所述第二位置变化信息小于预设第一角度阈值时，确定存在第一阶段吸烟动作。
138.在一些实施方式中，第二结果确定单元包括：
139.第二阈值确定子单元，用于根据所述人体手臂关节点确定预设第二阈值；
140.第二动作确定子单元，用于在预设时间阈值内，当所述第一位置变化信息不小于所述预设第二阈值，且所述第二位置变化信息小于预设第二角度阈值时，确定存在第二阶段吸烟动作。
141.在一些实施方式中，第一检测模块52包括：
142.目标检测单元，用于对所述目标图像进行检测，确定所述目标图像中的人体和香烟；
143.关节点确定单元，用于对所述人体进行骨骼关节点提取，确定所述人体手臂关节点；
144.位置信息确定单元，用于对所述人体的人脸进行检测，确定嘴巴的位置信息。
145.本实施例中的吸烟行为检测装置是以功能单元的形式来呈现，这里的单元是指asic电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
146.上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
147.本发明实施例还提供一种电子设备，具有上述图9所示的吸烟行为检测装置。
148.请参阅图10，图10是本发明实施例提供的一种电子设备的结构示意图，如图10所示，该电子设备可以包括：至少一个处理器601，例如cpu(central processing unit，中央处理器)，至少一个通信接口603，存储器604，至少一个通信总线602。其中，通信总线602用于实现这些组件之间的连接通信。其中，通信接口603可以包括显示屏(display)、键盘(keyboard)，可选通信接口603还可以包括标准的有线接口、无线接口。存储器604可以是高速ram存储器(random access memory，易挥发性随机存取存储器)，也可以是非不稳定的存
储器(non-volatile memory)，例如至少一个磁盘存储器。存储器604可选的还可以是至少一个位于远离前述处理器601的存储装置。其中处理器601可以结合图9所描述的装置，存储器604中存储应用程序，且处理器601调用存储器604中存储的程序代码，以用于执行上述任一方法步骤。
149.其中，通信总线602可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。通信总线602可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
150.其中，存储器604可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：ram)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：hdd)或固态硬盘(英文：solid-state drive，缩写：ssd)；存储器604还可以包括上述种类的存储器的组合。
151.其中，处理器601可以是中央处理器(英文：central processing unit，缩写：cpu)，网络处理器(英文：network processor，缩写：np)或者cpu和np的组合。
152.其中，处理器601还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：asic)，可编程逻辑器件(英文：programmable logic device，缩写：pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：cpld)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：fpga)，通用阵列逻辑(英文：generic array logic,缩写：gal)或其任意组合。
153.可选地，存储器604还用于存储程序指令。处理器601可以调用程序指令，实现如本技术实施例中所示的吸烟检测方法。
154.本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的吸烟检测方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
155.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。