一种开放空间的吸烟行为识别方法与流程

本发明属于智能识别技术领域，尤其涉及一种开放空间的吸烟行为识别方法。

背景技术

吸烟行为不但会对自己和他人的身体的健康产生不小的危害，还会诱发很多的危险，对社会的发展和安全造成极大的风险，为此加油站、输油管道、特种施工工地、公共交通场合、森林等明令禁止吸烟行为。随着时代的进步，人工智能技术得到了长足的发展，科技的发展也为更好的进行吸烟行为的区域控制带来了新方法和新思路。

针对较大范围中吸烟行为的检测和告警，现有的方法主要有三种：

方案1、采用红外探测热成像设备进行高温烟头的探测来检测吸烟；香烟在点燃后，烟头表面温度为200℃～300℃，中心温度则为700℃～800℃，为强红外辐射源。为此，可采用红外热成像设备进行拍照，然后再根据图像温度对应关系对所得图像进行扫描检测，来判定是否存在吸烟行为；

方案2、采用对香烟所产生的烟雾进行探测来检测吸烟；在简单场景中，可采用计算机视觉技术，对吸烟的烟雾进行检测来识别吸烟行为，其中包括两个阶段：生成分类器阶段和吸烟烟雾检测阶段，生成分类器阶段包括接受样本视频信息，利用多通道背景差分提取疑似吸烟烟雾区域，提取疑似区域的运动特征，利用所提取运动特征组合成特征向量训练支持向量机；吸烟烟雾检测阶段包括，接收待检测视频信息，利用生成分类器阶段相同的方法提取疑似吸烟烟雾区域的动态特征并组合成特征向量输入分类器，判断疑似区域是否为吸烟烟雾。

方案3、采用手臂之间的角度进行探测来检测吸烟；监测个体的手臂处于静止状态时上臂和下臂之间的夹角，判断所述上臂和下臂之间的夹角是否满足预设的手臂夹角条件，如果所述上臂和下臂之间的夹角满足预设的吸烟手臂夹角条件，确定个体发生一次吸烟行为。可根据个体的手臂运动，识别个体的每一次吸烟行为。

方案1的缺点是探测精度有限，该方案由于必须采用专用设备，造价较高，性价比较差，不适用于大范围探测，也不能对吸烟行为进行有效的预判；

方案2的缺点在于不适合在开放性区域中进行吸烟行为探测，在室外空气快速流通情况下，采用烟雾识别的方法进行吸烟行为的判断更是困难，漏检率较高；

方案3虽然非常适合对个人的吸烟行为探测，但对于不同个体和不同视角，极难准确判断上臂和下臂角度，因此方案3适合制作个人戒烟装置产品，但不适合用于吸烟行为的大范围探测。

技术实现要素：

本发明的目的是提供一种开放空间的吸烟行为识别方法，能够在开放、人员众多、气流环境复杂的区域有效的对吸烟行为进行识别，从而提升开放空间中吸烟行为的检测准确率，满足公共场合、开放危险场合的吸烟预警、实时报警等控烟需求。

为了实现上述目的，本发明技术方案如下：

一种开放空间的吸烟行为识别方法，所述方法包括：

从样本视频中提取吸烟动作视频序列作为样本图片，并记录样本图片在样本视频中所发生的时间，生成吸烟行为时间间隔数据集合；

采用包含脸部、手和香烟的样本图片训练得到第一模型，采用包含手臂的上臂和下臂的样本图片训练得到第二模型，采用吸烟行为时间间隔数据集合训练得到第三模型；

获取待识别区域的红外图像，锁定温度大于预设温度的热点位置信息，获取热点位置的实时视频流，然后利用人脸识别算法对实时视频流中人脸进行检测，若距离热点位置预设范围内有人存在，则调用第一模型和第二模型，对从实时视频流中提取的视频序列进行检测，分别获取吸烟行为第一相似度、第二相似度；

根据第一相似度、第二相似度及设定的对应权重，计算总体的静态相似度；

根据总体的静态相似度，计算得到吸烟行为时间间隔数据，调用第三模型，获取动态相似度；

根据静态相似度、动态相似度计算总相似度，采用计算得到的总相似度判断是否存在吸烟行为。

进一步地，所述第一相似度为p1，所述第二相似度为p2，所述总体的静态相似度p通过如下公式计算：

p＝p1*w1+p2*w2

其中，第一相似度p1的权重为w1，第二相似度p2的权重为w2。

进一步地，所述第一相似度p1的权重w1大于第二相似度p2的权重w2。

进一步地，所述总体的静态相似度为p，所述动态相似度为q，所述总相似度为g，所述总相似度g通过如下公式计算：

g＝p*t1+q*t2

其中，总体的静态相似度p对应的权重为t1，动态相似度q对应的权重为t2。

进一步地，所述总体的静态相似度p对应的权重t1大于动态相似度q对应的权重t2。

进一步地，所述根据总体的静态相似度，计算得到吸烟行为时间间隔数据，包括：

当静态相似度大于设定的阈值时，判断为疑似吸烟行为；

当通过静态相似度发现第一次疑似吸烟行为时，记录发生的时间；

在之后再次判断到疑似吸烟行为时，根据第一次疑似吸烟行为图片出现的时间进行时间间隔的计算，从而获取吸烟行为时间间隔数据。

本发明提出的一种开放空间的吸烟行为识别方法，能够预判人群分布密集、场所开放、天气或环境较差、空气流通性好、不易形成明显烟雾的区域的吸烟行为的个体，以关键行为发生时静态图片分析识别为主，以关键行为发生时间分析为辅，解决了不易利用烟雾进行吸烟行为判别的场所的吸烟行为判别。在静态相似度判断基础上，结合了动态相似度，可以大大提高吸烟行为的判断精度。

附图说明

图1为本发明开放空间的吸烟行为识别方法流程图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本发明的总体思路是，首先依次进行手部模型、手臂模型的深度卷积模型训练，然后采集各个吸烟动作的发生时间，形成时间序列；在检测时，采用红外成像装置进行热源位置的判断，然后根据实时采集的视频图像，完成距离热源位置最近的人脸识别和定位，接着依次进行手部模型、手臂模型的检测，最后根据聚类算法和吸烟动作时间序列，进一步确认吸烟行为个体。

如图1所示，本技术方案一种开放空间的吸烟行为识别方法，包括：

从样本视频中提取吸烟动作视频序列作为样本图片，并记录样本图片在样本视频中所发生的时间，生成吸烟行为时间间隔数据集合；

采用包含脸部、手和香烟的样本图片训练得到第一模型，采用包含手臂的上臂和下臂的样本图片训练得到第二模型，采用吸烟行为时间间隔数据集合训练得到第三模型；

获取待识别区域的红外图像，锁定温度大于预设温度的热点位置信息，获取热点位置的实时视频流，然后利用人脸识别算法对实时视频流中人脸进行检测，若距离热点位置预设范围内有人存在，则调用第一模型和第二模型，对从实时视频流中提取的视频序列进行检测，分别获取吸烟行为第一相似度、第二相似度；

根据第一相似度、第二相似度及设定的对应权重，计算总体的静态相似度；

根据总体的静态相似度，计算得到吸烟行为时间间隔数据，调用第三模型，获取动态相似度；

根据静态相似度、动态相似度计算总相似度，采用计算得到的总相似度判断是否存在吸烟行为。

本技术方案的第一阶段，进行检测模型的训练。本实施例训练了三个模型，第一模型采用包含脸部、手和香烟的样本图片训练得到，第二模型采用包含手臂的上臂和下臂的样本图片训练得到，第三模型采用吸烟行为时间间隔数据集合训练得到。

上述模型训练的样本数据从大量的含有吸烟行为的样本视频中获取，先组织大量的含有吸烟行为的样本视频，以时间顺序人工提取样本中吸烟者吸烟动作图片作为样本图片，此处的吸烟动作图片是指吸烟者将使用左手或右手将香烟塞入嘴部时的即时视频中截取的图片信息作为样本图片，并记录该样本图片在视频文件中所发生的时间，计算出各个发生时间之间的间隔，并将该数据进行保存，生成吸烟行为时间间隔样本集合。

本实施例获取到的样本图片集合需要进行标注，即进行关键特征信息的提取。本发明将包含脸部、手和香烟的样本图片中的关键特征进行统一处理，而将包含手臂的上臂和下臂的样本图片中的关键特征进行统一处理，其中的处理方法是指进行坐标位置的标定，或进行子图片的抠图，两者具有同等的效力。其中位置标定是标定样本图片中包含脸部、手和香烟的矩形区域，或标定样本图片中包含手臂上臂和下臂的矩形区域。而进行子图片的抠图是将包含脸部、手和香烟的区域、包含手臂上臂和下臂的区域，抠成子图片。另外，还对所记录的样本图片的发生时间进行处理，计算出各个发生时间之间的间隔，并将该数据进行保存，生成吸烟行为时间间隔样本集合。

对于第一模型、第二模型的训练，本实施例利用卷积神经网络来建立第一模型、第二模型，采用包含脸部、手和香烟的样本图片进行训练得到第一模型，采用包含手臂的上臂和下臂的样本图片进行训练得到第二模型。利用min/max、svm、knn或lbp进行包含吸烟行为发生时间间隔数据集合的学习获得第三模型，至此完成所有应用模型的生成。

需要说明的是，对于卷积神经网络模型训练过程，以及min/max、svm、knn或lbp模型的训练过程，都属于深度学习的范畴，已经是比较成熟的模型，这里不再赘述。

本技术方案的第二阶段，是对待识别区域进行识别，以便识别出吸烟行为，进行提示告警。

本实施例利用红外成像装置先获取待识别区域的红外图像，利用不同温度红外成像灰度不同的原理，设定灰度阈值，当图像中存在大于等于灰度阈值的点时，视为该点温度大于预设温度，设定该点为锁定的热源点，即疑似抽烟热点，从而完成点燃的烟头的判断，确定热点位置。

随后通过摄像机获取热点位置的实时视频流，对视频图像中的人脸进行检测和定位并进行记录。其中，对人脸进行检测采用基于深度学习的mtcnn方法以提高识别率，也可调用opencv现有的行人识别模型或算法，这里对于人脸识别不再进行赘述。

需要说明的是，热点位置的实时视频流采用摄像机来获取，根据所采用的摄像机的参数，或设定的所要采集的图像的大小，可以获取到热点位置的视频图像，为了便于后期的识别，所获取的视频图像应能够涵盖吸烟者人脸、手和香烟，以及手臂的上臂和下臂。

如果检测到距离热点位置预设范围内有人存在(识别到人脸)，则认为存在疑似吸烟行为，需要进行吸烟行为的进一步识别。本实施例调用第一模型和第二模型，对从实时视频流中提取的视频序列进行检测，分别获取吸烟行为第一相似度、第二相似度。

容易理解的是，在调用第一模型和第二模型进行识别时，输入图片的获取和处理与前面获取样本图片的过程一致，但是不用进行标注，这里不再赘述。

本实施例调用第一模型、第二模型对从实时视频流中提取的视频序列进行识别检测。第一模型通过检测输出第一相似度，及对应的定位数据，定位数据对应包含脸部下方、香烟和手的子图；第二模型通过检测输出第二相似度，及对应的定位数据，定位数据对应包含手臂下臂和上臂的子图。

根据第一相似度、第二相似度及设定的对应权重，计算总体的静态相似度。

例如：设定第一相似度p1的权重为w1，第二相似度p2的权重为w2，则总体的静态相似度p根据如下公式计算：

p＝p1*w1+p2*w2

本实施例总体的静态相似度p也可以采用投票法来确定，即比较第一相似度p1和第二相似度p2，哪个大就以哪个为总体的静态相似度。

从而计算得到总体的静态相似度，得到以图片为基础的静态相似度，并可以根据所设定的阈值，进行疑似个体案例提醒。第一相似度对应的权重、第二相似度对应的权重可以根据实验结果进行设置。优选地，第一相似度对应的权重要大于第二相似度对应的权重，即以脸部、手和香烟等特征为主要特征进行检测，以手臂的上臂和下臂等特征进行辅助检测。本技术方案可以仅根据总体的静态相似度来进行疑似判断，当静态相似度大于设定的阈值时，判断为疑似吸烟行为，这种判断也是一种初步判断，在一定的情况下也具有一定的准确度。

为了识别更加准确，本技术方案需要进一步通过第三模型来识别出动态相似度。

首先根据总体的静态相似度，计算得到吸烟行为时间间隔数据。容易理解的是，抽烟动作具有一定的规律性，例如抽一口的时间间隔通常都在一个范围内，因此通过吸烟行为时间间隔可以进行进一步判断。根据第一相似度及其定位数据、第二相似度及其定位数据，计算得到总体的静态相似度，我们可以进行一个初步判断，判断是否有吸烟行为。当通过静态相似度发现第一次疑似吸烟行为时，记录发生的时间，在之后再次判断到疑似吸烟行为时，根据第一次疑似吸烟行为图片出现的时间进行时间间隔的计算，从而获取吸烟行为时间间隔数据。吸烟行为时间间隔数据还可以仅根据第一相似度、或第二相似度，在第一相似度或第二相似度大于设定的一个数值时，记录视频图像的时间，以此作为吸烟行为时间间隔数据。

在获取到吸烟行为时间间隔数据后，将获取的吸烟行为时间间隔数据输入到第三模型，输出动态相似度。

然后根据静态相似度、动态相似度计算总相似度，采用计算得到的总相似度判断是否存在吸烟行为。

具体地，假设静态相似度为p，对应的权重为t1，动态相似度为q，对应的权重为t2，总相似度g计算公式如下：

g＝p*t1+q*t2。

本实施例将静态相似度和动态相似度进行线性计算，获取总相似度。静态相似度和动态相似度的权重可以根据实验结果进行设置。优选地，其中静态相似度对应的权重应大于动态相似度对应的权重。静态相似度识别率高、精度高、证据性强，但是动态相似度只能评判手部的动作是否和吸烟匹配，分辨率、精度相对较低，因此本实施例设置静态相似度对应的权重应大于动态相似度对应的权重。

最后，根据总体相似度进行判断，如果大于设定的阈值，则判定为存在吸烟行为，进行告警。本实施例判定方法在静态相似度判断基础上，结合了动态相似度，可以大大提高吸烟行为的判断精度。

通过本发明的技术方案，相较传统的红外成像法进行吸烟行为识别的方法，极大地提高了探测精度。相较传统的烟雾探测进行吸烟行为识别的方法，可以应用在各类环境特殊场合，在室外、大风等环境中依然可以保持很高的准确率，同时降低技术开发的难度。相较依据手臂位置进行吸烟行为探测的方法，本发明可适用于不同个体和不同视角，不需要非常准确的判断手臂之间的角度，适用于各类的公共场所控烟要求。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。