一种基于两阶段检测网络的电梯挡门行为识别方法

1.本发明涉及行为识别领域，特别是涉及一种电梯挡门行为识别方法。


背景技术：

2.轿厢式电梯的出现给我们的生活带来了极大的便利。然而，电梯在提高我们生活质量的同时，其安全性也值得特别关注。特别是在高层住宅区，电梯的使用率非常高，电梯中一些不安全行为的发生率也越来越高。其中，乘客遮挡电梯门的行为是最常见的不安全行为之一，其很容易导致电梯门无法正常开启和关闭，从而引发危险。
3.为了及时发现电梯中的一些不良行为和突发事件，大多数电梯轿厢都安装了监控摄像头，但传统的视频监控系统难以准确、及时地发现电梯内乘客的不文明行为。随着智能视频监控技术的出现和人工智能的发展，基于计算机视觉的人工智能算法也成为近年来的研究热点。因此，利用人工智能算法对监控视频中的行为进行识别逐渐成为一种常见方法。
4.目前已有的专利中对电梯内行为识别方法的研究大致可分为两类。一类是基于机器学习算法的行为检测方法。一些研究人员采用减背景法+sobel算子边缘检测方法提取电梯内乘客的边缘特征并分析其动作。还有一些研究通过计算相邻两帧图像之间一个固定特征点的豪斯多夫距离来判断电梯门的开启和关闭状态。另外，为了解决电梯门区域没有显着特征点的问题，有专利提出在电梯轿厢门上粘贴标记，通过人为添加特征点来增强特征点。这类方法虽然在一定程度上解决了传统监测技术的劳动力消耗问题，但往往受环境光影响，泛化能力差，检测精度低，在实际应用中存在很大局限性。另一类是基于深度学习的行为检测方法。这类方法大多使用双流卷积网络或三维卷积网络来提取监控视频的时空特征。有的专利中还将光流法集成到三维卷积网络中，以提高网络识别精度。与机器学习方法相比，上述方法大大提高了检测精度和泛化能力，但它的缺点是网络计算复杂，网络框架繁重。而且小窗口分数融合的方法使得多个小窗口之间的时间关系没有得到最优的关联。另外，对于乘客挡门行为，其持续时间较长，且远距离帧之间的行为特征具有相关性，因此依靠简单的单个神经网络无法准确提取特征并识别。
5.因此，本发明提出一种基于两阶段检测网络的电梯挡门行为识别方法，采用两阶段特征提取网络，通过识别电梯门开度在一段时间内的变化趋势，间接判断是否发生了挡门行为。第一阶段是电梯门区域检测网络，使用yolox算法将特征提取的焦点集中在电梯门区域。第二阶段是电梯门开度识别网络，利用efficientnet b6网络主干进行特征提取，在输出端进行线性回归，得到电梯门的实时开度，最后通过逻辑判断和筛选完成对挡门行为的识别。经测试，该方法有效提高了电梯挡门行为的识别准确率。


技术实现要素：

6.发明目的：本发明的目的是提供一种基于两阶段检测网络的电梯挡门行为识别方法，通过两阶段特征提取网络依次完成区域裁剪和电梯门开度的识别，输出端进行回归后通过逻辑判断筛选出挡门行为的片段，提高了电梯挡门行为行为的识别准确率。
7.技术方案：为达到此目的，本发明采用以下技术方案：
8.本发明所述的基于两阶段检测网络的电梯挡门行为识别方法，包括以下步骤：
9.s1：对高层楼宇内的电梯监控视频进行采集和筛选，选取不同场景、不同摄像头角度的监控视频，对其进行抽帧，一部分通过裁剪电梯门区域并打标签，制作成电梯门区域检测数据集，另一部分按照电梯门开度大小进行分类制作成电梯门开度识别数据集；
10.s2：构建第一阶段的电梯门区域检测网络，采用yolox算法搭建网络，输入端为224
×
224大小的图片张量，输出端为图片中电梯门区域的矩形坐标，利用坐标将电梯门区域从原图片上裁剪下来；
11.s3：构建第二阶段的电梯门开度识别网络，采用efficientnet b6网络的主干部分作为特征提取网络，对步骤s2中裁剪得到的电梯门区域进行特征提取，在输出端采用线性回归的方法，得到一个表示电梯门开度的浮点数；
12.s4：分别利用步骤s1中的两个数据集对两个阶段的网络进行训练，得到训练好的模型，并将两阶段网络模型进行连接融合，后在输出端接一组逻辑判断语句，构成两阶段检测网络，以此进行挡门行为的识别与筛选；
13.s5：将待检测的视频流通过滑动窗口，后将滑动窗口截取出的视频段连续送入步骤s4中构建的两阶段网络模型中，输出判断结果，并将包含挡门行为的视频段进行截取。
14.步骤s1中，制作电梯门开度识别数据集时，按照电梯门开度大小将图片分为0％，20％，40％，60％，80％，90％，100％七类。
15.步骤s2中，构建第一阶段的电梯门区域检测网络包括以下步骤：
16.s21：采用yolox系列网络中的yolox-darknet53模型作为主干网络部分；
17.s22：在输出端结合网络模型识别得到的电梯门目标框的坐标，利用ffmpeg函数工具在原图上进行裁剪操作；
18.s23：裁剪结果以jpg图片格式输入第二阶段网络中。
19.步骤s3中，构建第二阶段的电梯门开度识别网络包括以下步骤：
20.s31：采用efficientnet b6网络的前17层作为特征提取网络，对步骤s23中输入的裁剪后的电梯门区域图片进行特征提取；
21.s32：在17层的特征提取网络之后，接一个池化层和一个全连接层，将通道数变为960；
22.s33：在最后输出端使用线性回归函数将960个通道的信息回归为一个浮点数，作为电梯门实时开度值进行输出。
23.步骤s4中，在两阶段检测网络的输出端接的逻辑判断语句组合具体为：对步骤s33中得到的电梯门实时开度值计算梯度，若在连续20帧内梯度从负阈值-l变化至正阈值l，同时该段时间内电梯门的开度值没有下降至0，则判断该视频区间发生挡门行为，对其筛选并截取。
24.有益效果：本发明公开了一种基于两阶段检测网络的电梯挡门行为识别方法，采用两阶段特征提取网络，第一阶段使用yolox算法对原始图片进行裁剪，将特征提取的焦点集中在电梯门区域，对后续特征提取起到了重要作用，有利于排除非特征区域的干扰。第二阶段利用efficientnet b6网络主干进行电梯门区域的特征提取，在输出端进行线性回归，得到电梯门的实时开度，最后通过逻辑判断和筛选完成对挡门行为的识别。该方法解决了
机器学习方法检测精度低以及三维神经网络参数复杂的问题，经测试，该方法有效提高了电梯挡门行为的识别准确率，对电梯轿厢内挡门行为的检测精度达到了90％以上。在实际应用中，该方法大大提高了电梯内挡门行为检测的效率，节省了传统视频监控技术所耗费的人力物力，且不易受到电梯内外光线影响，泛化能力强，模型计算量和复杂度较低，节约了成本。
附图说明
25.图1为本发明具体实施方式中方法的流程示意图；
26.图2为本发明具体实施方式中的逻辑判断识别示意图。
具体实施方式
27.下面结合具体实施方式和附图对本发明的技术方案作进一步的介绍。
28.实施例：本具体实施方式公开了一种基于两阶段检测网络的电梯挡门行为识别方法，如图1所示，包括以下步骤：
29.s1：对高层楼宇内的电梯监控视频进行采集和筛选，选取不同场景、不同摄像头角度的监控视频200段，全部对其进行抽帧，一部分通过裁剪电梯门区域并打标签，标签为“door”,制作成电梯门区域检测数据集，另一部分按照电梯门开度大小将图片分为0％，20％，40％，60％，80％，90％，100％七类，制作成电梯门开度识别数据集；
30.s2：构建第一阶段的电梯门区域检测网络，采用yolox算法搭建网络，选用yolox-darknet53作为基础模型，输入端为224
×
224大小的图片张量，在输出端结合网络模型识别得到的电梯门目标框的坐标，利用ffmpeg函数工具在原图上进行裁剪操作，将电梯门区域裁剪下来；
31.s3：构建第二阶段的电梯门开度识别网络，采用efficientnet b6网络的主干部分作为特征提取网络，对步骤s2中裁剪得到的电梯门区域进行特征提取，在输出端采用线性回归的方法，得到一个表示电梯门开度的浮点数，构建的步骤如下：
32.s31：采用efficientnet b6网络的前17层作为特征提取网络，对步骤s2中输入的裁剪后的电梯门区域图片进行特征提取；
33.s32：在17层的特征提取网络之后，接一个池化层和一个全连接层，将通道数变为960；
34.s33：在最后输出端使用线性回归函数将960个通道的信息回归为一个浮点数，作为电梯门实时开度值进行输出。
35.s4：分别利用步骤s1中的两个数据集对两个阶段的网络进行训练，得到训练好的模型，并将两阶段网络模型进行连接融合，后在输出端接一组逻辑判断语句，逻辑判断语句组合具体为：对步骤s33中得到的电梯门实时开度值计算梯度，若在连续20帧内梯度从负阈值-l变化至正阈值l，同时该段时间内电梯门的开度值没有下降至0，则判断该视频区间发生挡门行为，对其筛选并截取；
36.s5：将待检测的视频流通过滑动窗口，后将滑动窗口截取出的视频段连续送入步骤s4中构建的两阶段网络模型中，输出判断结果，并将包含挡门行为的视频段进行截取。
37.需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的
基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。