基于机器视觉的电梯乘员综合安全智能监控方法与流程

本发明涉及一种基于机器视觉的电梯内异常活动智能监控方法。
背景技术：
：电梯在给人们带来便捷和方便的同时，也对人们的安全发出了挑战。由于电梯是一个相对封闭的公共场所，一方面为犯罪分子进行不法行为提供了极佳的场所，电梯轿厢内打架、抢劫等事件频频发生；另一方面，当一个人单独乘坐电梯时，尤其是老人可能发生突发疾病摔倒在电梯里，如不能及时发现，可能危及生命。为了构建一个安全的生活环境，在很多的高层小区、宾馆、大厦的电梯轿厢内都安装了视频监控装置。然而目前这些安装在电梯轿厢内的视频监控系统和城市中很多地方安装的大部分视频监控系统一样，只是简单的录像；监控和处理电梯轿厢乘员异常行为，只是依赖人工实时监控视频。所以，传统的视频监控系统有以下缺点：1.功能单一，只是简单的录像，存储，回放等功能，无法对监控场景进行实时的分析和处理。2.需要监控室内的监控人员通过长时间观看视频图像来对电梯轿厢内进行监控，但人眼具有易疲劳的缺点，不可能时刻保持警戒。3.有些大型小区的监控视频有几十甚至上百台摄像机，工作人员根本无法监看和管理。4.数据分析困难，安保人员查询特定事件事发时的录像资料的过程中，海量的数据给人们增加了困难。5.大部分事件都是事后响应，一旦遇到突发疾病情况，难以及时响应。6.目前电梯轿厢内报警方式主要是乘客自己去按警铃，但一般情况下，当乘客遭到不法侵害时，很难有机会去按报警铃。中国专利文献CN101557506A《基于计算机视觉的电梯轿厢内暴力行为智能检测装置》提出的方案主要是通过Codebook算法来提取前景人体对象，并通过单人前景区域所占像素点进行人数判断，若人数为单人以上时，则触发算法，提取出人群行为的三维特征向量序列，将这些序列通过隐马尔可夫模型检验，从而判断是否发生异常行为。该方案主要存在以下缺点：1.Codebook建模算法复杂。2.基于单人前景区域所占像素点来进行人数判断，若乘员携带行李、或存在人员遮挡、人员站立位置发生变化等情况，会导致误判。3.该方法需要提取出人群行为的三维特征向量序列，基于统计特征来检测异常行为，这就需要建立一个训练学习机制，而该学习机制是基于样本训练库的，样本训练库的建立就要求必须有足够多的训练样本，从而使得现有的基于统计特征的检测方法难以得到实际应用。此外，即使能够做到建立多样本数据库，由于收集较多训练样本的成本和工作量很大，无法在实际电梯系统中推广。中国专利文献CN105347127A《电梯轿厢内异常情况的监控系统及监控方法》提出的方案主要是采用一个3D体感摄像装置，该摄像装置具有用于面部表情识别和动作识别的彩色摄像头、深度传感器、红外追踪装置和用于语音识别的多点阵列麦克风。该方案主要存在以下缺点：1.对硬件设备要求较高，价格昂贵。2.多数据融合及多数据判断存在一些问题(譬如可能存在面部表情和行为甚至语言不符合的情况)，其次，识别的越多，需要处理的数据量也就越大，很难保证数据处理的实时性。中国专利文献CN103693532A《一种电梯轿厢内暴力行为检测方法》提出的方案主要是首先使用混合高斯模型提取运动模型，然后采用Harris算子检测运动区域的角点，再用金字塔Lucas-Kanade光流算法计算区域中角点的光流信息，然后统计光流信息的熵，并与设定的阈值进行比较，判断是否发生异常行为。该方案主要存在以下缺点：1.混合高斯背景模型是指背景图像中的每一个像素点用K(一般取3-5)个高斯模型来表示。混合高斯模型占用CPU资源太多，达不到实时检测的要求(以每秒25帧来说，要求在40ms内处理完图像)。2.若电梯轿厢内，乘员因为某些原因(比如蹲下系鞋带，或拣东西等)，可能会有短暂的移动，在短时间内计光流信息的熵可能会大于设定的阈值，这时会发生误报行为。总体来说，目前看似较为先进、智能的监控(理论)方案，算法都比较复杂，硬件要求较高，数据运算量大，都很难保证实时性的要求。技术实现要素：为了解决目前基于机器视觉的电梯安全监控处理方法存在的采集信息繁杂、数据处理量大、难以在居民社区推广应用等问题，本发明提供一种综合安全智能监控方法，以轻量化的数据采集及运算处理，即可快速、有效地判定轿箱内是否发生困人、摔倒、暴力事件等异常活动，从而及时、准确地发出告警，有效减轻监控人员的负担。本发明的技术方案如下：基于机器视觉的电梯乘员综合安全智能监控方法,包括以下环节：(1)前景提取1.1)当检测到轿厢关门信号后，通过减背景法用当前视频帧Ik与背景模型Bk做差获得差分图像Dk；所述背景模型Bk是在轿厢封闭且空置时轿厢内安装位置固定的摄像头拍摄的图像；1.2)根据二值化公式对差分图像Dk进行二值化处理，再通过形态学滤波算法去噪，最后对去噪后的结果进行区域连通分析，若连通区域的面积大于设定的阈值，则认为其是前景目标，相应的区域就是前景的区域范围；其中：减背景法计算式为Dk(x,y)＝|Ik(x,y)-Bk(x,y)|二值化计算式为式中Dk(x,y)为差分图像，(x,y)为像素点的坐标，Ik(x,y)为当前视频帧，Bk(x,y)为背景图像模型，Rk(x,y)为二值化后的图像；(2)轮廓提取采用Canny算子提取出二值化后的图像的边缘轮廓；(3)前景轮廓判断对提取的前景轮廓采用模板匹配算法与人体图像模板库进行比对，判断轿厢内是否有人，并判断轿厢内是否只有一个人；所述人体站立图像模板库是根据实景拍摄图像以所述边缘轮廓的形式对人体站立图像进行的建模；如果判断只有一个人，则继续环节(4)；如果判断有多人，则继续环节(5)；(4)单人安全告警预先建立有单人安全乘梯轮廓库；所述单人安全乘梯轮廓库是根据实景拍摄图像以所述边缘轮廓的形式对人体正常站姿进行的建模；该单人安全乘梯轮廓库选择的人体轮廓特征点多于所述人体站立图像模板库选择的特征点；将实时前景人体轮廓与单人安全乘梯轮廓库进行比对，若设定帧数量的连续帧图像都没有匹配上，则判定发生了单人安全问题，触发报警；(5)多人安全告警5.1)计算连续视频图像中相邻帧差值：Δk(x,y)＝|Rk(x,y)-Rk-1(x,y)|；5.2)将帧差图像中所有象素的灰度值进行累加：式中，M为图像的行，N为图像的列；5.3)基于设定的灰度阈值进行判断，若图像的总灰度值Δk大于阈值则开始计时，若在设定的时间内(例如可设为60S，若摄像头为每秒25帧，相当于设定60×25帧)图像的总灰度值Δk一直大于阈值，则判定发生了异常活动，触发报警。基于以上方案，本发明还进一步作了如下优化限定：轿厢内仅设置一个摄像头。这主要是考虑到本发明确立的背景建模和前景提取方案对一个视角的拍摄视频进行处理已经提取、准备了足够的信息，而无需多处设置摄像头(生成三维立体图像信息)，相应的也大大降低了数据运算量，从而提高了告警的实时性。步骤(1)采用时间平均法对背景进行建模，即对一段时间内的视频帧求和然后再求平均，计算公式如下：B(x,y)=1NΣi=1NBi(x,y)]]>式中B(x,y)表示背景模型，Bi(x,y)表示第i帧图像。本发明具有以下技术效果：1、前述专利文献的方案在背景建模时没有考虑到有关电梯轿厢的实际情况：电梯轿厢(非透明轿厢)关门后是一个封闭空间，且摄像头安装位置固定，环境简单且基本上不会发生变化，而且由固定光源照明，轿厢内光线的强弱变化不大，在背景建模时其实不用考虑光线的变化。如果是透明轿厢，则背景在一直变化，就需要对背景进行实时建模，这是极为困难的。本发明切实、充分考虑了轿厢监控图像的特点，针对非透明的轿厢，进行简单的背景建模，并基于背景模型(在检测到轿厢关门后才)进行优化的前景提取，信息采集量显著降低，为后期的视频分析快速、高效奠定了基础。2、本发明深入分析了电梯异常运行状态和电梯内异常活动发生时反映的监控图像特点，并综合考虑了漏报率和谎报率，采用相邻帧差值及阈值判断的方式检测二值化差分图像表征的运动幅值，能够快速、有效地判定困人、摔倒、暴力事件等各种异常活动，从而及时、准确地发出告警，有效减轻监控人员的负担，并能提高安保人员响应突发情况的快速性和针对事件的准确性。3、对于多人异常活动的监控，采用图像总灰度阈值判断的运动幅值检测，即对提取前景后的图像总灰度进行计算然后和阈值进行比较，无需大量的训练样本，也无需建库，运算量显著降低，保证了实时性。4、本发明硬件实现成本较低，能够广泛应用于居民小区、办公楼等场所的(非透明的)轿厢式电梯。附图说明图1为本发明所涉及的硬件架构示意图。图2为本发明的基本原理示意图。具体实施方式本发明的解决方案充分考虑了以下几方面的因素：乘梯安全的具体实际情况：当电梯轿厢内人数特别多的时候，一般情况下不会发生施暴，抢劫等行为，如果发生有人突然摔倒等情况，也会有其他人及时通知外人知道，不需要通过视频监控来报警。当发生困梯情况时，也会有人按电梯内报警按键。当只有一个人时，若是该人员突发疾病，无能力报警时，则需监控视频报警；或小孩，残疾人单人乘坐电梯时，发生困梯由于身高的原因，无法进行自主报警，此时只能依赖视频监控报警。或少数人在乘坐电梯时，发生施暴，抢劫等行为，受害人无法报警，此时则需要视频监控进行报警，同时记录下发生侵害行为的时间，电梯编号，方便以后的举证工作。由以上分析可知，本发明希望实现的功能有以下几个方面：1.当电梯发生故障，停止运行时，需检测轿厢内是否存在人员，若存在，不论该人员是否具备报警能力，都需要视频监测单元进行报警，此时轿厢门处于关闭状态。2.当单人乘梯突发疾病等，需视频检测单元进行报警，并记录下发生时间，及发生设备编号。3.当少数人发生施暴，抢劫等暴力行为时，需要视频检测单元进行报警，并记录下发生时间及发生设备的编号，方便以后的取证工作。对以上三个功能进行具体分析，并设计相应的实现方案：1.当电梯发生困人故障时，此时电梯轿厢门处于关闭状态，同时长时间处于静止状态，该功能通过监测电梯转速是否长时间等于0，及轿厢门开闭即可判断，此时判断轿厢内是否有人，若有人则报警。2.单人乘坐电梯时，正常情况下，人体处于直立状态，若人体突发疾病时，人体应处于倒地或弯腰状态，通过对人体轮廓提取及比对，即可判断该人是否处于异常情况，若异常则报警并记录，此时需要迅速报警，该情况下几分钟内往往决定一个人的生死。3.当少数人乘梯时，在电梯运行时，轿厢门处于关闭状态。正常情况下，人与人之间应有一定间隙，同时人体应处于一个静止状态或小幅度的运动状态，通过检测人体是否有大幅度的运动，即可对其进行判断。环境特点：轿厢监控摄像头一般安装在电梯轿厢内的固定位置，对于摄像头采集到的背景信息来说并不会发生变化，而对于轿厢内部来说，由于本身就是一个密闭空间，依赖固定光源照明，那么整个场景中，光照强度不会发生太多变化。这就对该智能监控设备提出了一个算法实时性的要求。评价指标：对于该监控系统(方法)评价的三个指标：实时性、漏报率和谎报率。漏报率和谎报率往往是一个系统相对立的两个指标，若要降低漏报率，往往可能将一些本不应该报警的行为错误的报警，这时系统谎报率往往就会升高。实时性：实时性主要指当行为发生时，该装置多久才能发现该行为并予以报警，尤其在突发疾病的情况下，这时报警是否及时往往决定了一个人的生死。漏报率：本该发现的情况，并没有报警。该装置需降低漏报率。谎报率：本来没有发生该情况，但监控装置认为该情况发生，并报警。譬如一个人蹲下系鞋带，但视频装置有可能认为该人是突发疾病弯腰，向电梯监控人员报警。因为人蹲下有可能因为突发疼痛，也有可能是系鞋带等，监控系统只能识别蹲下这个动作却很难去判断该种行为产生的原因。在这种情况下，认为该装置谎报，由监控人员判断该行为产生的原因，决定响应或解除该警报。由于该装置只是对监控人员进行报警，并不是直接报警到公安机关，故可允许一定的谎报率。通过以上分析可知，该监控系统是处于一个固定背景，光照强度固定的环境下，要求系统漏报率低，实时性高，可容忍一定谎报率的系统。那么在设计该系统时，尽量选择简单可行的算法来提高实时性，在漏报率和谎报率平衡时，尽量多的去降低漏报率。本发明的系统硬件架构如图1所示，主要包括设置于监控室的监控主屏和存储设备、以及分别设置于各个电梯轿厢内的摄像头；对应于每一个电梯轿厢单独设置的自动告警模块和接入了全部自动告警模块的多路视频及报警选择器；自动告警模块包括中央处理器单元、分别作为中央处理器单元三路输入的图像采集单元、轿厢门状态采集单元和轿厢速度采集单元、以及作为中央处理器单元输出的报警单元；摄像头拍摄的视频分为两路，一路经图像采集单元输入中央处理器单元参与自动告警信息的生成，另一路接入所述多路视频及报警选择器；多路视频及报警选择器的视频输出端和告警信号输出端接至监控主屏。其中，多路视频根据自动告警信息选择相应电梯轿厢的摄像头拍摄的视频输出至监控主屏。除此之外，也可以仍然按照传统方式将全部轿厢的视频信号显示在监控主屏上，操作人员可以根据同时显示的自动告警信息锁定放大相应的轿厢监控视频。监控室设置有两个报警取消按键，两个报警取消按键的信号输出端均接入所述多路视频及报警选择器，用于取消多路视频及报警选择器当前的告警输出；其中一个用于确认响应告警，另一个用于确认误告警。两个按键所导致的暂停告警时长设定应当是不同的，前者表明安保人员已确认发生了安全问题，已准备赶往现场处理，所以通常设置30分钟左右即可，不必在此时间段内再次发出告警；后者表明此次告警为误告警，所以通常设置1分钟左右即可，避免暂停过长忽略真实告警。每个电梯轿厢内仅设置一个摄像头。这主要是考虑到本发明确立的背景建模和前景提取方案对一个视角的拍摄视频进行处理已经提取、准备了足够的信息，而无需多处设置摄像头(生成三维立体图像信息)，相应的也大大降低了数据运算量，从而提高了告警的实时性。本发明的实现方法如图2所示，具体如下：一、背景建模考虑到电梯轿厢是一个封闭空间，且摄像头安装位置固定，环境简单且基本上不会发生变化，而且由固定光源照明，轿厢内光线的强弱变化不大，因此，在人体前景提取时选择减背景算法来提取电梯轿厢内的人体，对于背景差法而言，获得到真实的背景十分关键，因此首先要建立背景模型。考虑到实际背景的不变性和算法的简洁性，选择时间平均法对背景进行建模。时间平均法是对一段时间内的视频帧求和然后再求平均。B(x,y)=1NΣi=1NBi(x,y)]]>式中B(x,y)表示背景模型，Bi(x,y)表示第i帧图像。二、前景提取建立背景模型后，采集到轿厢关门信号后，通过减背景法用当前视频帧Ik与背景模型Bk做差获得差分图像Dk，再根据二值化公式对差分图像进行二值化处理，由于差分图像可能会含有一些噪声，再通过形态学滤波算法去除一些噪声的影响，最后对去噪后的结果进行区域连通分析，若连通区域的面积大于设定的阈值，则认为其是前景目标，相应的该区域就是前景的区域范围。Dk(x,y)＝|Ik(x,y)-Bk(x,y)|(减背景法公式)(二值化公式)其中Dk(x,y)为差分图像，(x,y)为像素点的坐标，Ik(x,y)为当前视频帧，Bk(x,y)为背景图像模型，Rk(x,y)为二值化后的图像。另外，前景提取这一环节，可以由轿厢关门信号采集模块触发运行，从而避免不必要的数据运算量以及对总线的占用。三、轮廓提取提取完差分图像后，再用Canny算子提取出该图像的边缘轮廓。算法思想如下，图像的边缘是图像上灰度变化最剧烈的地方，利用这个特点，对图像上各个像素点进行一阶或二阶微分来确定边缘像素点。对于一阶微分而言，图像的峰值处就对应着图像的边缘点，二阶微分图像的过零点处对应着图像的边缘点。为了计算方便，通常用差分代替导数计算，由于图像的一阶导数具有固定的方向性，不具有普遍性，因此可以用图像的梯度代替。Canny算子检测边缘的基本原理是：采用二维高斯函数的任一方向上的一阶方向导数为噪声滤波器，通过与图像卷积进行滤波；然后对滤波后的图像寻找图像梯度的局部极大值，以确定图像的边缘。式中σ为高斯滤波器的参数，它的大小控制着对图像的平滑程度，σ越小滤波器定位精度越高，但信噪比低，要根据实际需要选取σ的大小。设高斯平滑后的图像为I(x,y)，用有限差分近似偏微分计算平滑后图像每一个像素的梯度的幅值和方向，将边缘增强。Px[i,j]=(I[i+1,j]-I[i,j]+I[i+1,j+1]-I[i,j+1])/2Py[i,j]=(I[i,j+1]-I[i,j]+I[i+1,j+1]-I[i+1,j])/2]]>用上式计算出x,y方向的差分函数之后，该像素点梯度的幅值M(i,j)和方向θ(i,j)为M(i,j)=Px2[i,j]+Py2[i,j]θ(i,j)=arctan(Px[i,j]/Py[i,j])]]>在梯度幅值图像M中以像素点(i,j)为中心的3X3的邻域内沿着梯度方向θ(i,j)插值，如果像素点(i,j)处的梯度幅值M(i,j)大于θ(i,j)方向上及邻域的两个插值，则将像素点(i,j)标记为候选边缘点，否则为非边缘点。标记完边缘点后，采用双阈值法对各个标记的像素点进行判断，首先设定高阈值Th和低阈值Tl,其次对标记为候选边缘点的每个像素点(i,j)进行判断，凡是像素点的梯度幅值M(i,j)大于高阈值Th的一定是边缘点；凡是像素点的梯度幅值M(i,j)小于低阈值Tl一定不是边缘点；如果梯度幅值大于低阈值Tl同时又小于高阈值Th，则看这个像素点的临界像素中有没有超过高阈值的边缘点，如果有，它就是边缘点，如果没有，就是非边缘点。因为前景边缘轮廓提取对于人数判断及单人乘梯时是否安全的判断起着至关重要的作用。故采用相对复杂的Canny算子法，该算法具有低误判率，高定位精度、且能够抑制虚假边缘的优点。四、前景轮廓判断人们在乘坐电梯时，正常情况下为人体站立姿势，很多时候处于静止状态或小幅度的移动状态。对人体站立图像进行建模，并存储。这样，通过与实时提取的前景轮廓通过模板匹配算法进行比对判断，能够判断轿厢内是否有人，根据需要还可以进一步判断轿厢内是否只有一个人，进而还可以判断乘梯人员的基本状况。五、困人告警一旦发生困人时，人员在短时间之内并不会发生安全事故，且假设轿厢内有多人，应有人能主动报警自救。但考虑到小孩或残疾人等单人乘梯时，由于身高问题，无法自己报警，就需要借助本发明进行自动触发报警。不过该种情况对实时性要求不用太高，需要考虑减少误报警以避免增加安保人员的工作量。具体流程如下：采集到轿厢关门信号，且在60S内电梯仍未移动，若此时通过模板匹配法判断轿厢内有人存在，则触发报警。六、单人安全告警通过模板匹配算法若判断轿厢内只有一人时，则触发该算法，该算法如下：首先建立一系列的单人安全乘梯轮廓库，在轿厢门关闭时，实时采集视频帧，对视频帧进行前景轮廓提取，并通过模板匹配算法将实时前景人体轮廓与单人安全乘梯轮廓库进行比对，若连续10帧图像都没有匹配上，则认为可能发生潜在的安全问题，由装置触发报警单元。以每秒25帧计算，10帧图像花费时间0.4秒，保证了检测的实时性，同时也降低了误报率。该算法有可能存在一定的误报率，但单人情况时，考虑到误报率和漏报率权衡，最终倾向消除漏板率。七、多人安全告警当电梯正常运行，且电梯内乘员数量大于1人时，则触发该算法，利用多人乘梯正常时，人员应静止或有小幅度移动，若监控画面出现长时间(60S)存在较大运动幅值，则认为可能发生潜在安全事故，触发报警。本发明提出了一种采用相邻帧差值及灰度阈值判断的方法来检测运动幅值的办法，该方法具有实现简单、无需建模、计算量小、速度快、实时性好的特点，算法原理如下：将实时采集到的图像进行前景提取得到二值化前景图像，此时该帧图像只包含前景信息，根据连续视频场景的不变性，若图像中的物体发生运动时，连续视频图像之间具有显著的帧差；反之若没有物体运动时，连续帧的图像间的变化就很小。Δk(x,y)＝|Rk(x,y)-Rk-1(x,y)|，其中，N为设定的连续帧数量；再对图像进行累加：式中，M为图像的行，N为图像的列；设定阈值，若Dk大于阈值则开始计时，若在一段时间(本发明设定为60S)内帧差一直大于阈值，则判断为认为可能发生潜在安全事故，触发报警。这样可有效避免因轿厢内乘员短时间内移动造成的误报警。同时在60S就可发现电梯暴力行为，可有效提高乘员的乘梯的安全性。本发明可以通过采用DSP对视频数据流进行处理并分析判断目标的动作和行为，通过自动地检测目标，识别目标类型以及目标行为等算法，智能的抽取、分析和理解视频源中的关键信息，对电梯困人、乘员摔倒、电梯内多人暴力事件等异常行为进行识别，在异常行为发生时及时的发出报警信号。通知安保人员，由安保人员决定该如何处理该行为。这样就减少了对乘客的伤害，从而提高乘客乘坐电梯时的安全性，也同时极大地减轻了安保人员的工作强度。当前第1页1 2 3