电梯维保过程检测方法及装置与流程

1.本发明涉及一种电梯维保过程检测方法及装置。


背景技术：

2.电梯在现代生活中扮演着重要角色，不过，其在给人们带来高效便捷的生活的同时，也因易发生故障而给人们带来困扰。电梯的故障原因多种多样，主要包括人为因素、自身零部件寿命原因以及环境影响等。因此，需要对电梯进行定期的维护、保养。不过，对电梯进行维保需要耗费大量人力物力，使得一些技术提出对电梯进行有针对性的按需维保，例如，只有当电梯故障监控系统发出维保需求时，维保人员才到现场进行维保。这种方式虽然在一定程度上避免了资源浪费，但是维保效果往往不尽人意。
3.另外，现有技术中，通常采用硬件设备对维保工作进行监测，例如cn206529178u公开的一种电梯维保监视设备，该专利通过维保人员携带具有nfc模块的移动终端与安装在电梯轿厢壁上的具有nfc读卡器的电梯维保信息发送装置进行通信，从而读取移动终端固有的电梯维保id，并把电梯维保id信息发送到网络侧，对电梯维保人员是否到达进行监测。由此可见，该专利的方案虽然能够在一定程度上实现对电梯维保过程的监测，但是其使用了大量成本较高的硬件终端设备，并且操作繁琐费时。


技术实现要素：

4.本发明的目的在于提供一种电梯维保过程检测方法及装置。
5.为实现上述发明目的，本发明提供一种电梯维保过程检测方法及装置，方法包括以下步骤：
6.a、获取所述电梯轿厢内监控的视频数据；
7.b、提取所述视频数据中的关键帧；
8.c、识别所述关键帧中的维保标识；
9.d、根据识别结果分析维保作业的时长。
10.根据本发明的一个方面，对电梯故障监控系统发出的故障进行整合并分析当前故障的原因以形成工单，根据维保条件信息派送工单，经过一段时间后再进行所述步骤(a)；
11.所述维保条件信息包括当前是否能及时维修、是否对电梯进行过维保、维保人员工龄。
12.根据本发明的一个方面，在派送工单时，将工单派送给工作经验值最高的维保人员；
13.所述工作经验值v的计算方式为：
14.v＝0.7t+0.3y；
15.其中，t为对电梯维修的次数，y为维保人员的工龄。
16.根据本发明的一个方面，在所述步骤(b)中，先基于帧差分方式提取所述视频数据中的基础帧，再基于分类模型提取所述关键帧。
17.根据本发明的一个方面，在提取所述基础帧时，按一定采样率获取所述视频数据的视频帧，对所述视频帧进行帧差分，对平均帧间差分强度时间序列进行平滑处理，选择具有平均帧间差分强度局部最大值的所述视频帧作为所述基础帧；
18.在提取所述关键帧时，利用有维保标识和无维保标识的图片样本训练lightgbm作为所述分类模型，利用所述分类模型对所述基础帧过滤，得到所述关键帧；
19.所述帧差分的差分序列为x＝[x1，x2，...，xn]，得到平滑处理的递推关系为：
[0020]
si＝αxi+(1-α)s
i-1
；
[0021]
其中，0≤α≤1，s为某一时刻的平滑值，i为当前时刻，x为当前时刻的真实值，n为序列长度
ɑ
为平滑参数。
[0022]
根据本发明的一个方面，在所述步骤(c)中，利用目标检测模型对所述关键帧进行识别；
[0023]
若当前所述关键帧中出现所述维保标识的概率超过设定概率阈值，则判定当前所述关键帧处于维保时段。
[0024]
根据本发明的一个方面，所述目标检测模型为经过剪枝训练的yolo3模型；
[0025]
在进行所述剪枝训练时，利用网络权重幅度作为评价指标，将低于设定阈值的网络结构权重置零，再对模型重新训练；
[0026]
对剪枝后的模型进行测试评价，若测试精度低于使用要求，则停止剪枝操作并将模型输出。
[0027]
根据本发明的一个方面，所述网络权重幅度为原模型权重的l2范数w
l2
＝||w||2，其中，w为原模型的其中一层网络结构权重参数。
[0028]
根据本发明的一个方面，在所述步骤(d)中，将处于维保时段的所述关键帧按时间顺序排列，所构成的时间序列的长度为维保作业的时长及维保开始和结束时间。
[0029]
电梯维保过程检测装置，包括：
[0030]
工单发送模块，用于整合故障原因并派送工单；
[0031]
视频关键帧获取模块，用于提取所述视频数据中的关键帧；
[0032]
目标检测模块，用于识别所述关键帧中的维保标识；
[0033]
输出模块，用于输出维保时长；
[0034]
所述维保标识为维保告示牌。
[0035]
根据本发明的构思，在按需维保过程中，通过识别电梯智能监控视频中维保标识出现的时长，来实时监测维保人员的作业是否及时完成，以保证按需维保的质量。
[0036]
根据本发明的方案，只需检测摄像头的部分监控内容中是否摆放有维保告示牌，并通过维保告示牌的摆放时长即可获取到维保人员对电梯维护的时长，从而避免使用大量的硬件设备。而这种通过合理使用电梯内部的监控数据以实现对电梯维保工作监控目的的方式，可以极大地降低使用成本，最终达到节约电梯维护成本的目的。
附图说明
[0037]
图1示意性表示本发明的一种实施方式的电梯维保过程检测方法的流程图；
[0038]
图2示意性表示本发明的一种实施方式的电梯维保过程检测方法中的关键帧提取的流程图；
[0039]
图3示意性表示本发明的一种实施方式的电梯维保过程检测方法中的模型剪枝训练的流程图；
[0040]
图4示意性表示本发明的一种实施方式的电梯维保过程检测方法中的目标识别效果图。
具体实施方式
[0041]
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
[0043]
参见图1，本发明的电梯维保过程检测方法，首先，由电梯智能故障监控系统发出故障通知，再通过对其发出的一系列故障进行整合、分析以形成工单。具体的，先对电梯智能故障监控系统发出的故障进行收集，并分析出当前故障的潜在原因，并将一些冗余的信息进行整合，从而形成最终的工单。随后，将工单派送给相应的维保单位的维保人员。当然，在分配工单时还应保证合理性以及维保的及时性。具体的，根据维保条件信息来分配，而维保条件信息则包括当前是否能及时维修，例如，可根据当前是否存在空闲人员来判断；曾经是否对电梯进行过维保，此条件可根据过往的维保记录判断，从而配合前一条件选出有过同样故障维保经验的人员；从事维保工作的维保人员的工龄，该条件实质是为了将工单派送给当前空闲人员中的工作经验值最高的维保人员。其中，工作经验值v的计算方式为：
[0044]
v＝0.7t+0.3y；
[0045]
其中，t为曾经对该电梯维修的次数，y为维保人员的从业工龄。如此，既完成了工单的分配工作，当然，当维保人员接受工单后，需要经过一段时间(如t小时)后再获取电梯监控视频数据并开始对需要维保的电梯进行视频分析，从而给与维保人员相应的准备及路程时间。
[0046]
参见图2，由于本发明的视频分析对象是电梯监控的视频数据，而这类数据的数据量较大、维度较高，因此在分析过程中需要消耗大量的内存和检测时间。为此，本发明先对视频数据进行预处理，具体为在分析视频之前对视频数据进行关键帧提取，从而去除视频数据中的冗余信息。这一预处理步骤分为两步，首先基于帧差分的方式提取视频数据中的基础帧(或称基础关键帧)，再基于分类模型提取关键帧。在提取基础帧时，按一定采样率获取视频数据的视频帧，再对视频帧进行帧差分，并选择具有平均帧间差分强度局部最大值的视频帧作为基础帧，这种方法的提取结果能够保证提取结果的丰富度，且提取结果均匀分散在视频数据中。当然，本发明在进行帧差分之后还对平均帧间差分强度时间序列进行了平滑处理，从而可以有效的移除噪声来避免将相似场景下的若干帧同时提取为基础帧。
[0047]
在提取关键帧时，利用有维保标识和无维保标识的海量图片样本训练lightgbm作为分类模型。这种模型可以保证分类结果的召回率与图片分析的速度，其主要功能是对基于帧差分方法提取的基础帧进行再次过滤以得到最终的关键帧。其中，帧差分的差分序列为x＝[x1，x2，...，xn]，得到平滑处理的递推关系为：
[0048]
si＝αxi+(1-α)s
i-1
；
[0049]
其中，0≤α≤1，s为某一时刻的平滑值，i为当前时刻，x为当前时刻的真实值，n为序列长度
ɑ
为平滑参数。
[0050]
参见图3，在提取出关键帧后，即可利用目标检测模型对关键帧进行维保标识的识别，并输出识别结果。本实施方式中，目标检测模型为yolo3模型，这类模型可以保证识别的准确率。当然，在其他实施方式中也可采用其他深度学习网络。而由于yolo3原模型较大，且处理速度较慢，因此本发明对原模型进行了剪枝训练，从而使模型轻量化，以提高检测速度。在进行剪枝训练时，首先计算网络权重幅度作为评价指标，并将低于设定阈值的网络结构权重置零，再对模型重新训练从而实现微调。随后，对剪枝后的模型进行测试评价，若测试精度低于使用要求，则停止剪枝操作并将最终的模型输出，从而避免剪枝后的简单网络结构的精度过低。其中，网络权重幅度为原模型权重的l2范数，即w
l2
＝||w||2，其中，w为原模型的其中一层网络结构权重参数。
[0051]
参见图4，在识别过程中，若当前关键帧中出现维保标识的概率超过设定概率阈值，则判定当前关键帧处于维保时段及维保开始和结束时间。
[0052]
最后，对识别结果进行统计分析，即分析维保作业的时长，并输出本次维保作业时长。具体的，上述识别过程的识别结果实际上是一系列可能存在维保标识的关键帧，因此本发明将这些关键帧按照时间序列进行排列，而所构成的时间序列的长度即为维保标识存在的时间段，也就是本次维保作业的时长。
[0053]
本发明的维保过程检测装置，包括：工单发送模块，用于整合故障原因并派送工单；视频关键帧获取模块，用于提取视频数据中的关键帧；目标检测模块，用于识别关键帧中的维保标识；输出模块，用于输出本次维保时长。如此，通过上述四种模块对维保标识进行识别，即可实现本发明的上述维保过程的监控。本实施方式中，维保标识为维保告示牌，使得本发明的方案通过识别维保告示牌来实现。当然，在其他实施方式中，也可根据各单位实际情况利用其他物体作为维保标识。
[0054]
以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。