监控方法、装置、监控设备及计算机可读存储介质与流程

1.本技术涉及监控技术领域，具体而言，涉及一种监控方法、装置、监控设备及计算机可读存储介质。


背景技术：

2.双人双锁指的是在库房大门上加装两把锁，然后由两名管理人员各自保管一把钥匙，只有当两人同时在场时才能打开大门取用物品，从而起到互相监督的作用。当前特殊物品的管理，例如，在危化物管理中，一般都要求管理人员执行双人双锁的管理制度，如果管理人员没有严格按照要求执行双人双锁，就可能导致危险物品的流失，出现安全隐患甚至引发事故。
3.目前通常采用人工目检的方式进行双人双锁的检测，主要由监管人员通过视频监控系统对监控画面进行实时监测或对历史视频定期筛查的方式检查工作人员是否执行双人双锁。但是由于人类视觉的局限性，人工目检的方式容易出现漏检情况，且存在检测效率低下和人工成本高的缺点。


技术实现要素：

4.本技术实施例的目的在于提供一种监控方法、装置、监控设备及计算机可读存储介质，能够改善容易出现漏检且检测效率低的问题。
5.为了实现上述目的，本技术的实施例通过如下方式实现：
6.第一方面，本技术实施例提供一种监控方法，所述方法包括：获取当前图像，所述当前图像为从摄像头拍摄门所在区域得到的视频流中得到的图像；将所述当前图像输入经过训练的状态检测模型；当所述状态检测模型输出表征所述当前图像中的门处于打开状态的信息，且在采集所述当前图像之前，预先存储有所述门处于关闭状态的信息时，将所述当前图像输入经过训练的行人检测模型，得到所述行人检测模型输出的表征是否准许通行的检测结果。
7.在上述的实施方式中，利用状态检测模型和行人检测模型，二者相结合。即，先利状态检测模型检测门的开关状态，当检测到门由关闭状态转变为打开状态时，再触发行人检测模型进行行人检测，如此，无需不间断地利用行人检测模型对行人进行检测，能在避免出现漏检的情况下，提高检测效率。
8.结合第一方面，在一些可选的实施方式中，在获取当前图像之前，所述方法包括：获取第一训练图像集，所述第一训练图像集中的每个图像设置有表征门处于打开状态或处于关闭状态的标记；利用所述第一训练图像集中的每个图像，对预设状态检测模型进行训练，得到所述经过训练的状态检测模型。
9.结合第一方面，在一些可选的实施方式中，在获取当前图像之前，所述方法包括：获取第二训练图像集，其中，所述第二训练图像集中存在行人图区的图像中设置有行人标记；利用所述第二训练图像集中的每个图像，对预设行人检测模型进行训练，得到所述经过
训练的行人检测模型。
10.结合第一方面，在一些可选的实施方式中，获取当前图像，包括：从所述摄像头拍摄得到的所述视频流中，以指定频率获取图像帧；从所述图像帧中，裁剪所述门对应的图区作为所述当前图像。
11.在上述的实施方式中，仅对门所对应的图区进行门的开关状态检测，如此，有利于滤除与门无关的图区，减少噪声数据，提高检测的准确性。
12.结合第一方面，在一些可选的实施方式中，将所述当前图像输入经过训练的行人检测模型，得到所述行人检测模型输出的表征是否准许通行的检测结果，包括：将所述当前图像输入经过训练的行人检测模型，由所述行人检测模型对所述当前图像进行行人检测；当所述当前图像的指定图区中存在行人，且行人的数量在设定范围内时，通过所述行人检测模型输出表征准许通行的第一检测结果；当所述指定图区中的行人的数量未在所述设定范围内时，通过所述行人检测模型输出表征不准许通行的第二检测结果。
13.在上述的实施方式中，当指定图区中行人数量在设定范围内时，表示准许通行，如此，可以快速自动地实现对是否准许通行的判断。
14.结合第一方面，在一些可选的实施方式中，在得到所述检测结果之后，所述方法还包括：
15.通过所述当前图像中所述门处于打开状态的信息，替换预先存储的所述门处于关闭状态的信息。
16.结合第一方面，在一些可选的实施方式中，所述方法还包括：当所述检测结果表示不准许通行时，控制所述门的门锁的电机驱使所述门处于关闭状态。
17.第二方面，本技术还提供一种监控装置，所述装置包括：
18.获取单元，用于获取当前图像，所述当前图像为从摄像头拍摄门所在区域得到的视频流中得到的图像；
19.第一输入检测单元，用于将所述当前图像输入经过训练的状态检测模型；
20.第二输入检测单元，用于当所述状态检测模型输出表征所述当前图像中的门处于打开状态的信息，且在采集所述当前图像之前，预先存储有所述门处于关闭状态的信息时，将所述当前图像输入经过训练的行人检测模型，得到所述行人检测模型输出的表征是否准许通行的检测结果。
21.第三方面，本技术还提供一种监控设备，所述监控设备包括相互耦合的处理器及存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述监控设备执行上述的方法。
22.第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。
附图说明
23.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他相关的附图。
24.图1为本技术实施例提供的监控设备的结构示意图。
25.图2为本技术实施例提供的监控方法的流程示意图。
26.图3为本技术实施例提供的行人检测模型的网络结构示意图。
27.图4为本技术实施例提供的监控装置的框图。
28.图标：10-监控设备；11-处理模块；12-存储模块；200-监控装置；210-获取单元；220-第一输入检测单元；230-第二输入检测单元。
具体实施方式
29.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
30.当前特殊物品的管理，或者在其他房门监控管理中，比如，在危化物管理中，一般需要监控是否为两人或多人同时进入仓库的大门，以确保管理安全，避免因单人进入仓库出现危险物品的流失，或引发其他事故。
31.请参照图1，本技术提供一种监控设备10，可以用于对门的开关及行人进入门的流程进行自动监控，能替换人工目检的监控方式，以避免出现漏检的情况，并降低人力成本。其中，门可以为仓库或厂房等建筑的门，可以根据实际情况进行灵活确定。
32.在本实施例中，监控设备10可以包括处理模块11及存储模块12。存储模块12内存储计算机程序，当计算机程序被所述处理模块11执行时，使得监控设备10能够执行下述方法中的各步骤。
33.可以理解的是，图1所示的结构仅为监控设备10的一种结构示意图，监控设备10还可以包括比图1所示更多的组件。图1中所示的各组件可以采用硬件、软件或其组合实现。
34.例如，监控设备10还可以包括显示屏、摄像头等。当然，在其他实施方式中，摄像头也可以为独立于监控设备10的外接模块。摄像头可以用于针对库房或工厂等建筑的大门进行监控拍摄，在拍摄画面中，通常包括有门及门前的地面。
35.请参照图2，本技术还提供一种监控方法，可以应用于上述的监控设备10中，由监控设备10执行或实现方法的各步骤，方法可以包括如下步骤：
36.步骤s110，获取当前图像，所述当前图像为从摄像头拍摄门所在区域得到的视频流中得到的图像；
37.步骤s120，将所述当前图像输入经过训练的状态检测模型；
38.步骤s130，当所述状态检测模型输出表征所述当前图像中的门处于打开状态的信息，且在采集所述当前图像之前，预先存储有所述门处于关闭状态的信息时，将所述当前图像输入经过训练的行人检测模型，得到所述行人检测模型输出的表征是否准许通行的检测结果。
39.在上述的实施方式中，利用状态检测模型和行人检测模型，二者相结合。即，先利状态检测模型检测门的开关状态，当检测到门由关闭状态转变为打开状态时，再触发行人检测模型进行行人检测，如此，无需不间断地利用行人检测模型对行人进行检测，能在避免出现漏检的情况下，提高检测效率。
40.下面将对方法的各步骤进行详细阐述，如下：
41.在步骤s110之前，状态检测模型和行人检测模型可以为经过训练的模型，或者为未经过训练的模型。若模型经过训练，则状态检测模型可以根据拍摄门的图片，自动检测该图片中的门的打开或关闭状态。另外，行人检测模型可以检测图像的指定图区中是否存在行人以及存在行人的数量。
42.若状态检测模型和行人检测模型均未经过训练，则在步骤s110之前，方法还可以包括对模型进行训练的步骤。例如，在获取当前图像之前，所述方法包括：
43.获取第一训练图像集，所述第一训练图像集中的每个图像设置有表征门处于打开状态或处于关闭状态的标记；
44.利用所述第一训练图像集中的每个图像，对预设状态检测模型进行训练，得到所述经过训练的状态检测模型。
45.可理解地，在第一训练图像集中，可以包含大量的图像作为训练图像及测试图像。每个图像均为拍摄门得到的图像，且标记有门实际处于打开或关闭状态的标记。在第一训练图像集中，图像的数量可以为千张、万张等数量，可以根据实际情况进行灵活确定。
46.预设状态检测模型可以根据实际情况进行灵活确定，例如，预设状态检测模型为resnet18网络模型，或者为其他基于深度学习算法的模型。resnet18网络模型包括18个卷积层、1个全局平均池化层和1个softmax函数层。在利用resnet18网络模型进行图像训练或检测时，输入图像可以记为：
47.i
input
∈rh×w×3，其中，i
input
指输入的图像；r指实数，为本领域技术人员熟知的表达式参数；w指图像的宽；h指图像的长，数字3图像通道数，为红、绿、蓝三个通道。该表达式i
input
∈rh×w×3，指输入图像的格式内容，是属于h
×w×
3的实数矩阵。
48.在训练期间，具有标记的训练图像被输入至resnet18网络模型之后，由resnet18网络模型经过一系列神经网络的运算，可以输出得到表示图像所属类别的概率向量为：ρ∈r1×k，其中，ρ图像所属类别的概率，k表示类别总数。在本技术实施例中，门的开关状态类别总数为2，分别为打开状态和关闭状态。另外，在训练过程中，resnet18网络模型的运算处理过程为本领域技术人员熟知，这里不再赘述。
49.resnet18网络模型经过训练之后，可以得到门的状态属于打开状态和关闭状态的概率。例如，利用resnet18网络模型检测得到图像中的门，处于打开状态的概率ρ
dk
和处于关闭状态的概率ρ
gb
。若ρ
dk
＞ρ
gb
，则表示门处于打开状态；若ρ
dk
≤ρ
gb
，则表示门处于关闭状态。
50.在本实施例中，在获取当前图像之前，所述方法包括：
51.获取第二训练图像集，其中，所述第二训练图像集中存在行人图区的图像中设置有行人标记；
52.利用所述第二训练图像集中的每个图像，对预设行人检测模型进行训练，得到所述经过训练的行人检测模型。
53.可理解地，在第二训练图像集中，可以包括大量的拍摄有行人的图像，且对行人图区进行了标记。然后，利用第二训练图像集中的每个图像，对预设行人检测模型进行训练，从而使得训练后的预设行人模型具有行人检测的功能。
54.在本实施例中，预设行人检测模型可以根据实际情况进行灵活确定。示例性地，请参照图3，预设行人检测模型可以为centernet网络模型，centernet网络模型包括主干网络
及目标检测模块。其中，主干网络可以为resnet18-fpn网络模型，用来提取图像的深度特征。
55.例如，向centernet网络模型输入图像i
input
∈rh×w×3，首先经过主干网络的计算，输出得到三个不同尺度的特征图，分别为c2、c3和c4，其中，然后通过fpn(feature pyramid networks，特征金字塔网络)结构的处理，将c2、c3、c4三个特征图信息相融合，输出得到图像的深度特征图p2、p3、p4，分别为
56.目标检测模块包括两个分支。第一个分支用来预测目标物体(在本实施例中，目标物体或目标为行人)的中心点位置，包括两个卷积层(例如，卷积层conv1_1的卷积核大小为3
×
3，输出通道为256；卷积层conv1_2的卷积核大小为1
×
1，输出通道为k，k表示目标类别总数)和1个sigmoid函数层(保证输出值范围是0到1)；第二个分支用来预测目标的尺寸，包括两个卷积层(conv2_1卷积核大小为3
×
3，输出通道为256；conv2_2卷积核大小为1
×
1，输出通道为2，分别对应目标的宽和高)和1个exp函数层(保证输出值为正)。
57.向目标检测模块输入深度特征图p4，经过目标检测模块的计算，输出得到目标中心点特征图和目标尺寸特征图记f
hm
中的每个元素值为ρ
x，y，k
，f
size
中的每个元素值为s
x，y，i
，其中，其中k＝{0，1，...，k-1}，i＝{0，1}。那么ρ
x，y，k
则表示位置点(x，y)被预测为第k类目标中心点的概率，s
x，y，0
和s
x，y，1
则分别表示位置点(x，y)所对应的目标的长和宽。
58.在本实施例中，通过利用第二训练图像集中的每个图像，对预设行人检测模型进行训练，便可以使得训练后得到的行人检测模型，可以具有行人检测功能，且能统计图像指定区域内行人的数量。
59.在步骤s110中，监控设备10可以直接从摄像头拍摄门所在区域得到的视频流中，获取得到当前图像。其中，当前图像可以为视频流中的图像帧，或者为图像帧中针对门所在区域的图区。
60.例如，步骤s110可以包括：
61.从所述摄像头拍摄得到的所述视频流中，以指定频率获取图像帧；
62.从所述图像帧中，裁剪所述门对应的图区作为所述当前图像。
63.其中，指定频率可以根据实际情况进行确定。例如，在视频流中，监控设备10可以在每5帧图像中，选择一个图像帧，然后在该图像帧中裁剪门对应的图区作为当前图像。其中，门所对应的图区可以由管理人员根据实际情况进行标注，例如，包括门所在的区域及门前的部分图区，这里不作具体限定。
64.通过对图像帧进行裁剪，仅将门对应的图区作为当前图像，如此，可以减少其他信息对门开关状态识别的干扰，提高检测的准确性，无需整图检测，能降低运算量。
65.在步骤s120中，当前图像被输入至状态检测模型中之后，状态检测模型可以对当前图像进行门的开关状态信息的检测，以判断当前图像中的门处于打开状态或处于关闭状态，并对状态信息进行记录。
66.在步骤s130中，预先存储的门的状态信息，指在当前图像的前一个图像中，门处于关闭状态或打开状态的信息。
67.当预先存储的状态信息表示门处于关闭状态，且识别到当前图像中的门处于打开状态时，表示在摄像头拍摄到上一个图像至当前图像期间，门已从关闭到打开，此时，便可以触发行人检测模型，对当前图像进行行人检测。即，当前图像被输入至行人检测模型，以进行行人检测，并判断当前图像的指定图区内，是否存在行人以及存在行人的数量。
68.指定图区可以根据实际情况进行设定，通常为人员在开门期间，站立在门前时，摄像头拍摄到的人员在监控画面中的区域。
69.在本实施例中，步骤s130可以包括：
70.将所述当前图像输入经过训练的行人检测模型，由所述行人检测模型对所述当前图像进行行人检测；
71.当所述当前图像的指定图区中存在行人，且行人的数量在设定范围内时，通过所述行人检测模型输出表征准许通行的第一检测结果；
72.当所述指定图区中的行人的数量未在所述设定范围内时，通过所述行人检测模型输出表征不准许通行的第二检测结果。
73.在行人检测模型中，目标检测模块可以计算行人的宽高，并基于该宽高在图像中的位置信息，确定行人的中心点坐标。该中心点坐标可以为外接行人轮廓的矩形的中心点。若中心点的坐标在指定图区内，则表示行人在门前，此时，可以统计该行人的数量。若中心点的坐标未在指定图区内，则表示行人未在门前，此时，无需对该行人的数量进行统计。
74.在本实施例中，指定图区中的行人的数量即为在指定图区中行人中心点的数量。设定范围可以根据实际情况进行灵活确定。例如，设定范围可以为大于或等于2的范围。当指定图区中的行人的数量大于或等于2时，便准许通行，以提高进入门的安全性。若指定图中后，行人的数量为1，则提示行人不准许通行。
75.在本实施例中，在门的附近，可以设置有喇叭，该喇叭与监控设备10电连接，可以在监控设备10的控制下，发出表征禁止通行或准许通行的语音提示，以方便提示行人是否准许通行。
76.在本实施例中，在得到所述检测结果之后，所述方法还包括：
77.通过所述当前图像中所述门处于打开状态的信息，替换预先存储的所述门处于关闭状态的信息。
78.可理解地，通过对预先存储的门的状态信息进行及时更新，方便后续利用更新后的门的状态信息，判断是否要触发行人检测模型进行行人检测，以提高状态信息的时效性。
79.作为一种可选的实施方式，所述方法还可以包括：
80.当所述检测结果表示不准许通行时，控制所述门的门锁的电机驱使所述门处于关闭状态。
81.在本实施例中，门还可以设置有驱动门的开关的第一电机，以及取得门锁开关的第二电机。第一电机用于驱使门处于打开或关闭状态，第二电机可以在门处于关闭状态时，对门锁进行关闭或打开。第一电机与第二电机均可以与监控设备10电连接。
82.检测结果表示不准许通行时，监控设备10可以控制第一电机驱使门处于闭合状态，然后，再控制第二电极，使门锁处于锁定状态，从而避免行人进入门内，以提高进出安
unit，cpu)、图形处理器(graphics processing unit，gpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。
98.存储模块12可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块12可以用于存储视频流、当前图像、状态检测模型、行人检测模型等。当然，存储模块12还可以用于存储程序，处理模块11在接收到执行指令后，执行该程序。
99.需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的监控装置200、监控设备10的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。
100.本技术实施例还提供一种计算机可读存储介质。计算机可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的监控方法。
101.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本技术可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施场景所述的方法。
102.综上所述，在本方案中，利用状态检测模型和行人检测模型，二者相结合。即，先利状态检测模型检测门的开关状态，当检测到门由关闭状态转变为打开状态时，再触发行人检测模型进行行人检测，如此，无需不间断地利用行人检测模型对行人进行检测，能在避免出现漏检的情况下，提高检测效率。
103.在本技术所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
104.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。