一种消防装备出入库管理方法及系统与流程

本发明属于装备管理技术领域，涉及一种消防装备出入库管理方法及系统。

背景技术：

消防装备是消防部门抢险救援时必不可少的装备，为了保障城市人民生命财产安全，往往在每个消防站都会有消防装备仓库，各区域设有战勤保障仓库。由于有些消防装备比较贵重，会转借到各个消防站；有些装备属于消耗类装备，比如消防头盔、手套等；有些消防装备是有使用期限的，比如呼吸灯等；所以消防装备的有序管理和及时更新非常重要。

为了随时有备用装备，一般都会准备较多的库存，但是在配备库存的情况下，就必须要对库存进行管理和定期的清点，及时的废弃和增补装备，避免库存无序进出。但是根据消防部门实际基层出警过程对时间的要求比较精确，往往紧急情况的警情只够时间拿上对应的救援装备，没有多余的时间对出入库的流程进行登记，所以在拥有智能管理系统的前提下，还是解决不了在紧急出警的情况下装备出入库自动管理问题，只能人工的反复清点库存。并且消防基层的装备技师也是需要出警的，并非固定职位专职来管理消防装备，这样一定的时间之后，装备仓库的管理仍会出现混乱，无法实现消防装备的有序管理和及时更新。

技术实现要素：

有鉴于此，本发明提出了一种消防装备出入库管理方法及系统，用于解决出入库的方向判断不准确、计数不准确造成出入库管理混乱的问题。

本发明第一方面，公开一种消防装备出入库管理方法，所述方法包括：

通过设置在库房内的第一摄像头和第二摄像头按周期采集带时间戳的图像信息，分别组成第一图像序列和第二图像序列；

提取图像序列的有效识别区域，将有效识别区域与消防人员图像库和装备图像库中的图像比对，识别出各图像中的人脸信息和装备信息；

根据第一图像序列和第二图像序列中同一时刻的两张图像确定同一时刻室内人员信息、人数和移动中的装备类型、数量；

分别确定与每个可识别出人脸的人员的距离在预设阈值范围内的装备的类型、数量，将所述人脸信息与对应的装备类型、数量绑定为一个整体对象；

根据识别出的人脸信息确定同一整体对象不同时刻在图像中的相对位置，按照时间戳先后顺序判断出每个整体对象与对应的装备存放位置的距离趋势；

根据每个整体对象与装备存放位置的距离趋势进行出入库行为判定。

优选的，所述提取图像序列的有效识别区域，将有效识别区域与消防人员图像库和装备图像库中的图像比对，识别出各图像中的人脸信息和装备信息具体为：

划定摄像机的有效识别区域，将装备放置位置之外的区域标记为有效识别区域；

采集所有消防人员的照片和所有消防装备照片，分别建立消防人员图像库和装备图像库；

采用卷积神经网络提取图像序列中有效识别区域的特征，将有效识别区域特征图像与消防人员信息库中人脸图像和消防装备信息库中的装备图像比对，计算有效识别区域人脸图像与人员图像库中每个人员图像之间的hausdorff距离，找到距离最小对应的人员图像获取到人员相关的身份信息；

同样采用hausdorff距离法识别装备类型。

优选的，所述根据第一图像序列和第二图像序列中同一时刻的两张图像确定同一时刻室内人员信息、人数和移动中的装备类型、数量具体为：

分别获取同一时刻第一图像和第二图像中的人脸信息和装备信息，统计人脸总数及对应的人员信息；对于不能识别的人脸，获取下一时刻的第一图像和第二图像中的人脸信息和装备信息，若人员总数不变，将下一时刻人员信息与上一时刻人员信息比对，确定不能识别的人脸对应的人员信息，以此类推直到确定图像序列中所有的人员信息。

优选的，所述判断整体对象与装备存放位置的距离趋势具体为：

分别获取每个图像中整体对象的像素中心点与装备存放位置的像素中心点坐标，分别计算两个像素中心点坐标之间的的距离，按照时间戳先后顺序比较相邻多个图像中的距离变化趋势。

优选的，所述根据整体对象与装备存放位置的移动路径和距离趋势进行出入库行为判定具体为：

当整体对象与装备存放位置的距离越来越近时，判定为入库，根据整体对象中装备类型、数量自动修改装备管理平台中对应类型的装备库存数量及入库记录；

当整体对象与装备存放位置的距离越来越远时，并且存在离开房间的记录，判定为出库，根据整体对象中装备类型、数量自动修改装备管理平台中对应类型的装备库存数量，生成出库记录；

所述出库记录和入库记录中包括出入库时间、对应的人员信息与装备类型、数量。

优选的，所述第一摄像头安装于装备存放位置上方，所述第二摄像头安装于室内正对装备存放位置处。

本发明第二方面，公开一种消防装备出入库管理方法，其特征在于，所述系统包括：

图像获取模块：通过设置在库房内的第一摄像头和第二摄像头按周期采集带时间戳的图像信息，分别组成第一图像序列和第二图像序列；

图像识别模块：提取图像序列的有效识别区域，将有效识别区域与消防人员图像库和装备图像库中的图像比对，识别出各图像中的人脸信息和装备信息；根据第一图像序列和第二图像序列中同一时刻的两张图像确定同一时刻室内人员信息、人数和移动中的装备类型、数量；

对象绑定模块：分别确定与每个可识别出人脸的人员的距离在预设阈值范围内的装备的类型、数量，将所述人脸信息与对应的装备类型、数量绑定为一个整体对象；

距离判断模块：根据识别出的人脸信息确定同一整体对象不同时刻在图像中的相对位置，按照时间戳先后顺序判断出每个整体对象与对应的装备存放位置的距离趋势；

行为判定模块：根据每个整体对象与装备存放位置的距离趋势进行出入库行为判定。

本发明的相对于现有技术具有以下有益效果：

1)本发明通过双摄像头获取图像序列进行多方位识别，紧急出警情况下可有效解决拥挤、遮挡问题，提高人脸识别和装备类型、数量识别的准确率；

2)本发明将每个人脸信息和与其距离在预设阈值范围内的装备类型、数量绑定为一个整体对象；以一个整体对象为单位，判断整体对象与消防装备的距离趋势进行消防装备出入库精确管理，对于同时有出库和入库情况也可准确判断和计数。本发明不需要对每个装备植入电子标签即可实现消防装备出入库的自动化管理，降低管理成本、提高管理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的消防装备出入库管理方法流程示意图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

如图1所示，本发明公开一种消防装备出入库管理方法，所述方法包括：

s1、预先采集所有消防人员的照片和所有消防装备照片，分别建立消防人员图像库和装备图像库；

s2、通过设置在库房内的第一摄像头和第二摄像头按周期采集带时间戳的图像信息，分别组成第一图像序列和第二图像序列；

所述第一摄像头安装于装备存放位置上方，所述第二摄像头安装于室内正对装备存放位置处。由于消防员紧急出警时时间紧迫，往往是多个消防员同时进入库房拿消防装备，每个消防员拿的装备类型、数量可能不同，单个摄像头采集图像可能会由于人员遮挡等造成识别和计数不准。因此本发明采用双摄像头，一个摄像头安装于装备存放位置上方，消防员从装备存放位置拿取装备时或归还消防装备时可获取清晰的正面图像，便于识别；另一摄像头安装于室内正对装备存放位置处，消防员拿到装备出门时也可拍到清晰真面图像，第一摄像头或第二摄像头的有效覆盖区域可包括库房出口。

s3、提取图像序列的有效识别区域，将有效识别区域与消防人员图像库和装备图像库中的图像比对，识别出各图像中的人脸信息和装备信息；

划定摄像机的有效识别区域，将装备放置位置之外的区域标记为有效识别区域；

采用卷积神经网络提取图像序列中有效识别区域的特征，将有效识别区域特征图像分割后与预先建立的消防人员图像库中人脸图像和消防装备图像库中的装备图像比对，计算有效识别区域中人脸图像与人员图像库中每个人员图像之间的hausdorff距离，找到距离最小对应的人员图像获取到人员相关的身份信息；

同样采用hausdorff距离法识别装备类型。

s4、根据第一图像序列和第二图像序列中同一时刻的两张图像确定同一时刻室内人员信息、人数和移动中的装备类型、数量；

具体的，分别获取同一时刻第一图像和第二图像中的人脸信息和装备信息，统计人脸总数及对应的人员信息；对于不能识别的人脸，获取下一时刻的第一图像和第二图像中的人脸信息和装备信息，若人员总数不变或增加的人脸可识别，将下一时刻人员信息与上一时刻人员信息比对，确定不能识别的人脸对应的人员信息，以此类推直到确定图像序列中所有的人员信息。

s5、分别确定与每个可识别出人脸的人员的距离在预设阈值范围内的装备的类型、数量，将所述人脸信息与对应的装备类型、数量绑定为一个整体对象；

计算可识别出人脸的人员的像素中心点与周围装备的像素中心点之间的距离，在每第一图像序列或第二图像序列中，同一人员在不同时刻与其携带的消防装备应在同一距离阈值范围内，根据这个特点预设阈值范围，将所述人脸信息与预设阈值范围的装备类型、数量绑定为一个整体对象，以整体对象为单位进行出入库判定。在对某一个人脸进行整体对象绑定时，计算每张图像中该人脸与图像内其他人脸的距离，在图像序列中选取出与其他的人脸距离最远的图像，然后再计算人脸的人员的像素中心点与周围装备的像素中心点之间的距离，将在距离在预设阈值范围内的装备于对应的人脸绑定为整体对象，避免因遮挡造成计数不准。

s6、根据识别出的人脸信息确定同一整体对象不同时刻在图像中的相对位置，按照时间戳先后顺序判断出每个整体对象与装备存放位置的距离趋势；

分别获取每个图像中整体对象的像素中心点坐标与对应的装备存放位置的像素中心点坐标，分别计算两个像素中心点坐标之间的的距离，按照时间戳先后顺序比较相邻多个图像中的距离变化趋势。所述距离变化趋势包括在整体对象在第一图像序列中的趋势和在第二图像序列中的趋势。

s7、根据每个整体对象与装备存放位置的距离趋势进行出入库行为判定。

当整体对象与装备存放位置的距离越来越近时，判定为入库，根据整体对象中装备类型、数量自动修改装备管理平台中对应类型的装备库存数量及入库记录；

当整体对象与装备存放位置的距离越来越远时，并且存在离开房间的记录，判定为出库，根据整体对象中装备类型、数量自动修改装备管理平台中对应类型的装备库存数量，生成出库记录；可通过判断图像中整体对象位置与库房门口位置是否有重叠来判断是否存在离开房间的记录。当整体对象与装备存放位置的距离越来越远时且整体对象位置与库房门口位置有重叠，则存在出库记录，判定出库。

所述出库记录和入库记录中包括出入库时间、对应的人员信息与装备类型、数量。对同一消防人员，可比较其相邻两次出库装备信息、入库装备信息，便于装备去向追溯和错误校正。

本发明采用双摄像机分别采集图像序列用于消防装备出入库多方位识别，将在存取消防装备时的消防人员与对应的消防装备绑定为一个整体对象，以所述整体对象为单位判断整体对象与消防装备存放位置的距离的变化趋势来判断出库还是入库，并进行各装备类型变化计数，即便在紧急出警情况下也可实现消防装备的出库、入库自动化准确识别，且相应人员拿取、归还装备的类型、数量、时间都可追溯，方便设备管理。本发明不需要对每个消防装备植入电子标签即可实现消防装备出入库的自动化管理，降低管理成本、提高管理效率。

与所述方法实施例相对应，本发明还公开一种消防装备出入库管理系统，所述系统包括：

图像获取模块：通过设置在库房内的第一摄像头和第二摄像头按周期采集带时间戳的图像信息，分别组成第一图像序列和第二图像序列；

图像识别模块：提取图像序列的有效识别区域，将有效识别区域与消防人员图像库和装备图像库中的图像比对，识别出各图像中的人脸信息和装备信息；根据第一图像序列和第二图像序列中同一时刻的两张图像确定同一时刻室内人员信息、人数和移动中的装备类型、数量；

对象绑定模块：分别确定与每个可识别出人脸的人员的距离在预设阈值范围内的装备的类型、数量，将所述人脸信息与对应的装备类型、数量绑定为一个整体对象；

距离判断模块：根据识别出的人脸信息确定同一整体对象不同时刻在图像中的相对位置，按照时间戳先后顺序判断出每个整体对象与对应的装备存放位置的距离趋势；

行为判定模块：根据每个整体对象与装备存放位置的距离趋势进行出入库行为判定。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。