一种基于视频图像的电梯门状态检测方法与流程

本发明属于电梯安全技术领域，尤其涉及一种基于视频图像的电梯门状态检测方法。

背景技术：

目前，电梯时一种非常普及的公共设施，广泛应用在商场、办公区、居民区等场景，给人们的日常生活带来了非常大的便捷。然而由于使用不正确，维护不及时等因素的影响，电梯偶尔会出现故障。电梯门故障是电梯诸多故障中发生频率最高的故障，门故障的种类也比较多，其在运行过程中突然开门可能导致乘客跌落事件不能正常开门又可能导致困人事件。因此，准确且实时地检测电梯门状态是进行电梯乘客乘梯安全检测的一个非常关键的环节。

现有技术中有基于3d传感器的电梯门状态检测，但是3d传感器成本加高。还存在基于深度学习的电梯门状态检测，其对处理器计算能力要求高，很难达到实时检测的要求。基于光流的检测方法，耗时较多，同样难以满足实时性需求。而基于边缘的电梯门状态检测方法不稳定，例如当电梯门颜色和梯外接近时就无法确定电梯门的边缘。

例如在cn106986248a号专利中公开了一种基于摄像图像的电梯开关门检测方法，该方法包括加速度传感器和图像特征提取处理系统，图像特征提取处理系统内部包括有图像滤波模块、边缘检测模块、二值化处理模块、直线检测模块、有效直线提取模块和逻辑特征提取处理模块。该发明通过检测电梯门边界信息进行电梯门状态检测。

此方案的缺点如下：提取电梯门直线边界方法容易受到外界干扰，从而影响电梯门状态检测的准确性和稳定性，影响因素主要有环境光照影响、梯外背景信息和乘客对电梯门边缘遮挡导致无法检测到完全直线。

技术实现要素：

本发明的目的在于解决上述问题，提供一种基于视频图像的电梯门状态检测方法。

为实现上述目的，本发明提供一种基于视频图像的电梯门状态检测方法，包括：

s1、通过设置于电梯内的摄像机采集包含电梯门区域的视频图像；

s2、在所述视频图像中设置电梯门标签区域；

s3、在电梯门关闭时提取标签区域图像，对标签区域图像进行特征提取并存储；

s4、将步骤s3存储的标签区域图像和实时采集的电梯门标签区域图像进行图像相似度比对；

s5、若步骤s4中相似度比对结果高于设定阈值，则输出当前电梯门为关闭状态，若步骤s4中相似度比对结果低于设定阈值，则输出当前电梯门为开启状态。

根据本发明的一个方面，在步骤s2中，通过用户界面手动设置多边形区域作为所述标签区域。

根据本发明的一个方面，在步骤s2中，通过深度学习方法或特征提取方法自动设置多边形区域作为所述标签区域。

根据本发明的一个方面，在步骤s3中，采用第一算法和/或第二算法对所述标签区域进行特征提取。

根据本发明的一个方面，在步骤s4中，利用第一算法对实时采集的电梯门标签区域提取特征取并比对实时提取特征与电梯门处于关闭状态时标签区域提取特征的相似度。

根据本发明的一个方面，步骤s5中，根据步骤s4中利用第一算法对比得出的相似度结果输出电梯门当前状态。

根据本发明的一个方面，在步骤s4中，以设定间隔采用第二算法对采用第一算法对比的相似度结果进行核验，若结果偏差大于设定阈值，则同时采用第一算法和第二算法进行相似度对比。

根据本发明的一个方面，所述第一算法包括但不限于哈希匹配法、基于直方图统计方法和直接利用图像灰度差值方法；

所述第二算法包括但不限于sift提取特征算法和深度提取特征算法。

根据本方面的一个方面，电梯门处于关闭状态时，采用哈希匹配法获得电梯门标签区域的哈希值，采用sift提取特征算法提取标签区域的n个特征。

根据本发明的一个方面，在步骤s4中，利用哈希匹配法对实时采集的电梯门标签区域提取特征获得获取标签区域的实时哈希值，通过比对实时哈希值与电梯门关闭时标签区域的哈希值获得图像相似度；

以设定间隔，利用sift提取特征算法对实时采集的电梯门标签区域提取n个特征，比较实时提取的n个特征与电梯门关闭时标签区域提取的n个特征的余弦相似度，对比哈希匹配法和sift提取特征算法得出的相似度。

本发明的基于视频图像的电梯门状态检测方法，相比于现有技术中的检测方法，不会受到外界因素的干扰，对于电梯门状态的检测结果准确性和稳定性更好。同时，本发明的基于视频图像的电梯门状态检测方法，通过采用哈希匹配(简单算法)和sift提取特征算法(复杂算法)相结合的方式进行电梯门状态检测，可以同时满足检测结构精准、检测速度快。

附图说明

图1示意性表示根据本发明基于视频图像的电梯门状态检测方法示图；

图2示意性表示根据本发明基于视频图像的电梯门状态检测方法采集电梯门关闭时视频图像示图；

图3示意性表示根据本发明基于视频图像的电梯门状态检测方法设置标签区域的示图。

具体实施方式

为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

结合图1所示，本发明提供的基于视频图像的电梯门状态检测方法包括：s1、通过设置于电梯内的摄像机采集包含电梯门区域的视频图像；s2、在所述视频图像中设置电梯门标签区域；s3、在电梯门关闭时提取标签区域图像，对标签区域图像进行特征提取并存储；s4、将步骤s3存储的标签区域图像和实时采集的电梯门标签区域图像进行图像相似度比对；s5、若步骤s4中相似度比对结果高于设定阈值，则输出当前电梯门为关闭状态，若步骤s4中相似度比对结果低于设定阈值，则输出当前电梯门为开启状态。

具体来说，结合图2和图3所示，本发明的基于视频图像的电梯门状态检测方法，首先通过设置在电梯内的摄像机采集包含电梯门区域的视频图像，然后在视频图像中设置电梯门标签区域，可以通过用户界面手动设置多边形区域作为所述标签区域。还可以通过深度学习方法或特征提取方法自动设置多边形区域作为所述标签区域。

然后在步骤s3中，采用第一算法和/或第二算法对标签区域的进行特征提取。其中第一算法为简单算法，第二算法为复杂算法。接着在步骤s4中，利用第一算法对实时采集的电梯门标签区域提取特征取并比对实时提取特征与电梯门处于关闭状态时标签区域提取特征的相似度。步骤s5中，根据步骤s4中利用第一算法对比得出的相似度结果输出电梯门当前状态。另外，在步骤s4中，以设定间隔采用第二算法对采用第一算法对比的相似度结果进行核验，若结果偏差大于设定阈值，则同时采用第一算法和第二算法进行相似度对比。

也就是说，本发明的方法，可以采用第一算法(简单算法)在对比相似度输出电梯门当前状态，并且以设定间隔通过第二算法进行相似度对比结果的校验，如果第一算法和第二算法的相似度偏差大于设定阈值，则同时采用第一算法和第二算法进行相似度对比，然后输出相应的电梯门当前状态。

在本发明中，第一算法包括但不限于哈希匹配法、基于直方图统计方法和直接利用图像灰度差值方法；第二算法包括但不限于sift提取特征算法和深度提取特征算法。

以下以第一算法采用哈希匹配法、第二算法采用sift提取特征算法对本发明的电梯门状态检测方法进行说明：

本发明的基于视频图像的电梯门状态检测方法，首先通过设置在电梯内的摄像机采集包含电梯门区域的视频图像，然后在视频图像中设置电梯门标签区域，可以通过用户界面手动设置多边形区域作为所述标签区域。还可以通过深度学习方法或特征提取方法自动设置多边形区域作为所述标签区域。

然后在步骤s3中，采用哈希匹配法和/或sift提取特征算法对标签区域的进行特征提取。当电梯门处于关闭状态时，采用哈希匹配法获得电梯门标签区域的哈希值，采用sift提取特征算法提取标签区域的n个特征。接着在步骤s4中，利用哈希匹配法对实时采集的电梯门标签区域特征提取获得获取标签区域的实时哈希值，通过比对实时哈希值与电梯门关闭时标签区域的哈希值获得图像相似度；利用sift提取特征算法对实时采集的电梯门标签区域提取n个特征，比较实时提取的n个特征与电梯门关闭时标签区域提取的n个特征的余弦相似度。根据获得相似度结果来判定当前电梯门状态，输出相应结果。

在本发明中，采用哈希匹配法和/或sift提取特征算法对标签区域的进行特征提取包括：以采用哈希匹配法对标签区域进行特征提取，输出电梯门状态检测结果，以设定间隔采用sift提取特征算法进行复核；对于哈希匹配算法输出结果和sift提取特征算法输出的结果，若结果偏差大于设定阈值，则同时采用哈希匹配法和sift提取特征算法进行标签区域特征提取。

具体来说，本发明的电梯门状态检测方法，通过摄像机获取电梯运行的实时视频图像，截取门标签区域图像，计算当前门标签区域的哈希值，通过比对哈希值的差异，从而得到当前门标签区域图像和电梯门关时标签图像的相似性。然后可以间隔n帧或哈希算法和特征提取算法得到的相似度差异比较明显时，进行一次sift提取门标签区域的特征，计算n个特征之间的余弦相似度，从而得到当前门区域标签图像和门关时的相似度。融合基于哈希和特征提取的算法得到图像相似度，根据图像相似度判断电梯开关门状态，相似度高则电梯门关，相似度低反之。在正常情况下，使用计算量较小的哈希匹配算法，降低cpu的使用率。当快速方法和复杂方法得到的相似度结果不同或间隔n帧，启用复杂算法计算图像相似度，根据不同的场景结合两种方法的结果，调整权重。

本发明的基于视频图像的电梯门状态检测方法，相比于现有技术中的检测方法，不会受到外界因素的干扰，对于电梯门状态的检测结果准确性和稳定性更好。同时，本发明的基于视频图像的电梯门状态检测方法，通过采用哈希匹配(简单快速方法)和sift提取特征算法(复杂方法)相结合的方式进行电梯门状态检测，可以同时满足检测结构精准、检测速度快。

以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。