电梯的使用者检测系统的制作方法

本申请以日本专利申请2019-049877(申请日：2019.3.18)为基础，基于该申请而享有优先权。本申请通过参照该申请，包括该申请的全部内容。

本发明的实施方式涉及电梯的使用者检测系统。

背景技术：

电梯的轿厢开门时，使用者的手指等有时会被拉进推拉门暗箱。为了防止这样的事故，已知有例如在推拉门暗箱附近设置光电传感器，检测推拉门暗箱附近的使用者等而进行警告的方法。

但是，在上述那样的使用光电传感器等传感器类的方法中，使用者仅仅通过推拉门暗箱附近时就发生动作，有可能频繁地发出警告。因此，为了使传感器不误检测，需要对设置位置进行微调整的作业。另外，在两扇门为双开类型的情况下，由于在轿厢出入口的两侧都有推拉门暗箱，因此需要预先对这些推拉门暗箱设置传感器。

技术实现要素：

本发明要解决的问题是提供一种电梯的使用者检测系统，其不需要多个传感器类，就能够正确地检测位于门附近的使用者或物体，将门开闭时的事故防患于未然。

一实施方式的电梯的使用者检测系统具有摄像部、检测区域设定部和检测处理部。

上述摄像部从轿厢内拍摄包括门开闭的出入口附近在内的规定范围。上述检测区域设定部在由上述摄像部得到的拍摄图像上，在设置于上述轿厢的出入口的两侧的至少一方的正面柱上设定检测区域。上述检测处理部根据由上述检测区域设定部设定的上述检测区域内的图像，检测有无使用者或物体。

根据上述构成的电梯的使用者检测系统，不需要多个传感器类，就能够正确地检测位于门附近的使用者或物体，将门开闭时的事故防患于未然。

附图说明

图1是表示一实施方式的电梯的使用者检测系统的构成的图。

图2是表示该实施方式中的轿厢内的出入口周边部分的构成的图。

图3是表示该实施方式中的摄像机的拍摄图像的一例的图。

图4是表示该实施方式的使用者检测系统的整体处理流程的流程图。

图5是用于说明该实施方式中的实际空间中的坐标系的图。

图6是用于说明该实施方式中的区域设定方法的图。

图7是用于说明该实施方式中的其他区域设定方法的图。

图8是表示该实施方式中的轿厢内的使用者与检测区域的关系的图。

图9是表示该实施方式中的拍摄图像上的使用者与检测区域的关系的图。

图10是用于说明在该实施方式中的使用者检测处理中使用的差分法的图。

图11是用于说明在该实施方式中的使用者检测处理中使用的运动检测的图。

图12是用于说明在该实施方式中的使用者检测处理中使用的边界检测的图。

图13是表示该实施方式中的使用了单开类型的轿厢门的轿厢内的出入口周边部分的构成的图。

图14是用于说明该实施方式中的单开类型的轿厢门的开闭动作的图。

具体实施方式

以下，参照附图对实施方式进行说明。

此外，公开的只不过是一个例子，本发明并不被以下实施方式中记载的内容所限定。本领域技术人员容易想到的变形当然包含在公开的范围内。为了使说明更加清楚，在附图中，有时将各部分的尺寸、形状等相对于实际的实施方式进行变更而示意性地示出。在多个附图中，对应的要素标注相同的参照数字，有时省略详细的说明。

图1是表示一实施方式的电梯的使用者检测系统的构成的图。此外，在此，以1台轿厢为例进行说明，但如果是多台轿厢也是同样的构成。

在轿厢11的出入口上部设置有摄像机12。具体而言，摄像机12将镜头部分朝向正下方、或者在候梯厅15侧或轿厢11内部侧倾斜规定的角度地设置在覆盖轿厢11的出入口上部的门楣板11a中。

摄像机12是例如车载摄像机等小型监视用摄像机，具有广角镜头或鱼眼镜头，可以在1秒内连续拍摄数帧(例如30帧/秒)的图像。摄像机12在轿厢11到达各层的候梯厅15时启动，拍摄包含轿厢门13附近在内的规定范围l。

此外，摄像机12的设置场所只要在轿厢门13附近，则也可以不在轿厢11的出入口上部。例如，只要是接近轿厢11的出入口的侧面壁的上部等能够拍摄轿厢11的出入口附近的场所即可。通过预先在这样的场所设置摄像机12，能够适当地设定后述的检测区域，能够根据该检测区域内的图像正确地检测使用者或物体。

与此相对，一般在监视目的的用途中使用的监视摄像机由于设置在轿厢内部、天花板面上等，因此拍摄范围在轿厢内整体上很广。因此，难以设定检测区域，检测到包括远离轿厢11的出入口的使用者在内的可能性高。

在各层的候梯厅15中，在轿厢11的到达口开闭自如地设置有候梯厅门14。在轿厢11到达时候梯厅门14与轿厢门13卡合而进行开闭动作。此外，动力源(门马达)位于轿厢11侧，候梯厅门14仅跟随轿厢门13进行开闭。在以下的说明中，假设打开轿厢门13时候梯厅门14也打开，关闭轿厢门13时候梯厅门14也关闭。

由摄像机12连续拍摄的各图像(影像)由图像处理装置20实时地进行解析处理。此外，在图1中，为了方便，将图像处理装置20从轿厢11中取出进行表示，但实际上，图像处理装置20与摄像机12一起被收纳在门楣板11a中。

图像处理装置20具备存储部21和检测部22。存储部21依次保存由摄像机12拍摄的图像，并且具有用于暂时保存检测部22的处理所需的数据的缓冲区域。此外，在存储部21中，也可以保存实施了失真校正、放大缩小、部分剪切等处理作为对拍摄图像的预处理的图像。

检测部22使用摄像机12的拍摄图像来检测位于轿厢门13附近的使用者。若在功能上划分该检测部22，则其由检测区域设定部22a和检测处理部22b构成。

在摄像机12的拍摄图像上，检测区域设定部22a在设置在轿厢11的出入口的两侧的至少一侧的正面柱上设定检测区域。具体而言，检测区域设定部22a沿着正面柱的内侧侧面设定带状的检测区域。“正面柱”也称为出入口柱或出入口框，设置在轿厢11的出入口的两侧或一侧(参照图2)。在正面柱的里侧，一般设置有用于收纳轿厢门13的推拉门暗箱。

检测处理部22b根据由该检测区域设定部22a设定的检测区域内的图像，检测有无使用者或物体。这里所说的“物体”，例如包括使用者的衣服、货物，还有轮椅等移动体。此外，也可以使轿厢控制装置30具有图像处理装置20的一部分或全部功能。

轿厢控制装置30控制设置在轿厢11上的各种设备之类(目的楼层按钮、照明等)的动作。另外，轿厢控制装置30具有门开闭控制部31和通知部32。门开闭控制部31控制轿厢11到达候梯厅15时的轿厢门13的门开闭。详细而言，门开闭控制部31在轿厢11到达候梯厅15时打开轿厢门13，经过规定时间后关闭轿厢门13。

这里，在轿厢门13的开门中由检测处理部22b检测到使用者或物体的情况下，门开闭控制部31进行用于避免门事故(被拉进推拉门暗箱事故)的门开闭控制。具体而言，门开闭控制部31暂时停止轿厢门13的开门动作，或者向反方向(关门方向)移动，或者减慢轿厢门13的开门速度。通知部32根据检测处理部22b的检测结果，唤起轿厢11内的使用者的注意。

图2是表示轿厢11内的出入口周边部分的构成的图。

在轿厢11的出入口开闭自如地设置有的轿厢门13。在图2的例子中，示出了两扇门为双开类型的轿厢门13，构成轿厢门13的两扇门板13a、13b沿着出入口方向(水平方向)相互向相反方向进行开闭动作。此外，“出入口”与轿厢11的出入口相同。

在轿厢11的出入口的两侧设置有正面柱41a、41b，与门楣板11a一起包围轿厢11的出入口。在轿厢门13打开时，一方的门板13a被收纳在设置于正面柱41a的里侧的推拉门暗箱42a中，另一方的门板13b被收纳在设置于正面柱41b的里侧的推拉门暗箱42b中。

在正面柱41a、41b的一方或双方上设置有显示器43、配设有目的楼层按钮44等的操作盘45、扬声器46。在图2的例子中，在正面柱41a上设置有扬声器46，在正面柱41b上设置有显示器43、操作盘45。

在此，在轿厢11的出入口上部的门楣板11a的中央部设置有摄像机12。摄像机12从门楣板11a的下部朝向下方设置，以便在轿厢门13与候梯厅门14一起打开时，能够将出入口附近包括在内进行拍摄(参照图3)。

图3是表示摄像机12的拍摄图像的一例的图。示出了在轿厢门13(门板13a、13b)和候梯厅门14(门板14a、14b)全开的状态下，从轿厢11的出入口上部向下方拍摄的情况。在图3中，上侧表示候梯厅15，下侧表示轿厢11内。

在候梯厅15中，在轿厢11的到达口的两侧设置有门套17a、17b，在该门套17a、17b之间的地板面16上沿着候梯厅门14的开闭方向配设有具有规定宽度的带状的候梯厅门槛18。另外，在轿厢11的地板面16的出入口侧，沿轿厢门13的开闭方向配设有具有规定宽度的带状的轿厢门槛47。

在此，在拍摄图像上，在正面柱41a、41b的内侧侧面41a-1、41b-1的各自之上设定检测区域ea、eb。检测区域ea、eb是拍摄图像上用于检测使用者或物体的区域，在此用于防止开门动作中被拉进推拉门暗箱42a、42b的事故。

检测区域ea、eb分别设定为在正面柱41a、41b的内侧侧面41a-1、41b-1的宽度方向上具有规定的宽度d1、d2的带状。上述宽度d1、d2例如被设定为与内侧侧面41a-1、41b-1的横宽(短边方向的宽度)相同，或者比内侧侧面41a-1、41b-1的横宽(短边方向的宽度)小一些。可以是与上述宽度d1、d2相同的值，也可以是不同的值。

另外，也可以部分地改变上述宽度d1、d2，例如使使用者的手容易接触的部分的宽度d1a、d2a比宽度d1、d2稍宽(参照图9)。由此，能够尽早地检测到被拉进推拉门暗箱的事故。

此外，正面柱41a、41b的正面为区域设定外。这是因为在正面柱41a、41b的正面有操作盘45等，使用者多在附近。如果是正面柱41a、41b的内侧侧面41a-1、41b-1，就不会误检测操作操作盘45的使用者等，而且，能够设定不受轿厢门13的开闭动作影响的检测区域ea、eb。

接着，对本系统的动作进行详细说明。

图4是表示本系统的整体处理流程的流程图。

首先，作为初始设定，由图像处理装置20所具备的检测部22的检测区域设定部22a执行检测区域设定处理(步骤s11)。该检测区域设定处理例如在设置摄像机12时、或者在调整摄像机12的设置位置时，如下执行。

即，检测区域设定部22a在由摄像机12拍摄的图像上设定检测区域ea、eb。详细而言，如果轿厢门13是两扇门为双开类型，则检测区域设定部22a在一方的门板13a被拉进的推拉门暗箱42a附近的正面柱41a的内侧侧面41a-1上设定检测区域ea。接着，检测区域设定部22a在另一方的门板13b被拉进的推拉门暗箱42b附近的正面柱41b的内侧侧面41b-1上设定检测区域eb。

在拍摄图像上映出正面柱41a、41b的区域根据轿厢11的各构成部的设计值、摄像机12固有的值而算出。

·出入口的宽度(轿厢出入口的横向宽度)

·门的高度

·柱的宽度

·门的类型(双开/右侧或左侧的单开)

·摄像机相对于出入口的相对位置(三维)

·摄像机的角度(3轴)

·摄像机的视场角(焦距)

检测区域设定部22a根据这些值算出在拍摄图像上映出正面柱41a、41b的区域。即，假设正面柱41a、41b从出入口(出入口)的两端垂直竖立，检测区域设定部22a根据摄像机12相对于出入口的相对位置、角度、视场角，算出正面柱41a、41b的三维坐标。

所谓三维坐标，如图5所示，是指以与轿厢门13水平的方向为x轴，以从轿厢门13的中心到候梯厅15的方向(相对于轿厢门13垂直的方向)为y轴，以轿厢11的高度方向为z轴的情况下的坐标。

此外，例如如图6所示，也可以在轿厢门槛47的轿厢内侧的两端分别放置标记m1、m2，以该标记m1、m2的位置为基准求出正面柱41a、41b的三维坐标。或者，如图7所示，也可以通过图像处理求出轿厢门槛47的轿厢内侧的两点p1、p2的位置，以该两点p1、p2的位置为基准求出正面柱41a、41b的三维坐标。

检测区域设定部22a将正面柱41a、41b的三维坐标投影为拍摄图像上的二维坐标，求出拍摄图像上的映出正面柱41a、41b的区域，在该区域内设定检测区域ea、eb。详细而言，检测区域设定部22a沿着正面柱41a、41b的内侧侧面41a-1、41b-1的长边方向设定具有规定宽度d1、d2的检测区域ea、eb。

检测区域ea、eb的设定处理可以在打开轿厢门13的状态下执行，也可以在关闭轿厢门13的状态下执行。在关闭轿厢门13的状态下，在摄像机12的拍摄图像中不会映入候梯厅15，相应地容易设定检测区域ea、eb。此外，通常，轿厢门槛47的横宽(短边方向的宽度)比轿厢门13的厚度宽。因此，即使轿厢门13处于全闭状态，轿厢门槛47的一端侧也映入拍摄图像中。因此，能够以其一端侧的位置为基准确定正面柱41a、41b的位置，从而设定检测区域ea、eb。

这样，通过在正面柱41a、41b的内侧侧面41a-1、41b-1预先设定检测区域ea、eb，如图8及图9所示，在开门时使用者将手放在正面柱41a的内侧侧面41a-1时，能够在该手被拉进推拉门暗箱42a之前检测到。

下面，对轿厢11运行时的动作进行说明。

如图4所示，当轿厢11到达任意楼层的候梯厅15时(步骤s12的“是”)，轿厢控制装置30打开轿厢门13(步骤s13)。

此时(轿厢门13的开门动作中)，设置在轿厢11的出入口上部的摄像机12以规定的帧率(例如30帧/秒)拍摄轿厢门13的周边(正面柱41a、41b等)。图像处理装置20按时间序列获取由摄像机12拍摄的图像，将这些图像依次保存在存储部21中(步骤s14)，同时实时地执行以下的使用者检测处理(步骤s15)。此外，也可以进行失真校正、放大缩小、图像的一部分的剪切等作为对拍摄图像的预处理。

使用者检测处理由图像处理装置20所具备的检测部22的检测处理部22b执行。

即，检测处理部22b通过从由摄像机12以时间序列得到的多个拍摄图像中提取出检测区域ea、eb内的图像，根据这些图像检测有无使用者或物体。具体而言，用以下的方法进行检测。

(a)差分法

如图10所示，检测处理部22b按照时间序列顺序将检测区域ea、eb内的图像与基本图像进行比较，根据两者的图像的差分来检测有无使用者或物体。图10的(a)是基本图像，是预先在轿厢11内不存在使用者、物体的状态下从由摄像机12拍摄到的图像中提取出的检测区域ea、eb内的图像。图10的(b)是检测对象图像，是从开门时的拍摄图像中提取出的检测区域ea、eb内的图像。

检测处理部22b比较基本图像和检测对象图像，如果在两者的图像中像素的值不同的部分为规定量以上，则判断为在推拉门暗箱42a、42b的附近存在使用者或物体。

(b)运动检测

如图11所示，检测处理部22b以规定的块单位将拍摄图像分割成矩阵状，在这些块中着眼于有运动的块来检测有无使用者或物体。

详细而言，检测处理部22b按照时间序列顺序一个一个地读出保持在存储部21中的各图像，对每个块算出这些图像的平均亮度值。此时，最初的图像被输入时算出的每个块的平均亮度值作为初始值被保持在存储部21中的未图示的第1缓存区域中。

当获得了第二个以后的图像时，检测处理部22b将当前图像的每个块的平均亮度值与保持在第1缓冲区域中的前一个图像的每个块的平均亮度值进行比较。其结果，在当前的图像中存在具有预先设定的值以上的亮度差的块的情况下，检测处理部22b将该块判定为有运动的块。当判定相对于当前图像有无运动时，检测处理部22b将该图像的每个块的平均亮度值保持在第1缓冲区域中，用作与下一图像的比较。以后同样地，检测处理部22b反复按照时间序列顺序以块为单位比较各图像的亮度值，同时判定有无运动。

检测处理部22b检查在检测区域ea、eb内的图像中是否存在有运动的块。其结果，如果在检测区域ea、eb内的图像中存在有运动的块，则检测处理部22b判断为在推拉门暗箱42a、42b附近存在人或物体。

如图3所示，检测区域ea、eb设定在正面柱41a、41b的内侧侧面41a-1、41b-1。因此，轿厢门13(门板13a、13b)开闭时的运动不会在检测区域ea、eb内被检测到。

(c)边界检测

检测处理部22b根据检测区域ea、eb内的图像检测电梯结构物的边界。这里所说的“电梯结构物的边界”是指正面柱41a、41b的内侧侧面41a-1、41b-1与推拉门暗箱42a、42b的边界。检测处理部22b在上述边界在图像上中断的情况(部分隐藏的情况)下，判断为存在使用者或物体。

在该方法中，如图12所示，需要预先扩展检测区域ea、eb，设定为包含上述边界。此外，关于在图像上检测检测区域内的边界的方法，例如在日本专利特愿2017-240799号公报中是公知的，因此这里省略详细的说明。

在由摄像机12拍摄的图像中，与轿厢门13的开闭状态无关，存在正面柱41a、41b的内侧侧面41a-1、41b-1与推拉门暗箱42a、42b的边界。因此，通过检测该边界在图像上是否中断，能够可靠地检测接近推拉门暗箱42a、42b的使用者或物体，并且不会误检测远离推拉门暗箱42a、42b的使用者或物体。

作为其他的方法，也可以根据检测区域ea、eb内的图像识别电梯构结构以外的物体，根据该识别结果判断使用者或物体的存在。物体识别的方法可以是一般公知的方法。例如，有深度学习、svm(supportvectormachine，支持向量机)、随机森林等。

返回图4，当在轿厢门13的开门动作中，在检测区域ea、eb内检测到使用者或物体的存在时(步骤s16的“是”)，从图像处理装置20向轿厢控制装置30输出使用者检测信号。在接收到该使用者检测信号时，轿厢控制装置30的门开闭控制部31暂时停止轿厢门13的开门动作，数秒后从该停止位置再次开始开门动作(步骤s17)。

此外，在接收到使用者检测信号时，也可以使轿厢门13的开门速度比通常慢，或者使轿厢门13向反方向(关门方向)稍微移动后再开始开门动作。

另外，轿厢控制装置30的通知部32通过轿厢11内的扬声器46进行语音广播，唤起使用者注意以使其离开推拉门暗箱42a、42b(步骤s18)。此外，通知的方法不限于语音广播，例如可以显示“推拉门暗箱附近有危险，请马上离开。”这样的消息，也可以并用语音广播和消息显示。另外，也可以鸣响警告声。

在检测区域ea、eb内检测到使用者或物体的存在的期间，重复上述处理。由此，例如在使用者将手放在推拉门暗箱42a附近的情况下，能够将被拉进推拉门暗箱42a的情况防患于未然。

在检测区域ea、eb内没有检测到使用者或物体的存在的情况下(步骤s16的“否”)，轿厢控制装置30继续轿厢门13的关门动作，在关门完成后，使轿厢11朝向目的楼层出发(步骤s19)。

此外，在上述实施方式中，以双开类型的轿厢门为例进行了说明，但如图13所示的单开类型也同样。

图13是表示使用了两扇门为单开类型的轿厢门的轿厢内的出入口周边部分的构成的图。在该例中，在轿厢11的出入口开闭自如地设置有两扇门为单开类型的轿厢门13。如图14所示，轿厢门13具有两个门板13a、13b，它们沿着出入口方向向相同方向进行开闭动作。

在轿厢门13为单开类型的情况下，推拉门暗箱42a只设置在出入口的一侧。在图13的例子中，在出入口的左侧设置有推拉门暗箱42a，在开门时两扇门板13a、13b以重叠的状态收纳在推拉门暗箱42a中。

在此，将设置在门楣板11a上的摄像机12靠近推拉门暗箱42a侧，预先对推拉门暗箱42a侧的正面柱41a设定检测区域ea。详细而言，如图3中说明的那样，沿着正面柱41a的内侧侧面41a-1预先设定具有规定宽度d1的带状的检测区域ea。由此，例如在使用者的手位于推拉门暗箱42a附近的情况下，能够根据检测区域ea内的图像检测该状态，并通过反映在门开闭动作中，能够将被拉进推拉门暗箱42a的事故防患于未然。

此外，在图13中，如果对另一方的正面柱41a也预先设定检测区域eb，就能够将关门时轿厢门13的侧端部碰撞的事故(门碰撞事故)防患于未然。

这样，根据本实施方式，通过在轿厢11的出入口的两侧预先设定检测区域ea、eb，能够正确地检测位于门附近的使用者或物体。由此，能够将被拉进推拉门暗箱的事故等在门的开闭时产生的事故防患于未然，从而能够安全地利用电梯。另一方面，通过限定设定检测区域ea、eb的场所，能够避免误检测远离门的使用者或物体，能够防止不需要的门控制、唤起注意。

另外，在上述实施方式中，在轿厢11的出入口的两侧设定了检测区域ea、eb，但也可以仅在至少一方预先设定检测区域。

根据以上所述的至少一个实施方式，能够提供一种电梯的使用者检测系统，不需要多个传感器，就能够正确地检测位于门附近的使用者或物体，将门开闭时的事故防患于未然。

另外，在上述实施方式中，是假设设置在电梯的轿厢上的门而进行了说明，但例如设置在大楼的大门口等的自动门也能够应用本发明。即，例如如果是大厦的大门口的自动门，则在上述大门口上部设置摄像机，使用该摄像机的拍摄图像，在上述大门口两侧的柱部分的内侧设定检测区域ea、eb(如果是单侧打开，则为某一方)。之后，与上述实施方式同样地，在检测区域ea、eb内的图像中检测使用者或物体，使其反映在门开闭控制中，并且进行注意唤起。

总之，虽然对本发明的几个实施方式进行了说明，但这些实施方式只是作为例子而提出的，并不意味着限定发明的范围。这些新的实施方式能够以其他各种方式实施，在不脱离发明主旨的范围内，能够进行各种省略、替换、变更。这些实施方式、其变形包含在发明的范围和主旨中，并且包含在权利要求书记载的发明及其均等的范围中。