可节省耗能的电梯内乘客异常行为检测的制作方法

1.本发明一般而言，涉及一种在电梯厢内基于视频图像以检测乘客行为异常的方法以及电梯装置。更具体而言，例如，本发明具体实施例所提出的方法以及电梯装置，可根据电梯厢中的乘客人数的增减变化，相应地对电梯厢内的视频图像采取不同的分析，由此在电梯厢内检测乘客行为异常，并可节省能源。


背景技术：

2.通过图像识别的方式，可自动识别各场所中人的异常行为，而省去人为监控的耗费，也更节省时间，快速有效。对此可参考例如cn102241349bcn111507185b、cn108805093b、以及同属申请人的中国台湾专利申请第110127653号。
3.这种自动化识别的优势在电梯的使用环境更为显著。由于电梯厢属于密闭空间，若乘客在其中身体不适或发生任何紧急事情，不容易被发现。虽然电梯中一般都具备有紧急通话按钮，但若状况严重，或特别是当乘客为老年人或幼童时。也不一定有机会可以启动紧急通话按钮，而与服务人员通话，取得援助。
4.在电梯厢或其他特定空间中要判断乘客的行为是否有异常，可通过乘客的身体姿势加以判断。举例来说，例如在电梯的情况，一般来说都会安装有摄影机，可拍摄电梯厢内乘客的视频图像。进一步地利用所拍摄到的视频图像进行人体姿势估测或其他人工智能的图像分析，可进一步判断出乘客的身体姿势与行为异常。


技术实现要素：

5.本公开首先认识到，人工智能的功能强大，其可如上所述，通过人体姿势估测或其他类似利用人工智能的图像分析的方式可在电梯厢或其他特定空间中要判断乘客的行为是否有异常。但人工智能往往涉及庞大的计算，因此非常耗能。
6.而当使用人工智能在电梯厢中要判断乘客的行为是否有异常时，此耗能的问题更加严重。一般来说，电梯都是整天不停的运转，甚至全年无休。为了乘客安全的考虑，电梯中的摄影机也是整天不间断地即时地拍摄电梯厢内的视频图像。可想而知，一整天所累积的视频图像的数据将相当庞大，而这些视频图像的数据如果全部都要即时使用人工智能进行影像分析，其耗能必然相当可观，也对于硬体的要求也必然严格。举例来说，耗能的最大问题是：不管是哪一种耗能方式，都会转换成废热，这些废热必须排出去，才能让系统正常运转。
7.有鉴于此，本公开的一特点即在于可根据电梯厢中的乘客人数的增减变化，相应地对所取得电梯厢内的视频图像采取不同方式的采样与处理，以节省运算资源、能源、或甚至是通信频率带宽。举例来说，当电梯厢中无人的时候，可只使用简单快速的分析模式，其目的只需要确认电梯厢中目前仍然是无人的状态，而不需要去判断是否有乘客行为异常。而只有当电梯厢中有乘客的时候，才使用到复杂的分析模式，以人工智能或是较为耗费计算资源与能源的方式进行采样与图像内容分析，以检测乘客行为异常。
8.在一实施例中，本公开提出一种在一电梯厢内基于视频图像以检测乘客行为异常的方法，其中一摄影装置固定设置于该电梯厢内并与一控制模组连接，该摄影装置拍摄该电梯厢内的视频图像并提供给该控制模组进行分析，该方法包含：该控制模组以一第一分析模式分析该摄影装置所提供的视频图像；以及根据该电梯厢中的乘客人数的改变，该控制模组以一第二分析模式分析该摄影装置所提供的视频图像，并由此判断该电梯厢内的乘客行为有异常。
9.此外，在其他实施例中，本公开提出的电梯装置中具有一摄影装置与一控制模组，与该摄影装置连接以接收该摄影装置所提供的视频图像，并进行上述的方法。
10.本说明书中所提及的特点、优点、或类似表达方式并不表示，可以本发明实现的所有特点及优点应在本发明的任何单一的具体实施例内。而是应明白，有关特点及优点的表达方式是指结合具体实施例所述的特定特点、优点、或特性包含在本发明的至少一具体实施例内。因此，本说明书中对于特点及优点、及类似表达方式的论述与相同具体实施例有关，但亦非必要。
11.参考以下说明及所附权利要求范围或利用如下文所提的本发明的实施方式，即可更加明了本发明的这些特点及优点。
附图说明
12.为了立即了解本发明的优点，请参考如附图所示的特定具体实施例，详细说明上文简短叙述的本发明。在了解这些图示仅描绘本发明的典型具体实施例并因此不将其视为限制本发明范围的情况下，参考附图以额外的明确性及细节来说明本发明，图式中：
13.图1显示本发明的实施方式中电梯装置的系统架构图；
14.图2显示根据本发明实施例的一方法流程图；
具体实施方式
15.本说明书中“一具体实施例”或类似表达方式的引用是指结合该具体实施例所述的特定特点、结构、或特性包括在本发明的至少一具体实施例中。因此，在本说明书中，“在一具体实施例中”及类似表达方式的用语的出现未必指相同的具体实施例。
16.《系统架构》
17.图1为表示本发明的实施方式中电梯装置100的系统架构图，以说明电梯装置100的基本运作与元件，但应知以下说明的目的为范例，且以简化省略不必要的细节。需说明的是，以下虽以电梯装置100进行说明，但本发明也可适用于其他与电梯装置类似的场所，例如火车车厢或甚至是某些商店之中。
18.如图1所示，电梯装置100的电梯厢1与平衡重3藉由钢缆4而悬吊于升降路2。钢缆4卷挂在曳引机的曳引轮6上。当曳引轮6转动时，通过曳引轮6与钢缆4的摩擦力带动使电梯厢1随着上升或下降。曳引机除了曳引轮6之外还具备电动机及制动装置。电动机使曳引轮6转动及停止。制动装置使曳引轮6不转动，而使曳引轮6维持在静止的状态，同时电梯厢1也跟着静止。
19.另外，在机械室7中设置了控制模组10与通信模组11。
20.控制模组10控制电梯装置100的运转，特别是电梯厢1的上升、下降或静止，藉此将
乘客运送到目的楼层。控制模组10藉由控制缆线13与电梯厢1连接。电梯厢1和控制模组10之间的信息的收发藉由控制缆线13而进行。但在其他实施例中，电梯厢1和控制模组10也可通过无线通信的方式进行信息的通信。
21.在此实施例中，电梯厢1具备了例如显示器14、对讲机15、摄影机16及秤装置17。例如，控制模组10藉由控制缆线13接收从对讲机15传来的信息、摄影机16传来的信息及秤装置17传来的信息。
22.显示器14为向乘客呈现信息的装置之一。对讲机15具备麦克风及扬声器。由麦克风取得的声音的信息被输出至控制模组10。摄影机16拍摄例如电梯厢1的内部。由摄影机16拍摄的图像的信息被输出至控制模组10。
23.秤装置17检出电梯厢1的承载重量。也可以将秤装置17设置在钢缆4的端部。由秤装置17所检出的承载重量的信息被输出至控制模组10。
24.控制模组10包括具有例如输出入接口、处理器、存储器的电路以作为其硬件资源。控制模组10，藉由处理器执行存储在存储器中的程序，以实现控制电梯装置100运转的功能。控制模组10也可具备多个处理器。控制模组10也可具备多个存储器。即，可以用多个处理器及多个存储器协同运作来实现控制模组10的功能，且各功能的一部分或者全部也可以用硬件来实现。
25.但应知控制模组10的一部分或者全部也可以通过个人电脑、工作站、或是通过网络以云端的方式来实现。
26.通信模组11为用以让控制模组10和外部进行通信的装置。通信模组11能够通过通信线路21(可为有线或无线线路)而和外部进行通信，藉此将信息从电梯装置向外部传送，以及从外部接收信息。一般来说，通信模组11可进行通信的对象乃预先指定，例如可以是电梯装置100的服务中心或是建筑物的管理室等等。
27.另外一提的是，摄影机16可参考现有技术中电梯所使用的网络摄影机(ip cam)加以实施。此外，摄影机16与控制模组10之间可使用有线或无线的方式连接，本发明并不局限。
28.在一实施例中，一台或多台摄影机16可包含例如raspberry pi晶片(未图示)而可作为客户端，利用imagezmq网络通信模组将所拍摄的画面实时串流至作为主机端的控制模组10，但本发明可不限于此。关于imagezmq网络通信模组，可参考python package index软件套件储存库在其网站上所发布的技术文件“transporting opencv images via zmq”https://pypi.org/project/imagezmq/，本文不加以赘述。
29.imagezmq网络通信模组因为可使用发布-订阅的数据分发模式，由发布者不断取得并发布摄影机16所拍摄的最新图像，订阅者可以在处理数据时，才向发布者要求目前最新发布的图像，因此可以确保每次处理的图像都是最新的，而不浪费计算资源。此外，imagezmq网络通信模组可支持多个客户端，因此控制模组10可通过一台或多台摄影机16所拍摄的视频图像来进行如图2所示的各步骤，但以下先仅以一台摄影机16为例进行说明。
30.在步骤200：作为客户端的摄影机16将所拍摄的画面以实时串流方式传送给作为主机端的控制模组10。一般来说，在实时串流的情况下，摄影机16的帧率通常可设定在24或是30fps，也就是每秒传送24或30张图像给控制模组10进行分析。在初始情况，控制模组10所采用的分析模式中采样频率先是设定与摄影机16的帧率一致，也就是对摄影机16传送过
来的每一张画面都进行采样，以进行后续图像内容的分析。
31.步骤202：在此步骤中，控制模组10对所采样的画面进行简单的图像分析，以判断出电梯厢1是否为空车(也就是没有乘客)。判断出电梯厢1是否为空车的具体方式可参考现有做法，例如cn101357726a或cn105692376，但一般来说，此部分甚至可不需要使用人工智能方式来进行判断，因此步骤202中控制模组10所需要的计算资源与能源都相当有限。若步骤202判断出电梯厢1为空车，则进行步骤204。反之，若判断为否，也就是判断出电梯厢1内有乘客，则进行步骤214。在另一实施例中，为了避免误判，控制模组10可在例如若干时间(例如5秒)内连续进行步骤202多次，而每次判断结果皆显示电梯厢1为空车时，此时才会进行步骤204，否则进行步骤214。
32.步骤204：由于判断出电梯厢1为空车，其中并无乘客，因此控制模组10后续其实无需进行太多处理，只需要确认电梯厢1是否仍保持在空车的状态即可。因此这时候所采用的分析模式可较步骤200初始的分析模式更为简单。举例来说，在步骤204中，控制模组10此时的采样频率可大幅降低，例如仅需要每1秒或每2秒采样一次即可。相较于步骤200时控制模组10的采样频率，可大幅减少控制模组10所消耗的计算资源与能源。如图2所示，在降低采样频率之后，即回到步骤202的判断以确认电梯厢1是否仍保持在空车的状态，若这次步骤202的判断为否，表示原本是空车的电梯厢1内现在有乘客进入，此时进行步骤214。
33.步骤214：由于判断出电梯厢1中有乘客，因此控制模组10此时的分析模式就需要进行进一步的图像分析，以识别出电梯厢1的人数，并根据所识别出的人数再对每一个乘客进行人体姿势估测或其他人工智能的图像分析，以判断出个别乘客的身体姿势与行为异常(步骤216)。举例来说，可根据所识别出的人数，将画面中所识别出来的人一个一个分割出来为较小的图像，再使用2d人体姿势估测检测出骨架，并作为跌倒检测模型(以单人骨架训练)的输入。一般来说，处理较小的图像也能节省计算资源。
34.另外值得说明的是，若先前步骤202中电梯厢1是否为空车的判断也是通过图像分析方式进行，则步骤202的判断与步骤214中乘客人数识别可以是同一个步骤进行，而当所识别出的人数为零，就不会执行分割图像与骨架检测。
35.若步骤216判断出乘客行为异常，则控制模组10可通过通信模组11通报电梯装置100的服务中心(步骤220)，若否，则回到步骤200继续进行监控。而步骤214中人体姿势估计以及其他用来检测乘客行为异常的图像分析，可采用现有技术中任何适合的做法，也可使用人工智能方式进行，本发明对此并不限制。然而，为了确保可正确地判断乘客行为异常，步骤214所采用的图像分析方式会一般会耗费较多的计算资源与能源，但由于此仅限于当电梯有乘客时所不得不进行分析的结果，换言之，当电梯没有乘客时，即不会进行到步骤214，因此可有效节省计算资源与能源。
36.此外，在一实施例中，在步骤214中随着每次识别出电梯厢1的人数有所不同，后续所采用的图像分析方式也可以有所不同。举例来说，当电梯厢1中有多名乘客时，容易出现一名乘客的图像被其他乘客遮挡的情况，因此此时控制模组10可能需要采取更为复杂的人工智能模型来进行“多人人体姿势估测”来检测是否存在异常行为，也因此会耗费更多的计算资源与能源。相较之下，若电梯厢1只有一名乘客时的情况，并不会有被其他乘客遮挡的情况发生，因此控制模组10只需要进行“单人人体姿势估测”来检测是否存在异常行为，而可能耗费比多人人体姿势估测较少的计算资源与能源。
37.《变型例1》
38.在一变型实施中，步骤202中判断出电梯厢1是否为空车的做法，除了如上所述控制模组10对所采样的画面进行图像分析，也可以采用其他的做法。举例来说，图1所示的秤装置17可检出电梯厢1的承载重量，并将所检出的承载重量的消息输出至控制模组10，因此控制模组10可根据承载重量判断电梯厢1是否为空车，甚至还可以估计乘客的人数。此外，图1所示的对讲机15也可以接收电梯厢1的声音，并将所检测的声音信息输出至控制模组10，因此控制模组10可根据声音信息判断电梯厢1是否为空车。
39.《变型例2》
40.在一变型实施中，步骤204中除了控制模组10可将采样频率降低以外，控制模组10还可以发出控制指令给摄影机16以切换摄影机16拍摄的模式，例如可以从原本的解析度4mp(2688
×
1520)以及帧率30fps的拍摄模式切换到解析度1mp＝1280
×
720以及帧率10fps的拍摄模式，以节省后续控制模组10所要耗费在图像分析上的能源以及网络频率带宽。选择性地，控制模组10还可以切换摄影机16之间的串流模式，也就是可以对摄影机16要传送图像给控制模组10时所使用的任何参数，或是控制模组10接收摄影机16所传送图像时所使用的任何参数，进行调整。举例来说，摄影机16虽然是以高分辨率(例如4mp)来拍摄图像，但在进行串流时额外对图像进行大小的调整以转换成较低的分辨率(例如1mp或甚至更低)的图像进行传送，这种做法同样地也可以节省后续控制模组10所要耗费在图像分析上的能源以及网络频率带宽。
41.前述公开内容并非旨在将本发明限制在所公开的精确形式或特定使用领域。如此，根据本发明，无论本文明确描述或暗示，可预期本发明的各种替代具体实施例及/或修改。
42.本文提供的各种具体实施例可使用硬件、软件或硬件与软件的组合实行，且各种硬件与软件部件可组合成包含软件及/或硬件的组合之一或多个部件，而不背离本发明的精神。在应用时，可改变本文所述的各种步骤的顺序，结合成合并步骤，及/或分拆成子步骤以提供本文所述的特征。
43.本发明虽以各种实施例公开如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可做些许的更动与修改。本发明的保护范围当视所附权利要求范围所界定者为准。
44.【符号说明】
45.电梯厢 1
46.升降路 2
47.平衡重 3
48.钢缆 4
49.曳引轮 6
50.机械室 7
51.控制模组 10
52.通信模组 11
53.控制缆线 13
54.显示器 14
55.对讲机 15
56.摄影机 16
57.秤装置 17
58.通信线路 21
59.电梯装置 100
60.步骤200～220。