用于使用跨建筑的传感器网络进行基于手势的远距离控制的系统和方法与流程

背景

本文公开的标的大体上涉及控制建筑内设备，并且更具体来说，涉及对建筑内设备的基于手势的控制。

传统上，人与建筑内设备(例如，电梯系统、照明、空调、电子设备、门、窗、遮光帘等)的交互取决于例如按压按钮或开关、在自助服务终端处输入目的地等物理交互。此外，人与某一建筑内设备的交互被设计成经由与建筑内设备的物理交互来促进商务管理应用，包括维修安排、资产置换、电梯调度、空气调节、照明控制等。举例来说，当前触摸系统尝试经由例如使用移动电话或者利用可以放置在建筑的不同区域的小键盘来解决从电梯之外的其他位置请求电梯。第一解决方案需要用户携带移动电话并且安装适当的应用程序。第二解决方案需要安装小键盘，这样代价较高并且并不总是方便的。

随着技术上的进步，可以使用不同的激活系统来实施需要较少的物理交互的系统，例如语音或手势控制系统。举例来说，现有的听觉系统可以采用两种模式中的一者来激活语音辨识系统。通常，第一模式包括用户按压按钮以激活语音辨识系统，并且第二模式包括用户向语音辨识系统说出一组特定词语，例如“ok，google”。然而，两种激活方法都需要用户与建筑内设备非常紧密接近。类似地，当前基于手势的系统需要用户接近建筑内设备(例如，电梯大堂中的电梯)并且在所述设备内或附近。

这些实现方式都不允许从特定位置和距离远处呼叫和/或控制建筑内设备，例如电梯。

简述

根据一个实施例，提供一种手势和位置辨识系统。所述系统包括：传感器装置，其捕获用户的数据信号并且从所述数据信号检测来自用户的手势输入，其中可以基于建筑中的传感器装置的传感器位置和用户的所收集的数据信号来计算用户位置；信号处理装置，其基于所述手势输入和所述用户位置而产生控制信号；以及建筑内设备，其从所述信号处理装置接收所述控制信号并且基于所述控制信号来控制所述建筑内设备。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括一种电梯系统，所述电梯系统包括一个或多个电梯控制器和一个或多个电梯轿厢，其中所述一个或多个电梯控制器从信号处理装置接收控制信号并且基于所述控制信号来控制所述一个或多个电梯轿厢。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括各自位于建筑中的不同位置处的传感器装置的网络。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括，其中所述传感器装置网络中的传感器装置中的每一者置于用于呼叫电梯大堂中的电梯轿厢的正常交互距离之外。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括，其中所述传感器装置是来自由以下各者组成的组的至少一者：3d传感器、2d传感器、运动传感器、麦克风或麦克风阵列、按钮或一组按钮、开关或一组开关、键盘、触摸屏、rfid读取器、电容性传感器、无线信标传感器、压敏地毯、重力梯度仪、相机、深度传感器和移动装置跟踪系统。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括，其中所述数据信号是来自由视觉表示和3d深度图组成的群组的至少一者，并且其中所述视觉表示是来自由以下各者组成的组的至少一者：图像、图像集合、视频、动画、图像的裁剪部分，和视频的裁剪部分。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括，其中所述手势输入可以包括来自由以下各者组成的组的至少一者：手臂移动、身体移动、手指移动、头部移动、面部移动、移动物体和移动的组合。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括，其中信号处理装置估计用户从其中用户输入所述手势输入的手势辨识点行进到电梯大堂中的电梯轿厢的行进时间。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括，其中信号处理装置基于行进到电梯轿厢的所估计的行进时间来调整电梯呼叫。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括，进一步包括在用户经过传感器网络中的其他传感器时跟踪移动穿过建筑的用户，并且调整行进到建筑内设备的所估计时间。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括用户的移动装置，其中所述移动装置是选自由以下各者组成的组的移动装置：移动电话、信标、rfid标签、平板计算机和可穿戴电子器件，并且其中所述移动装置向建筑内设备提供额外的信息和跟踪能力。

根据另一实施例，提供一种使用手势和位置辨识的方法。所述方法包括：使用传感器装置来捕获用户的数据信号，并且从所述数据信号检测来自用户的手势输入；基于建筑中的传感器装置的传感器位置和用户的所收集的数据信号来计算用户位置；使用信号处理装置基于手势输入和用户位置而产生控制信号；以及使用建筑内设备从信号处理装置接收所述控制信号，并且基于所述控制信号来控制所述建筑内设备。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括使用电梯控制器从信号处理装置接收所述控制信号，并且基于所述控制信号来控制一个或多个电梯轿厢。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括提供传感器装置网络，每个传感器装置位于建筑中的不同位置处，其中所述传感器装置网络中的传感器装置中的每一者置于用于呼叫电梯大堂中的电梯轿厢的正常交互距离之外。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括，其中所述传感器装置是来自由以下各者组成的组的至少一者：3d传感器、2d传感器、运动传感器、麦克风或麦克风阵列、按钮或一组按钮、开关或一组开关、键盘、触摸屏、rfid读取器、电容性传感器、无线信标传感器、压敏地毯、重力梯度仪、相机、深度传感器和移动装置跟踪系统。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括，其中所述数据信号是来自由视觉表示和3d深度图组成的群组的至少一者，并且其中所述视觉表示是来自由以下各者组成的组的至少一者：图像、图像集合、视频、动画、图像的裁剪部分和视频的裁剪部分。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括，其中所述手势输入可以包括来自由以下各者组成的组的至少一者：手臂移动、身体移动、手指移动、头部移动、面部移动、移动物体和移动的组合。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括使用所述信号处理装置来估计用户从其中用户输入所述手势输入的手势辨识点行进到电梯大堂中的电梯轿厢的行进时间，并且使用所述信号处理装置基于行进到电梯轿厢的所估计的行进时间来调整电梯呼叫。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括在用户通过传感器网络中的其他传感器时跟踪移动穿过建筑的用户，并且调整行进到电梯的所估计时间和电梯呼叫。

除了上文描述的特征中的一者或多者之外，或作为替代方案，其他实施例可以包括使用用户的移动装置向电梯系统提供额外的信息和跟踪能力，其中所述移动装置是选自由以下各者组成的组的移动装置：移动电话、信标、rfid标签、平板计算机、无线计算装置和可穿戴电子器件。

可以非排他地以各种组合来组合前述特征和元件，除非另外明确指示。鉴于以下描述和附图，这些特征和元件以及其操作将变得更加显而易见。然而，应该理解，以下描述和图式既定在本质上是说明性和阐释性的而非限制性的。

附图简述

通过结合附图进行的以下详细描述，本公开的前述和其他特征和优势会显而易见，附图中：

图1是根据一个或多个实施例的用于控制建筑内设备的手势和位置辨识系统的框图；

图2是根据一个或多个实施例的用于控制建筑内设备的手势和位置辨识系统的框图；

图3是根据一个或多个实施例的包括手势和位置辨识系统的建筑楼层的图；

图4描绘根据一个或多个实施例的在用户与手势和位置辨识系统之间的用户交互；

图5描绘根据一个或多个实施例的用户手势；

图6描绘根据一个或多个实施例的由两个子动作构成的两部分用户手势；

图7描绘根据一个或多个实施例的由两个子动作构成的两部分用户手势；

图8描绘根据一个或多个实施例的经过处理的手势的状态图；

图9描绘根据一个或多个实施例的经过处理的手势的状态图；以及

图10是根据一个或多个实施例的包括手势远处控制的方法的流程图。

详细描述

如本文中示出和描述，将呈现本公开的各种特征。各种实施例可能具有相同或类似的特征，并且因此可以使用相同的参考数字标记所述相同或类似的特征，但是前面有指示示出所述特征的图的不同第一数字。因此，例如，在图x中示出的元件“a”可以标记为“xa”，并且图z中的类似特征可以标记为“za”。虽然可以在一般意义上使用类似的参考数字，但将描述各种实施例，并且本领域技术人员将了解，各种特征可以包括无论明确描述还是本领域技术人员原本将了解的变化、更改、修改等。

本文描述的实施例针对于用于从远处与建筑内设备的基于手势的交互的系统和方法，所述建筑内设备例如为电梯、灯、空调、门、百叶窗、电子器件、复印机、扬声器等。根据其他实施例，所述系统和方法可用于在远处交互和控制其他建筑内设备，例如运输系统(例如，自动扶梯、按需运人器等)。一个或多个实施例将人检测和跟踪与表示手势的时空描述符或运动签名进行整合，以与状态机一起来跟踪复杂的手势识别。

举例来说，与建筑内设备的交互是多种多样的。人员可能希望：控制本地环境，例如照明、加热、通风和空气调节(hvac)、打开或关闭门等；控制服务，例如提供给养、清除垃圾等；控制本地设备，例如将计算机锁定或解锁、开启或关闭投影仪等；与安全系统交互，例如在有其他人在同一楼层的情况下打手势、请求辅助等；或者与建筑内的运输工具交互，例如召唤电梯、选择目的地等。与电梯的交互的此后一实例将在说明书中用作示例性而不是限制性，除非另有特别说明。

在一个实施例中，用户使用基于手势的接口。另外，基于手势的接口是系统的部分，所述系统还包括跟踪系统，所述跟踪系统推断用户到被呼叫的电梯的预期到达时间(eta)。所述系统还可以向厅门呼叫登记所计算的延迟以避免让电梯轿厢过分等待，并且跟踪用户，从而在eta偏离最新估计的情况下向厅门呼叫发送改变。在替代性实施例中，对电梯的远程命令利用在做手势时看向相机的用户。在另一替代性实施例中，对电梯的远程命令包括除了手势之外发出特征声音(例如，打响指)。检测和跟踪系统可以使用其他传感器(例如，pir)来代替光学相机或深度传感器。所述传感器可以是3d传感器，例如深度传感器；2d传感器，例如摄像机；运动传感器，例如pir传感器；麦克风或麦克风阵列；按钮或一组按钮；开关或一组开关；键盘；触摸屏；rfid读取器；电容性传感器；无线信标传感器；压敏地毯、重力梯度仪或针对如本文其他地方描述的人员检测和/或意图辨识而设计的任何其他已知的传感器或系统。

另外，一个或多个实施例以一种方式使用传感器来检测手势，使得通过组合多个因素而存在较低的错误肯定率。具体来说，因为可以实施肯定检测的较高阈值，所以可以提供较低的错误肯定率，因为还提供允许用户知晓是否检测到手势的反馈特征。如果不是因为较高的阈值，那么用户将知晓并且可以尝试再次作出更准确的手势。举例来说，因素的特定实例可以包括：仅当所述系统对作出的手势具有非常高的置信度时所述系统才作出电梯呼叫。这允许系统以丢失对一些手势(但不是许多)的检测为代价而具有少量的错误肯定。所述系统通过向用户传达是否已经检测到手势来补偿此因素。在本文的一个或多个实施例中提供了在没有许多丢失的检测的情况下减小错误肯定率的其他手段。举例来说，一个或多个实施例包括利用脸的定向(人将通常看向相机以了解他是否被检测到)，或者使用额外的信息源(例如，用户可能在做手势时打响指，并且在传感器还具有麦克风的情况下可以由所述系统辨识此噪声)。因此，一个或多个实施例包括能够跨建筑通过手势来呼叫电梯，并且向用户提供是否已经作出手势的反馈。

根据其他实施例，提供从远处，即，在建筑的远离电梯的部分呼叫电梯。此系统和方法允许优化电梯业务和分配，并且可以减少用户的平均等待时间。此外，根据另一实施例，所述系统不需要用户携带任何装置或安装任何额外的硬件。举例来说，用户仅需要使用手或手臂作出手势，从而以自然的方式呼叫电梯。为了检测这些手势，此实施例可以充分利用在整个建筑中已经在适当位置的现有的传感器(例如，光学相机、深度传感器等)的网络，例如安全摄像机。根据一个或多个实施例，所述传感器可以是3d传感器，例如深度传感器；2d传感器，例如摄像机；运动传感器，例如pir传感器；麦克风或麦克风阵列；按钮或一组按钮；开关或一组开关；键盘；触摸屏；rfid读取器；电容性传感器；无线信标传感器；压敏地毯、重力梯度仪，或针对如本文其他地方描述的人员检测和/或意图辨识而设计的任何其他已知的传感器或系统。

因此，作为本文的公开内容的一个或多个实施例提供一种用于从建筑中的远处控制建筑内设备的方法和/或系统。举例来说，用户例如通过观察在传感器旁边开启的绿灯而知道他/她已经呼叫了电梯，如图4中所示。

现在转向图1，示出根据一个或多个实施例的具有手势远处控制的系统100的框图。系统100包括位于建筑内某处的至少一个传感器装置110.1。根据一个实施例，此传感器装置110.1在楼层上其他地方远离电梯大堂而放置。此外，此传感器装置110.1可以是可以捕获包括用户的视频序列的数据信号的摄像机。系统100可以进一步包括在整个建筑楼层的其他位置处提供的其他传感器装置110.2到110.n。系统100还包括具有电梯控制器151和一个或多个电梯轿厢152.1和152.2的电梯系统150。传感器装置110.1至110.n全部与电梯系统150通信地连接，使得它们可以向电梯控制器151传输信号以及接收信号。这些传感器装置110.1至110.n可以直接或间接地连接到系统150。如所示，电梯控制器151还充当数字信号处理器，以用于处理视频信号来检测是否已经提供手势，并且在检测到手势的情况下，电梯控制器151向曾提供含有手势的信号的相应的传感器装置110.2发送回确认信号。传感器装置110.2随后可以向用户160提供手势已经被接收并且经过处理并且正在呼叫电梯的通知。根据另一实施例，在传感器附近的例如屏幕、标志、扩音器等通知装置向用户160提供所述通知。替代地，可以通过向用户移动装置发送信号而向用户提供通知，所述用户移动装置随后警告用户。另一实施例包括向在用户的检测到的位置附近的显示装置传输通知信号。所述显示装置随后向用户传输通知。举例来说，所述显示装置可以包括向用户示出图像或者给出指示所要通知的言语确认声音的视觉或听觉显示装置。用户160随后可以行进到电梯轿厢152.1或152.2。此外，电梯控制器151还可以基于哪个传感器装置110.2提供手势来计算所估计的到达时间。因此，可以将电梯呼叫定制成最适合用户160。

现在转向图2，示出根据一个或多个实施例的具有手势远处控制的系统101的框图。此系统类似于图1中示出的系统，原因在于此系统包括连接到电梯系统150的一个或多个传感器装置110.1至110.n，所述电梯系统150包括电梯控制器151和一个或多个电梯轿厢152.1和152.2。系统101还包括与电梯控制器151分开的单独信号处理装置140。信号处理装置140能够处理来自传感器装置和任何其他传感器、装置或系统的所有所接收的数据，并且产生可以提供给电梯系统150的正常电梯呼叫。以此方式，所述系统可以与已经存在的电梯系统一起使用，而不需要更换电梯控制器。另外，可以在若干位置提供信号处理装置140，例如，在建筑内、作为传感器装置中的一者的部分、在异地或其组合。此外，所述系统可以包括定位装置130，例如使用无线路由器或建筑中的另一相机阵列或某一其他形式的检测装置的装置检测方案。此定位装置130可以向信号处理装置140提供用户的位置。举例来说，定位装置130可以由无线通信集线器构成，所述无线通信集线器可以检测用户的移动装置的信号强度，所述信号强度可以用于预测位置。根据另一实施例，所述定位装置可以使用在整个建筑中放置在已知位置的相机，所述相机可以检测穿过相机视野的用户，并且因此可以识别用户在建筑内何处。还可以使用其他已知的定位装置，例如音频回声定位系统和/或安装在楼层中不同位置处的压力传感器阵列。如果从用户160接收手势的图像传感器装置110处于未知的位置(例如，在建筑周围移动的移动单元)，或者如果传感器装置110移动到新的位置并且新的位置尚未被编程到系统中，那么所述定位装置可为有帮助的。

图3是根据本公开的一个或多个实施例的建筑楼层200的图，所述建筑楼层包括：作出手势的用户260；以及手势和位置检测系统，所述手势和位置检测系统包括一个或多个传感器210.1-210.3，每个传感器具有对应的检测域211.1-211.3；以及建筑内设备，例如电梯250。用户260可以使用他们的手和/或手臂作出手势以指示他的/她的使用电梯250的意图。如所示，在用户在覆盖入口区域的检测域211.1内时，传感器(210.1)(例如，光学相机、红外相机或深度传感器)捕获手势，并且所述系统在用户260到达门之前呼叫电梯250。根据其他实施例，所述传感器可以是3d传感器，例如深度传感器；2d传感器，例如摄像机；运动传感器，例如pir传感器；麦克风或麦克风阵列；按钮或一组按钮；开关或一组开关；键盘；触摸屏；rfid读取器；电容性传感器；无线信标传感器；压敏地毯、重力梯度仪，或针对如本文其他地方描述的人员检测和/或意图辨识而设计的任何其他已知的传感器或系统。因此，根据一个或多个实施例，所述传感器捕获可以是视觉表示和/或3d深度图等中的至少一者的数据信号。

因此，如所示，可以提供由可以是相机的一个或多个传感器210.1-210.3检测到的手势。相机210.1-210.3可以提供用户260的位置和来自用户260的手势，所述位置和手势可以经过处理以确定对电梯250的呼叫。处理所述位置和手势可以用于产生穿过建筑楼层到电梯的用户路径270。此所产生的路径270估计可以用于提供到电梯的估计到达时间。举例来说，穿过建筑的不同路径可以具有横穿的对应的估计行进时间。此估计行进时间值可以是在特定时间帧内检测到的平均行进时间，所述平均行进时间可以基于特定用户的已知速度或随时间的平均速度而是所述用户特有的，或者可以由建筑管理者设定。一旦针对用户产生路径270，可以分析路径270并且与估计行进时间匹配。例如，如果用户采取较长的蜿蜒路径或者如果用户在沿着路径的部分开始行进，那么可以将估计行进时间的组合一起相加，也可以减小所述估计。通过此所估计的到达时间，电梯系统可以呼叫在向用户提供最佳服务的同时还维持系统优化的电梯。如图3中示出，提供小楼层平面，其中用户与电梯相距不是很远。因此，图3示出与可能属于(例如)酒店的更大平面相同的概念。

根据另一实施例，用户260可以进入传感器210.1的检测域211.1并且不作出手势。在此情况下，系统将不采取任何动作。用户260随后可以行进到所述建筑中和周围。随后，用户260可以在某时决定呼叫电梯250。用户随后可以进入检测域，例如，传感器210.2的检测域211.2。用户260随后可以作出由传感器210.2检测的手势。当此发生时，传感器210.2可以分析或传输所述信号以进行分析。所述分析包括确定所述手势请求什么以及还有用户260的位置。一旦这些经过确定，便可以计算出到用户所请求的电梯250的路径270，以及用户将花费多少时间沿着路径270行进到达电梯250。举例来说，可以确定用户260将花费1分35秒到达电梯250。所述系统随后可以确定最近的电梯轿厢有多远，所述电梯轿厢可以(例如)相距35秒。所述系统随后可以确定在一分钟内呼叫电梯将使得在用户260到达电梯250时所述电梯同时到达。

根据另一实施例，用户可以仅沿着路径270移动而决定不再乘坐电梯。传感器210.1-210.3可以检测来自用户的取消建筑内设备呼叫的另一手势。如果用户260未作出取消手势，那么传感器210.1-210.3还可以例如通过跟踪所述用户已经偏离路径270达特定时间和/或距离量而确定所述用户不再使用电梯250。所述系统可以首先检测与路径270的此偏离会在用户260计划返回到路径270的情况下向用户260提供额外时间。在所确定的时间量之后，所述系统可以确定用户将不再使用电梯250并且可以取消电梯呼叫。根据另一实施例，所述系统可以通过向用户发送先前基于手势的呼叫已经取消的通知而向用户进行指示。

如图3中示出，并且根据另一实施例，示出用户260将遵循的用来乘坐电梯250的所估计路径270。此路径270可以用于计算到达电梯250的所估计时间，电梯250可以使用那个信息进行等待并且随后在特定时间呼叫特定电梯轿厢。举例来说，用户260可以使用传感器210.1-210.3来提供他们需要电梯的手势。传感器210.1-210.3随后可以跟踪用户的移动，并且基于用户的当前速度来计算实时估计，所述当前速度可以在用户移动穿过建筑时进行调整。举例来说，如果用户缓慢移动，那么在呼叫电梯250之前的时间将会延长。替代地，如果检测到用户260正跑向电梯250，那么可以基于用户横穿建筑而尽可能快地(如果不是立即地)作出对电梯轿厢的呼叫。

在检测到手势之后，所述系统可以立刻呼叫电梯，或替代地，所述系统可以等待较短时间，之后对电梯作出实际呼叫。在后一种情况下，所述系统可以使用曾捕获手势的传感器的位置来估计用户到达电梯将花费的时间，以便进行呼叫。

图4描绘本公开的根据一个或多个实施例的用户460与检测系统410之间的交互。具体来说，图4说明用户460与系统的传感器411(例如，光学相机、深度传感器等)之间的交互。举例来说，用户460作出手势461，并且系统410通过产生可见信号412来确认电梯已经被呼叫。具体来说，如所示，手势461是用户460的左手臂的向上手臂移动。根据其他实施例，此手势可以是挥手、另一用户附体的移动、摇头、移动的组合和/或移动和听觉命令的组合。此确认的实例包括开启在捕获手势461的传感器411附近的某一灯412，或发射用户460可以辨识的特征噪声。根据其他实施例，系统410可以提供向用户460移动装置或向用户旁边的显示屏幕传输的信号。向用户460提供此类型的反馈是有用的，这是因为以下事实：如果手势在第一次没有被良好地捕获，那么人460可能需要重复所述手势461。根据其他实施例，可以通过其他手段向用户460提供反馈，例如通过听觉声音或信号，或者可以向用户的个人电子装置(例如，手机、智能手表等)传输数字信号。

图5描绘根据本公开的一个或多个实施例的用户560和用户手势565。如所示，用户560抬起他们的左手臂，从而作出第一手势561，并且还抬起他们的右手臂，从而作出第二手势562。这两个手势561、562组合在一起以产生用户手势565。当检测到此手势565时，系统随后可以基于特定手势565的已知含义而产生控制信号。举例来说，如所示，手势565让用户560抬起两个手臂，这可以指示想要乘坐向上的电梯。根据一个或多个实施例，如果用户想要上楼，那么简单手势可以是仅抬起一个手臂，或者如果想要下楼，那么使用手臂作出向下移动。此类手势在具有传统的二按钮电梯系统的建筑中将是最有用的，而且还可以在目的地分派系统中是有用的。举例来说，用户可以作出向上运动，从而指示想要向上，并且还口头喊出他们想要的楼层。用户可以将他们的手臂抬起特定距离，这指示特定楼层，或者，根据另一实施例，抬起并保持他们的手臂向上以递增对时间进行计数的计数器，所述时间随后被转译为楼层编号。例如，用户可以保持他们的手臂向上达10秒，从而指示想要去往楼层10。根据另一实施例，用户可以使用手指指示楼层编号，例如举起4根手指来指示楼层4。还设想其他手势、手势的组合以及手势和听觉响应的组合，它们可以指示若干不同请求。

根据一个或多个实施例，简单手势的问题是，所述手势可能会被人意外执行。一般来说，简单手势可能会导致较高数目的错误肯定。为了避免此问题，一个或多个实施例可能需要用户执行更复杂的手势，例如，涉及一个以上手臂，如图5中说明。在此情况下，手势辨识系统是基于在人体560的两侧561、561检测到向上移动。根据其他实施例，其他可能性是执行两次相同的简单手势，使得系统完全地确信用户560打算使用电梯。另外，替代性实施例可能需要用户560除了手势之外发出某一特征声音(例如，打响指或吹口哨)。在此情况下，系统利用多个证据来源(手势和音频图案)，这会显著减少错误肯定的数目。

图6描绘根据一个或多个实施例的由两个子动作构成的两部分用户手势。示出将手势分解为移动或“子动作”的时间序列。在此实例中，所述手势(动作)是由向上弯曲手臂组成。此动作产生一连串连续移动(所谓的子动作)。每个移动或子动作与特定时间周期相关联，并且可以通过特定空间区中的特征运动向量来描述(在所述实例中，第一子动作发生在低高度处，并且第二子动作发生在中间高度处)。可以利用两种不同方法来捕获子动作的此序列，如图7和图8中说明。

图7描绘根据一个或多个实施例的由两个子动作(子动作1和子动作2)构成的两部分用户手势。具体来说，如所示，子动作1是从完全向下位置到用户手臂与地面垂直的中途点的向上和向外旋转运动。第二子动作2是在用户手朝向用户旋转的情况下向上并且朝向用户旋转的第二移动。如所示，每个子动作的向量被示出为移动穿过的每个帧的子向量的集合。这些子动作随后可以一起级联成手势的总向量。

此外，图8描绘根据一个或多个实施例的经过处理的手势的状态图。为了考虑在连续时间产生不同运动向量的动态手势，可以将手势分解为一连串子动作，如图6中针对上升手臂手势所说明。基于此，可以遵循若干方法，例如本文描述的两种方法，或未描述的其他方法。图7说明第一类型的方法。所述方法由构建高阶函数(hof)的空间-时间描述符组成，通过级联序列的连续帧处的特征向量而获得所述空间-时间描述符。随后将级联的特征向量传递到分类器，所述分类器确定所述特征向量是否对应于目标手势。图8说明第二类型的方法，其中利用状态机，所述状态机允许考虑到对序列中的不同子动作的辨识。每个状态都应用分类器，所述分类器被特别训练成辨识子动作中的一者。虽然在此实例中仅使用两个子动作，但可以将所述手势分解为所要多的子动作，或者可以使用单个子动作(即，完整手势)，这对应于不使用状态机并且替代地仅使用分类器的情况。

图7包括随时间级联特征向量以便捕获随时间由手势产生的不同运动向量的图解。级联的描述符捕获此信息，并且可以将所述描述符视为手势的空间-时间描述符。在所述图解中仅示出两个帧，但可以使用更多的帧。级联的特征向量可以属于邻接帧或被给定时间间隔分离的帧，以便对手臂的轨迹适当地取样。

图8包括可以用于将复杂手势检测为连续子动作(参看图7)的状态机的实例，其中通过专用分类器来检测每个子动作。如所示，系统开始于状态0，其中完全不辨识、开始或部分辨识动作。如果未检测到子动作，那么系统将继续保持于状态0，如通过“无子动作”环指示。接下来，当检测到子动作1时，系统移动为状态1，其中所述系统现在已经部分地辨识出手势并且主动地搜索另一子动作。如果在设定时间内未检测到子动作，那么系统将返回状态0。然而，如果所述系统辨识出子动作2，那么所述系统将转变为状态2，所述状态是其中所述系统已经检测到动作并且将根据检测到的动作而采取动作的状态。举例来说，如果所述系统检测到在图6和图8中示出的运动，那么所述系统(可以是电梯系统)将呼叫电梯轿厢以在建筑中向上搭乘用户。

实际上，分类过程的输出将是连续实值，其中高值指示作出手势的高置信度。举例来说，当检测到作为来自每个帧的六个子向量的组合的子动作时，有可能的是，仅检测到4个子向量意味着曾作出较弱的检测。相比而言，如果辨识出所有六个子向量，那么曾作出较强检测。通过对此值施加高阈值，可以获得少量错误肯定，代价为失去一些真肯定(即，未检测到的有效手势)。失去真肯定并不关键，这是因为以下事实：用户可以了解实际上何时已经呼叫电梯或在尚未检测到手势时，如上文阐释(参看图4)。以此方式，在第一次未检测到手势的情况下，用户可以重复手势。此外，可以构建第二状态机，所述第二状态机允许随时间累积手势检测的证据，如图8中说明。

图9描绘根据一个或多个实施例的经过处理的手势的状态图。具体来说，图9包括允许随时间增加手势检测器的证据的状态机的实例。在状态0，如果用户执行某一手势，那么可能发生三种情况。在第一种情况下，系统以足够置信度(置信度＞t2)辨识出手势。在此情况下，机器移动到状态2，其中辨识出动作(手势)，并且系统向用户指示此动作(例如，通过开启绿灯，参看图4)。在第二种情况下，系统可能检测到手势，但不完全确信(t1＜置信度＜t2)。在此情况下，机器移动到状态1，并且不告诉用户检测到手势。机器期望用户重复所述手势。如果在一段短暂时间之后系统以置信度＞t1’检测到所述手势，那么将所述动作视为被辨识出，并且向用户用信号通知此情况。否则，系统回到初始状态。在状态1，可以累积在第一手势与第二手势中的一者中获得的置信度。最后，在第三种情况下，完全检测不到手势(置信度＜t1)，并且机器仅等待，直到置信度大于t1为止。

在一个或多个实施例中，为了增加系统的准确性，可以充分利用信息，例如以下事实：用户在做手势时正看向传感器(例如，光学相机)。这可以通过检测特定定向/姿势下的脸来检测。在当前技术下，这种类型的脸检测是相对准确的，并且可以提供已经作出手势的额外证据。可以利用的另一信息来源是在做手势时的日时，从而考虑到人们通常在特定时间使用电梯(例如，在商务环境中，在进入/离开工作时，或在午餐时)。如上文所论述，还可能在做手势时要求用户产生特征声音，例如在做手势时打响指。如果传感器具有集成的麦克风，那么此声音便可以由所述系统辨识。

图10是根据本发明的一个或多个实施例的包括手势远处控制的方法1100的流程图。方法1100包括使用传感器装置捕获用户的数据信号并且从所述数据信号检测来自用户的手势输入(操作1105)。此外，方法1100包括基于建筑中的传感器装置的传感器位置和用户的所收集的数据信号来计算用户位置(操作1110)。方法1100继续包括使用信号处理装置基于手势输入和用户位置而产生控制信号(操作1115)。此外，方法1100包括使用建筑内设备从信号处理装置接收控制信号，并且基于所述控制信号来控制所述建筑内设备(操作1120)。根据另一实施例，所述方法可以包括使用电梯控制器从信号处理装置接收控制信号，并且基于所述控制信号来控制一个或多个电梯轿厢。

在替代性实施例中，可以使用例如被动红外(pir)等传感器来代替相机。这些传感器通常部署成例如针对hvac应用来估计建筑占用率。可以充分利用pir传感器的现有的网络来检测用户作出的手势。pir检测移动，并且可以要求用户在传感器前以特有方式移动手。

在额外实施例中，可以通过产生特定声音(例如，吹连续三次口哨、拍手等)来呼叫电梯，并且在此情况下，可以使用跨建筑的声学麦克风的网络。最后，如上文阐释，可以通过要求用户在执行手势时发出特征声音(例如，吹两声口哨)而形成不同传感器的融合。通过整合多个证据，可以显著增加系统的准确性。

根据一个或多个实施例，用户可以通过若干不同方式来使用用于控制建筑内设备的手势和位置辨识系统。举例来说，根据一个实施例，用户走向建筑，并且由相机拾取。用户随后挥动他们的手，得到闪光，从而确认挥手手势被辨识出。所述系统随后计算电梯到达估计以及用户的电梯到达。基于这些计算，所述系统相应地作出电梯呼叫。随后，放置在整个建筑中的作为系统的部分的相机跟踪穿过建筑(入口大堂、厅门等)到电梯的用户。所述跟踪可以用于更新用户到达估计，并且确认用户走在朝向电梯的正确方向。一旦用户到达电梯，被请求的电梯轿厢也将到达用户。

根据另一实施例，用户可以接近建筑、被建筑相机拾取，但可以决定不发出信号。所述系统将不产生任何建筑内设备控制信号。所述系统可以继续跟踪用户或者可以不跟踪。用户于是稍后可以在大堂驻足，在那里用户作出指示用户想要(例如)电梯的手势。电梯系统可以发出确认信号，并且所述系统随后将为用户呼叫电梯轿厢。另一实施例包括离开二十楼的办公室的用户，并且厅门相机拾取用户。此时，用户作出手势，例如拍他们的手。所述系统检测到此手势，并且可以使用所计算的延迟和所发送的确认来呼叫电梯。此外，整个建筑中的相机可以继续跟踪用户，直到用户走进电梯为止。

有利的是，本文描述的实施例提供一种系统，所述系统允许用户从建筑的远处呼叫电梯，这与被设计成在电梯内或在电梯附近使用的当前作品形成对比。在这里公开的一个或多个实施例还允许在没有携带任何额外设备的情况下仅通过手势呼叫电梯，这与需要移动电话的作品形成对比。在这里公开的一个或多个实施例也不需要安装硬件。一个或多个实施例能够充分利用现有的传感器(例如，cctv光学相机或深度传感器)的网络。一个或多个实施例的另一益处可以包括对电梯的无缝远程召唤，而不需要用户具有特定设备(移动电话、rfid标签或其他装置)，其中对请求进行自动更新。在已经安装了适当的视频安全系统的情况下，所述跟踪可以不需要额外设备。

虽然已经结合仅有限数目的实施例详细描述了本公开，但应该容易理解，本公开不限于这些公开的实施例。而是，可以修改本公开以便并入迄今为止未描述的任何数目的变化、更改、替代、组合、子组合或等效布置，但是其与本公开的范围相称。另外，虽然已经描述了本公开的各种实施例，但将理解，本公开的各方面可以包括所描述的实施例中的仅一些实施例。

本文使用的术语是用于仅描述特定实施例的目的，而无意具有限制性。如在本文中所使用，除非上下文另外清楚地指示，否则希望单数形式“一”和“所述”也包括复数形式。将进一步理解，术语“包括(comprises)”和/或“包括(comprising)”当用于本说明书中时指定所陈述的特征、整体、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组的存在或添加。

所附权利要求书中所有构件或步骤加功能元件的对应结构、材料、动作和等效物意在包括用于与特定要求保护的其他要求保护的元件组合地执行所述功能的任何结构、材料或动作。已经出于说明和描述的目的呈现了所述描述，但是所述描述无意是详尽的或以所公开的形式受限于所述实施例。在不脱离本公开的范围的情况下，许多修改和变化对于本领域技术人员来说将显而易见。选择和描述所述实施例以便最佳地解释本公开的原理以及实际应用，并且使本领域其他技术人员能够理解具有适用于所预期的特定用途的各种修改的各种实施例。

本实施例可以是处于任何可能的技术细节整合水平的系统、方法和/或计算机程序产品。所述计算机程序产品可以包括计算机可读存储介质(或媒体)，其在上面具有用于致使处理器执行本公开的各方面的计算机可读程序指令。

本文参考根据实施例的方法、设备(系统)和计算机程序产品的流程图说明和/或框图而描述了本发明的各方面。将理解，可以通过计算机可读程序指令实施流程图说明和/或框图的每个框，以及流程图说明和/或框图中的框的组合。

图中的流程图和框图说明根据各种实施例的系统、方法和计算机程序产品的可能的实现方式的架构、功能性和操作。在此方面，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实施指定逻辑功能的一个或多个可执行指令。在一些替代性实现方式中，框中所述的功能可以不以图中所述的次序发生。举例来说，连续示出的两个框实际上可以基本上同时地执行，或者依据所涉及的功能性，有时可以通过颠倒的次序执行所述框。还将注意，可以通过执行指定功能或动作或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实施框图和/或流程图说明的每个框以及框图和/或流程图说明中的框的组合。

已经出于说明的目的呈现了各种实施例的描述，但是这些描述无意是详尽的或者受限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域技术人员来说将显而易见。本文使用的术语经过选择以便最佳地阐释实施例的原理、实际应用或对市场中发现的技术的技术改进，或者使得本领域其他技术人员能够理解本文公开的实施例。

因此，不应把本公开看作受到前述描述限制，而是仅受到所附权利要求书的范围限制。