用于跌倒检测的设备、系统和方法与流程

本发明涉及一种用于跌倒检测的设备、系统和方法。

背景技术：

跌倒是不利地影响人口的大部分(包括老年人、住院患者以及具有援助需求的人)的生活的广泛认可的问题。跌倒检测器提供关于人已经跌倒的通知/警报。这能够满足提供更早的援助、更好的事件报告的需求，并且可以防止跌倒的(一些)再发生。基于可穿戴传感器的许多跌倒检测器已经有所描述并且是可商购的。基于视频数据的跌倒检测器也是已知的，但是尚未找到将其付诸有效产品的方式。

仅基于可穿戴传感器的跌倒检测器常常在有需求的情况下展现出不足的检测准确度。此外，其未提供跌倒的穿戴者的位置，这会延迟对穿戴者的事件位置的恰当评估以及援助的到达。仅基于视频数据的跌倒检测器当前是不成熟的，通常展现出在现实使用条件下的不佳的检测准确度以及关于遮挡和不佳的照明条件的已知问题。

us2015/0112151看起来描述了一种至少从位置传感器和ir相机接收输入的患者移动传感器。在实施例中，如果位置传感器数据和ir相机数据两者指示跌倒已经发生或者将要发生，则发出跌倒警告警报。

us2012/0314901描述了一种运动传感器信息和基于图像的分析被用于检测跌倒的跌倒检测技术。具体地，一种系统可以将运动传感器信息与基于图像的分析相结合。

技术实现要素：

本发明的目的是提供一种用于具有增加的准确度的跌倒检测并且能够最佳地管理紧急情况的设备、系统和方法。

在本发明的第一方面中，提出了一种用于跌倒检测的设备，包括：传感器输入部，其用于获得由传感器采集的与对象的移动有关的传感器数据；视频输入部，其用于获得所述对象和/或所述对象的环境的视频数据；分析单元，其用于分析所获得的传感器数据以检测指示所述对象的潜在跌倒的一个或多个信号特征并且用于在已经检测到一个或多个这样的信号特征的情况下分析检测到的一个或多个信号特征和/或有关的传感器数据结合有关的视频数据以识别以下项中的相似性：随时间的所述有关的传感器数据和/或所述信号特征的改变，以及随时间的所述视频数据的改变；以及输出部，其用于在检测到的相似性的水平和/或量超过对应阈值的情况下发出跌倒检测指示。

在本发明的另外的方面中，提出了一种用于跌倒检测的系统，包括：传感器，其用于采集与对象的移动有关的传感器数据；视频采集单元，其用于采集所述对象和/或所述对象的环境的视频数据；以及如在本文中所公开的设备，其用于根据所采集的传感器数据和视频数据来检测所述对象的潜在跌倒。

在本发明的又另外的方面中，提供了：一种对应的方法；一种计算机程序，所述计算机程序包括程序代码模块，当所述计算机程序在计算机上被执行时，所述程序代码模块用于使计算机执行在本文中所公开的方法的步骤；以及一种非瞬态计算机可读记录介质，在所述非瞬态计算机可读记录介质中存储有计算机程序产品，所述计算机程序产品当由处理器运行时使在本文中所公开的方法被执行。

在从属权利要求中定义了本发明的优选实施例。应当理解，所主张的方法、系统、计算机程序和介质具有与所主张的设备相似和/或相同的优选实施例，特别是如在从属权利要求中所定义的并且如在本文中所公开的。

本发明基于以下构思：通过使用与对象的移动有关的传感器数据以及所述对象和/或所述对象的环境的视频数据的巧妙结合来检测对象(即，人)的跌倒。处理所述传感器数据以导出其值指示所述穿戴者的可能跌倒的信号特征。当已经识别了可能的跌倒时，原始传感器数据和/或其导出的信号特征连同视频数据一起被处理。

算法例如可以被用于对所接收到的基于视频和基于可穿戴的信号/特征流的演变进行比较，以寻找随时间的基于视频和基于可穿戴的流的改变的相似性。当找到足够的相似性时，算法可以判定可能的跌倒被确认并且可以向用户(例如，护士)发出警报。此外，来自所述相机的在其中找到对应性的所述视频流可以被呈现给所述用户。在评估所呈现的图片/视频之后，所述用户可能想要取消所述警报和/或奔赴所选择的相机的位置以辅助跌倒的对象。

因此，在传感器数据改变的方式与视频数据改变的方式之间进行比较以便检测跌倒。本发明由此提供更可靠的跌倒检测设备，因为如使用两个不同的感测方法而监测的跌倒的进展之间的相似性被用于确认跌倒是否已经发生。这降低了跌倒将被错误地检测到的可能性。

在所述视频数据与所述传感器数据(和/或信号特征)之间的相似性的数值/水平超过预定阈值(例如，10或更多的相似性或者大于0.5的相关性得分)，那么可以发出警报。低于该阈值的相似性的数值/水平可以指示跌倒是通过所述传感器数据不准确地检测到的，并且因此可能是误警报。

例如，可以在所述传感器数据的时间模式与所述视频数据的时间模式之间进行比较以确定在所述传感器数据的所述改变与所述视频数据的所述改变之间是否存在相似性。数据信号中的最大值和/或最小值的数值例如可以表示相关联的数据的模式。在一些实施例中，可以在传感器数据与视频数据之间执行相关性。

在实施例中，随时间的所述传感器的多个数据点与随时间的视频数据的多个数据点之间的各自相似性被用于确定是否已经发生真实的跌倒事件。

在该上下文中，算法通常可以使用两个视频数据与所述传感器数据之间的任何多个距离或相似性度量。相似性度量值可以基于多个结果(例如，相关性系数)来生成。可以建立针对用于触发所述检测的所述相似性度量值来(可能动态的)阈值。例如，如果根据所述视频数据和所述传感器数据而确定的相关性系数超过所述阈值，则随时间的所述视频数据与所述传感器数据的所述改变之间的相似性可以被假定为被检测到。

因此，可以确定两个数据集(传感器数据和图像数据)之间的相互依赖性，每个数据集包括超过一个数据点。这可以通过使所述数据相关来允许对潜在跌倒的更准确的识别。具体地，分别表示所述传感器数据和所述视频数据的时间相关函数之间的相关性可以得到表示随时间的所述传感器数据的所述改变与随时间的所述视频数据的所述改变之间的所述相似性的值。

此外，所述对象的环境的视频数据可以通常被理解为其中所述对象可能遭遇的任何区域和环境的视频数据，例如包括所述对象的房间、所述对象的家，而且还有例如在监视相机中可见的医院周围的公共区域。

在实施例中，所述分析单元被配置为识别改变的计时、速度、持续时间、强度和/或演变的相似性。所识别的相似性的种类可以取决于传感器数据的种类以及被用于采集传感器数据的传感器的种类。例如，可以使用信号特征以及这些信号特征的改变的相似性，其示出了显著的改变并且因此能够容易地被认为是针对所述对象的潜在跌倒的指示器。

在实施例中，所述分析单元被配置为检测以下项中的一项或多项作为指示所述对象的潜在跌倒的信号特征：冲击、最大值、最小值、零交叉、在垂直方向上的加速度、在垂直方向上的速度、高度改变、在潜在跌倒之前和/或之后的倾斜、在潜在跌倒之前和/或之后的活动水平，以及强度改变。这样的特征是特别有帮助的并且指示潜在跌倒。

所述分析单元可以被配置为检测在垂直方向上的和/或由于所述对象在地上的冲击而发生的改变并且将这样的改变用在对相似性的所述识别中。这样的改变是针对潜在跌倒的有用的指示器。对改变的所述检测可以涉及所述对象或目标的位置的改变。例如，可以检测目标在所述图像的一个图像帧中的一个位置处并且相同的目标被检测处在后续图像帧中的另一位置处，使得所述后续位置被确定或者获知在相对于局部重力场的较低位置处。

所述分析单元还可以被配置为：根据所述视频数据来估计所述对象的所述相对垂直速度和/或加速度；并且使所述相对垂直速度和/或加速度与从所述传感器数据导出的垂直加速度和/或垂直速度相关以识别相似性。这改善了对潜在跌倒的检测的准确度。

所述分析单元由此还可以被配置为根据所述视频数据来确定垂直速度图并且根据所述垂直速度图来估计所述对象的所述相对垂直速度和/或加速度。所述垂直速度图因此可以被用于指示例如所述对象的身体的不同身体区域的局部速度。

所述分析还能够被用于检测在所述视频数据的另一视频帧中从开始位置到较低位置的目标的垂直移动。

在另一实施例中，所述分析单元被配置为分析由不同的视频数据采集单元所采集的不同的视频数据流以识别以下项之间的相似性：随时间的所述有关的传感器数据和/或所述信号特征的改变；以及随时间的所述视频数据的改变。这确保了对潜在跌倒的检测的较高的准确度。

所述分析单元还可以被配置为：分析所获得的视频数据以检测指示所述对象的潜在跌倒的一个或多个信号特征，并且如果除了对指示所述对象的潜在跌倒的一个或多个信号特征的检测之外已经在所述视频数据中检测到所述对象的潜在跌倒的指示，则分析检测到的一个或多个信号特征和/或所述有关的传感器数据结合所述有关的视频数据，以识别以下项之间的相似性：随时间的所述有关的传感器数据和/或所述信号特征的改变；以及随时间的所述视频数据的改变。已经用于检测潜在跌倒的指示的所述视频数据的所述使用还可以改善对潜在跌倒的所述检测。

所述输出部优选被配置为额外地发出视频数据部分和/或传感器数据部分和/或与所识别的潜在跌倒有关的所识别的信号特征。这可以帮助所述用户对所述情况发表意见并且决定待采取的所要求的措施，例如，所述对象是否立即要求个人帮助或者所述对象的情况是否是无害的。此外，这可以帮助所述用户更容易地找到所述跌倒对象的位置。在使用多个相机的系统中，这可以包括选择用于呈现给所述用户(例如，护士)的正确相机(例如，来自被链接到所述医院中的一位置的相机的视频数据)。

被用于采集所述传感器数据的所述系统的所述传感器可以包括由所述对象(例如，使用粘着剂、胸部束带、腕带等)穿戴的一个或多个传感器元件，或者可以包括被布置在所述对象的环境中(例如，在所述对象的床上)的一个或多个传感器元件。这样的传感器可以包括以下项中的一项或多项：移动传感器、加速度计、压力传感器、床相机和惯性传感器。通常，可以使用能够提供与对象的移动有关的传感器数据的任何传感器。例如，智能电话常规地包括惯性传感器，所述惯性传感器可以被用作所提出的系统中的传感器以采集与所述对象的移动有关的传感器数据，只要所述智能电话由所述对象携带(例如，在所述对象的夹克或裤子的口袋中)。这些传感器元件就可以提供讨论中的对象不在床上而是在床外部的额外信息和/或确认。

被用于采集所述视频数据的所述视频采集单元可以包括用于采集所述对象的环境的视频数据的由所述对象穿戴的身体穿戴式相机和/或用于采集所述对象的视频数据的固定式或移动式相机，特别是rgb相机和/或红外相机。

在所述系统的实施例中，传感器、视频采集单元和设备被集成到用户设备(特别是智能电话、相机、手表或眼镜)中。

附图说明

本发明的这些和其他方面将根据在下文中所描述的(一个或多个)实施例而显而易见并且参考在下文中所描述的(一个或多个)实施例得以阐述。在以下附图中：

图1示出了根据本发明的系统和设备的第一实施例的示意图；

图2示出了根据本发明的系统和设备的第二实施例的示意图；并且

图3示出了根据本发明的系统和设备的第三实施例的示意图。

具体实施方式

图1示出了用于对象40(例如，在医院中的患者、在护理站或休养所中的老年人、在家中的人、在床上的孩子等)的跌倒检测的根据本发明的系统1和设备10的第一实施例的示意图。在该范例中，对象40是躺在床50上(例如，在医院中)的患者。

系统1包括至少一个传感器20，其用于采集与对象40的移动有关的传感器数据。在该示范性实施例中，传感器20是穿戴式惯性传感器，诸如通过胸部束带被固定到对象的身体的加速度计。传感器20能够检测对象的身体的移动并且生成表示这样的移动的传感器数据21。

系统1还包括用于采集对象和/或对象的环境的视频数据31的视频采集单元30，在这种情况下，是用于采集对象40的视频数据的固定式或移动式相机，特别是rgb相机和/或红外相机。相机30例如被安装到天花板并且监测整个床50，如通常例如在视频监视应用中的情况那样。

系统1还包括用于根据所采集的传感器数据21和视频数据31来检测对象40的潜在跌倒的设备10。设备10包括：传感器输入部11，其用于获得(即，接收或取回)与由传感器20采集的对象的移动有关的传感器数据21；以及视频输入部12，其用于获得(即，接收或取回)对象40和/或对象的环境(例如，床50和床50周围的区域)的视频数据31。为了将传感器数据21和视频数据31传送到设备10，通常可以使用任何可能的通信方式。例如，传感器20和相机30可以通过接线(例如，直接地，或者经由计算机网络，诸如lan)或者以无线方式(例如，通信网络(例如，umts、lte等)或者另一无线网络(例如，wi-fi、蓝牙、zigbee等))被连接到设备10。传感器输入部11和视频输入部12因此例如可以是对应的数据接口，诸如蓝牙接口、wi-fi接口、有线终端等。

设备10还包括分析单元13，其用于分析所获得的传感器数据21以检测指示对象40的潜在跌倒的一个或多个信号特征并且用于在已经检测到一个或多个这样的信号特征的情况下分析检测到的一个或多个信号特征和/或有关的传感器数据21结合有关的视频数据31以识别指示对象40的潜在跌倒的所分析的信号特征、传感器数据和视频数据的改变的相似性。下文将更详细地解释该操作。分析单元13可以例如以硬件和/或软件被实施为一个或多个编程的处理器或计算机(例如，医院工作站、护理提供者的pc等)或者被实施为在用户设备(例如，智能电话、膝上型电脑、平板电脑等)上运行的应用。

设备10还包括输出部14，其用于在检测到的相似性的水平和/或量超过对应阈值的情况下发出跌倒检测指示。输出部14例如可以是用于将跌倒检测指示(例如，警报通知)传送到远程目的地(例如，护士的用户设备、中央监视器等)的输出接口或者可以是直接地发出已经检测到特定对象的潜在跌倒的(可见的和/或可听的)通知的用户接口(如显示器和/或扬声器)。

因此，根据本发明，潜在的用户跌倒是通过使用传感器数据和视频(相机)数据的结合来检测的。

图2示出了根据本发明的系统2和设备10的第二实施例的示意图。在该实施例中，设备10通常具有与在图1中所示的设备10相同的布局。替代(或补充)穿戴式传感器20，在该示范性实施例中使用被布置在床垫内或床垫顶部上并且采集反映对象40的移动的传感器数据23的一个或多个压力传感器22(例如，压力传感器的阵列)。此外，替代(或补充)固定式相机30，身体穿戴式相机32是由对象40所穿戴的以采集所述对象的环境的视频数据33的。如在第一实施例中，设备10获得传感器数据23和视频数据33并且对其进行处理以检测对象的潜在跌倒。

身体穿戴式相机32的使用具有以下优点：对象40能够四处走动并且假如对象40穿戴如在第一实施例中所示的穿戴式传感器20，还能够检测在步行期间(例如，在浴室中、在楼梯上等)的对象的跌倒。备选地或另外地，较大的区域(例如，完整的家庭或医院站)可以被提供有监测较大区域的多个相机，即，分析单元13获得并且分析来自多个相机的视频数据。

图3示出了根据本发明的系统3和设备10的第三实施例的示意图。在该实施例中，系统3的所有元件被集成到用户设备60中，在该示范性实施例中被集成到智能电话中。因此，系统3利用智能电话的惯性传感器61(作为用于采集与穿戴智能电话的对象的移动有关的传感器数据的传感器)、智能电话的相机62(作为用于采集对象的环境的视频数据的视频采集单元)、智能电话的处理器63(作为分析单元)和智能电话的显示器64、扬声器65和/或通信装置66(例如，wi-fi接口、无线电天线等)(作为输出单元)。在其他实施例中，所述系统的元件可以被集成在其他用户设备(诸如手表、相机、眼镜(例如，google眼镜)等)中。

所述用户设备(在该示范性实施例中为智能电话)可以被穿戴为垂饰或者被附接到衣服。在这种情况下，在肯定的跌倒检测中，视频流被发送到能够根据视频数据来确定跌倒的严重性(例如，对象在事件之后是否躺在地板上)的用户(例如，护士)。跌倒的位置也可以基于视频数据来确定。

根据本发明的实施例，所述传感器数据被处理以导出其值指示对象的可能跌倒的信号特征。这样的信号特征可以是以下项中的一项或多项：冲击、(例如，3轴加速度矢量数据的)加速度范数的最大值/最小值/零交叉、垂直加速度、垂直速度、在事件之前/之后的倾斜、在事件之前/之后的活动水平，以及高度改变估计。当已经识别了可能的跌倒时，原始传感器数据和/或其导出的信号特征被传送到分析单元，所述分析单元还具有对一个或多个视频相机的视频数据流的访问权。

算法然后可以被用于对所接收到的基于视频的和基于传感器的信号/特征流的演变进行比较，以寻找诸如改变的计时、速度和演变的相似性。在垂直轴中(例如，在人下降到地面期间)和/或由于在地上的冲击而发生的改变具有特殊相关性。在一个实施例中，与对象相对应的图像区域被分割并且从(视频数据的)一个帧被跟踪到另一帧。在数个帧的分割中估计作为时间t的函数的第k个对象vz(k,t)的相对垂直速度。在另一实施例中，在图像平面中的垂直运动速度针对所有点进行估计以获得垂直速度图vz(i,j,,t)，其中，i和j是图像平面中的位置。在第一种情况下，可以获得与图像中的许多对象相对应的垂直速度。在第二种情况下，可以针对图像中的许多区域来计算速度。在图像中的垂直运动的两个表示之间存在转换。

在下文中，将更详细地描述基于单个对象跟踪的情况，但是能够类似地处理对于多个对象和全部运动流图像的情况的扩展。

在平面中的单个对象(诸如人的身体)的垂直速度是vz(t)。来自加速度计信号的所观察到的垂直加速度是由az(t)给出的。为了确定两个信号之间的时间相关性，首先需要将其带到相同的表示域。在优选实施例中，估计对象速度的第一时间导数与垂直加速度之间的相关性系数，即：

在另一实施例中，获取垂直加速度(来自加速度计信号)的累积积分以获得针对垂直速度的估计，即：

并且，相关性然后根据以下等式来计算：

当执行对等式(1)和等式(2)的计算时的时间点(即，离散化dt的大小)之间的步长小于潜在跌倒的事件长度。例如，步长可以小于0.1s或者小于0.1ms。

随时间取得针对传感器数据和视频数据中的每项的多个数据点。因此，多个数据点被用于执行相似性检查。相关性计算计算这些数据点之间的相关性，以给出随时间的传感器数据的改变与随时间的视频数据的改变之间的相似性的度量(即，相似性度量值)。

以这种方式，在随时间的传感器数据中的改变(在此：加速度的改变)与随时间的视频数据(在此：速度的改变)的改变之间进行比较。相关性被计算以提供传感器数据的改变与视频数据的改变之间的相似性的度量。

该相关性的值可以与阈值进行比较以确定跌倒是否已经发生。通过范例的方式，大于0.5或0.6的相关性值可以指示跌倒可能已经发生。

因此，使用所述流的多个数据点比较基于视频的和基于传感器的信号/特征流以确定跌倒是否已经发生。

使传感器数据(特别是加速度计数据)与视频数据相关的特征还能够与针对跌倒检测算法专门计算的那些无关，例如在传感器上已经计算的跨步检测步态特征，以及不存在针对特征计算所需要的额外的努力的优点。

存在下文将描述的用于比较基于视频的和基于传感器的信号/特征流的若干备选选项。相关性操作通常包含标准化(例如，使用皮尔逊相关性系数)，使得能够在不同的时间处比较传感器数据与视频数据之间的相关性值。另外，所述标准化可以包含观察帧和其他预处理步骤中的平均值的移除。在典型情况下，在来自多个相机的图像中的若干目标或图像区域之间计算相关性。

当在基于视频的信号/特征流与基于传感器的信号/特征流之间找到足够的相似性时，决定(例如，通过算法)可能的跌倒被确认并且警报可以例如被发出到用户(例如，护士)，优选同时呈现在其中找到对应性的来自相机的视频流。

相关相机和相关相机流的自动选择和呈现防止了用户的信息的过量并且提供关于对象的位置的信息。所呈现的视频流优选是实时的，而且也能够示出跌倒事件周围的记录(例如，在事件之前和之后数秒)以评估跌倒的严重性。此外，如果多个相机已经到达与传感器信号的相似性的所要求的水平，那么可以要么备选地在一个帧中要么同时地在不同的子帧中呈现多个视频流。跌倒警报和(一个或多个)视频流的呈现可以发生在用户设备(诸如用户的pc、膝上型电脑、智能电话、平板电脑、智能手表等)中。

任选地，除了所述传感器数据之外，所述视频数据可以被用在分析的第一步中以检测指示对象的潜在跌倒的一个或多个信号特征。

尽管固定式相机的使用是优选的，但是还可以利用移动式相机(例如，具有巡视医院病房的相机的护士机器人)。在该情况下，所述移动式相机应当包含将其位置传送给所述系统使得跌倒的对象能够由用户最佳地找到的装置。

任选地，被动红外(pir)相机也可以被包括在所述系统中。这样的相机应当能够输出容许由此处所描述的算法而处理的像素化图像流。由pir相机引入的额外优点将是隐私改进。这因此将尤其适用于将系统范围扩展到如卫生间和浴室的敏感区(在其中人也可能遭受跌倒)。

在实施例中，分析的部分也可以在传感器上运行。例如，基于传感器数据检测指示对象的潜在跌倒的一个或多个信号特征的分析可以在传感器上本地运行，其因此可以被装备有对应的处理器能力(例如，小处理器)。在该情况下，当检测到可能的跌倒时，传感器可以暂时地适配其无线电传输设置以促进在后端处的预警报、信号/特征流或者其他相关信息的正确的和计时的接收。无线电设置的适配可以包括以下项中的一项或多项：较高的传输功率、所有可用信道/rf接口上的传输、确认传输模式的切换，以及系统的传感器与其他元件之间的中继警报。

本发明可以被实施为用于由对象穿戴(例如，不引人注意地在其口袋或包中)的智能电话(或者智能手表或google眼镜)的app(应用程序)。当例如智能电话被连接到医院网络时，信号特征将自动地计算和传送。

本发明可以被用在其中相对于对象的跌倒要求援救或护理的应用设置中。因此，其适用于住院患者护理设置(诸如医院病房)以及患者/客户护理设置(诸如(老年人)住宿护理和家庭护理)。其通常适用于其中应当检测对象的跌倒(例如，婴儿从床上跌落)的所有情况。

尽管已经在附图和前述描述中详细图示和描述本发明，但是这样的图示和描述将被认为是说明性或示范性而非限制性的；本发明不限于所公开的实施例。通过研究附图、说明书和随附的权利要求书，本领域技术人员在实践所主张的本发明时可以理解和实现所公开的实施例的其他变型。

在权利要求中，词语“包括”不排除其他元件或者步骤，并且不定冠词“一”或“一个”不排除多个。单个元件或其他单元可以实现权利要求中所记载的若干项的功能。互不相同的从属权利要求中记载了特定措施的仅有事实并不指示不能有利地使用这些措施的结合。

计算机程序可以被存储/被分布在适合的非瞬态介质(诸如连同其他硬件一起提供或者作为其部分而提供的光学存储介质或固态介质)上，而且可以以其他形式来分布(诸如经由因特网或者其他有线或无线电信系统)。

权利要求中的任何附图标记不应当被解释为对范围的限制。