在无需可穿戴件的情况下进行在地板上检测的系统和方法与流程

在无需可穿戴件的情况下进行在地板上检测的系统和方法
1.优先权申请
2.本技术要求2019年7月18日提交的美国临时专利申请号62/875,899和2020年2月28日提交的美国临时专利申请号62/983,472的权益，所述申请中的每一者全文在此以引用方式并入本文。
技术领域
3.本公开总体上涉及用于检测对象(诸如人、动物或其他对象)在地板上而不是直立(例如，在对象已经跌倒之后，或者在人已经使他/她自己向地板降低之后)的系统和方法。


背景技术：

4.由于老龄化人口的增长，自动地检测人(例如，在家里的老人或在医院的患者)的跌倒一直是热门的研究领域。
5.跌倒本身不会造成伤害。相反，伤害是由以下任一情况造成的：1)撞击地面，例如，可能导致骨折，或者2)被困在地板上很长时间，例如，可能在昏迷或饥饿时。
6.有许多方法、设备和系统被用于检测可能已经发生跌倒。这些典型地包括可穿戴件、轨迹跟踪或这两者。但是，很少有(如果有的话)解决方案可在没有关于先前降身的信息的情况下检测到人可能处于地板上。
7.人可能在不跌倒的情况下最终在地板上的方式有很多。例如，人可能意识到他/她即将晕倒(例如，由于糖尿病合并低血糖症)并且在失去知觉之前主动地使他/她自己向地面降低。例如，人可能会向地板降身以进行日常任务，然后发现他/她缺乏起身的力量。例如，坐着的人可能失去知觉或肌肉张力，并且缓慢地从椅子或沙发滑出到地板上。一般来讲，用于在地板上检测的解决方案无法解决虚弱的人变成处于地板上(可能地被困在地板上)的许多重要情况。
8.穿戴式装置(“可穿戴件”)包括运动传感器、生物力学传感器、加速度计和甚至大气压力传感器。在这种系统中，跌倒检测要求从穿戴式装置接收数据并进行准确分析。该数据可包括例如装置随时间的位置、速度和/或加速度。在上下文中，该数据可能指示向地板降身。例如，2018年7月12日提交的美国专利公布号2018-0333083描述了与使用患者可穿戴装置进行跌倒预测和预防有关的系统和方法，该患者可穿戴装置被配置为连续地捕获和分析数据以确定是否已经发生跌倒。
9.由跌倒检测装置(无论是穿戴式还是非穿戴式(“环境”))采集的典型信息包括位置、速度和/或加速度随时间的测量。这里，跌倒检测要求辨识指示向地板降身的那些测量的变化。例如，2017年3月1日提交的美国专利公布号2017-0172465描述了一种检测跌倒的方法，该方法基于图像利用个体的轨迹和加速度信息来确定跌倒是正在发生还是即将发生。
10.由于多种原因，现有解决方案不足以进行跌倒检测。例如，许多人不愿意或无法顺从地穿戴跌倒检测装置。这些个体可能觉得该装置令人心理压印，因为它是对年龄和疾病
的提醒。此外，一些个体可能具有认知难题，诸如无法记得穿戴该装置或给该装置再充电。此外，一些个体可能缺乏安放该装置的物理手段。而且，如果向地面降身是缓慢的或主动的，则该装置当然会发生故障。因此，依赖于用户顺从于可穿戴件的现有解决方案通常被拒绝，或者在真实世界情况下失败。
11.使用轨迹跟踪的现有解决方案是受限的，因为指示向地板降身的轨迹的数量实际上是无限的。例如，人的跌倒可能是快速的或缓慢的；一次性的或分阶段的；从站姿或从坐姿；向前、向后或向一侧；部分地坐下或完全地倒下；诸如此类。依赖于检测跌倒的轨迹的现有解决方案因不能区分跌倒轨迹与未跌倒轨迹而受阻并变得无效。现有解决方案一般也同样要求降身是快速的，使得它们无法辨别向地板的缓慢过渡。
12.现有解决方案典型地只能检测跌倒在地板上，而不能检测跌倒在其他表面上。如果人倒在例如高出地板的对象(诸如沙发)上，则由于依赖于使用跌倒轨迹，使用现有解决方案不太可能辨识出该跌倒(尽管跌倒可能是危险的)。
13.总的来讲，最关键的差距在于，现有解决方案无法解决人在先前没有快速跌倒的情况下变成处于地板上并可能地被困的任何情况。
14.因此，需要用于在不要求穿戴式装置的情况下检测在地板上的(“在地板上”)位置的改善的系统和方法。
15.该背景技术部分是出于清楚目的而呈现的，并且不意味着作为关于任何权利要求的现有技术的描述。


技术实现要素：

16.本文尤其呈现了用于基于对在移动到地板(诸如跌倒)之后的最终状态的观察来检测对象(诸如人或动物)已经在地板(或类似地设置的表面)上占据位置的系统和方法。为了简洁起见，本文件使用术语“在地板上”，但是也涵盖除地板之外的表面，诸如沙发的表面。所公开的技术不要求在跌倒之前或期间的历史移动轨迹。所公开的技术也不要求穿戴式装置，因为所需的信息可由一个或多个环境传感器获取，例如，与表面(例如，地板)有空间关系的物理身体特征的环境传感器测量(例如，视觉数据、空间数据、温度数据和/或深度数据)。
17.例如，在该技术的某些实施方案中，使用环境传感器(例如，深度相机)来采集关于房间的数据并且计算在房间中的人相对于表面(例如，地板)的质心。如果发现人的质心在距该表面的特定距离内，那么系统确定人是否在一段时间内起身到表面上方的至少第二距离。如果人在给定的时间段内保持在距地板的第二距离内，则确定人在地板上。然后，该技术可将在地板上位置中继到第三方，诸如应急服务或家庭成员，以进行进一步动作。如前所述，在地板上位置可能是由于跌倒或由于一些其他原因造成的。
18.在一方面，本发明涉及一种在无需穿戴式传感器的情况下(例如，并且在不需要对象的历史移动轨迹的情况下)检测对象在地板上(或在另一个表面上)的方法，所述方法包括：由计算装置的处理器接收环境数据；由所述处理器在所述环境数据内自动地识别一个或多个对象；由所述处理器在所述环境数据内自动地识别所述一个或多个对象中的每一者的配置；以及由所述处理器自动地确定所述一个或多个对象中的每一者的在地板上(或在表面上)状态。
19.在某些实施方案中，所述环境数据包括选自由以下项组成的组中的一个或多个成员：例如，视觉数据、空间数据、温度数据和深度数据，并且其中所述环境数据对应于例如在特定时刻的所述一个或多个对象的空间环境。
20.在某些实施方案中，所述自动地识别一个或多个对象利用选自由以下项组成的组中的一个或多个成员：机器学习、深度学习、模式辨识和神经网络。
21.在某些实施方案中，所述对象是选自由以下项组成的组中的成员：人、非人动物和无生物。
22.在某些实施方案中，每个配置至少部分地使用选自由以下项组成的组中的一个或多个成员来确定：检测到的质心、姿势、纵横比和一个或多个关节的位置。
23.在某些实施方案中，所述在地板(或其他表面)上状态至少部分地使用所述对象与所述地板(或其他表面)之间的检测到的接近时距来确定。在某些实施方案中，使用非地板表面(例如，诸如沙发)而不是地板表面。
24.在某些实施方案中，从所述环境数据移除个人或私人数据[例如，除执行所述方法的系统在检测后识别单独的对象/人所参考的准许的数据或输入的数据(例如，用户名、名或其他输入的名字)之外的个人识别数据(例如，面部细节)]。在某些实施方案中，所述对象是已经跌倒在地板或其他表面上的人。
[0025]
在另一方面，本发明涉及一种用于在无需对象(诸如人)穿戴的传感器的情况下(例如，并且在无需所述对象的历史移动轨迹的情况下)检测所述对象的在地板(或其他表面)上状态的系统，所述系统包括：环境传感器；处理器；以及存储器，所述存储器上存储有指令，其中所述指令在由所述处理器执行时致使所述处理器：接收环境数据；自动地识别在环境内的一个或多个对象；自动地识别每个对象的配置；以及自动地确定每个对象的在地板上状态。
[0026]
在一些方面，一种在无需可穿戴件(例如，由对象穿戴的传感器)的情况下并且在无需检测对象[例如，人或动物(例如，猫或狗)]的跌倒轨迹的情况下检测所述对象已经跌倒的方法包括由计算装置的处理器接收对应于在特定时刻的环境的空间解析数据(例如，视觉数据、空间数据、温度数据、深度数据)。所述方法可包括由所述处理器至少部分地基于所述空间解析数据来(例如，自动地)识别(例如，使用机器学习、使用模式辨识)在所述环境内的一个或多个对象。所述方法可包括由所述处理器基于所述空间解析数据来(例如，自动地)识别所述一个或多个对象中的第一对象的对象配置(例如，(例如，自动地)识别由以下项组成的组中的一个或多个成员：所述第一对象的质心、姿势、纵横比和一个或多个关节位置)。所述方法可包括由所述处理器至少部分地基于所述第一对象的所述(例如，自动地)识别的对象配置来(例如，自动地)确定所述第一对象的跌倒状态(例如，对应于所述对象是否已经跌倒的二元状态)。
[0027]
在一些实施方案中，从一个或多个环境传感器[例如，光学相机、辐射热计(例如，红外相机)或声学传感器]接收所述空间解析数据。在一些实施方案中，所述方法包括由所述处理器使用所述一个或多个环境传感器[例如，光学相机、辐射热计(例如，红外相机)或声学传感器]来生成所述空间解析数据。在一些实施方案中，所述跌倒状态是在从所述特定时刻起的一定时间段内确定的，其中所述时间段不超过两分钟(例如，不超过1分钟、30秒、15秒、10秒、5秒或1秒)。
[0028]
在一些实施方案中，所述方法包括从所述空间解析数据移除任何个人识别数据。在一些实施方案中，所述空间解析数据不包括个人识别数据。
[0029]
在一些实施方案中，所述方法包括由所述处理器接收包括所述个人识别数据的初步空间解析数据。所述方法可包括由所述处理器通过从所述初步空间解析数据移除所述个人识别数据来生成所述空间解析数据。
[0030]
在一些实施方案中，所述空间解析数据是深度数据。在一些实施方案中，所述方法包括对所述空间解析数据进行预处理(例如，设定阈值、重新设定大小、滤波、模糊、归一化)。
[0031]
在一些实施方案中，所述方法包括由所述处理器发送包括所述跌倒状态的警报(例如，发送到自动化监测服务、护理人员或应急提供方)。
[0032]
在一些实施方案中，所述一个或多个对象是一个或多个人。在一些实施方案中，所述对象配置包括由以下项组成的组中的一个或多个成员：所述对象的质心、姿势、纵横比和一个或多个关节位置。
[0033]
在一些方面，一种用于在无需可穿戴件(例如，由对象穿戴的传感器)的情况下并且在无需检测对象[例如，人或动物(例如，猫或狗)]的跌倒轨迹的情况下检测所述对象已经跌倒的系统包括：环境传感器；处理器；以及存储器，所述存储器上存储有指令，其中所述指令在由所述处理器执行时致使所述处理器：接收对应于在特定时刻的环境的空间解析数据(例如，视觉数据、空间数据、温度数据、深度数据)。所述指令在由所述处理器执行时还可致使所述处理器至少部分地基于所述空间解析数据来(例如，自动地)识别(例如，使用机器学习、使用模式辨识)在所述环境内的一个或多个对象。所述指令在由所述处理器执行时还可致使所述处理器至少部分地基于所述空间解析数据来(例如，自动地)识别所述一个或多个对象中的第一对象的对象配置(例如，(例如，自动地)识别由以下项组成的组中的一个或多个成员：所述第一对象的质心、姿势、纵横比和一个或多个关节位置)。所述指令在由所述处理器执行时还可致使所述处理器至少部分地基于所述第一对象的所述(例如，自动地)识别的对象配置来(例如，自动地)确定所述第一对象的跌倒状态(例如，对应于所述对象是否已经跌倒的二元状态)。
[0034]
在一些实施方案中，所述环境传感器包括选自由以下项组成的组的成员：光学相机、辐射热计(例如，红外相机)和声学传感器。
[0035]
在一些实施方案中，所述对象配置包括由以下项组成的组中的一个或多个成员：所述对象的质心、姿势、纵横比和一个或多个关节位置。
[0036]
在一些实施方案中，所述指令在由所述处理器执行时致使所述处理器从所述空间解析数据移除任何个人识别数据。在一些实施方案中，所述指令在由所述处理器执行时致使所述处理器：使用所述环境传感器来接收包括所述个人识别数据的初步空间解析数据；以及通过从初步空间解析数据集移除所述个人识别数据来生成所述空间解析数据。
[0037]
在一些实施方案中，所述空间解析数据是深度数据。在一些实施方案中，所述指令在由所述处理器执行时致使所述处理器对所述空间解析数据进行预处理(例如，设定阈值、重新设定大小、滤波、模糊、归一化)。
[0038]
在一些实施方案中，所述指令在由所述处理器执行时致使所述处理器发送包括所述跌倒状态的警报(例如，发送到自动化监测服务、护理人员或应急提供方)。
[0039]
在一些实施方案中，所述一个或多个对象是一个或多个人。
[0040]
在一些方面，一种在无需可穿戴件(例如，由对象穿戴的传感器)的情况下并且/或者在无需检测对象[例如，人或动物(例如，猫或狗)]的跌倒轨迹的情况下检测所述对象已经跌倒的方法包括由计算装置的处理器接收对应于在特定时刻的环境的空间解析数据(例如，视觉数据、空间数据、温度数据、深度数据)。所述方法可包括由所述处理器至少部分地基于所述空间解析数据来(例如，自动地)识别(例如，使用机器学习、使用模式辨识)在所述环境内的一个或多个对象。所述方法可包括由所述处理器至少部分地基于所述空间解析数据来(例如，自动地)识别所述一个或多个对象中的第一对象的第一对象配置(例如，(例如，自动地)识别由以下项组成的组中的一个或多个成员：所述第一对象的质心、姿势、纵横比和一个或多个关节位置)。所述方法可包括由所述处理器至少部分地基于所述空间解析数据来(例如，自动地)识别在所述环境内的一个或多个表面(例如，地板、家具的表面、楼梯的表面)。所述方法可包括由所述处理器至少部分地基于所述空间解析数据来(例如，自动地)识别所述一个或多个表面中的第一表面的第一表面配置。所述方法可包括由所述处理器使用所述第一对象配置和所述第一表面配置来(例如，自动地)确定第一空间测量(例如，在所述第一对象与所述第一表面之间的最短距离)。所述方法可包括由所述处理器至少部分地基于所述(例如，自动地)识别的第一对象配置和/或所述第一空间测量来(例如，自动地)确定所述一个或多个对象中的所述第一对象的跌倒状态(例如，对应于所述对象是否已经跌倒的二元状态)。
[0041]
在一些实施方案中，从一个或多个环境传感器[例如，光学相机、辐射热计(例如，红外相机)或声学传感器]接收所述空间解析数据。在一些实施方案中，所述方法包括由所述处理器使用一个或多个环境传感器[例如，光学相机、辐射热计(例如，红外相机或声学传感器]来生成所述空间解析数据。在一些实施方案中，所述一个或多个环境传感器包括选自由以下项组成的组的一个或多个成员：光学相机、辐射热计(例如，红外相机)和声学传感器。
[0042]
在一些实施方案中，(例如，自动地)确定所述表面配置包括由所述处理器确定垂直于所述表面的表面、所述表面的孤立平面或最低平面。
[0043]
在一些实施方案中，所述跌倒状态是在从所述特定时刻起的一定时间段内确定的，其中所述时间段不超过两分钟(例如，不超过1分钟、30秒、15秒、10秒、5秒或1秒)。
[0044]
在一些实施方案中，所述方法包括从所述空间解析数据移除任何个人识别数据。在一些实施方案中，所述空间解析数据不包括个人识别数据。在一些实施方案中，所述方法包括：由所述处理器接收包括所述个人识别数据的初步空间解析数据；以及由所述处理器通过从所述初步空间解析数据移除所述个人识别数据来生成所述空间解析数据。
[0045]
在一些实施方案中，所述空间解析数据是深度数据。在一些实施方案中，所述方法包括对所述空间解析数据进行预处理(例如，设定阈值、重新设定大小、滤波、模糊、归一化)。
[0046]
在一些实施方案中，所述方法包括由所述处理器发送包括所述跌倒状态的警报(例如，发送到自动化监测服务、护理人员或应急提供方)。
[0047]
在一些实施方案中，所述一个或多个表面中的至少一者是地板。在一些实施方案中，所述一个或多个对象是一个或多个人。在一些实施方案中，所述表面配置包括定义表面
在所述环境内的空间位置的点的集合和/或平面。
[0048]
在一些实施方案中，所述方法包括：由所述处理器至少部分地基于所述空间解析数据来(例如，自动地)识别第二表面的第二表面配置。所述方法可包括由所述处理器使用所述第一对象配置和所述第二表面配置来(例如，自动地)确定第二空间测量(例如，在所述第一对象与所述第二表面之间的最短距离)。所述方法可包括由所述处理器至少部分地基于所述第二空间测量来(例如，自动地)进一步确定所述第一对象的所述跌倒状态(例如，对应于所述对象是否已经跌倒的二元状态)。
[0049]
在一些方面，一种用于在无需可穿戴件(例如，由对象穿戴的传感器)的情况下并且/或者在无需检测对象[例如，人或动物(例如，猫或狗)]的跌倒轨迹的情况下检测所述对象已经跌倒的系统包括：环境传感器；处理器；以及存储器，所述存储器上存储有指令，其中所述指令在由所述处理器执行时致使所述处理器：接收对应于在特定时刻的环境的空间解析数据(例如，视觉数据、空间数据、温度数据、深度数据)。所述指令在由所述处理器执行时还可致使所述处理器由所述处理器至少部分地基于所述空间解析数据来(例如，自动地)识别(例如，使用机器学习、使用模式辨识)在所述环境内的一个或多个对象。所述指令在由所述处理器执行时还可致使所述处理器(例如，自动地)识别所述一个或多个对象中的第一对象的第一对象配置(例如，(例如，自动地)识别由以下项组成的组中的一个或多个成员：所述第一对象的质心、姿势、纵横比和一个或多个关节位置)。所述指令在由所述处理器执行时还可致使所述处理器至少部分地基于所述空间解析数据来(例如，自动地)识别在所述环境内的一个或多个表面(例如，地板、家具的表面、楼梯的表面)。所述指令在由所述处理器执行时还可致使所述处理器(例如，自动地)识别所述一个或多个表面中的第一表面的第一表面配置。所述指令在由所述处理器执行时还可致使所述处理器使用所述第一对象配置和所述第一表面配置来(例如，自动地)确定第一空间测量(例如，在所述第一对象与所述第一表面之间的最短距离)。所述指令在由所述处理器执行时还可致使所述处理器至少部分地基于所述(例如，自动地)识别的第一对象配置和/或所述第一空间测量来(例如，自动地)确定所述第一对象的跌倒状态(例如，对应于所述对象是否已经跌倒的二元状态)。
[0050]
所述指令在由所述处理器执行时可致使所述处理器至少部分地基于所述第一表面配置来确定所述跌倒状态。所述指令在由所述处理器执行时可致使所述处理器确定所述表面配置，其中所述确定包括确定所述表面的表面法线、所述表面的孤立平面或最低平面。
[0051]
在一些实施方案中，所述环境传感器包括选自由以下项组成的组的一个或多个成员：光学相机、辐射热计(例如，红外相机)和声学传感器。所述指令在由所述处理器执行时可致使所述处理器使用所述环境传感器来生成所述空间解析数据。
[0052]
所述指令在由所述处理器执行时还可致使所述处理器在从所述特定时刻起的一定时间段内确定所述跌倒状态，其中所述时间段不超过两分钟(例如，不超过1分钟、30秒、15秒、10秒、5秒或1秒)。
[0053]
所述指令在由所述处理器执行时还可致使所述处理器从所述空间解析数据移除任何个人识别数据。在一些实施方案中，所述空间解析数据是深度数据。所述指令在由所述处理器执行时还可致使所述处理器对所述空间解析数据进行预处理(例如，设定阈值、重新设定大小、滤波、模糊、归一化)。
[0054]
所述指令在由所述处理器执行时可致使所述处理器发送包括所述跌倒状态的警
报(例如，发送到自动化监测服务、护理人员或应急提供方)。
[0055]
在一些实施方案中，所述一个或多个表面中的至少一者是地板。在一些实施方案中，所述一个或多个对象是一个或多个人。在一些实施方案中，所述表面配置包括定义所述表面在所述环境内的空间位置的点的集合和/或平面。
[0056]
所述指令在由所述处理器执行时还可致使所述处理器至少部分地基于所述空间解析数据来自动地识别第二表面的第二表面配置。所述指令在由所述处理器执行时还可致使所述处理器使用所述第一对象配置和所述第二表面配置来自动地确定第二空间测量(例如，在所述第一对象与所述第二表面之间的最短距离)。所述指令在由所述处理器执行时还可致使所述处理器至少部分地基于所述第二空间测量来自动地进一步确定所述第一对象的所述跌倒状态(例如，对应于所述对象是否已经跌倒的二元状态)。
[0057]
在一些方面，一种在无需可穿戴件(例如，由对象穿戴的传感器)的情况下并且/或者在无需检测对象[例如，人或动物(例如，猫或狗)]的跌倒轨迹的情况下检测所述对象已经跌倒的方法包括由计算装置的处理器接收对应于在特定时刻的环境的第一空间解析数据集(例如，视觉数据集、空间数据集、温度数据集、深度数据集)。所述方法可包括由所述处理器自动地识别对象的第一对象配置(例如，自动地识别由以下项组成的组中的一个或多个成员：所述第一对象的质心、姿势、纵横比和一个或多个关节位置)和表面(例如，地板、家具的表面、楼梯的顶表面)的第一表面配置，所述对象和所述表面在所述环境内。所述方法可包括由所述处理器使用所述第一对象配置和所述第一表面配置来(例如，自动地)确定第一空间测量(例如，在所述第一对象与所述第一表面之间的最短距离)。所述方法可包括由所述处理器(例如，自动地)确定所述第一空间测量是否满足第一条件(例如，不大于第一值)。所述方法可包括由所述处理器基于所述第一空间测量满足第二条件的经过时间(例如，所述空间测量不大于第二值的时间段)来(例如，自动地)确定对应于所述对象已经跌倒的跌倒状态(例如，对应于所述对象是否已经跌倒的二元状态)。
[0058]
在一些实施方案中，所述方法包括由所述处理器基于地板计数超过地板计数阈值(例如，20秒、30秒、1分钟、5分钟)来(例如，自动地)确定对应于所述对象已经跌倒的跌倒状态(例如，对应于所述对象是否已经跌倒的二元状态)。
[0059]
在一些实施方案中，所述方法包括由所述处理器(例如，自动地)接收来自第二时刻的第二空间解析数据集，所述第二时刻是在所述第一时刻之后的时间段，所述对象在所述第二时刻在所述环境内(例如，并且已经移动或尚未移动)。所述方法可包括由所述处理器至少部分地基于所述第二空间解析数据集来(例如，自动地)识别所述对象的第二对象配置。所述方法可包括由所述处理器(例如，自动地)确定在所述第二对象配置与所述第一表面配置之间的第二空间测量。所述方法可包括由所述处理器(例如，自动地)确定所述第二空间测量是否满足所述第二条件。所述方法可包括如果所述第二空间测量满足所述第二条件，则由所述处理器(例如，自动地)使地板计数递增。所述方法可包括由所述处理器(例如，自动地)将所述地板计数重置为基值(例如，零)(例如，当所述第二空间测量不再满足所述第二条件但满足所述第一条件时)。
[0060]
在一些实施方案中，所述第一表面配置包括定义所述表面在所述环境内的空间位置的点的集合和/或平面。在一些实施方案中，所述第一空间测量包括使用所述表面配置和所述对象配置的距离(例如，平均距离、最小距离或最大距离)。在一些实施方案中，从一个
或多个环境传感器[例如，光学相机、辐射热计(例如，红外相机)或声学传感器]接收所述空间解析数据。
[0061]
在一些实施方案中，所述方法包括由所述处理器使用一个或多个环境传感器[例如，光学相机、辐射热计(例如，红外相机)或声学传感器]来生成所述空间解析数据。在一些实施方案中，所述方法包括从所述空间解析数据移除任何个人识别数据。在一些实施方案中，所述空间解析数据不包括个人识别数据。在一些实施方案中，所述方法包括：由所述处理器接收包括所述个人识别数据的初步空间解析数据集；以及由所述处理器通过从所述初步空间解析数据集移除所述个人识别数据来生成所述空间解析数据。
[0062]
在一些实施方案中，所述空间解析数据集是深度数据。在一些实施方案中，所述方法包括对所述空间解析数据进行预处理(例如，设定阈值、重新设定大小、滤波、模糊、归一化)。
[0063]
在一些实施方案中，所述方法包括由所述处理器发送包括所述跌倒状态的警报(例如，发送到自动化监测服务、护理人员或应急提供方)。
[0064]
在一些实施方案中，所述对象是人。在一些实施方案中，所述表面是地板。
[0065]
在一些实施方案中，(例如，自动地)确定所述表面配置包括由所述处理器确定垂直于所述表面的表面、所述表面的孤立平面或最低平面。
[0066]
在一些方面，一种用于在无需可穿戴件(例如，由对象穿戴的传感器)的情况下并且/或者在无需检测对象[例如，人或动物(例如，猫或狗)]的跌倒轨迹的情况下检测所述对象已经跌倒的系统，所述系统包括：环境传感器；处理器；存储器，所述存储器上存储有指令，其中所述指令在由所述处理器执行时致使所述处理器：接收对应于在特定时刻的环境的空间解析数据集(例如，视觉数据集、空间数据集、温度数据集、深度数据集)。所述指令在由所述处理器执行时还可致使所述处理器(例如，自动地)识别对象的第一对象配置(例如，(例如，自动地)识别由以下项组成的组中的一个或多个成员：所述第一对象的质心、姿势、纵横比和一个或多个关节位置)和表面(例如，地板、家具的表面、楼梯的顶表面)的第一表面配置，所述对象和所述表面在所述环境内。所述指令在由所述处理器执行时还可致使所述处理器使用所述第一对象配置和所述第一表面配置来(例如，自动地)确定第一空间测量(例如，在所述第一对象与所述第一表面之间的最短距离)。所述指令在由所述处理器执行时还可致使所述处理器(例如，自动地)确定所述第一空间测量是否满足第一条件(例如，不大于第一距离)。所述指令在由所述处理器执行时还可致使所述处理器基于保持满足第二条件(例如，不大于第二距离)的经过时间来(例如，自动地)确定对应于所述对象已经跌倒的跌倒状态(例如，对应于所述对象是否已经跌倒的二元状态)。
[0067]
所述指令在由所述处理器执行时还可致使所述处理器在所述空间测量继续满足所述第二条件的情况下(例如，自动地)使地板计数递增。所述指令在由所述处理器执行时还可致使所述处理器基于所述地板计数超过地板计数阈值(例如，20秒、30秒、1分钟、5分钟)来(例如，自动地)确定对应于所述对象已经跌倒的跌倒状态(例如，对应于所述对象是否已经跌倒的二元状态)。
[0068]
在一些实施方案中，所述环境传感器包括选自由以下项组成的组的成员：光学相机、辐射热计(例如，红外相机)和声学传感器。
[0069]
所述指令在由所述处理器执行时还可致使所述处理器(例如，自动地)接收来自第
二时刻的第二空间解析数据集，所述第二时刻是在所述第一时刻之后的时间段，所述对象在所述第二时刻在所述环境内(例如，并且已经移动或尚未移动)。所述指令在由所述处理器执行时还可致使所述处理器至少部分地基于所述第二空间解析数据集来(例如，自动地)识别所述对象的第二对象配置。所述指令在由所述处理器执行时还可致使所述处理器(例如，自动地)确定在所述第二对象配置与所述第一表面配置之间的第二空间测量。所述指令在由所述处理器执行时还可致使所述处理器(例如，自动地)确定所述第二空间测量满足所述第二条件。所述指令在由所述处理器执行时还可致使所述处理器在所述第二空间测量满足所述第二条件的情况下(例如，自动地)使所述地板计数递增。
[0070]
所述指令在由所述处理器执行时还可致使所述处理器(例如，自动地)将所述地板计数重置为基值(例如，零)(例如，当所述第二空间测量不再满足所述第二条件但满足所述第一条件时)。
[0071]
在一些实施方案中，所述表面配置包括定义所述表面在所述环境内的空间位置的点的集合和/或平面。在一些实施方案中，所述第一空间测量包括在所述第一表面配置与所述第一对象配置之间的距离(例如，平均距离、最近距离或最大距离)。
[0072]
所述指令在由所述处理器执行时还可致使所述处理器使用所述环境传感器来生成所述空间解析数据。所述指令在由所述处理器执行时还可致使所述处理器从所述空间解析数据移除任何个人识别数据。在一些实施方案中，所述空间解析数据是深度数据。所述指令在由所述处理器执行时还可致使所述处理器对所述空间解析数据进行预处理(例如，设定阈值、重新设定大小、滤波、模糊、归一化)。
[0073]
所述指令在由所述处理器执行时还可致使所述处理器发送包括所述跌倒状态的警报(例如，发送到自动化监测服务、护理人员或应急提供方)。
[0074]
在一些实施方案中，所述对象是人。在一些实施方案中，所述系统包括两个或更多个环境传感器。在一些实施方案中，所述表面是地板。
[0075]
在一些实施方案中，(例如，自动地)确定所述表面配置包括由所述处理器确定垂直于所述表面的表面、所述表面的孤立平面或最低平面。
[0076]
在一些方面，一种在无需可穿戴件或轨迹的情况下检测对象[例如，人或动物(例如，猫或狗)]已经跌倒的方法包括由计算装置的处理器接收对应于在特定时刻的环境的空间解析数据(例如，视觉数据、空间数据、温度数据、深度数据)。所述方法可包括由所述处理器(例如，自动地)识别对象的对象配置(例如，所述对象的质心、姿势、纵横比和一个或多个关节位置中的一者或多者)和地板的地板配置，所述对象和所述地板在所述环境内。所述方法可包括由所述处理器(例如，自动地)确定反映所述对象与所述地板之间的位置关系(例如，所述对象相对于所述地板的质心)的第一空间测量，所述第一空间测量是使用所述(例如，自动地)识别的对象配置和所述(例如，自动地)识别的地板配置确定的。所述方法可包括由所述处理器(例如，自动地)确定所述第一空间测量是否满足第一条件(例如，在第一测量阈值内)(例如，不大于第一距离)。所述方法可包括如果所述空间测量满足所述第一条件(例如，在所述第一测量阈值内)(例如，当所述空间测量满足所述第一条件时)，则由所述处理器(例如，自动地)使地板计数递增。所述方法可包括由所述处理器基于所述地板计数超过地板计数阈值来(例如，自动地)确定对应于所述对象已经跌倒的跌倒状态(例如，对应于所述对象是否已经跌倒的二元状态)。
[0077]
在一些实施方案中，所述方法还包括(例如，自动地)接收来自第二时刻的第二空间解析数据，所述第二时刻是在所述第一时刻之后的时间段，所述对象在所述第二时刻在所述环境内(例如，并且已经移动或尚未移动)。所述方法可包括由所述处理器至少部分地基于所述第二空间解析数据来(例如，自动地)识别所述对象的第二对象配置。所述方法可包括由所述处理器使用所述第二对象配置和所述地板配置来(例如，自动地)确定第二空间测量。所述方法可包括由所述处理器(例如，自动地)确定所述第二空间测量是否满足第二条件[例如，在第二测量阈值(例如，与所述第一测量阈值相同或不同(例如，大于或小于))内](例如，与所述第一条件相同或不同)。
[0078]
所述方法可包括如果所述第二空间测量满足所述第二条件(例如，在所述第二测量阈值内)，则由所述处理器(例如，自动地)使所述地板计数递增。在一些实施方案中，所述方法包括：由所述处理器(例如，自动地)确定所述第二空间测量满足所述第二条件(例如，在所述第二测量阈值内)；以及由所述处理器(例如，自动地)使所述地板计数递增。
[0079]
在一些实施方案中，所述方法包括：由所述处理器(例如，自动地)确定所述第二空间测量满足所述第二条件(例如，在所述第二测量阈值内)；以及由所述处理器(例如，自动地)将所述地板计数重置为初始值(例如，零)。在一些实施方案中，所述方法包括在将所述地板计数重置为所述初始值之前，首先确定所述第一空间测量不满足所述第一条件，并且随后由所述处理器确定所述第二空间测量满足所述第二条件。
[0080]
在一些实施方案中，所述方法包括由所述处理器(例如，自动地)确定所述第二空间测量不满足所述第二条件(例如，和/或所述第一条件)(例如，不在所述第二测量阈值内)；以及随后由所述处理器将所述地板计数重置为初始值(例如，在由所述处理器随后确定从在作为所述第二时刻之后的时间段的第三时刻的空间解析数据确定的第三空间测量满足所述第一条件和/或所述第二条件之后)。
[0081]
在一些实施方案中，所述方法包括：由所述处理器使用以下项来确定第二空间测量：(i)由所述处理器从在作为所述第一时刻之后的时间段(例如，不超过5秒、10秒、30秒或1分钟)的第二时刻的空间解析数据确定的第二对象配置，以及(ii)所述第二空间测量确实满足所述第一条件和/或所述第二条件；以及任选地，由所述处理器重置所述地板计数。所述第二对象配置可由所述处理器通过以下操作来确定：(例如，自动地)接收来自作为所述第一时刻之后的时间段的所述第二时刻的第二空间解析数据，所述对象在所述第二时刻在所述环境内(例如，并且已经移动或尚未移动)；由所述处理器至少部分地基于所述第二空间解析数据来(例如，自动地)识别所述对象的所述第二对象配置；以及由所述处理器(例如，自动地)确定在所述第二对象配置与所述地板配置之间的第二空间测量。
[0082]
所述方法可作为指令存储在系统中包括的存储器上，所述指令在由所述处理器执行时致使所述处理器进行所述方法的步骤。所述系统还可包括环境传感器；以及处理器。
[0083]
涉及本发明的一方面的实施方案的要素(例如，组合物，例如，系统，例如，方法)可应用于涉及本发明的其他方面的实施方案中，反之亦然。本文件中通过公布号引用的所有公布全文以引用方式并入本文。明确地设想，在本文、本发明内容部分或其他地方描述的系统或方法的一个或多个特征可与在本文、本发明内容部分或其他地方描述的一个或多个其他特征组合来作为附加的实施方案，只要维持可操作性即可。
附图说明
[0084]
通过参考以下结合附图进行的描述，本公开的上述和其他目标、方面、特征和优点将变得更清楚且更好理解，在附图中：
[0085]
图1是根据说明性实施方案的在无需可穿戴件或轨迹的情况下对人或其他对象进行在地板上检测的方法的高级流程框图；
[0086]
图2是根据说明性实施方案的示出在地板上检测的方法200的高级流程框图，其中识别人和表面(例如，地板或沙发)；
[0087]
图3是根据说明性实施方案的示出在地板上检测的方法300的高级流程框图，其中识别人的质心；
[0088]
图4是在某些实施方案中使用的示例性云计算环境400的框图；并且
[0089]
图5是用于说明性实施方案中的示例计算装置和示例移动计算装置的框图。
[0090]
从以下在结合附图时阐述的详细描述中，本公开的特征和优点将变得更清楚，其中相似的参考符号始终标识对应的要素。在附图中，相似的参考数字一般指示相同、功能上类似和/或结构上类似的要素。
[0091]
定义
[0092]
为了更易于理解本公开，下面首先定义某些术语。在整个说明书中阐述了以下术语和其他术语的附加定义。
[0093]
如本文所使用，“在地板上检测”是指对人已经跌倒、翻倒、下跌或以其他方式不由自主地无法维持有目的的直立(例如，站立或坐下)姿势的识别。为了描述清楚，在本文件中采用术语“在地板上”，但是人所在的表面可以是任何表面，诸如沙发，而不仅仅是地板。
[0094]
如本文所使用，“隐私”是指防止获取和/或传播个人图像或照片。
具体实施方式
[0095]
本文描述的系统和方法涉及使用来自一个或多个环境(即，非穿戴式)传感器的测量的在地板上检测。传感器可涵盖多种形式，包括视频和深度(空间)。
[0096]
图1是在地板上检测的方法100的示例的流程图。在步骤110中，经由一个或多个传感器在要监测的环境上采集数据集。可利用能够采集关于环境的数据的多种传感器，包括但不限于：网络摄像头(视觉数据)；深度相机(空间数据)；以及辐射热计(温度数据)。在步骤115中，任选地，可丢弃一些数据以保护隐私。例如，可丢弃图像的对应于人脸的部分。在步骤120中，任选地，对数据进行预处理以为之后的计算做准备。这种预处理可包括例如图像处理、图像重新设定大小、滤波、模糊、清除和归一化，这是本领域中的标准。
[0097]
在步骤125中，通过使用例如机器学习和/或模式辨识技术来识别人的存在。如果存在多于一个人，则可任选地针对每个人重复该步骤和以下步骤。美国专利号9,341,464和9,600,993和9,737,239和9,817,017和9,974,466和10,013,756以及pct/us/1744936中描述了识别人的存在的方法的示例，所述专利全文在此以引用方式并入本文。另外，或替代地，可经由类似的技术来识别非人对象。
[0098]
在步骤130中，识别在步骤125中识别的人的配置。如本文所使用，术语“人配置”是指对应于人的解剖结构的部分的设置和/或空间位置的一组数据。在某些实施方案中，人配置可包括定位人的质心、姿势、纵横比和关节位置的信息。美国专利号9,341,464和9,600,
993和9,737,239和9,817,017和9,974,466和10,013,756以及pct/us17/44936中描述了识别人的配置的方法，所述专利全文在此以引用方式并入本文。另外，或替代地，可经由类似的技术来确定非人对象的配置。
[0099]
在步骤180中，使用步骤130的输出来确定人是否在地板上。在本发明的一些实施方案中，步骤180不需要任何历史信息，诸如轨迹；换句话说，可在人配置的单个“快照”上进行步骤180。另外，或替代地，可经由类似的技术来确定非人对象的在地板上状态。
[0100]
在步骤190中，报告在地板上状态(例如，报告给自动化监测服务、护理人员或应急提供方)。
[0101]
图2是在无需可穿戴件或轨迹的情况下的在地板上检测的方法200的示例的流程图，其中识别表面(例如，地板、沙发、家具的顶部)。步骤210至220等同于图1中编号相似的步骤。在步骤240中，确定表面的存在和配置。在某些非限制性实施方案中，表面配置可包括例如表面在环境内的位置。找出表面的方法在本领域中是已知的，并且包括例如：计算表面的法线、将平面孤立和找出最低平面。在步骤250中，识别人的存在和配置，如上所述。在步骤260中，确定人与表面的空间关系；例如，空间关系可以是从存在于人的各种位置(例如，一个或多个关节)和表面的平均最近距离。在另一个实施方案中，确定人的质心与表面之间的最近距离。步骤280使用步骤260的输出来确定在地板上状态；例如，通过将在步骤260中确定的距离与预定值进行比较。例如，在某些实施方案中，步骤290报告步骤280的在地板上状态输出，如上所述。
[0102]
图3是在无需可穿戴件或计算跌倒轨迹的情况下的在地板上检测的方法300的示例的流程图。在一些实施方案中，该方法利用人的特定度量(例如，在这种情况下是质心)及其与表面(例如，地板)的关系。在一些实施方案中，表面是已经被识别的地板，但是在该示例中，对地板的使用不旨在是限制性的，如上所述。
[0103]
图3以等同于步骤210至250的步骤开始。步骤362使用从环境传感器获取的数据来确定人的数学质心。然后步骤364测试距质心的距离是否位于距地板的第一距离内。在某些实施方案中，从地板到人的质心的距离被计算为将质心与地板分开的最小距离。如果步骤364报告“否”(即，质心不在距地板的特定距离内)，则人不处于“在地板上状态”，并且步骤374暂停某一时间间隔，然后返回到步骤362。如果步骤364报告“是”，则人处于“在地板上状态”，并且步骤366将“地板计数”初始化，该地板计数将用于跟踪“在地板上状态”持续多长时间。步骤368暂停某一时间间隔(例如，不超过2秒、5秒、10秒、30秒或更多)，然后移动到步骤372。
[0104]
步骤372测试质心是否位于距地板的第二距离(例如，不超过0.5米、1米、1.5米或更多)内。在一些实施方案中，步骤364的第一距离不同于步骤372的第二距离，以便使得退出“在地板上状态”比进入“在地板上状态”更困难。这可例如通过将第二距离设置为大于第一距离来实现。如果在步骤372，系统报告“否”，则该人不再处于“在地板上状态”，并且步骤374暂停某一时间间隔(例如，不超过2秒、5秒、10秒、30秒或更多)，然后返回到步骤362。如果步骤372报告“是”，则人保持处于“在地板上状态”，并且步骤376使“地板计数”递增。步骤382测试“地板计数”是否已经超过某个累积持续时间(例如，不超过10秒、30秒、60秒或更多)。如果累积持续时间未超过在步骤382中评估的阈值持续时间，则提交“否”报告，并且过程返回到步骤368。如果累计持续时间超过阈值持续时间，则步骤382报告“是”，然后步骤
390报告确认的在地板上状态。在某些实施方案中，可将报告提交给第三方警报或监测服务。
[0105]
在图3中，人的质心用于确定人与地板的空间关系。然而，代替质心或除了质心之外，可使用其他度量。可使用的其他度量的示例包括：姿势(例如，坐在地板上与躺在地板上)；身体的纵横比(例如，大部分水平与大部分竖直)；以及关节的位置(例如，上身的关节位置，无论是单独的还是组合的[例如，通过对关节位置求平均])。
[0106]
在图1的步骤190和图2至图3中编号相似的步骤(即，290和390)中，在地板上检测结果可例如中继到用户；经由诸如数据库或磁盘存储的方法存储；和/或通过互联网发送到网站、服务器或其他处理步骤(诸如电话警报)。这将允许例如第3方监测服务向个体或服务提供警报，这可有助于在跌倒之后陷入困境的人。
[0107]
网络和计算实现方式
[0108]
如图4所示，示出并描述了用于提供如本文所描述的系统、方法和架构的网络环境400的实现方式。在简要概述中，现在参考图4，示出并描述了示例性云计算环境400的框图。云计算环境400可包括一个或多个资源提供方402a、402b、402c(统称为402)。每个资源提供方402可包括计算资源。在一些实现方式中，计算资源可包括用于处理数据的任何硬件和/或软件。例如，计算资源可包括能够执行算法、计算机程序和/或计算机应用程序的硬件和/或软件。在一些实现方式中，示例性计算资源可包括具有存储和检索能力的应用程序服务器和/或数据库。每个资源提供方402可连接到云计算环境400中的任何其他资源提供方402。在一些实现方式中，资源提供方402可通过计算机网络408进行连接。每个资源提供方402可通过计算机网络408连接到一个或多个计算装置404a、404b、404c(统称为404)。
[0109]
云计算环境400可包括资源管理器406。资源管理器406可通过计算机网络408连接到资源提供方402和计算装置404。在一些实现方式中，资源管理器406可促进一个或多个资源提供方402向一个或多个计算装置404提供计算资源。资源管理器406可从特定计算装置404接收对计算资源的请求。资源管理器406可识别能够提供由计算装置404请求的计算资源的一个或多个资源提供方402。资源管理器406可选择资源提供方402来提供计算资源。资源管理器406可促进资源提供方402与特定计算装置404之间的连接。在一些实现方式中，资源管理器406可在特定资源提供方402与特定计算装置404之间建立连接。在一些实现方式中，资源管理器406可将特定计算装置404重定向到具有请求的计算资源的特定资源提供方402。
[0110]
图5示出了可用于实现本公开中描述的技术的计算装置500和移动计算装置550的示例。计算装置500旨在表示各种形式的数字计算机，诸如膝上型电脑、台式机、工作站、个人数字助理、服务器、刀片服务器、主机和其他适当的计算机。移动计算装置550旨在表示各种形式的移动装置，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算装置。这里示出的部件、它们的连接和关系以及它们的功能仅意在作为示例，而不意在限制。
[0111]
计算装置500包括处理器502、存储器504、存储装置506、连接到存储器504和多个高速扩展端口510的高速接口508，以及连接到低速扩展端口514和存储装置506的低速接口512。处理器502、存储器504、存储装置506、高速接口508、高速扩展端口510和低速接口512中的每一者使用各种总线进行互连，并且可安装在共同主板上或以其他适当的方式安装。处理器502可处理用于在计算装置500内执行的指令，包括存储在存储器504中或存储装置
506上的指令，以在外部输入/输出装置(诸如，耦合到高速接口508的显示器516)上显示gui的图形信息。在其他实现方式中，可在适当时将多个处理器和/或多个总线连同多个存储器和多种类型的存储器一起使用。此外，可连接多个计算装置，其中每个装置提供必要操作的部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。因此，如本文所使用的术语，在多个功能被描述为由“处理器”执行的情况下，这涵盖其中多个功能由任何数量的计算装置(一个或多个)的任何数量的处理器(一个或多个)执行的实施方案。此外，在功能被描述为由“处理器”执行的情况下，这涵盖其中该功能由任何数量的计算装置(一个或多个)(例如，在分布式计算系统中)的任何数量的处理器(一个或多个)执行的实施方案。
[0112]
存储器504存储计算装置500内的信息。在一些实现方式中，存储器504是一个或多个易失性存储器单元。在一些实现方式中，存储器504是一个或多个非易失性存储器单元。存储器504也可以是另一种形式的计算机可读介质，诸如磁盘或光盘。
[0113]
存储装置506能够为计算装置500提供大容量存储。在一些实现方式中，存储装置506可以是或包含计算机可读介质，诸如软盘装置、硬盘装置、光盘装置或磁带装置、闪存存储器或其他类似的固态存储器装置，或者装置阵列，包括在存储区域网或其他配置中的装置。指令可存储在信息载体中。指令在由一个或多个处理装置(例如，处理器502)执行时进行一种或多种方法，诸如上述那些方法。指令还可由一个或多个存储装置存储，诸如计算机或机器可读介质(例如，存储器504、存储装置506或处理器502上的存储器)。
[0114]
高速接口508管理计算装置500的带宽密集型操作，而低速接口512管理较低带宽密集型操作。功能的这种分配只是示例。在一些实现方式中，高速接口508耦合到存储器504、显示器516(例如，通过图形处理器或加速器)并耦合到可接受各种扩展卡(未示出)的高速扩展端口510。在实现方式中，低速接口512耦合到存储装置506和低速扩展端口514。可包括各种通信端口(例如，usb、以太网、无线以太网)的低速扩展端口514可例如通过网络适配器耦合到一个或多个输入/输出装置，诸如键盘、定点装置、扫描仪或联网装置(诸如交换机或路由器)。
[0115]
计算装置500可以多种不同形式实现，如图所示。例如，它可被实现为标准服务器520或在一组这样的服务器中多次实现。另外，它可被实现在个人计算机中，诸如膝上型计算机522。它也可被实现为机架服务器系统524的一部分。替代地，来自计算装置500的部件可与移动装置(未示出)(诸如移动计算装置550)中的其他部件组合。这种装置中的每一者可包含计算装置500和移动计算装置550中的一者或多者，并且整个系统可由彼此通信的多个计算装置组成。
[0116]
移动计算装置550包括处理器552、存储器564、输入/输出装置(诸如显示器554)、通信接口566和收发器568，以及其他部件。移动计算装置550还可设置有存储装置，诸如微驱动器或其他装置，以提供附加存储。处理器552、存储器564、显示器554、通信接口566和收发器568中的每一者使用各种总线进行互连，并且可将部件中的若干部件安装在共同主板上或以其他适当的方式安装。
[0117]
处理器552可执行移动计算装置550内的指令，包括存储在存储器564中的指令。处理器552可被实现为芯片的芯片组，该芯片包括单独的和多个模拟和数字处理器。处理器552可提供例如移动计算装置550的其他部件的协调，诸如用户界面的控制、由移动计算装置550进行的应用程序运行和由移动计算装置550进行的无线通信。
[0118]
处理器552可通过控制接口558和耦合到显示器554的显示器接口556与用户通信。显示器554可以是例如tft(薄膜晶体管液晶显示器)显示器或oled(有机发光二极管)显示器，或其他合适的显示器技术。显示器接口556可包括用于驱动显示器554以向用户呈现图形和其他信息的适当电路。控制接口558可从用户接收命令并将它们转换以提交给处理器552。另外，外部接口562可提供与处理器552的通信，以便实现移动计算装置550与其他装置的近区域通信。外部接口562在一些实现方式中可提供例如有线通信，或在其他实现方式中可提供无线通信，并且也可使用多个接口。
[0119]
存储器564存储移动计算装置550内的信息。存储器564可被实现为一个或多个计算机可读介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元中的一者或多者。还可提供扩展存储器574并通过扩展接口572将其连接到移动计算装置550，该扩展接口可包括例如simm(单列直插式存储器模块)卡接口。扩展存储器574可为移动计算装置550提供额外的存储空间，或者也可为移动计算装置550存储应用程序或其他信息。具体地，扩展存储器574可包括进行或补充上述过程的指令，并且还可包括安全信息。因此，例如，扩展存储器574可作为移动计算装置550的安全模块提供，并且可被编程有准许安全使用移动计算装置550的指令。此外，可经由simm卡提供安全应用程序以及附加信息，诸如以不可破解的方式将识别信息放置在simm卡上。
[0120]
存储器可包括例如闪存存储器和/或nvram存储器(非易失性随机存取存储器)，如以下所讨论。在一些实现方式中，指令存储在信息载体中。指令在由一个或多个处理装置(例如，处理器552)执行时进行一种或多种方法，诸如上述那些方法。指令还可由一个或多个存储装置存储，诸如一个或多个计算机或机器可读介质(例如，存储器564、扩展存储器574或处理器552上的存储器)。在一些实现方式中，可例如通过收发器568或外部接口562在传播信号中接收指令。
[0121]
移动计算装置550可通过通信接口566进行无线通信，该通信接口在必要时可包括数字信号处理电路。通信接口566可在各种模式或协议下提供通信，所述模式或协议诸如gsm语音呼叫(全球移动通信系统)、sms(短消息服务)、ems(增强型消息服务)或mms消息(多媒体消息服务)、cdma(码分多址)、tdma(时分多址)、pdc(个人数字蜂窝)、wcdma(宽带码分多址)、cdma2000或gprs(通用分组无线业务)等。例如，这种通信可使用射频通过收发器568发生。另外，可能发生短距离通信，诸如使用wi-fi
tm
或其他这样的收发器(未示出)。另外，gps(全球定位系统)接收器模块570可向移动计算装置550提供附加的导航和位置相关无线数据，这些数据可由在移动计算装置550上运行的应用程序在适当时使用。
[0122]
移动计算装置550还可使用音频编解码器560进行可听通信，该音频编解码器可从用户接收语音信息并将其转换为可用的数字信息。音频编解码器560同样可为用户生成可听声音，诸如通过扬声器，例如在移动计算装置550的听筒中。这种声音可包括来自语音电话呼叫的声音，可包括记录的声音(例如，语音消息、音乐文件等)，并且还可包括由在移动计算装置550上运行的应用程序生成的声音。
[0123]
移动计算装置550可以多种不同形式实现，如图所示。例如，它可被实现为蜂窝电话580。它也可被实现为智能电话582、个人数字助理或其他类似的移动装置的一部分。
[0124]
本文描述的系统和技术的各种实现方式可在数字电子电路、集成电路、专门设计的asic(专用集成电路)、计算机硬件、固件、软件和/或它们的组合中实现。这些各种实现方
式可包括一个或多个计算机程序中的实现方式，该计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该至少一个可编程处理器可以是专用或通用的，其进行耦合以从存储系统、至少一个输入装置以及至少一个输出装置接收数据和指令并且向其传送数据和指令。
[0125]
这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可用高级过程和/或面向对象的编程语言和/或以汇编/机器语言实现。如本文所使用，术语机器可读介质和计算机可读介质是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、设备和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括接收机器指令作为机器可读信号的机器可读介质。术语机器可读信号是指用于向可编程处理器提供机器指令和/或数据的任何信号。
[0126]
在某些实施方案中，计算机程序包括一个或多个机器学习模块。如本文所使用，机器学习模块是指实现一个或多个特定机器学习算法的计算机实现的过程(例如，函数)。机器学习模块可包括例如一个或多个人工神经网络。在某些实施方案中，两个或更多个机器学习模块可组合并实现为单个模块和/或单个软件应用程序。在某些实施方案中，两个或更多个机器学习模块也可单独地实现，例如作为单独的软件应用程序。机器学习模块可以是软件和/或硬件。例如，机器学习模块可完全地实现为软件，或者cnn模块的某些功能可经由专用硬件(例如，经由专用集成电路(asic))来实施。
[0127]
为了提供与用户的交互，这里描述的系统和技术可被实现在计算机上，该计算机具有用于向用户显示信息的显示装置(例如，crt(阴极射线管)或lcd(液晶显示器)监视器)以及用户可用来将输入提供到计算机的键盘和定点装置(例如，鼠标或跟踪球)。其他种类的装置也可用来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且来自用户的输入可以任何形式接收，包括声音、语音或触觉输入。
[0128]
这里描述的系统和技术可在计算系统中实现，该计算系统包括后端部件(例如，作为数据服务器)，或包括中间件部件(例如，应用程序服务器)，或包括前端部件(例如，具有用户可用来与这里描述的系统和技术的实现方式交互的图形用户界面或网络浏览器的客户端计算机)，或这种后端、中间件或前端部件的任何组合。系统的部件可以通过任何数字数据通信形式或介质(例如，通信网络)进行互连。通信网络的示例包括局域网(lan)、广域网(wan)和互联网。
[0129]
计算系统可包括客户端和服务器。客户端和计算机一般彼此远离，并且典型地通过通信网络进行交互。客户端与服务器的关系由于在相应的计算机上运行并彼此具有客户端-服务器关系的计算机程序而产生。
[0130]
本文描述的不同实施方案的要素可组合以形成以上未具体地阐述的其他实施方案。要素可从本文描述的过程、计算机程序、数据库等删去，而不会不利地影响它们的操作。另外，图中描绘的逻辑流程不要求所示出的特定次序或顺序次序来实现期望的结果。各种分开的要素可组合成一个或多个单独要素来执行本文描述的功能。
[0131]
应当理解，步骤的次序或用于执行某些动作的次序并不重要，只要本发明保持可操作即可。另外，两个或更多个步骤或动作可同时地进行。
[0132]
尽管已经参考具体优选实施方案特定地示出和描述本发明，但是本领域技术人员
应当理解，在不脱离由所附权利要求书定义的本发明的精神和范围的情况下，可在本发明中对形式和细节做出各种改变。