用于预测和预防患者离开床的系统和方法与流程

1.本公开整体涉及监测床中的患者。


背景技术：

2.在医院或长期护理机构的背景中，大多数患者活动都在床上进行，患 者大部分时间都在床上度过。因此，负责任的护理者的主要职责包括监测 患者在床上时的安全性，例如以防止或响应患者跌落事件。患者跌落是在 这些机构中的严重且常见的问题，大约0.5％至0.75％的住院患者会发生跌 落，或每年大约一百万住院患者发生跌落。据估计，对已跌落的患者进行 额外护理所需的平均成本为约$14,000。此外，据信在医院中大约80％至 90％的这些跌落没有被护理者观察到。
3.同时，床内的患者的取向、姿势或姿态具有与健康相关的重大影响。 例如，许多疾病(诸如压力性溃疡、睡眠呼吸暂停、甚至腕管综合征)的 症状可受到睡眠姿势的影响。类似地，众所周知，在某些大手术后，通过 保持特定的取向或姿势，患者的恢复是最佳的。同样，孕妇通常被要求保 持某些睡眠姿势，以防止在床中对自身或胎儿造成伤害。


技术实现要素：

4.提供本发明内容是为了介绍将在下面的具体实施方式中进一步描述的 一系列概念。本发明内容不旨在识别要求保护的主题的关键或必要特征， 也不旨在用于帮助限制要求保护的主题的范围。
5.本公开的一个示例整体涉及一种使用相机监测床中的患者的方法。该 方法包括使用来自相机的数据识别床的边界，使用来自相机的数据识别患 者的部分，以及使用针对患者识别的部分确定患者的取向。该方法还包括 使用针对患者识别的部分监测患者的移动，以及基于患者的取向和患者的 移动来计算指示患者离开床的可能性的离开分数。该方法还包括将离开分 数与预先确定的阈值进行比较，以及当离开分数超过预先确定的阈值时生 成通知。
6.在某些示例中，该方法还包括使用来自相机的数据，区别于床的边界 来识别床的轨道的位置，其中离开分数部分地基于针对轨道识别的位置。
7.在某些示例中，该方法还包括基于所监测的移动来确定患者何时转 身，以及对转身的次数进行计数，其中离开分数部分地基于所计数的转身 的次数。
8.在某些示例中，通过测量针对患者识别的部分之间的距离并监测所测 量的距离的变化来确定患者的移动。
9.在某些示例中，该方法还包括确定来自相机的数据的照度级，以及将 照度级与阈值进行比较，其中当照度级至少等于阈值时，使用来自相机的 数据内的彩色图像来识别床的边界和患者的部分。
10.在某些示例中，相机是3d深度相机，其中当照度级低于阈值时，使 用来自相机的数据内的ir和深度帧来识别床的边界和患者的部分。
11.在某些示例中，该方法还包括使用彩色图像来识别床的轨道的位置， 其中离开分数部分地基于针对轨道识别的位置。
12.在某些示例中，离开分数是患者从床跌落的可能性的跌落分数，其中 该方法还包括使用来自相机的数据来识别患者的面部部分，分析面部部 分，以及基于面部部分分析来计算激动分数，其中离开分数进一步部分地 基于激动分数。
13.在某些示例中，面部部分包括眉毛，其中分析包括确定眉毛的形状。
14.在某些示例中，该方法还包括识别面罩，其中面部部分的分析仅包括 未被面罩阻挡的面部部分。
15.在某些示例中，床包括可移动轨道，并且该方法还包括当离开分数超 过预先确定的阈值时移动轨道。
16.在某些示例中，确定患者的取向包括确定患者是否坐起，其中离开分 数部分地基于患者是否被确定为坐起。
17.在某些示例中，该方法还包括确定部分是否在床的边界内部，其中离 开分数部分地基于部分是否被确定为在床的边界内部。
18.在某些示例中，针对床识别的边界以及针对患者识别的部分被输入到 神经网络中以用于确定患者的取向。
19.在某些示例中，该方法还包括识别床的边界，包括将作为来自相机的 数据的彩色图像、ir帧和深度帧中的至少一者与人工智能模型内的模型边 界进行比较。
20.根据本公开的另一个示例涉及一种其上具有指令的非暂态介质，该指 令在由处理系统执行时致使用于监测床中的患者的患者监测系统：操作相 机以对患者和床进行成像并且从相机输出数据；使用来自相机的数据来识 别床的边界；使用来自相机的数据来识别患者的部分；使用针对患者识别 的部分来确定患者的取向；使用针对患者识别的部分来监测患者的移动； 基于患者的取向和患者的移动来计算离开分数；将离开分数与预先确定的 阈值进行比较；并且当离开分数超过预先确定的阈值时生成通知。
21.在某些示例中，非暂态介质进一步致使患者监测系统使用来自相机的 数据，区别于床的边界来识别床的轨道的位置，其中离开分数部分地基于 针对轨道识别的位置。
22.在某些示例中，非暂态介质进一步致使患者监测系统：确定来自相机 的数据的照度级并且将照度级与阈值进行比较，其中当照度级至少等于阈 值时，使用来自相机的数据内的彩色图像来识别床的边界和患者的部分， 并且其中当照度级低于阈值时，使用来自相机的数据内的ir和深度帧中的 至少一者来识别床的边界和患者的部分。
23.在某些示例中，非暂态介质进一步致使患者监测系统在离开分数超过 预先确定的阈值时使床的可移动轨道移动。
24.根据本公开的另一个示例涉及一种用于使用生成作为彩色图像、ir帧 和深度帧的数据的3d深度相机来防止患者从具有可移动轨道的床跌落的方 法。该方法包括确定来自相机的数据的照度级，以及将照度级与阈值进行 比较，以及当照度级至少等于阈值时使用彩色图像并且当照度级低于阈值 时使用ir帧和深度帧中的至少一者来识别床的边界。该方法还包括当照度 级至少等于阈值时使用彩色图像并且当照度级低于阈值时使用ir帧和深度 帧中的至少一者来识别患者的部分。该方法还包括使用来自相机的彩色图 像来识别轨道的位置，以及测量针对患者识别的部分之间的距离，以及基 于在部分之间测量的距
离的变化来对患者的转身次数进行计数。该方法还 包括使用针对患者识别的部分来确定患者的取向，以及基于患者的取向、 针对轨道识别的位置以及患者的转身次数来计算跌落分数。该方法还包括 将跌落分数与预先确定的阈值进行比较，以及当跌落分数超过预先确定的 阈值时移动轨道。
25.本公开进一步涉及使用相机来预防第一对象和第二对象之间的碰撞。 该方法包括使用相机捕获第一对象和第二对象的图像以及访问点云的数据 库。该方法还包括在点云的数据库内识别对应于第一对象的第一点云和对 应于第二对象的第二点云，其中第一点云对应于作为人的第一对象。该方 法还包括计算第一对象和第二对象之间的距离，将距离与阈值进行比较， 以及当距离低于阈值时生成通知。
26.在某些示例中，其中用于第一对象的第一点云基于被识别为对应于第 一对象的第一掩膜，并且用于第二对象的第二点云基于被识别为对应于第 二对象的第二掩膜，其中第一对象和第二对象之间的距离在第一点云和第 二点云之间计算。在某些示例中，第一点云和第二点云之间的最近点用于 计算第一点云和第二点云之间的距离。
27.在某些示例中，第一对象是患者，并且该方法还包括识别患者在床 内，其中第二对象不是床。
28.在某些示例中，基于识别出患者在床内而将第一对象识别为患者，并 且该方法还包括在患者离开床之后保持将第一对象识别为患者。
29.在某些示例中，在来自相机的图像中捕获第三对象，并且该方法还包 括在点云的数据库内识别对应于第三对象的第三点云以及将第三对象识别 为护理者。在某些示例中，基于患者被识别为在床内来将第三对象识别为 护理者。在另外的示例中，该方法还包括当第三对象被识别为护理者时基 于第三对象来排除通知。
30.在某些示例中，该方法还包括基于将距离与阈值进行比较来确定碰撞 概率。在某些示例中，第一对象是床中的患者，并且该方法还包括确定患 者的取向，其中碰撞概率基于患者的取向而变化。在某些示例中，取向被 分类为仰卧、俯卧和侧卧中的一者。在某些示例中，对患者的取向改变的 次数进行计数，其中碰撞概率基于患者的取向改变的次数而变化。
31.在某些示例中，第一对象被识别为患者，其中患者具有身体部分，并 且其中对于身体部分中的每一者计算第一对象和第二对象之间的距离，其 中该方法还包括确定对于身体部分中的每一者到第二对象的距离何时小于 阈值。在某些示例中，通知包括患者及其身体部分的图像，并且该方法还 包括当与给定身体部分对应的距离小于阈值时，在图像内不同地显示身体 部分内的给定身体部分。在某些示例中，该方法还包括仅当与给定身体部 分对应的距离小于阈值时以给定颜色示出给定身体部分。
32.在某些示例中，第一对象和第二对象在病房内，其中相机在病房内， 并且其中通知是病房内的声音警报。
33.在某些示例中，计算第一对象和第二对象之间的距离以及将该距离与 阈值进行比较是实时进行的。
34.本公开还涉及一种其上具有指令的非暂态介质，该指令在由处理系统 执行时致使用于使用相机预防第一对象和第二对象之间的碰撞的系统：使 用相机捕获第一对象和第二对象的图像；访问点云的数据库；在点云的所 述数据库内识别对应于所述第一对象的
第一点云和对应于所述第二对象的 第二点云，其中所述第一点云对应于作为人的所述第一对象；计算第一对 象和第二对象之间的距离；将距离与阈值进行比较；并且当距离低于阈值 时生成通知。
35.在某些示例中，第一对象被识别为患者，其中患者具有身体部分，并 且其中对于身体部分中的每一者计算第一对象和第二对象之间的距离，其 中进一步致使系统确定对于身体部分中的每一者到第二对象的距离何时小 于阈值，其中通知包括患者及其身体部分的图像，并且其中进一步致使系 统在与给定身体部分对应的距离小于阈值时在图像内不同地显示身体部分 内的给定身体部分。
36.本公开进一步涉及一种使用3d相机通过以下方式来预防患者与第二 对象之间的碰撞的方法：使用3d相机捕获患者和第二对象的图像，以及访 问掩模的数据库。该方法还包括在掩模的数据库内识别对应于患者的第一 掩模和对应于第二对象的第二掩模，以及基于第一掩模生成用于患者的第 一点云并且基于第二掩模生成用于第二对象的第二点云。该方法还包括计 算第一点云和第二点云内的最近点之间的距离，确定患者的取向，以及基 于在第一点云和第二点云内的最近点之间计算的距离并且基于针对患者确 定的取向来确定碰撞概率。当碰撞概率超过阈值时生成通知。
37.本公开进一步提出了一种系统，其通过仅对患者的姿势进行分类，使 用基于ai的方法而不使用任何识别的解剖部分来确定患者的离开分数。
38.从以下结合附图的实施方式中，本公开的各种其他特征、目的和优点 将变得显而易见。
附图说明
39.参考以下附图描述本公开。
40.图1是躺在床上并由根据本公开的系统监测的患者的透视图。
41.图2是描绘根据本公开的进入离开分数评估模块的示例性输入的图 表。
42.图3是在确定如图2所示的患者转身次数、患者取向、从患者到床边 缘的距离和/或患者激动分数时的图像和分析的俯视图。
43.图4是根据本公开的用于生成离开分数和所得输出的过程流程的一个 示例。
44.图5是可结合在图4的过程中的子过程的过程流程。
45.图6是在执行图5的过程时进行的图像和分析的俯视图。
46.图7是在执行执行图5的过程的替代实施方案的过程中进行的图像和 分析的俯视图。
47.图8是可结合在图4的过程中的图5的子过程的另选子过程的过程流 程。
48.图9a至图9c描绘了在执行图8的子过程时进行的图像和分析。
49.图10是用于确定转身次数的过程流程，该过程流程诸如可使用图3的 图像和分析来执行。
50.图11是用于确定从患者到床边缘的距离的过程流程，该过程流程诸如 可使用图3的图像和分析来执行。
51.图12是根据本公开的用于确定患者的取向的示例性点云模型。
52.图13是根据本公开的描绘使用系统检测的离开事件的俯视图像。
53.图14a和图14b是用于确定诸如图2所示的患者激动分数的患者和分 析的透视图。
54.图15描绘了用于基于图14a和图14b的图像确定患者激动分数的示 例性过程流程。
55.图16是用于操作根据本公开的系统的示例性控制系统。
56.图17是根据本公开的用于检测和预防患者碰撞的示例性过程。
57.图18是图17的过程的示例性子过程。
58.图19示出了来自图18的子过程的示例性输出。
59.图20a至图20b示出了图19的输出内的四个对象的边界框和对象掩 膜以及3d对象框。
60.图21a至图21c示出了根据本公开生成的示例性点云。
61.图22示出了根据本公开的被分类为患者和操作者的图像内的对象。
62.图23是根据本公开的用于检测和预防患者碰撞的另一个示例性过程。
63.图24a至图24b示出了根据本公开的用于确定碰撞分数的另一个示例 性过程。
64.图25至图26示出了根据本公开的使用人工智能和非人工智能技术的 患者周围的患者边界。
65.图27至图30描绘了由根据本公开的系统进行分类的患者取向的示例 性类别。
66.图31是根据本公开的用于确定离开分数的示例性过程。
67.图32至图39描绘了由根据本公开的系统进行分类的患者取向的附加 示例性类别。
具体实施方式
68.本公开整体涉及用于预测和预防患者离开床的系统和方法。如下文进 一步讨论的，该预测和预防可以通过检测患者和床的位置、患者在床中的 位置、患者在床内的取向、患者的不安、激动和/或情绪等来实现。如在整 个本公开中所使用的，离开包括当患者处于有意识、潜意识、创伤和无创 伤状态时意外跌落以及有目的地脱离床。在某些示例中，系统和方法包括 使用深度学习和/或人工智能(ai)，如下文进一步讨论的。护理者可使用 该信息来监测患者离开床的风险，识别可能离开，识别已经发生离开，并 且/或者采取动作来预防这样的离开(例如，通过警报和/或自动部署的安全 措施)。
69.本发明人还认识到，患者离开的风险随着各种认知损害的存在而进一 步增加。这些认知损害可能是例如疾病状态、术前药物或术后护理的结 果。除了损害认知之外，患者还可能在这些时间期间不太稳定，并且/或者 由于认知损害而具有增加的激动状态，其中每一者都可进一步增加跌落的 风险。应当认识到，例如，当患者不应该脱离床时，这种认知损害也可能 增加有意脱离床的风险。
70.图1描绘了根据本公开的系统10的示例性使用情况。图1描绘了具有 底板2和墙壁4的房间1，其中相机12被定位成捕获房间1和其中的物品 的图像(静止和/或视频)。通过示例的方式，相机12可捕获8位图像(例 如，100
×
100像素帧)、32位图像(例如，1920
×
1080像素帧)或其他大小 和/或纵横比。相机12经由通信系统16(例如，无线协议，诸如wi-fi)进 行通信以用于传送到监测系统或中央位置，该监测系统或中央位置可以是 如本领域常规已知的护理者监测站18(图15)(例如，ge healthcare的 mural虚拟护理解决方案)。患者20
被示出为停留在床70上。在所示示例 中，仅患者20的部分是可见的(即，未被毯6覆盖)，包括头部22、身体 50、臂52、肩54、腿56和脚58。本发明人已经识别出，本领域目前已知 的系统不能够与使用毯或宽松的衣服(例如，病号服)一起起作用，因为 它遮挡了患者的基础解剖结构。特别地，本领域已知的系统依赖于识别特 定特征，诸如患者的膝、肩或髋，以监测患者在床中的位置。如果这些点 被毯或厚重的衣服遮挡，则这些现有技术系统变得无用，并且患者处于跌 落的风险。虽然本发明公开的系统也可识别并使用这些身体部分的位置， 但是这些部件不必可见，如下文进一步所述。
71.床70具有由搁置在地板2上的框架71支撑的床垫72。四个拐角c限 定床70。床70包括四个轨道82，其中一个轨道被示出为处于降低位置以 允许患者脱离，其余三个轨道被示出为处于升高位置。轨道82是可调整 的，并且特别是可经由轨道硬件84以常规方式在这些升高位置和降低位置 之间移动。在某些示例中，轨道84经由马达机械地移动。图1的床70还 包括床尾板80，其中图3的床70也具有床头板78。其他对象90也可在相 机12的视场内，如图1所示，诸如此处所示的示例性医疗装备。
72.图2描绘了根据本公开的到用于生成离开分数的离开分数评估模块95 的示例性输入。如下文将进一步讨论的，离开分数指示患者离开床的可能 性，其可以是意外跌落(因此也被称为跌落分数)或有意脱离(也被称为 脱离分数)。为简单起见，离开分数将主要在无意跌落(即，跌落分数) 的上下文内进行描述。然而，相同或类似的技术也适用于确定脱离分数， 如下文进一步讨论的。同样，下面主要讨论的用于确定脱离分数的技术 (也参见图25至图39)可用于检测跌落分数。
73.在所示的示例中，第一输入91涉及患者转身的次数，第二输入92涉 及患者取向，第三输入93涉及从患者到床边缘的距离，并且第四输入94 涉及患者激动分数，其中的每一者根据本公开确定，如下文所讨论的。应 当认识到，这些输入仅仅是示例，在根据本公开确定离开分数时，这些输 入可被排除或补充有其他输入。
74.现在进一步详细地描述到离开分数评估模块95的输入。如将显而易见 的，一些相同步骤和初步分析对于到离开分数评估模块95的多个输入是共 同的。参考图3，在由相机12收集的床70中的患者20的图像中限定四个 象限q1-q4。特别地，系统10使用下文进一步讨论的技术来识别患者20 的髋60，包括经由使用深度学习和/或人工智能将图像与模型进行比较。例 如，使用我们的关键解剖热点检测算法来识别髋60。然后在髋60之间识别 中心点61，例如作为其间的中点。提供了用于限定象限的中心轴线ca， 其延伸穿过患者20的髋60之间的中心点61，并且同样，提供了穿过中心 点61的垂直于中心轴线ca的中间轴线ma。
75.针对患者20识别的示例性解剖热点p在图3和图6的图像上示出，包 括肩54、手55和脚58。一旦针对患者20识别出这些热点p，则可以在给 定热点p与其他热点p之间以及给定热点p与其他界标之间进行测量。例 如，可以在任何对热点p之间计算热点之间的距离dp，以及在给定热点p 和床70的边界b之间计算到边缘的距离de，由此下面进一步描述边界b 的识别。同样，可以在给定热点p和中心轴线ca之间计算到中心的距离 dc，以及在中心轴线和床70的边界b之间计算从中心轴线到边缘的距离 dcae。
76.然后可以使用测量或计算的距离来随时间推移监测患者的移动和患者 的取向，以识别任何变化，例如患者20翻身或坐起。在图3的示例中，患 者的右肩54被识别为在第一象限q1中，并且左肩54在第二象限q2中。 使用该信息以及肩54的热点之间的距离dp，可以
确定患者目前正在仰 卧。然而，对于肩54识别的象限和/或在其间的解剖热点之间的距离dp的 变化可用于确定患者已经移位(或转身)为例如躺在左侧或右侧。类似 地，如果肩54中的一者或两个稍后被识别为在第三象限q3或象限q4中， 则可以确定患者20坐直。在第三象限q3内识别右肩54的示例中，患者 20可坐直并转身，并且/或者根据其他关键热点p的位置和到热点的距离而 离开床70，如上所述。
77.本发明人进一步开发了一种系统，该系统用以即使在床的上半部倾斜 时也使用我们的基于点云的方法来识别患者是处于坐立位置还是处于睡眠 位置。在某些示例中，通过计算上部身体的角度与下部身体的角度之间的 差值来确定坐立或躺卧(睡眠)位置。特别地，床70可被视为用作参考的 地面平面。使用相机深度帧和本领域已知的滤波技术来隔离仅用于患者的 点云(即，排除床和附近的任何装备)，以生成备用滤波点云。还使用本 领域已知的技术从备用滤波点云中的点云去除噪声。然后将备用滤波点云 分成上部身体和下部身体的部分，然后将其用于相对于地面平面拟合到上 部身体平面和下部身体平面。然后，上部身体平面与下部身体平面之间的 差异可以被确定为其间的n角度。如果差异至少为45度，则患者将被确定 为坐立，而小于45度将被视为对应于睡眠或躺卧位置。
78.图4进一步详细描述了用于使用上文讨论的热点p的识别和比较来确 定根据本公开的患者转身的次数的示例性过程100。执行这些步骤中的每个 步骤的附加细节如下。如上所讨论的，所确定的患者转身的次数可以被提 供为到图2的离开分数评估模块95的第一输入91。步骤102规定使用从相 机12收集的数据来识别床70的床边界。提供了用于基于房间1的配置、 房间1中的照明以及影响从相机12收集的数据的辨别能力的此类或其他因 素来执行步骤102的不同子过程，其在下文进一步讨论。步骤104规定使 用来自相机12的数据识别关键解剖热点p，如所讨论的，可以通过与模 型、人工智能和/或深度学习的比较来识别该关键解剖热点p并将其与患者 20的个体身体部分关联。例如，可以使用tensorflow、keras、python、 opencv、深度学习和/或计算机视觉。
79.在某些示例中，使用从深度帧提取的点云数据、经处理的深度帧数据 以及由深度、颜色和红外帧的组合组成的numpy阵列来训练神经网络。另 外，如上所讨论的解剖热点在由以下产生的某些示例中：
80.●
使用基于图像的分割与深度先验来识别患者轮廓。
81.●
从具有深度距离和基于形状的短程线分割的图像中减去所有非患 者区域。所得输出现在将仅具有患者相关的像素/轮廓。
82.●
将患者特定轮廓馈送到16层深度神经递归网络，该网络将输出患 者的聚类的分层渐进网格模型。该渐进网格将由人体的各个区段 的类别激活区域组成。
83.●
另一个8层深度神经网络使用解剖形状和纹理来识别渐进患者网 格中的各种旋转区段，由此旋转区段包括与解剖关节(例如膝、 髋和肩)相关联的那些旋转区段。
84.●
然后将这些基于旋转区段的解剖形状和纹理映射到患者轮廓的几 何内侧轴线，从而创建旋转区段的解剖热点。
85.●
一旦识别出旋转区段的解剖热点，就可以将基于链规则的近似与 基于区域的焦点损失相结合，以解决沿患者内侧轴线存在的各种 其他非旋转解剖区段的类别不平衡。非旋转解剖区段的示例包括 眼睛、鼻、耳、胸部和腹部。这些非旋转解剖区段由另一深度神 经网络基于焦点损失和基于区域的特征金字塔图来识别。
86.●
使用上文所识别的旋转解剖热点的边界的中值来识别旋转解剖热 点的中点。
87.●
通过计算由基于焦点损失和区域的特征金字塔图混合神经网络生 成的边界的中值来确定非旋转热点的中点。
88.继续参考图4，步骤106规定测量热点p(和其他热点p，例如床70 的边界b，和/或到中心轴线ca)之间的距离，由此然后监测这些测量的 距离随时间推移的变化。然后，步骤108规定基于这些测量的距离确定患 者的取向。例如，步骤108可确定如果与肩54相关联的热点p的热点之间 的距离dp处于间隔开的最大预期距离(在相机12的视场中)并且面部可 见，则患者处于仰卧位置；或者当一个肩54部分可见或不可见时，患者侧 卧，在这种情况下，肩54之间的热点之间的距离dp将相对于仰卧位置减 小。以类似的方式，系统10可用于确定患者何时以俯卧位置在他们的胃上 打滚，这可以通过识别和隐藏面部的特征(例如左眼32l或右眼32r不可 见)与仰卧位置区分开。随着上面测量的距离变化，本发明人还开发了基 于ai的方法以确定患者的取向。在某些示例中，发明人在具有多个取向的 超过10,000个图像上训练深度学习模型，并开发了用以确定患者的取向的 系统。
89.步骤110规定通过确定某些解剖热点p(诸如肩54或髋60)何时改变 象限，以及监测这些之间的热点p之间的距离来对患者20转身的次数进行 计数，如上所讨论的。换句话说，每次确定患者20在其左侧卧、右侧卧、 仰卧或俯卧之间改变时，患者转身的次数增加1。此外，每次患者20的关 键解剖热点在象限之间进行改变时，患者转身计数递增1。
90.步骤112规定确定轨道82的位置，特别是它们是处于升高位置还是降 低位置。如下文进一步讨论的，这可以使用从相机12收集的颜色、ir和/ 或深度数据来确定。基于在步骤110中相对于持续时间确定的患者已经转 身的次数(在某些示例中，每50帧或大约2秒跟踪)以及在步骤112中轨 道82的位置，在步骤114中计算跌落分数，如下文进一步讨论的。在某些 示例中，还确定激动分数并将其结合到跌落分数中。
91.在步骤116中将该离开分数与阈值进行比较，该阈值可作为阈值数据 118存储在存储器系统cs120中(参见图16)。如果确定离开分数不超过 阈值，则过程返回到步骤102。相反，如果在步骤116中确定离开分数以超 过阈值，则过程100规定在步骤120中生成通知，这可在护理者监测站18 (图15)和/或医院房间本身(例如，声音警告和/或警报)中发生，并且/ 或者自动调整床70。在某些示例中，步骤122规定自动接合轨道82以在离 开分数超过阈值时向上移动到直立位置(作为步骤120的通知的补充或代 替)。例如，这可能在患者的每个解剖部分都在床内时发生，由此导致轨 道自动向上移动以防止患者跌落或移出。
92.如上所讨论的，本公开考虑了用于执行图4的步骤102的多个子过 程，即使用来自相机12的数据来识别床70的边界b。图5提供了用于执行 该步骤102的过程200。该过程开始于步骤202，该步骤基于由相机12获 得的图像来确定在房间1中照度是否为低。如果确定照度为低，意味着单 独的来自彩色图像的数据将不足以用于识别患者身上的必要解剖热点p、 床的边界b和/或其他界标，该过程在步骤204处继续，这要求在相机12的 数据中获得红外和深度帧。如果照度不低，则在步骤206处从相机12获得 彩色帧。无论使用彩色帧还是红外和深度帧(或两者)，步骤208规定使 用人工智能(ai)模型对彩色帧或红外和深度帧执行推断。可以使用以下 方法/工具中的一者或多者来执行建模和比较：tensorflow、keras、python、opencv、深度学习和计算机视觉。然后使用在步骤208中来自ai 模型的这种推断结果来获得图4的步骤210中床70的边界b的坐标。
93.图6描绘了在图5所示的过程200的步骤206中获得的示例性彩色 帧。在该示例中，由相机12获得的图像的照度足以识别床70的拐角c， 并且因此通过与存储在ai模型中的图像进行比较可用于由此确定床70的 边界b(即，确定边界b的第一示例性方法)。相比之下，图8提供了用 于在图5的过程200中使用在步骤204中获得的红外和深度帧的方法 (即，用于确定边界b的第二示例性方法)。在此示例中，图7中所示的 红外和深度图像足够清晰以成功地识别和关联在步骤208处的ai模型内的 图像，从而推断床70的边界b。基于非ai的方法包括本领域已知的技术 的组合，诸如床的边缘检测、边缘的非最大值抑制、寻找床曲率的局部最 大值和最小值、以及床面积的梯度短程线轮廓。
94.相比之下，图8和9a至图9c提供了用于再次使用红外和深度图像来 确定边界b的坐标的第三示例性方法，示出为过程300。在图8的过程300 中，步骤302规定识别大致床70区域的四个拐角c，由此然后在步骤304 中使用拐角c来训练与当前捕获的图像与存储在ai模型中的那些图像相对 应的实例算法。相对于涉及通常预期的配置的基础算法，“实例”算法用 于适配对房间1的特定配置的建模。在某些示例中，使用ai方法的床边界 识别是双重方法。首先，较大床边界由神经网络确定，该神经网络大致识 别整个视频帧中的床的区域。其次，另一神经网络将较大边界视为输入， 并且生成床边缘的基于曲率的实例，并且然后将曲率实例适配或拟合到深 度帧中可见的床的真实轮廓。床的各种曲率区段之间的区别和适配曲率区 段的变化是通过床边界的基于实例的分割来执行的。一旦确定了作为闭环 不规则曲率面积或边界的床边缘的基于实例的区段，就可以采用基于非ai 的最小最大定位方案来将床形状和边界框近似为实际上呈梯形形状的床边 缘。
95.步骤306规定识别床的多边形实例，然后在步骤308中将该多边形实 例转换为梯形。图9a描绘了来自相机12的示例性深度帧16d。在所示的 深度帧16d中，第一区域r1(此处为以黑色示出的最暗部分)对应于在第 一距离(此处对应于房间的地板)处获得的数据。这与第二区域r2形成对 比，该第二区域对应于与第一区域r1的检测距离相比基本上更接近相机12的检测距离。此处，基于床70在框架内的定位、距相机12的距离和/或 总体形状，假定第二区域r2对应于床70。第一区域r1与第二区域r2之 间的鲜明对比允许系统10识别对应于床70的总体轮廓的多边形pg。图 9b然后示出了在红外帧(ir帧16i)上确定的该多边形pg的叠加，其可 以用于进一步识别床70的其他特征，诸如轨道82和床头板78。如图9c所 示，在组合ir和深度帧15中计算梯形边界b。在该示例中，ir深度帧15 中的ir和深度数据的组合不仅提供对床70的边界b的正确梯形形状的确 认，而且还可以用于识别躺在其中的患者20。
96.图10提供了用于确定床70中的患者20的转身次数的示例性过程400 的更多细节，如上所讨论的，其可用作到用于确定离开分数的跌落分数评 估模块95的第一输入91(图2)。步骤402开始于使用发明人自身专有的 解剖热点检测算法计算或识别患者20身上的关键解剖热点p。步骤404规 定确定是否已在对于患者20可见的解剖热点p中识别左肩和右肩54。如果 不是，则在步骤406中为患者20考虑被检测为p的另选解剖热点p(左 髋、右髋、左膝、右膝)。然后，该过程继续到步骤408，由此系统10确 定所选择的解剖热点p是否在先前由上述方法中的一种方法识别的边界b 内。如果这些热点p未被识别为在床边界b内，则在步骤410处识别边界 b内部的另选热点p。过程继续步骤412，其监测由所考虑的解剖热点p进 行的象限变化的数量并对其进行计数。在步骤414中提供了所计数的这种 转身次数的
输出，其可在图4的过程100中用于计算离开分数。
97.图11提供了用于确定患者20的关键解剖热点p与床的边缘(表示为 边界b)之间的距离的示例性方法500，如图2所示，该距离可用作到离开 分数评估模块95的第三输入93以确定离开分数。在步骤502中，例如以 与上述步骤402相同的方式在患者20上识别关键解剖热点p。在图11的示 例性步骤504中，识别解剖热点p：鼻26、左耳30l、右耳30r、左眼 32l、右眼32r、左膝、右膝、左肩、右肩和髋60。然而，应当认识到，在 步骤504中可以使用更多或更少的点p。例如，可以使用各种建模技术来识 别这些解剖热点p。
98.步骤506然后确定是否已经在由相机12提供的图像中检测到被选择用 于识别的所有热点p。如果不是，在步骤508中仅使用图像中检测到的解剖 热点p。过程然后通过在步骤510中确定在图像中选择和检测到的所有热点p是否也在床70的边界b内部而继续。如果不是，步骤512规定仅使用已 经被识别为在床70的边界内的那些热点p。然后，该过程在步骤514处继 续，这规定计算被识别为在床边界b内部的解剖热点p到床边界b的两侧 之间的平均距离(也被称为这些点p的到边缘的距离de)。在步骤516中 确定到床边界b的侧面的最小距离，或者换句话说，确定患者20最接近床 边界b的哪一侧，这在步骤518中输出，例如用作图2中的第三输入93。
99.图12描绘了为确定床70内的患者取向而创建的模型17，例如作为到 图2的离开分数评估模块95的第二输入92。除了确定患者20是否处于如 上所述的仰卧、俯卧、左侧卧或右侧卧位置之外，图2的第二输入92可进 一步结合患者20是躺在还是坐在床70中。图12描绘了作为由相机12产生 的图像所生成的模型17的示例性点云，例如使用通过如上所讨论的滤波点 云技术生成的患者模型。通过测量相机与患者身体上的每个点之间的距 离，利用深度帧生成该滤波器点云。一旦生成基于相机的点云，便将其转 换为世界坐标系以用于进一步计算和处理。这包括将相机坐标映射到物理 真实世界坐标。
100.在所示的示例中，系统10规定基于针对患者20识别的解剖热点p识 别上部身体区段36和下部身体区段38。例如，上部身体区段36被限定为 在肩54和中间髋部60之间延伸，而下部身体区段38例如从髋60延伸到脚 58。然后可将躯干角度39确定为上部身体区段与下部身体区段38之间的 角度。系统10然后可基于该躯干角度39来确定患者20是坐立还是躺下。 例如，系统10可被配置成每当躯干角度39小于或等于45度时就确定患者 20正在躺下。
101.本发明人已经认识到，对患者20是躺下还是坐起的这种确定是高度信 息性的，因为当患者坐起时跌落(或以其他方式脱离)的风险更大。例 如，坐起指示患者是醒着的并且因此可以决定到达床70之外的对象(失去 平衡并跌落)，并且/或者可尝试脱离床70。因此，例如，确定患者20坐 起比起躺下得到更高的离开分数。
102.图13描绘了从相机12捕获的图像和用于识别患者20的离开事件的对 应过程600。过程600规定在步骤602中获得相机帧，在步骤604中将该相 机帧馈送到离开分数评估模块中。在图13所示的图像中，对应于患者的左 髋60的点p的到边缘的距离de被示出超过边界b，这意味着该点p不再 位于边界b内部。该信息随后被解释为意味着患者20已经离开床70。在 某些示例中，使用启发式方法经由包括以下作为输入的算法来确定离开分 数：患者在床边界内转身的次数，关键解剖点之间的豪斯多夫和/或欧几里 得距离，患者的取向(如基于姿势分类通过深网确定的)和位置(例如， 在坐立和躺下之间，由患者的点云结构确定)
的变化，将患者平面映射到 床平面，以及激动分数。如下文进一步讨论的，激动分数用于预测患者的 情绪状态和/或舒适度，例如通过确定面部特征(诸如眉毛)的角度和嘴周 围的曲率。
103.应当认识到，其他热点p可用于评估患者20是否已离开或接近离开床 70。本发明人已经认识到，对于简单地指示在边界b外部的离开，某些解 剖热点p不如其他解剖热点有效，诸如手或脚相对于髋60。然而，例如， 但是，在边界b外部的脚可呈现比手更高的离开指示。同样，膝可以比脚 更指示离开，并且肩可以比手更指示离开，它们都可存储在离开分数评估 模块中以用于确定离开分数。其他考虑因素包括当确定给定热点p在边界 b外部时其他热点p在床70内的位置。例如，与患者20以其他方式居中在 中心轴线ca处相反，如果肩54(同时保持在边界b内)到边缘的距离de 低于给定阈值(例如，在6英寸或1英尺内)，则在边界b外部的手可以 更指示患者20跌落或以其他方式脱离床70。
104.图14a和图14b提供了用于确定患者激动分数的附加信息，其可以作 为第四输入94提供到图2的离开分数评估模块95。本发明人已经识别出， 通常由情绪或身体不适引起的患者激动可通过分析面部表情来确定，并影 响患者移动、到达或试图脱离床70的可能性。在某些示例中，经由六种 (例如)不同的基于深度学习的计算机视觉算法(在给定架构上开发为主 干)的比较来确定激动分数：mobilenet v2算法、inception v3算法、vgg
‑ꢀ
16算法、cnn算法、yolov3算法和/或retinanet算法。在某些示例中， 根据患者的状况选择所有这些中的最佳工作模型。使用这些算法中的一者 或多者，系统10然后通过执行以下中的一项或多项来确定激动分数：检测 患者的取向(例如，躺下与坐起)，检测患者20的眼睛和/或嘴是否张开， 检测患者20的面部表情(例如，眉毛位置、嘴位置)，检测患者20的移 动，检测患者是否佩戴面罩，以及如果存在的话，检测面罩是否正确佩戴 (例如，鼻和嘴不应该是可见的)。应当认识到，这些面罩也可以是氧气 面罩或其他类型的面罩，诸如经常佩戴以防止covid-19病毒扩散的布覆 盖物。然后可以根据是否检测到面罩来执行单独的激动分数计算(例如， 当面罩存在时，对患者的未覆盖的热点p进行优先级排序)。
105.在图14a的示例中，与存储在存储器中的模型相比，患者20被确定为 停留在具有非激动面部表情的非激动位置。具体地，手55已经被识别为处 于向下或静止位置，同时患者的肩54也静止在床70上。
106.在该示例中，面罩96已被识别为定位在患者20的头部22上，例如通 过与深度学习或ai建模进行比较。因此，用于保持可见的特征(例如，左 眼32l、右眼32r、左眉毛34l和右眉毛34r、前额、脸颊的可见部分)的 权重可以相对于其中不存在面罩96的条件而增加(这然后也可考虑嘴和其 他特征的形状)。因此，在图14a的示例性图像中，激动分数可以相对较 低，例如在1-100的标准化标度上为1.66，因为似乎患者20正在平静地休 息。
107.相比之下，图14b示出了坐起的患者20，除了别的之外，这可通过观 察肩54现在相对于床70处于向上位置来识别。同样，患者20的这些面部 特征中的一些面部特征在其间具有不同的热点之间的距离dp，因为面部不 垂直于照相机12。换句话说，在给定相机12的向下角度的情况下，当患者 20坐起与躺下时，眼睛与鼻之间的热点之间的距离dp减小。然后可通过 分析可见面部特征来评估激动，就像当患者20躺下时一样。
108.在某些示例中，通过导出关键患者区域(例如，眼睛、眉毛或嘴周 围)的向量来确定激动分数。这包括通过基于区域的形状检测方案估计患 者是否佩戴氧气面罩。一旦确定
了氧气面罩的形状，就计算该形状的轮 廓，随后使用基于短程线形状的计算技术来计算封闭在闭环轮廓内的面 积。然后将氧气面罩的面积映射到深度帧(在以本领域已知和本文描述的 方式减去背景之后)。这有助于保持面罩区域的深度(f(z))和像素值 (f(x,y))。然后，这些值基于相机倾斜角和/或氧气面罩中心的中心与患者 的鼻的中心之间以及氧气面罩的中心与患者前额的中心之间的偏移进行归 一化。这被认为是实体a。
109.接下来，使用基于曲率识别的深度神经网络计算由眉毛、脸颊、前额 曲率形成的角度，通过该深度神经网络导出局部最大值、最小值、梯度和 倾斜度。然后将这些值馈送到深度神经网络以预测激动指数。然后通过以 下方式计算激动分数：将激动指数加到实体a上，然后除以由患者臂和腿 中引起的运动频率获得的和(如本公开中所述)。通过从一个相机帧到另 一个相机帧的像素差方法来确定运动。
110.系统10可以进一步被配置成识别并考虑手55也紧邻鼻26，这指示患 者通常不舒服(例如，摩擦眼睛、调整面罩28等)。
111.使用上文所讨论的输入，离开分数评估模块95输出在1-100范围内的 离开分数，其中100指示实际离开正在发生或已发生。在某些示例中，用 于生成通知的预先确定的阈值为100中的x，并且用于调整床或接合轨道 的阈值为100中的x。在某些示例中，每60帧成像数据预测离开分数，在 30fps相机12的示例中，这将是例如每2秒一次。离开分数预测可以作为 以下的函数提供：
112.●
确定为第一输入91的转身次数(每60帧成像数据进行预测，在 30fps相机12的示例中，这将是每2秒一次)
113.●
位置的变化(例如，如在大约2秒内确定)
114.●
取向的变化(例如，如在大约2秒内确定)
115.●
患者20的热点p和床的边界b之间的最小平均豪斯多夫和/或欧几 里得距离(例如，患者到边缘的距离最近，使用上文讨论的到边 缘的距离de测量作为第三输入93)，
116.●
如上文针对第四输入94所讨论的激动分数
117.以此方式，大约每2秒确定离开分数。
118.图15进一步描绘了该过程，由此例如经由如上所述的元件704、706 和708将解剖热点映射到毯或另一遮挡物品(例如，宽松的衣服)。以此 方式，大约每2秒确定离开分数。
119.图16描绘了根据本公开的用于执行本公开的方法或执行来自非暂态介 质的指令以预测和/或预防患者从床上跌落的示例性控制系统cs100。应当 认识到，本公开的某些方面被描述或描绘为功能和/或逻辑块部件或处理步 骤，其可以由被配置成执行指定功能的任何数量的硬件、软件和/或固件部 件执行。例如，某些示例采用集成电路部件(诸如存储器元件、数字信号 处理元件、逻辑元件、查找表等)，这些集成电路部件被配置成在一个或 多个处理器或其他控制设备的控制下执行各种功能。功能部件和逻辑块部 件之间的连接仅仅是示例性的，其可以是直接的或间接的，并且可以遵循 另选的路径。
120.在某些示例中，控制系统cs100经由通信链路cl与系统10的一个或 多个部件中的每个部件通信，该通信链路cl可以是任何有线链路或无线链 路。控制模块cs100能够通过经由通信链路cl发送和接收控制信号来接 收信息和/或控制系统10及其各种子系统的一个或多个操作特性。在一个示 例中，通信链路cl是控制器局域网(can)总线；然而，可使用其他类 型的链路。将认识到，连接程度和通信链路cl实际上可以是系统10中的 部件中的
一些部件或所有部件之间的一个或多个共享连接或链路。此外， 通信链路cl线路仅意在展示各种控制元件能够彼此通信，并且不表示各种 元件之间的实际布线连接，它们也不表示元件之间的唯一通信路径。另 外，系统10可结合各种类型的通信设备和系统，并且因此所示的通信链路 cl可实际上表示各种不同类型的无线数据通信系统和/或有线数据通信系 统。
121.控制系统cs100可以是计算系统，该计算系统包括处理系统cs110、 存储器系统cs120和输入/输出(i/o)系统cs130(其用于与其他设备通 信，诸如输入设备cs99和输出设备cs101)，它们中的任一者也可以或另 选地存储在云1002中。处理系统cs110加载并执行来自存储器系统cs120 的可执行程序cs122，访问存储在存储器系统cs120内的数据cs124，并 且指示系统10如下文进一步详细描述的那样操作。
122.处理系统cs110可被实现为单个微处理器或其他电路，或者分布在协 作以执行来自存储器系统cs120的可执行程序cs122的多个处理设备或子 系统上。处理系统的非限制性示例包括通用中央处理单元、专用处理器和 逻辑设备。
123.存储器系统cs120可包括能够由处理系统cs110读取并且能够存储可 执行程序cs122和/或数据cs124的任何存储介质。存储器系统cs120可被 实现为单个存储设备，或者分布在协作以存储计算机可读指令、数据结 构、程序模块或其他数据的多个存储设备或子系统上。存储器系统cs120 可包括易失性和/或非易失性系统，并且可包括以任何方法或技术实现的用 于存储信息的可移动和/或不可移动介质。例如，存储介质可包括非暂态和/ 或暂态存储介质，包括随机存取存储器、只读存储器、磁盘、光盘、闪 存、虚拟存储器和非虚拟存储器、磁存储设备，或可用于存储信息并由指 令执行系统访问的任何其他介质。
124.附图中提供的功能框图、操作序列和流程图表示用于执行本公开的新 颖方面的示例性架构、环境和方法。虽然为了简化说明的目的，本文包括 的方法可以是功能图、操作顺序或流程图的形式，并且可以被描述为一系 列行为，但是应该理解并认识到，方法不受行为顺序的限制，因为一些行 为可以根据其与不同的顺序发生和/或与本文所示和所述的其他行为同时发 生。例如，本领域技术人员应当理解并认识到，方法可以另选地表示为一 系列相互关联的状态或事件，诸如在状态图中。而且，并非所有方法中所 示的行为都可能是新颖实现所必需的。
125.本公开进一步涉及检测和预防患者的碰撞，无论是否在床中或床中， 本发明人已经认识到医院和其他护理设施中的另外、严重和常见的安全问 题。与如上所述的患者跌落一样，已经遭受碰撞的患者所需的额外护理是 相当大的，比没有涉及碰撞的患者大几乎一万四千美元，并且在百分之八 十和百分之九十之间的碰撞通常是未被观察到的。由于问题的性质，开发 准确和稳健的实时方法来检测和预防这些患者碰撞是本领域目前未解决的 主要挑战。除了当患者在床上和在床外时检测和预防碰撞之外，变得显而 易见的是，关注的碰撞是在患者和其他人之间，不管是其他患者、护理 者、家人还是朋友，以及患者和房间中的对象(诸如床、家具和/或医疗装 备)之间的碰撞。
126.也将显而易见的是，在离开分数(跌落或脱离)的上下文中讨论的教 导内容中的一些教导内容可用于检测和避免碰撞的过程中，并且反之亦 然。本发明人注意到，在围绕检测和避免离开对比检测和避免碰撞的应用 环境中可能存在的一个区别在于，在离开的情况下，特别是跌落的情况 下，患者经常处于潜意识状态，从而导致无意的和/或比起典型
更少的协调 移动，如上所讨论的。相比之下，碰撞检测和避免可以特别地适用于患者 有意识并且因此更活跃、在房间中四处移动并且因此增加与其中的其他人 和对象碰撞的风险的情况。然而，应当认识到，可以对具有任何意识状态 的患者应用碰撞避免和离开避免。
127.在根据本公开的用于碰撞检测和避免的某些示例中，深度学习模型和 技术用于识别患者与其他人或对象碰撞的风险，该风险可被提供给护理者 以观察患者，例如从单个远程位置监测多个患者。如上所讨论的，如果在 医院或其他护理机构中发生的许多(如果不是大多数)活动发生在床周 围，并且因此患者在床上度过大部分时间。因此，检测患者床是碰撞检测 的组成部分之一，其可以使用先前相对于离开分数所讨论的技术之一来执 行。将认识到，类似的技术还将用于识别房间内的其他对象，包括家具和 医疗装备以及其他人。
128.本发明人进一步认识到，当患者在床上时连续地监测和自动地监测患 者的姿势或取向是有利的，这存在于以与以上相对于离开床所讨论的方式 类似的方式预测和避免碰撞的过程中。在下文论述的某些示例中，患者取 向被分类为以下四种类别中的一种；仰卧、俯卧、左侧卧和右侧卧。
129.如下文将进一步讨论的，本发明公开的系统和方法被配置成自动检测 床边界，而不需要护理者手动标记床。这种过程是耗时的，易于出错，并 且易于改变，因为病床的位置可能不时地改变。这可能是由于多个原因， 诸如当医生进行定期检查时，在患者身上或床上执行其清洁任务的护理者 可能已经移位。此外，每当床的位置改变时，护理者手动标记床边界并更 新系统将是耗时的。另外，本发明人已经识别出，过期的或其他不正确的 床标签可能导致系统性能的错误，潜在地导致患者伤害。因此，对患者床 边界的准确和自动检测是本公开解决的挑战，包括利用基于ai的技术。
130.患者取向或床内姿势和姿态是显著的健康相关度量，在诸如睡眠监测 的许多医疗应用中具有潜在价值。许多疾病(诸如压力性溃疡、睡眠呼吸 暂停、甚至腕管综合征)的症状受到睡眠姿势的影响。在某些大手术获得 更好的恢复结果之后，通常需要重症监护室中的患者保持特定的取向/姿 势，特别是在妊娠期间，因为某些睡眠姿势可能对胎儿和母亲造成伤害。 因此，连续监测和自动检测床内姿势是主要挑战，并且在当前时间对医疗 保健具有重要意义。发明人在自动化监测过程中认识到的另一个主要挑战 是全天照明条件的显著差异，其影响患者的实况视频的质量。
131.识别患者是处于坐立位置还是睡眠位置也在确定患者状况时起到非常 关键的作用，并且坐立的患者将跌落的可能性更高。患者也可处于坐在与 睡在倾斜床之间的一些中间角度，本发明人已经识别出这进一步使确定患 者是坐立还是躺下复杂化。
132.患者跌落是医院和其他护理机构中严重且常见的患者安全问题。在美 国，每年有2％至3％的住院患者经历不安和安全并跌落(即，大约一百万 次跌落)，其中大约四分之一受到严重伤害。对跌落患者的额外护理的成 本接近为$14,000。医院中几乎80％-90％的跌落通常是未观察到的。因此， 开发准确、稳健的实时方法来预防这些患者跌落是一项挑战。还为患者的 照顾者提供足够的提前期以预测不安和安全分数并预防跌落也是一项重大 挑战。因此，我们已经发明了一种解决实时监测患者不安和安全的上述挑 战的新颖方法。该方法提供了以下能力：预测患者不安和安全，并且以足 够的响应提前期预测患者跌落，并且由此潜在地允许护理人员有时间预防 跌落。
133.图17描绘了根据本公开的用于检测和预防患者碰撞的示例性过程 800。虽然在此处以高水平描述过程800，但是下文提供每个子步骤的附加 细节。该过程开始于步骤802，其包括以先前描述的方式从相机接收rgb
‑ꢀ
d流。在所示示例中，步骤804要求对在步骤802中接收的深度和rgb帧 进行预处理以及调整大小，这在下面进一步讨论并在图18至图19中示 出。然后经由maskrcnn流水线处理输出，由此以下文进一步描述的方式 应用对象掩膜、边界框和类别id。
134.步骤808然后规定标记床附近的不同对象，再次应用如步骤806中所 识别的对象掩膜、边界框和类别id，这通常在图20a中示出并且下文进一 步讨论。步骤810规定获得对象掩模的2d像素坐标，其在步骤812中被深 度投影成3d形式，换句话说，生成具有3d点的对象。从此处，步骤814 规定生成用于经标记对象的点云(如图20b所示和下文所讨论的)，由此 在步骤816中应用体素滤波器，移除异常值。
135.然后在步骤818中将操作者(或护理者)和患者分类到点云中，在图 22中示出并在下文中讨论，从而允许在步骤820中基于点云之间测量的距 离执行碰撞检测，如图23所示和下文所讨论的。最后，步骤822规定生成 基于云的或本地警报以预防发生碰撞并且/或者通知护理者可能发生碰撞或 已经发生碰撞。
136.现在结合图18和图19提供关于步骤804的附加信息。图18示出了用 于对rgb帧中的深度进行预处理以及调整大小的示例性子过程900。特别 地，rgb帧902和深度环904组合成对准帧906。特别地，由于相机的rgb和深度传感器可能具有不同的视场，因此流不一定默认对准，因此必 须有意校正和对准。本发明人已经识别出，组合rgb帧902和深度环904 是特别有利的，并且来自相机帧中的反射面积或跨越对象边缘的像素并不 总是具有有效深度值，并且因此需要进行该预处理。另外，如图18所示， 对帧进行重新处理以及调整大小可能是有利的，因为在进行下面将要讨论 的处理之前，将深度信息转换为视觉格式通常更容易或更准确。
137.图18中的过程900的步骤908规定从步骤906进行对准帧的孔填充， 由此以本领域已知的方式基于孔周围的有效像素数据来填充组合图像内的 无效或缺失的深度值或孔。步骤908的结果是在步骤910中着色，这将深 度信息转换为视觉表示，诸如图19所示。特别地，图19的着色的图像 1000示出了在遵循图18的过程900之后的第一对象1001、第二对象 1002、第三对象1003和第四对象10004。
138.然后经由maskrcnn流水线处理来自图19的该着色图像，如图17的 步骤806中所讨论的。maskrcnn架构用于对房间中的不同对象进行分 类，并获得其中找到的每个对象的准确掩膜。应当认识到，maskrcnn是 实现现有技术语义分割系统的众所周知的算法。通常，maskrcnn是在大 多数情况下需要正确标记数据的监督学习算法。maskrcnn的核心是像特 征提取器那样起作用的cnn(卷积神经网络)。称为rpn(区域建议网 络)的另一子模块与特征图一起识别图像中的roi(感兴趣区域)。然后 可以将这些感兴趣区域输入到maskrcnn的分类和掩膜分支中，由此分类 和掩膜眩光以本领域已知的方式借助于示例性训练数据来学习识别这些感 兴趣区域中的对象。该maskrcnn通常期望coco格式的图像和注释数 据，其是指定如何以本领域已知的方式为图像数据集保存标签和元数据的 特定json结构，并且期望正方形形状的图像数据(如图20a所示)。
139.到maskrcnn流水线中的输入是以正方形形状调整大小的图像矩阵 (例如，将图像
从矩形形状调整大小为正方形形状，例如100
×
100像 素)。同样，maskrcnn流水线的输出是为图像内识别的每个对象提供边 界框、图像掩膜、类别和/或预测概率。姿势(例如，图32至图39中所示 的那些)经由本领域中已知的注释工具被预先注释，其然后作为输入被馈 送到神经网络中。
140.如图20a所示，来自图19的四个对象1001-1004被示出为数据点 dp，并且设置有对应的对象掩膜om1-om4和边界框bb1-bb4。这四个对 象1001-1004被提供为maskrcnn的输出。
141.图20b将3d中的对象1001-1004的边界框bb1-bb4和对象掩膜 om1-om4描绘为3d对象框o3d1-o3d4。特别地，通过添加深度值将2d 边界框转换为3d对象框o3d1-o3d4。
142.然后使用这些3d对象的输出来以本领域已知的方式生成用于对象 1001-1003中的每一者的点云。这可包括已知的处理技术，例如滤波技术， 诸如基于阈值处理的厚度、背景减法、体素化、密集到备用滤波和伪点去 除。图21a描绘了用于两个对象的示例性点云，此处是对象1001和 1006。对应于对象1005和1006的点云pc5和pc6各自示出为包含点云点 pcp，该点云点也被示出为由其3d对象框界定(分别示出为03d5和 03d6)。在所示的示例中，3d对象框03d5和03d6是重叠的，表明碰撞 正在发生、已经发生或者有可能发生。如下文进一步讨论的，也可以在点 云点pcp之间测量或计算距离(诸如距离1104)以评估碰撞是否已经发生 和/或其发生的可能性。
143.图21b描绘了使用本文所述的方法识别的不同对象的附加示例性点云 pc7-pc11。例如，pc7对应于机柜或医疗装备，pc9对应于人(无论是患 者还是另一个人)，并且pc10和pc11对应于不同类型的座椅。这些对象 将基于如上所讨论为maskrcnn提供的训练来识别。
144.图21c进一步描绘了两个对象之间的碰撞，此处为对象1007和 1008，它们各自是人。分别示出了对应于对象1007和1008的点云pc12和 pc13，以及所识别的碰撞交叉点1100和对象1007和1008的不同点云点 pcp之间的各种距离1004、1005和1006。在某些示例中，在对象1007和 1008的最近点云点pcp之间确定诸如距离1104-1106之类的不同距离不仅 应确定两个对象有多接近，而且应确定对象的特定身体部位或其他点有多 接近。例如，如果人的头部22之间的距离1105相对于仅仅手是接近的， 则碰撞分数可以变化，因为头部碰撞比手碰撞可能发生更严重的伤害。附 加示例性用途包括在放射扫描或基于icu的患者监测事件(包括周围救生 设备)期间预防碰撞。同样，本文所描述的碰撞检测系统和方法可以用于 预防两个对象之间的碰撞，例如当通过拥挤医院运转医疗装备时。
145.除了识别图像内的对象与人之间的距离之外，特别地识别或分类操作 者(或护理者)与患者是有利的，因为操作者不是避免与房间中的其他对 象碰撞的关注对象。这种分类可以基于各种人相对于房间中的其他对象的 取向和位置来推断。例如，如图22所示，看到第一人1201站在床70的边 界b附近，而第二人1202在床70的边界b内。同样，如下文进一步讨论 的，可以确定第一人1201正在坐立或站立，而第二人1202似乎在床内平 躺(俯卧或仰卧)。基于该信息，可以推断第一人1201是操作者，并且第 二人1202是患者。使用该信息，当每个人1201、1202来回移动时，系统 10可以跟随他们，换句话说，一旦人1202被识别为躺在床70中，当他们 来回移动离开床时(例如包括当操作者离开房间时)，他们继续被识别为 患者。
146.如前所讨论的，根据本公开的系统10的某些示例规定测量不同对象的 点云点pcp
之间的距离1104，例如作为豪斯多夫和/或欧几里得距离，其可 以与阈值进行比较以确定发生碰撞的概率。图23提供了根据本公开的用于 计算发生碰撞的概率的示例性过程1200。步骤1202规定访问对象掩膜的数 据库(db)以用于分析从相机接收的图像。步骤1204然后规定从步骤 1202中访问的对象掩模中识别第一对象存在于图像内，例如识别对应于座 椅、人或病床的对象。
147.如果识别出第一对象，并且确定该对象是人，则过程在步骤1206处继 续，将人掩膜从数据库的对象掩模转换为点云1206，诸如图21a所示。过 程然后继续在步骤1208中识别来自数据库的第二对象是否也可以在图像内 识别。如果不是，则过程返回到步骤1204。如果相反，在步骤1208中的图 像内识别出第二对象，则过程继续到步骤1210，由此第二对象质量也以先 前讨论的方式转换为点云。
148.然后在步骤1212中计算第一对象和第二对象之间的距离，在某些示例 中，作为两个点云的最近点之间的豪斯多夫和/或欧几里得距离。特别地， 豪斯多夫和/或欧几里得距离可以在患者的点云的捕捉半径(作为集合a) 和另一对象的点云的捕捉半径(作为集合b)之间计算。捕捉半径将被认 为是点云的边界轮廓的圆周，其可以使用本领域中目前已知的方法确定。 步骤1214然后规定将这些计算的距离与预先确定的阈值(例如，凭经验确 定的值)进行比较。如果步骤1212的计算距离确实超过如步骤1214中确 定的阈值，则过程返回到步骤1208。如果相反，计算的距离低于在步骤 1214中确定的阈值，则过程继续到步骤1216，由此确定碰撞概率(例如， 通过将豪斯多夫和/或欧几里得距离馈送到神经网络来预测)。
149.图24a至图24b描绘了根据本公开的用于计算碰撞概率或碰撞分数的 示例性过程1300。步骤1302-1308可以使用上文所讨论的技术来实现，这 些技术包括相机的校准，在彩色帧、深度帧和红外帧方面检查图像的帧质 量和可用性，确定床是否存在，以及确定患者是否存在于床中。例如，孔 的深度和数量可用作质量检查方案。如果这些步骤中的每一者都得出肯定 结论，则该过程继续到步骤1310，由此将房间中的照度与阈值进行比较。
150.如果在步骤1312中确定照度为低，则过程在步骤1314处继续，由此 来自相机的红外和深度帧用于在步骤1318中进行床检测。如果相反在步骤 1312中未确定照度为低，则在步骤1316中使用来自相机的彩色帧来确定步 骤1318的床边界检测。上文相对于离开分数确定讨论了对床边界的识别的 特定细节。
151.通常，可在步骤1322中使用基于ai的检测方法(例如，使用上文讨 论的图5的过程200)来确定图24a至图24b的床边界。另选地，在步骤 1320中，床边界可以通过基于非ai的检测方法确定。例如，“x2”可以 指先前描述的基于非ai的方法，诸如床的边缘检测、边缘的非最大值抑 制、寻找床曲率的局部最大值和最小值以及/或者床面积的梯度短程线轮 廓。
152.继续参考图24a至图24b，在以先前描述的方式中的一种方式检测床 边界之后，过程继续到步骤a，如图所示，开始图24b中的过程。特别 地，过程继续步骤1324，从而识别患者身体上的关键解剖热点p。如上文 所讨论的，这些热点可用于例如使用先前讨论并在图5、图11和/或图12 中示出的方法中的一种方法来在步骤1328中确定患者从坐立变为躺下以及 反之亦然的变化次数。然后，在步骤1332中，将该数字馈送到用于计算碰 撞概率分数的算法中。
153.同样，在步骤1324中为患者识别的热点可用于计算在步骤1330中由 患者进行的
转身次数，如先前讨论和在图5中示出的。该转身次数也是在 步骤1332中计算碰撞概率的输入。
154.还可以在步骤1334中确定患者的取向变化的次数，这也是先前讨论 的，并且可以使用图10的过程400来执行，也用作在步骤1332中计算碰 撞概率的输入。另外，在步骤1324中在患者身上检测到的关键解剖热点可 以进一步用于在步骤1326中确定患者身体边界，例如如先前描述和在图8 和9a至图9c中所示，其也用作在步骤1332中计算碰撞概率分数的输入。
155.本公开还涉及检测和预防从床脱离(例如，在非跌落上下文中)，其 关于图25至图39进行描述。本发明人已经认识到，知道患者何时可能甚 至有意地脱离床是有益的，因为基于患者的当前状况，这可能是失策的或 危险的。根据本公开确定的脱离分数还可以提醒护理者更密切地注意具有 更高分数的给定患者。护理者也可以提前到患者那里查看他们需要什么， 提醒患者留在床上，并且/或者修改与患者的各种管或电连接以准备脱离。
156.图25描绘了例如使用人工智能由躺在床70中的患者20周围的数据点 bp形成的患者边界pb。患者边界pb可用于确定跌落分数或碰撞分数 (即，当患者留在床中时的碰撞)，但此处在脱离分数的上下文中讨论。 在某些示例中，碰撞分数不是字面分数，而是从对象开始的半径，如果患 者或另一对象在该半径内，则在该半径中触发警报。在其另外的示例中， 碰撞半径基于大于一定阈值(从深度帧获得的厚度)的经验值，再次凭经 验确定，由此标记碰撞警告。阈值根据大小确定，由此对象越大，阈值越 大。在患者与另一患者或对象碰撞的情况下，基于如上所述确定的患者边 界的捕捉半径并且进一步使用本领域目前已知的方法来生成该碰撞警告。 另选地，图26描绘了使用非ai技术为患者20确定的患者边界pb。
157.图27至图30描绘了根据本公开的由人工智能算法和/或其他方法确定 的4种不同类别的患者取向。在某些示例中，ai算法使用使用图像内身体 部分的位置和存在来将类别中的一个类别分配给患者20。例如，ai算法可 以使用与例如嘴24、鼻26、左耳30l/或右耳30r、左眼30l/或右眼32r、 左眉毛34l/或右眉毛34r、臂52、肩54、腿56和脚58有关的信息。例 如，如果左眼32l和右眼32r两者在图像内可见，则ai算法将最可能将患 者20指定为仰卧。同样，例如在髋60之间的热点之间的距离dp可用于确 定患者的类别，由此与分别以左侧卧或右侧卧位置躺下相比，以仰卧或俯 卧位置躺下的髋60的热点之间的距离dp将更大。
158.在某些示例中，ai或其他算法特别将患者20的图像与学习或预先建 立的类别进行比较，诸如图32至图39中所示的类别1500-1508。这些类别 不仅可以涉及患者20在床70内的取向，而且也可以涉及他们的清醒度状 态(清醒与入睡或休息，诸如至少部分地由眼睛是否张开来确定)，患者 是坐立还是躺下，患者是否开始脱离(图36和图37)或已经脱离(图 39)。
159.图31描绘了识别患者例如有意脱离床的可能性的离开分数的示例性过 程1400(以及用于执行该过程的装置)。步骤1402开始于接收来自相机 12的红外流，如前所述，该红外流可被馈送到边缘框或云系统1403中，诸 如亚马逊网络解决方案(ads)全景sdk。在所示的配置中，边缘框或云 系统1403可执行步骤1404-1410，其包括如先前所讨论来确定患者姿势分 类，在步骤1404中归一化患者姿势，在步骤1408中执行患者超参数调谐 (这是训练过程的一部分并且不被包括为算法的最终输出)，以及在步骤 1410中最终确定患者脱离
可能性或离开分数。
160.步骤1410可包括到图2的离开分数评估模块95的输入中的一个或多 个输入。最后，在步骤1410中生成的离开分数被嵌入基于云的警报系统 1412中，以例如以先前相对于跌落分数的上下文中的离开分数所讨论的方 式预防患者脱离和/或通知护理者。
161.在某些示例中，用于预测脱离分数或离开分数的ai模型使用患者姿势 度量，而不依赖于其他度量，诸如先前讨论的患者身上的解剖热点p。在 另外的示例中，利用迁移学习的概念来构建ai模型。迁移学习允许系统10 使用在大型数据库上训练的预先存在的模型来执行任务。
162.该书面描述使用示例来公开本发明，包括最佳模式，并且还使得本领 域技术人员能够执行和使用本发明。为了简洁、清楚和易于理解而使用了 某些术语。除了现有技术的要求之外，不应从中推断出不必要的限制，因 为此类术语仅用于描述目的并且旨在被广义地理解。本发明的专利范围由 权利要求书限定，并且可包括本领域的技术人员想到的其他示例。如果这 些其他示例具有与权利要求书的字面语言没有不同的特征或结构元件，或 者如果它们包括与权利要求书的字面语言无实质差别的等效特征或结构元 件，则这些其他示例旨在在权利要求书的范围内。