人机界面和相关交互方法与流程

1.在示例性实施方式中，提供了一种人机界面、一种用于与人机界面交互的方法和一种被配置为与人机界面交互的计算机程序产品，其中人机界面和相关的方法和计算机程序产品被配置为在响应由人做出的姿势之前，确定试图与人机界面交互的人是否穿戴了个人防护装备。


背景技术：

2.人机界面(hmi)被广泛应用于各种不同的应用中，以便接收用户输入并相应地控制与hmi相关联的系统。例如，hmi可以与各种工业、商业、制造和运输应用结合使用。例如，飞行器可以包括一个或多个hmi以接收来自飞行员或其他机组成员和/或来自乘客的输入。
3.hmi通常包括用户界面，比如触摸屏。为了经由hmi提供输入以控制与其相关联的系统，用户触摸用户界面并且hmi将触摸屏检测到的触摸转换为用于控制与hmi相关联的系统的相应输入。这种对触摸屏接收用户输入的依赖可能会限制用户可用的输入选项，比如将输入选项限制为能够在任何时间在触摸屏上呈现以供用户选择的那些输入选项。此外，用户需要物理接触触摸屏以便经由hmi提供输入可能会使人面临各种健康风险。例如，各种颗粒，例如携带细菌或病毒的颗粒，可通过颗粒从触摸屏的先前用户转移、先前空气传播的颗粒停留在触摸屏上等而沉积在触摸屏上。为了降低具有触摸屏的hmi的用户可能遭受的风险，可以反复清洁触摸屏，不过这样的清洁会增加与使用hmi相关的时间和费用。此外，清洁触摸屏可能会损坏屏幕和/或降低触摸屏的准确性或性能。


技术实现要素：

4.根据示例性实施方式提供了一种人机界面(hmi)、一种与hmi交互的方法和相应的计算机程序产品，以促进用户与hmi的交互。在示例性实施方式中，hmi、方法和相关联的计算机程序产品被配置为检测姿势并对其采取行动，而不是要求用户触摸hmi的用户界面。通过依赖姿势，hmi可以配置为接收用户的大量不同类型的输入，以便增加与hmi相关联的系统被控制的灵活性和细节水平。此外，示例性实施方式的hmi、方法和计算机程序产品被配置为在用户试图与hmi交互时检测用户是否穿戴了个人防护装备。因此，该示例性实施方式的hmi、方法和相关联的计算机程序产品可以调节hmi(包括与hmi相关联的任何系统)对穿戴个人防护装备的用户提供的输入的任何响应，从而减少与用户以及其他后续用户使用hmi相关联的健康风险。此外，示例性实施方式的hmi、方法和计算机程序产品可以通过记录(log)标识hmi的用户以及用户是否穿戴了个人防护装备的信息来促进接触追踪。
5.在示例性实施方式中，提供了一种用于与系统的人机界面(hmi)交互的方法。该方法包括检测试图与hmi交互的人脸并检测此人相对于hmi做出的姿势。该方法还包括分析关于检测到的人脸的信息以确定此人是否穿戴了个人防护装备，比如面罩。在确定此人未穿戴个人防护装备的情况下，该方法暂停对人相对于hmi做出的姿势的响应。然而，在确定此人穿戴了个人防护装备的情况下，该方法分析此人相对于hmi做出的姿势并将该姿势转换
为对与hmi相关联的系统的相应命令。
6.在先前确定此人未穿戴个人防护装备的情况下，示例性实施方式中的方法还包括随后检测试图与hmi交互的人脸，并分析随后检测到的关于人脸的信息以确定此人现在是否穿戴了个人防护装备。在基于随后对人脸的检测确定此人现在穿戴了个人防护装备的情况下，该示例性实施方式中的方法终止对姿势的响应的暂停，并分析此人相对于hmi做出的姿势并将该姿势转换为对与hmi相关联的系统的相应命令。
7.示例性实施方式中的方法通过估计代表人脸的点云来分析关于人脸的信息，以确定此人是否穿戴了个人防护装备。在示例性实施方式中，该方法通过基于由第一传感器接收到的信号检测人脸并基于由不同于第一传感器的第二传感器接收到的信号来检测此人相对于hmi做出的姿势来检测试图与hmi交互的人脸，并检测此人相对于hmi做出的姿势。在该示例性实施方式中，第一传感器可以是近红外(nir)传感器，并且第二传感器可以是电光(eo)传感器。在示例性实施方式中，该方法利用一个或多个卷积神经网络，检测试图与hmi交互的人脸，分析关于检测到的人脸的信息以确定此人是否穿戴了个人防护装备，分析此人相对于hmi做出的姿势并将该姿势转换为所述相应命令。
8.在另一个示例性实施方式中，提供了一种系统的人机界面(hmi)，其包括配置为检测试图与hmi交互的人脸并检测此人相对于hmi做出的姿势的处理电路。处理电路还被配置为分析关于检测到的人脸的信息以确定此人是否穿戴了个人防护装备，比如面罩。在确定此人未穿戴个人防护装备的情况下，处理电路配置为发送对此人相对于hmi做出的姿势的响应。然而，在确定此人穿戴了个人防护装备的情况下，处理电路配置为分析此人相对于hmi做出的姿势并将该姿势转换为与hmi相关联的系统的相应命令。
9.在先前确定此人未穿戴个人防护装备的情况下，示例性实施方式中的处理电路进一步配置为随后检测试图与hmi交互的人脸并分析随后检测到的关于人脸的信息，以确定此人现在是否穿戴了该个人防护装备。在基于随后对人脸的检测确定此人现在穿戴了个人防护装备的情况下，该示例性实施方式中的处理电路还被配置为终止对姿势的响应的暂停，并分析此人相对于hmi做出的姿势并将该姿势转换为与hmi相关联的系统的相应命令。
10.示例性实施方式中的处理电路配置为通过估计代表人脸的点云数据来分析关于人脸的信息以确定此人是否穿戴了个人防护装备。示例性实施方式中的hmi还包括第一传感器和不同于第一传感器的第二传感器，第一传感器配置为向处理电路提供检测到试图与hmi交互的人脸的信号，第二传感器配置为向处理电路提供检测到此人相对于hmi做出的姿势的信号。第一传感器可以是近红外(nir)传感器，并且第二传感器可以是电光(eo)传感器。在示例性实施方式中，处理电路包括一个或多个卷积神经网络，其配置为检测试图与hmi交互的人脸、分析关于检测到的人脸的信息以确定此人是否穿戴了个人防护装备、分析此人相对于hmi做出的姿势并将该姿势转换为所述相应命令。
11.在另一个示例性实施方式，提供了一种计算机程序产品，其包括其中存储有计算机可执行程序代码指令的至少一种非暂时性计算机可读存储介质，其中计算机可执行程序代码指令包括用于检测试图与hmi交互的人脸的程序代码指令和用于检测此人相对于hmi做出的姿势的程序代码指令。计算机可执行程序代码指令还包括用于分析关于检测到的人脸的信息以确定此人是否穿戴了个人防护装备(比如面罩)的程序代码指令。计算机可执行程序代码指令进一步包括在确定此人未穿戴个人防护装备的情况下，暂停对此人相对于
hmi做出的姿势的响应的程序代码指令。此外，计算机可执行程序代码指令包括在确定此人穿戴了个人防护装备的情况下，用于分析此人相对于hmi做出的姿势的程序代码指令和用于将姿势转换为与hmi相关联的系统的相应命令的程序代码指令。
12.在先前确定此人未穿戴个人防护装备的情况下，计算机可执行程序代码指令进一步包括用于随后检测试图与hmi交互的人脸的程序代码指令，和用于分析随后检测到的关于脸部的信息以确定此人现在是否穿戴了该个人防护装备的程序代码指令。在基于随后对人脸的检测确定此人现在穿戴了个人防护装备的情况下，该示例性实施方式的计算机可执行程序代码指令还包括用于终止对姿势的响应的暂停的程序代码指令和用于分析此人相对于hmi做出的姿势并将该姿势转换为与hmi相关联的系统的相应命令的程序代码指令。
13.在一个示例性实施方式中，用于分析关于人脸的信息的程序代码指令包括用于估计代表人脸的点云数据以确定此人是否穿戴了个人防护装备的程序代码指令。在示例性实施方式中，用于检测试图与hmi交互的人脸的程序代码指令和用于检测此人相对于hmi做出的姿势的程序指令包括基于由第一传感器接收的信号检测人脸的程序代码指令和基于由不同于第一传感器的第二传感器接收的信号检测此人相对于hmi做出的姿势的程序代码指令。该示例性实施方式中的第一传感器可以是近红外(nir)传感器，并且第二传感器可以是电光(eo)传感器。在示例性实施方式中，程序代码指令包括一个或多个卷积神经网络，其配置为检测试图与hmi交互的人脸、分析关于检测到的人脸的信息以确定此人是否穿戴了个人防护装备、分析此人相对于hmi做出的姿势并将姿势转换为所述相应命令。
附图说明
14.已经如此概括地描述了本公开内容的某些示例性实施方式，在下文中将参考附图，附图不一定按比例绘制，并且其中：
15.图1图解了根据示例性实施方式的配置为对姿势做出响应的hmi；
16.图2是包括可以根据示例性实施方式具体配置的处理电路的hmi的框图；
17.图3是图解根据示例性实施方式的比如由图2中的计算装置执行的操作的流程图；和
18.图4是描绘根据示例性实施方式的与hmi的交互的流程图。
具体实施方式
19.现在将在下文中参考附图更全面地描述本公开内容，其中显示了一些但不是所有方面。实际上，本公开内容可以以许多不同的形式体现并且不应被解释为限于本文阐述的方面。相反，提供这些方面使得本公开内容将满足适用的法律要求。相同的附图标记通篇指代相同的元件。
20.根据示例性实施方式提供了一种人机界面(hmi)、一种用于与hmi交互的方法和一种被配置为与hmi交互的计算机程序产品。hmi包括接收用户输入的用户界面，该用户输入被检测到并且然后被转换为相应的命令以便指导与hmi相关联的系统的操作。hmi可以与范围广泛的系统中的任一个相关联，并在范围广泛的不同行业和应用程序中的任一个中使用。例如，hmi可以与商业系统、工业系统、零售系统、制造系统和运输行业中使用的系统结合使用。
21.举例来说，在图1中以举例而非限制性的方式描绘了在运输行业中使用的hmi的用户界面10，并且更具体地，与飞行中的飞机机舱显示器相关联的用户界面。如图1所示，用户界面包括第一区域12，在该区域中呈现信息内容，比如供飞行器上的乘客查看。在图解的实施方式中，描绘了飞行器相对于突出显示的地形的飞行路径的表示。然而，除了图1中所示的飞行路径信息之外或代替图1中所示的飞行路径信息，用户界面的第一区域可以向用户提供其他类型的信息。
22.图1中的用户界面10还包括多个其他区域，包括提供可以响应于用户输入而执行的功能菜单的区域14。此外，该示例性实施方式的用户界面包括区域16，该区域被配置为向用户提供通知和/或向用户提供各种指示，比如要求乘客保持坐在座位上并扣紧安全带的指令。该示例性实施方式的用户界面还包括区域18，该区域提供关于用户穿戴的个人防护装备(比如面罩)的信息。图1中的用户界面是作为可以根据示例性实施方式提供的一种类型的hmi用户界面的示例来提供的，但是hmi的用户界面可以以多种其他方式配置并且不需要包括不同的区域，或者如果包括区域，则可以包括任何数量或配置的区域。
23.图2中描绘了根据示例性实施方式的hmi 20的框图。hmi可以由多种不同的计算装置比如服务器、计算机工作站、分布式计算装置的网络、个人计算机、平板计算机等中的任一种来体现。因此，hmi不需要特定的硬件设计，而是多种计算装置中的任一个可以配置为如本文所述那样操作。然而，无论体现hmi的计算装置是何种类型，图解的实施方式的hmi均包括处理电路22、存储装置24、用户界面26和一个或多个传感器、与它们相关联或以其他方式与它们通信。
24.处理电路22可以例如体现为各种装置，包括一个或多个微处理器、一个或多个协处理器、一个或多个多核处理器、一个或多个控制器、一台或多台计算机、各种其他处理元件，包括集成电路，比如例如asic(专用集成电路)或fpga(现场可编程门阵列)，或它们的某种组合。在一些示例性实施方式中，处理电路被配置为执行存储在存储装置24中或处理电路以其他方式可访问的指令。这些指令在由处理电路执行时可以使hmi 20执行本文描述的一种或多种功能。因此，hmi可以包括在相应地配置时能够执行根据本公开内容的实施方式的操作的实体。因此，例如，当处理电路被体现为asic、fpga等时，处理电路以及相应的hmi可以包括用于进行本文描述的一种或多种操作的专门配置的硬件。可选地，作为另一个实例，当处理电路被体现为指令执行器时，比如可以存储在存储装置中，指令可以具体地配置处理电路并且进而配置计算装置来执行一种或多种算法和本文描述的操作。
25.存储装置24可以包括例如非易失性存储器。存储装置可以包括例如硬盘、随机存取存储器、高速缓存存储器、闪存、光盘(例如，压缩式光盘只读存储器(cd-rom)、数字通用盘只读存储器(dvd-rom)等)、配置为存储信息的电路或其某种组合。在这点上，存储装置可以包括任何非暂时性计算机可读存储介质。根据本公开内容的示例性实施方式，存储装置可以配置为存储信息、数据、应用程序、指令等以使得诸如处理电路22的hmi 20能够执行各种功能。例如，存储装置可以配置为存储由处理电路执行的程序指令。
26.用户界面26可以与处理电路22和存储装置24通信以接收用户输入的指示，比如用户执行的姿势，和/或提供听觉、视觉、机械或其他输出给用户。因此，用户界面可以包括例如用于向用户提供视觉和听觉输出的显示器和一个或多个扬声器。
27.尽管hmi 20可以包括各种传感器以检测用户的面部和用户相对于hmi做出的姿
势，但是示例性实施方式的hmi包括第一传感器28和第二传感器30。第一传感器和第二传感器是不同的类型。在一个实施方式中，第一传感器是近红外(nir)传感器并且第二传感器是电光(eo)传感器。在这点上，图1中描绘的hmi的用户界面10还包括各自包括nir传感器和eo传感器的第一传感器和第二传感器。在一些实施方式中，hmi可以定义限制第一传感器和第二传感器的相应视野的虚拟隐私分区。在这点上，第一传感器和第二传感器被配置和/或hmi被配置为分析由第一传感器和第二传感器提供的信号，使得第一传感器和第二传感器的相应视场以这样的方式受到限制，以便检测到与hmi交互的人，而不是相邻座位上的人。
28.现在参考图3，描绘了例如由图2中的hmi 20执行的操作。现在参考图3的方框40，hmi，比如第一传感器28，例如nir传感器，被配置为检测试图与hmi交互的人脸。此外，hmi，比如第二传感器30，例如eo传感器，被配置为检测此人相对于hmi做出的姿势。试图与hmi交互的人脸的检测和此人相对于hmi做出的姿势的检测可以同时或在预定义的时间窗口内执行，以增加检测到脸部并且试图与hmi交互的人与也检测到相对于hmi做出姿势的人是同一个人的可能性。
29.在一个实施方式中，hmi 20的第一传感器28和第二传感器30可以配置为连续监测它们各自的视域以检测试图与其交互的人的脸部以及此人相对于hmi执行的一种或多种姿势的存在。可选地，hmi可以配置为被例如检测到用户的预定义姿势(例如，挥手)触发，然后hmi开始监测试图与其交互的人脸并提供旨在指导与hmi相关联的系统的操作的另一个姿势。在该示例性实施方式中，hmi的第二传感器，比如eo传感器，可以被连续地或重复地激活以检测预定义的触发姿势。然而，第一传感器，比如nir传感器，可以保持不活动，直到检测到触发姿势，在此之后第一传感器也被激活，以便检测人脸，然后此人做出姿势来命令与hmi相关联的系统。
30.在此通过举例而非限制的方式讨论与hmi 20交互的人的手所执行的姿势。在一些实施方式中，人可以以不同的方式来执行姿势，比如通过利用人的头部来执行姿势，例如点头、向右、向左、向前倾斜头部等。例如，与hmi交互的人可能表示他们不希望使用手势，或者此人可能具有限制他们执行手势的能力的残疾，使得此人然后通过移动或定位他们的头部来执行姿势。因此，这里对检测并分析的手势的引用同样适用于由此人，比如此人的头部以不同的方式执行的姿势。
31.hmi 20，比如处理电路22，还被配置为分析关于例如由第一传感器28检测到的人脸的信息，以便确定此人是否穿戴了个人防护装备。参见图3的方框42。hmi，比如处理电路，可以配置为确定此人是否穿戴了多种不同类型的个人防护装备中的任一种，包括例如面罩、防护罩等。在一些实施方式中，作为分析对象的个人防护装备的类型取决于此人执行的角色或工作。例如，在此人是外科医生的情况下，作为分析对象的个人防护装备包括头罩和面罩。可选地，在此人是飞机、火车或公共汽车上的乘客的情况下，作为分析对象的个人防护装备可以是不需要头罩的面罩。
32.处理电路22可以配置为分析关于人脸的信息，以确定此人是否以各种不同的方式穿戴了个人防护装备。例如，处理电路可以配置为执行一种或多种图像分析和/或图像识别技术以检测此人是否穿戴了个人防护装备。如下文关于分析由第二传感器30提供的识别已执行的姿势的信号所描述的，示例性实施方式中的处理电路可以包括或体现被训练以检测人脸和确定此人是否穿戴了个人防护装备(比如面罩)的一个或多个卷积神经网络(cnn)。
33.在另一个示例性实施方式中，第一传感器28，比如nir传感器，被配置为捕获代表试图与hmi 20交互的人脸的点云数据。在该示例性实施方式中，hmi，比如处理电路22被配置为比如实时地估计代表人脸的点云数据，以确定此人是否穿戴了个人防护装备。点云数据在三维(3d)空间中提供面部的关键点，从中可以识别眼睛、耳朵、鼻子、嘴巴、下巴和其他独特的特征。基于穿戴的个人防护装备的类型，其中一些关键点要么不会被检测到，比如被面罩覆盖的用户的嘴巴，要么检测概率低，比如在嘴巴的位置是根据嘴巴与其他面部特征(一个或多个)的标准距离来估计的情况下，从而允许确定此人是否穿戴了个人防护装备。
34.在确定此人未穿戴个人防护装备的情况下，hmi 20(比如处理电路22)被配置为暂停执行对由此人相对于hmi做出的并且例如由第二传感器30检测的姿势的响应。参见图3的方框44。通过暂停对姿势的响应，不执行响应，并且hmi(比如处理电路)等待直到此人穿戴了个人防护装备，然后对检测到的姿势执行响应。例如，在先前确定此人未穿戴个人防护装备的情况下，一个实施方式中的hmi(比如处理电路)还被配置为随后检测试图与hmi交互的人脸。参见方框46。在这点上，随后的检测是在先前检测到试图与hmi交互但未穿戴个人防护装备的人之后进行的。在一些实施方式中，hmi(比如处理电路)被配置为要求对试图与hmi交互的人脸的随后检测发生在相对于之前对试图与hmi交互的人的检测的预定义的时间段内。在试图与hmi交互的人脸的随后检测未在预定义时间段内发生的情况下，该示例性实施方式的hmi(比如处理电路)被配置为不允许恢复对先前姿势的暂停响应，而是，一旦用户穿上个人防护装备，用户必须重新开始该过程。
35.然而，在随后检测到试图与hmi交互的人脸之后，比如在预定义的时间段内，示例性实施方式的hmi 20(比如处理电路22)被配置为确定正试图与hmi交互的是否是同一个人，比如基于人脸识别或检测到的人脸表示之间的其他比较。在随后检测到不同人脸的情况下，该示例性实施方式中的hmi(比如处理电路)被配置为不允许恢复对先前姿势的暂停响应，而是，一旦用户穿戴个人防护装备，用户必须重新开始该过程。然而，在hmi(比如处理电路)确定同一个人正试图与hmi交互的情况下，hmi(比如处理电路)被配置为分析关于随后比如由第一传感器28检测到的人脸的信息，以确定此人现在是否穿戴了个人防护装备。参见方框48。在此人仍未穿戴个人防护装备的情况下，hmi(例如处理电路)被配置为继续引起暂停对此人先前相对于hmi做出的姿势的响应。
36.然而，在基于对人脸的随后检测确定此人现在穿戴了个人防护装备的情况下，hmi 20(比如处理电路22)被配置为终止对姿势的响应的暂停。参见图3的方框50。在终止对姿势的响应的暂停后，并且如下所述，hmi(比如处理电路)被配置为分析此人相对于hmi做出的姿势并将姿势转换为与hmi相关联的系统的相应命令。因此，系统然后被引导执行与姿势相关联的功能。尽管为了节省或至少延迟处理资源的利用和时间，直到终止响应的暂停才需要分析姿势并将其转换为对系统的相应命令，但是可以在终止响应的暂停之前分析姿势并将其转换为相应的命令，只要系统直到暂停终止才被引导和执行由姿势命令的功能。例如，可以在检测到姿势时和/或在响应的暂停期间分析姿势并将其转换为相应的命令，但是系统直到暂停被终止才被引导和执行由姿势命令的功能。
37.返回参考图3中的方框42，在关于检测到的人脸信息的初始分析确定此人穿戴了个人防护装备的情况下，hmi 20(比如处理电路22)被配置为分析此人相对于hmi做出的姿势并将该姿势转换为与hmi相关联的系统的相应命令。参见图3的方框52。然后系统被引导
执行与姿势相关联的功能。hmi(比如处理电路)可以配置为以各种方式分析姿势，包括各种图像分析和/或识别技术中的任一项的执行。然而，在示例性实施方式中，处理电路包括或体现一个或多个卷积神经网络，这些卷积神经网络已被训练以从响应hmi以及继而与hmi相关联的系统的多种姿势中识别和区分各个姿势。
38.虽然卷积神经网络可以配置为从第一传感器28和第二传感器30接收分别代表人脸和此人执行的姿势的各种信号中的任一个，这些信号可以可选地已经历传感器数据融合，但是示例性实施方式中的处理电路22包括或体现一个或多个卷积神经网络，其接收由第二传感器提供的几种不同版本的信息。在第二传感器以三种不同的颜色(比如红色、绿色和蓝色)提供代表此人执行的姿势的三个不同信号流的一个示例性实施方式中，卷积神经网络(一个或多个)可以接收由第二传感器提供的第一版本的信息，即三个不同的信号流，并且可以被训练以在此基础上识别特征例如姿势。
39.在该示例性实施方式中，处理电路22还可以配置为接收以代表来自第二传感器30的光流的信号形式由第二传感器提供的第二版本的信息。在这点上，光流代表执行由在此人的手和第二传感器之间的相对运动引起的姿势的此人的手的运动图案。基于代表光流的信号，处理电路被配置为识别特征，例如姿势，比如由处理电路体现的一个或多个卷积神经网络的训练结果，以基于代表光流的信号识别姿势。此外，该示例性实施方式中的处理电路可以配置为接收由第二传感器提供的第三版本的信息，该信息的形式为代表经由三个不同通道的三种不同颜色的由此人执行的姿势的信号以及代表经由第四通道经过语义分割的由第二传感器捕获的像素的信号。作为语义分割的结果，属于同一对象类的像素已经聚集在一起。在处理电路包括或体现一个或多个卷积神经网络的实施方式中，卷积神经网络(一个或多个)也已被训练以基于代表三种颜色的信号以及经过语义分割的信号来识别特征，比如姿势。在该示例性实施方式中，卷积神经网络(一个或多个)还被配置为处理基于由第二传感器提供的三个不同版本的信息识别的特征，并且然后预测此人相对于hmi执行的特征，比如姿势。该预测可以以各种方式执行，包括通过使用支持向量机(一个或多个)和/或softmax函数。
40.在如上所述分析了姿势之后，处理电路22还可以配置为将姿势转换为对与hmi 20相关联的该系统的相应命令。这样，系统接着可以执行与此人相对于hmi做出的姿势相对应的功能。
41.参考描绘飞行中飞机机舱显示器的图1中的hmi 20，戴着面罩的乘客可以相对于hmi的用户界面10做出姿势，该姿势指示hmi改变第一区域12中描绘的内容，并显示关于估计到达时间、当前飞机速度、从起飞后经过的时间等信息，而不是描绘飞行路径。该示例性实施方式的hmi被配置为基于对第一传感器28提供的信号的分析来检测乘客的面部，以确定乘客穿戴了个人防护装备。结果，该示例性实施方式的hmi还分析例如由第二传感器30检测到的姿势，并将该姿势转换为使用户界面的第一区域中描绘的内容改变为期望内容的命令。然而，在乘客做出相同姿势但未穿戴面罩或其他个人防护装备的情况下，hmi判断乘客未穿戴个人防护装备并暂停对该姿势的任何响应，从而继续呈现如图1中所示的飞行路径，并且不以根据姿势指示的方式改变显示器的第一区域中呈现的内容。在这种情况下，hmi(比如处理电路22)也可以配置为向乘客提供关于暂停对姿势的任何响应的信息，并且可以相应地提供描述乘客必须穿戴的个人保护装备的信息，以便使hmi响应由乘客执行的姿势。
例如，可以在图1中的用户界面的区域18中描绘该信息。
42.在示例性实施方式中，hmi 20配置为重复检测试图与hmi交互的人脸，以确定此人是否穿戴了个人防护装备，并且如果没有的话，则不仅暂停考虑由此人执行的姿势，而且还提供通知。例如，hmi(例如处理电路22)可以配置为响应于检测到此人未穿戴个人防护装备的预定量的情况中的每一种，向试图与hmi交互的人提供通知。在该实例中，在hmi在飞行器上的情况下，在试图与hmi交互的人在收到预定数量的个人通知后继续不穿戴个人防护装备的情况下，hmi(比如处理电路)还可以配置为提供系统级通知，比如通知机组人员。hmi可以定义试图与hmi交互的人脸被检测并分析的频率，以确定此人是否以多种方式中的任一种穿戴个人防护装备，然而，在一个实施方式中，hmi确定此人每2至5秒穿戴一次个人防护装备，比如每3秒一次。
43.现在参考图4，描绘了根据本公开内容的示例性实施方式由比如hmi 20的处理电路22执行的操作流程图。如图所示，第二传感器30，比如eo传感器，被配置为提供指示乘客和乘客执行的在eo传感器的视场内的任何姿势的信号。尽管eo传感器可以提供多种不同信号中的任一种，但是该示例性实施方式的eo传感器被配置为提供指示手指坐标的信号，比如手指的关键点的坐标，以及与这些坐标相关联的置信度值。参见图4的方框54。在该示例性实施方式中，eo传感器可以首先向处理电路提供信号，并且更具体地向注意力检测模块60提供信号，该模块比如由一个或多个cnn实施，由处理电路体现，以识别乘客面对hmi的用户界面并执行预定义的触发姿势(比如通过挥手)的情况。一旦检测到触发姿势，eo传感器检测到的信号就被提供给处理电路，并且更具体地提供给例如由一个或多个卷积神经网络体现的手势识别模块62。该示例性实施方式的手势识别模块被训练为识别由乘客执行的一种或多种姿势。
44.此外，第一传感器28，比如nir传感器，被配置为以点云数据的形式提供信号，处理电路22可以由该信号来估计乘客的面部。参见方框56。该信息可以被提供给由处理电路，比如通过一个或多个卷积神经网络体现的面罩检测模块64。面罩检测模块用于检测乘客是否穿戴了个人防护装备。该示例性实施方式中的处理电路还包括消息传递系统66，该消息传递系统被配置为从注意力检测模块60、手势识别模块62和面罩检测模块接收信号并相应地经由比如用户界面10和/或与hmi 20相关联的系统与乘客通信。例如，在乘客未穿戴个人防护装备的情况下，该示例性实施方式的消息传递系统可以配置为经由比如用户界面提供信息，提醒乘客对姿势的期望响应已经被暂停，直到乘客穿上个人防护装备。然而，如果确定乘客穿戴了个人防护装备，则将手势识别模块识别出的姿势转换为相应的命令，并且通过消息传递系统命令与hmi相关联的系统执行与其相关联的功能。
45.在示例性实施方式中，第一传感器28，比如nir传感器，还可以配置为扫描登机牌或其他识别乘客的标记。处理电路22，比如图4中的实施方式的光学身份验证系统68，被配置为验证乘客将坐在与hmi 20相关联的座位上(比如通过放置在面对各座位的座位背上)。尽管处理电路可以以各种方式做出这样的确定，但是示例性实施方式的处理电路比如光学身份验证系统被配置为利用自然语言处理和光学字符识别(optical character recognition)来识别乘客和分配给该乘客的座位，比如登机牌所识别的乘客，并验证乘客是否坐在正确的座位上。在处理电路比如光学身份验证系统识别出患者不在正确座位上的情况下，处理电路比如消息传递系统66可以配置为比如经由用户界面10向乘客提供消息，
提醒乘客他们可能坐在不正确的座位上。附加地或替代地，处理电路比如消息传递系统可以配置为通知机组人员乘客可能坐在不正确的座位上。然而，在处理电路比如光学身份验证系统确定乘客坐在正确的座位上并且处理电路比如注意力检测模块60确定已执行触发动作的情况下，然后处理电路比如手势识别模块62和面罩检测模块64然后可以处理由eo传感器和nir传感器提供的信号，以确定乘客是否穿戴了个人防护装备，如果是的话，以确定乘客执行的姿势。处理电路，比如消息传递系统接着可以配置为相应地命令与hmi相关联的系统执行与姿势相关联的功能。
46.如上所述，提供了hmi 20、与hmi交互的方法和相应的计算机程序产品以便于用户与hmi的交互。hmi、方法和相关联的计算机程序产品被配置为检测姿势并对其采取行动，而不是要求用户触摸hmi的用户界面。通过依赖姿势，hmi可以配置为接收用户的大量不同类型的输入，以便增加与hmi相关联的系统被控制的灵活性和细节水平。此外，hmi、方法和计算机程序产品被配置为当用户试图与hmi交互时检测用户是否穿戴了个人防护装备并且可以调节hmi(包括与hmi相关联的任何系统)对由穿戴个人防护装备的用户提供的输入的任何响应，以。因此，hmi、方法和计算机程序产品鼓励用户穿戴个人防护装备，从而降低与用户以及其他后续用户与使用hmi相关联的健康风险。此外，hmi、方法和计算机程序产品可以配置为记录(log)，即维护用户的记录以及用户是否穿戴了个人防护装备，从而促进相对于hmi的其他用户或用户与hmi交互时位于附近的其他人的接触追踪。
47.如上所述，图3和图4图解了根据本公开内容的示例性实施方式的hmi 20、方法和计算机程序产品的流程图。应当理解，流程图的每个方框以及流程图中的方框的组合可以通过各种方式来实现，比如硬件和/或包括具有存储在其上的计算机可读程序指令的一种或多种计算机可读存储介质的计算机程序产品。例如，本文描述的一个或多个过程可以由计算机程序产品的计算机程序指令来体现。在这点上，体现本文描述的过程的计算机程序产品(一种或多种)可以由hmi的一个或多个存储装置24存储并且由hmi的处理电路22执行。在一些实施方式中，包括体现上述过程的计算机程序产品(一种或多种)的计算机程序指令可以由多个存储装置存储。将理解，任何这样的计算机程序产品都可以加载到计算机或其他可编程设备上以生产机器，使得包括在计算机或其他可编程设备上执行的指令的计算机程序产品创建用于实现流程图方框中指定功能的装置。此外，计算机程序产品可以包括一个或多个计算机可读存储器，计算机程序指令可以存储在这些计算机可读存储器上，使得一个或多个计算机可读存储器可以指导计算机或其他可编程设备以特定方式运行，使得计算机程序产品包括实施流程图方框中指定的功能的制品。一个或多个计算机程序产品的计算机程序指令也可以被加载到计算系统或其他可编程设备上，以导致在计算系统或其他可编程设备上执行一系列操作以产生计算机实施的过程，使得在计算系统或其他可编程设备上执行的指令实施流程图方框中指定的功能。
48.因此，流程图的方框或步骤支持用于执行指定功能的手段的组合和用于执行指定功能的步骤的组合。还应理解，流程图的一个或多个方框，以及流程图中方框的组合，可由执行指定功能或步骤的基于专用硬件的计算机系统或专用硬件和计算机程序产品的组合来实现。
49.可以以多种方式执行上述功能。例如，可以采用用于执行上述每个功能的任何合适的手段来执行本公开内容的实施方式。在一个实施方式中，适当配置的计算系统20可以
提供本公开内容的全部或部分要素。在另一个实施方式中，所有或部分要素可以由计算机程序产品配置并在其控制下操作。用于执行本公开内容的实施方式的方法的计算机程序产品包括计算机可读存储介质，比如非易失性存储介质，以及计算机可读存储介质中体现的计算机可读程序代码部分，比如一系列计算机指令。
50.进一步，本公开内容包括根据下述条款的实施方式：
51.条款1.一种用于与系统的人机界面(hmi)(20)交互的方法，所述方法包括：
52.(40)检测试图与所述hmi交互的人脸并检测此人相对于所述hmi做出的姿势；
53.(42)分析关于检测到的人脸的信息以确定此人是否穿戴了个人防护装备；
54.在确定此人未穿戴个人防护装备的情况下，(44)暂停对此人相对于所述hmi做出的姿势的响应；和
55.在确定此人穿戴了个人防护装备的情况下，(52)分析此人相对于所述hmi做出的姿势并将所述姿势转换为对与所述hmi相关联的系统的相应命令。
56.条款2.根据条款1所述的方法，其中在先前确定此人未穿戴个人防护装备的情况下，所述方法进一步包括：
57.(46)随后检测试图与所述hmi(20)交互的人脸；
58.(48)分析随后检测到的关于人脸的信息，以确定此人现在是否穿戴了所述个人防护装备；和
59.在基于随后对人脸的检测确定此人现在穿戴了个人防护装备的情况下，(50)终止对所述姿势的响应的暂停并(52)分析此人相对于所述hmi做出的姿势并将所述姿势转换为对与所述hmi相关联的系统的所述相应命令。
60.条款3.根据任一前述条款所述的方法，其中所述个人防护装备包括面罩。
61.条款4.根据任一前述条款所述的方法，其中(42)分析关于人脸的信息包括估计代表人脸的点云数据以确定此人是否穿戴了所述个人防护装备。
62.条款5.根据任一前述条款所述的方法，其中(40)检测试图与hmi(20)交互的人脸和检测此人相对于所述hmi做出的姿势包括基于由第一传感器(28)接收到的信号检测人脸和基于由不同于所述第一传感器的第二传感器(30)接收到的信号来检测此人相对于所述hmi做出的姿势。
63.条款6.根据条款5所述的方法，其中所述第一传感器(28)包括近红外(nir)传感器，并且所述第二传感器(30)包括电光(eo)传感器。
64.条款7.根据任一前述条款所述的方法，其中(40)检测试图与所述hmi(20)交互的人脸、(42)分析关于检测到的人脸的信息以确定此人是否穿戴了个人防护装备、(52)分析此人相对于所述hmi做出的姿势并将所述姿势转换为所述相应命令是利用一个或多个卷积神经网络进行的。
65.条款8.一种系统的人机界面(hmi)(20)，所述人机界面包括处理电路(22)，所述处理电路配置为：
66.(40)检测试图与所述hmi交互的人脸并检测此人相对于所述hmi做出的姿势；
67.(42)分析关于检测到的人脸的信息以确定此人是否穿戴了个人防护装备；
68.在确定此人未穿戴个人防护装备的情况下，(44)暂停对此人相对于所述hmi做出的姿势的响应；和
69.在确定此人穿戴了个人防护装备的情况下，(52)分析此人相对于所述hmi做出的姿势并将所述姿势转换为与hmi相关联的系统的相应命令。
70.条款9.根据条款8所述的人机界面(20)，其中在先前确定此人未穿戴个人防护装备的情况下，所述处理电路(22)进一步配置为：
71.(46)随后检测试图与所述hmi交互的人脸；
72.(48)分析随后检测到的关于人脸的信息，以确定此人现在是否穿戴了所述个人防护装备；和
73.在基于随后对人脸的检测确定此人现在穿戴了个人防护装备的情况下，(50)终止对所述姿势的响应的暂停并(52)分析此人相对于所述hmi做出的姿势并将所述姿势转换为对与所述hmi相关联的系统的所述相应命令。
74.条款10.根据条款8-9中任一项所述的人机界面(20)，其中所述个人防护装备包括面罩。
75.条款11.根据条款8-10中任一项所述的人机界面(20)，其中所述处理电路(22)配置为(42)通过估计代表人脸的点云数据分析关于人脸的信息，以确定此人是否穿戴了所述个人防护装备。
76.条款12.根据条款8-11中任一项所述的人机界面(20)，进一步包括：
77.第一传感器(28)，其配置为向所述处理电路(22)提供检测试图与所述hmi交互的人脸的信号；和
78.与第一传感器不同的第二传感器(30)，其配置为向处理电路提供检测此人相对于所述hmi做出的姿势的信号。
79.条款13.根据条款12所述的人机界面(20)，其中所述第一传感器(28)包括近红外(nir)传感器，并且所述第二传感器(30)包括电光(eo)传感器。
80.条款14.根据条款8-13中任一项所述的人机界面(20)，其中所述处理电路(22)包括一个或多个卷积神经网络，其配置为(40)检测试图与hmi交互的人脸、(42)分析关于检测到的人脸的信息以确定此人是否穿戴了个人防护装备、(52)分析此人相对于所述hmi做出的姿势并将所述姿势转换为所述相应命令。
81.条款15.一种计算机程序产品，其包括其中存储有计算机可执行程序代码指令的至少一种非暂时性计算机可读存储介质，所述计算机可执行程序代码指令包括程序代码指令以：
82.(40)检测试图与hmi(20)交互的人脸并检测此人相对于所述hmi做出的姿势；
83.(42)分析关于检测到的人脸的信息以确定此人是否穿戴了个人防护装备；
84.在确定此人未穿戴个人防护装备的情况下，(44)暂停对此人相对于所述hmi做出的姿势的响应；和
85.在确定此人穿戴了个人防护装备的情况下，(52)分析此人相对于所述hmi做出的姿势并将所述姿势转换为对与所述hmi相关联的系统的相应命令。
86.条款16.根据条款15所述的计算机程序产品，其中在先前确定此人未穿戴个人防护装备的情况下，所述计算机可执行程序代码指令进一步包括程序代码指令以：
87.(46)随后检测试图与所述hmi(20)交互的人脸；
88.(48)分析随后检测到的关于人脸的信息，以确定此人现在是否穿戴了所述个人防
护装备；和
89.在基于随后对人脸的检测确定此人现在穿戴了个人防护装备的情况下，(50)终止对所述姿势的响应的暂停并(52)分析此人相对于所述hmi做出的姿势并将所述姿势转换为与所述hmi相关联的系统的所述相应命令。
90.条款17.根据条款15-16中任一项所述的计算机程序产品，其中所述个人防护装备包括面罩。
91.条款18.根据条款15-17中任一项所述的计算机程序产品，其中(42)分析关于人脸的信息的程序代码指令包括估计代表人脸的点云数据的程序代码指令以确定此人是否穿戴了所述个人防护装备。
92.条款19.根据条款15-18中任一项所述的计算机程序产品，其中(40)检测试图与所述hmi(20)交互的人脸和检测此人相对于所述hmi做出的姿势的程序代码指令包括基于由第一传感器(28)接收到的信号检测人脸和基于由不同于所述第一传感器的第二传感器(30)接收到的信号来检测此人相对于所述hmi做出的姿势的程序代码指令。
93.条款20.根据条款15-19中任一项所述的计算机程序产品，其中所述程序代码指令包括一个或多个卷积神经网络，其配置为(40)检测试图与所述hmi(20)交互的人脸、(42)分析关于检测到的人脸的信息以确定此人是否穿戴了个人防护装备、(52)分析此人相对于所述hmi做出的姿势并将所述姿势转换为所述相应命令。
94.受益于前述描述和相关附图中呈现的教导，本公开内容所属领域的技术人员将想到本文阐述的本公开内容的许多修改和其他方面。因此，应当理解，本公开内容不限于所公开的具体方面，并且修改和其他方面旨在包括在所附权利要求的范围内。尽管本文使用了特定术语，但它们仅用于一般和描述性意义，而不是出于限制目的。