一种自然空中手势驱动的交互模式切换方法

本发明属于人机交互，具体涉及一种自然空中手势驱动的交互模式切换方法。

背景技术：

1、随着科学技术的不断发展，越来越多的人机交互系统应用在我们的生活当中。人机交互系统通常由硬件和软件组成，允许用户通过直观的界面与设备进行交互，如眼动操控、语音识别和手势控制。有效的人机交互系统注重用户需求，采用用户友好的设计和反馈机制，以确保操作的流畅性和易用性。随着技术的进步，人机交互系统正朝向更自然的交互方式发展，如虚拟现实、增强现实和跨设备交互，进一步优化用户体验和提高效率。

2、在大多数人机交互系统中，为了适应多种应用场景和系统流畅性，往往会发生多种交互模式的切换；而如何做到交互模式之间的切换一直是个难题。传统的交互模式切换方法往往需要特定设备或者需要用户做出繁杂的手势，这不仅在泛用性和交互效率上有很大的不足，而且也会增大用户的体力和脑力负担。

3、当前现有技术中大部分的交互模式还是局限于特殊的应用场景，并没有很好的普适性，都有各自的缺点；例如专利cn114270295a、专利kr20220016274a都是在虚拟现实的场景下，用户做出固定的手势或者将手部移动到指定位置来实现交互模式的切换，这种方法的体力消耗比较大，用户使用起来不够自然、便捷；专利us20230110890a1提出的用于远程系统进入和退出的方法，通过头部位置、激活手势、阈值时间等方式，提高了系统的可靠性和稳定性，但过于繁琐的操作会让用户的记忆负担变大；专利cn218599956u、专利jp2022554219a都使用语音输入的方式完成交互模式的切换，这样的方法虽然快速，但由于语音识别本身的限制，在一些嘈杂或者公共的场合并不适用；专利us10545900b2、专利us10628183b2使用改变固定装置状态的方式进行交互模式的切换，其便携性和灵活性有很大的不足。综上所述，目前没有一种方法能够自然、便捷、广泛的使用于人机交互系统的交互模式切换。

技术实现思路

1、为了解决现有技术中在交互模式切换时所存在的问题，本发明提供一种自然空中手势驱动的交互模式切换方法，以快速、自然地实现交互模式的切换，提升用户的操作体验和交互效率。

2、为了实现上述任务，本发明采用以下技术方案：

3、一种自然空中手势驱动的交互模式切换方法，包括：

4、用户在执行交互模式切换动作时，设备通过信息采集装置获取用户的手部信息，并在每一时刻利用滑动窗口计算用户手部相对于设备的深度信息以及标准差数据；其中，用户的手部沿着垂直于人体额状面的前后轴移动；

5、判断用户当前时刻手部的深度信息以及标准差数据是否满足非对称的预设条件；其中，非对称的预设条件具体为深度信息与第一阈值和第二阈值的大小关系以及标准差数据与第三阈值的大小关系；

6、根据预设规则确定当前时刻设备处于交互模式还是非交互模式。

7、进一步地，如果信息采集装置不能直接采集手部的深度信息，则将手部宽度作为手部的深度信息。

8、进一步地，所述在每一时刻利用滑动窗口计算用户手部相对于设备的深度信息以及标准差数据，包括：

9、在任意时刻，用户手部深度信息计算公式如下：

10、

11、其中y是手部在前后轴上的某一时刻位置信息，n是滑动窗口的大小，xi是滑动窗口内第i时刻的手部距离设备的深度信息；

12、标准差计算如下：

13、

14、其中σ(x)表示某一时刻手部深度信息的标准差，表示手部深度信息的均值。

15、进一步地，所述第一阈值、第二阈值的确定方法为：

16、步骤2.1，采用所述设备、投影仪和计算机进行绿野仙踪试验，计算机作为试验的任务系统，任务系统中的画面由投影仪展示给用户，用户在设备前通过手势执行图像操控任务；在试验过程中，利用设备采集用户手部数据；按照试验人员的指导，通过手部分别对任务系统中的图像执行不同功能；当用户执行任一功能过程中由于手部生理约束或设备原因无法继续执行任务时，试验人员会给出声音提示，用户需要第一时间将手掌向自身身体方向拖拽，此时试验人员会将任务系统切换到非交互模式；待用户重新调整手部姿态后将手掌向远离身体的方向推动，试验人员会将任务系统切换到交互模式，此时用户可以继续进行交互任务；

17、步骤2.2，所述手部数据包括用户手部的关键点坐标，基于关键点坐标得到手部宽度，利用手部宽度代替用户手部的深度信息；建立手部宽度与深度信息之间的映射关系，并进行曲线拟合，得到的拟合曲线；

18、步骤2.3，基于用户的手部深度信息建立密度图，通过核密度曲线估计交互模式和非交互模式下深度信息的概率密度函数并进行拟合；

19、步骤2.4，对于深度信息的密度图，从图中选择交互模式数据占比最多、非交互模式数据占比最少时所对应的手部宽度数据作为动态权值函数的参数s；

20、采用反向指数函数作为动态权值函数，不同深度信息下拥有不同的权值，以各深度信息为分割点，分割点左侧判定为非交互模式，分割点右侧判定为交互模式：

21、

22、其中w(x)是在某一深度下的计算交互模式切换概率的权值，x是某一时刻用户的手部的深度信息，e为自然常数，d为经验参数；

23、确定交互模式和非交互模式判定的错误率小于第一设定值时，手部与设备之间的距离为第一阈值a；从第一阈值a开始，直至某位置时，如满足判定的假阳性、假阴性的概率都小于第二设定值，则将所述位置作为第二阈值b。

24、进一步地，所述核密度估计的公式为：

25、

26、其中f(x)是在某一深度信息下的估计密度，n是试验过程中采集手部数据的数量，h是用于控制核函数的带宽，x是具体的深度信息即想要估计其概率密度函数值的点，xi是第i个深度信息，是一个均匀核函数，其定义如下：

27、

28、进一步地，所述第三阈值的确定方法为：

29、步骤2.5，在试验过程中对于不同时刻用户手部宽度数据，利用一个滑动窗口计算手部宽度的标准差；构建手部宽度-标准差图，其纵轴为用户各时刻的手部宽度，横轴为个时刻计算的手部宽度的标准差；

30、从该图中选择平行于横轴、大于所有交互模式下对应的标准差、与所有非交互模式下对应标准差区间存在交点、与横轴距离最近的一条横线作为阈值线，该阈值线所对应的纵轴的值即确定为第三阈值c。

31、进一步地，所述第一设定值为5％，第二设定值为10％，经验参数d的取值为0.01-0.03。

32、进一步地，所述根据预设规则确定当前时刻设备处于交互模式还是非交互模式，包括：

33、在设备的人机交互系统中定义交互状态、非交互状态、过渡状态三种状态；

34、将当前时刻滑动窗口内手部的标准差数据大于c记为事件一，将连续n次滑动窗口计算手部深度信息大于b记为事件二，当前时刻滑动窗口内手部的标准差数据小于c记为事件三，将连续n次滑动窗口计算手部深度信息小于a记为事件四，当前时刻滑动窗口计算手部深度信息大于b记为事件五，当前时刻滑动窗口计算手部深度信息小于a记为事件六，进行判断：

35、如果当前时刻处于交互状态，满足事件一，则表明用户是从交互状态转换到过渡状态；满足事件二，则表明用户切换到非交互状态；如果当前时刻处于过渡状态，满足事件三则表明用户切换到非交互状态；满足事件六则表明用户切换到交互状态；如果当前时刻处于非交互状态，满足事件四则表明用户切换到交互状态，满足事件五则表明用户切换到过渡状态；

36、在交互状态下，设备的人机交互系统进入交互模式，此时设备将响应用户的手势输入，实现交互；在过渡状态和非交互状态，系统进入非交互模式，此时设备将屏蔽用户的手势输入。

37、一种设备，所述设备具有信息采集装置；

38、用户在执行交互模式切换动作时，设备通过信息采集装置获取用户的手部信息，并在每一时刻利用滑动窗口计算用户手部相对于设备的深度信息以及标准差数据；其中，用户的手部沿着垂直于人体额状面的前后轴移动；

39、设备判断用户当前时刻手部的深度信息以及标准差数据是否满足预设条件；其中，预设条件具体为深度信息与第一阈值和第二阈值的大小关系以及标准差数据与第三阈值的大小关系；

40、设备根据预设规则确定当前时刻设备处于交互模式还是非交互模式。

41、一种交互模式切换装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现所述自然空中手势驱动的交互模式切换方法。

42、一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现所述自然空中手势驱动的交互模式切换方法。

43、与现有技术相比，本发明具有以下技术特点：

44、本发明提供了一种自然空中手势用于人机交互系统中交互模式的切换；用户通过向人体自身方向拖拽手部、向相反方向推动手部实现交互模式和非交互模式的切换。通过定义用户拖动手部的距离，避免过长的移动手部带来交互效率的降低，同时减少过短的移动手部带来的错误识别模式切换指令，从而影响正常交互。对于用户在垂直于人体额状面的前后轴上的位置信息的处理，加上对于三种系统状态的定义，能够使用户稳定、快速的实现交互模式的切换。这种技术在多种应用场景下具有极为广泛的应用前景，特别是在远程控制、虚拟现实、增强现实等前沿领域，它将极大地提高用户的交互效率，为用户带来更加高效、便捷和愉悦的操作体验，进一步推动了相关领域的技术发展和应用创新。