一种基于眼动和手势的UI界面设计及人机交互方法

本发明涉及人机交互，更具体地说，涉及一种结合利用计算机视觉下的视线追踪技术、手势识别技术设计出的一种基于眼动和手势的ui界面设计及人机交互方法。

背景技术：

1、在人工智能迅速发展的今天，人工智能与人机交互的结合已经成为必然的趋势，这将会给未来人机交互带来巨大的前景。同时将手势和头部姿态结合起来，能更好地探讨新的交互通道存在的应用价值。实现非接触的基于“眼动追踪+手部姿态”的混合控制方法，对于多通道人机交互技术的探索与研究具有重大的意义。

2、在现有技术中，倾向于直接利用眼动的视线焦点来捕捉待操作的控件或图标，进而直接把手势指令映射到控件或图标的对应操作。然而，在实际交互过程中(特别是人在移动的车、船上时)，由于人头部的自然晃动以及轻微头部晃动引起的视线焦点在屏幕上的大幅度漂移，导致很难通过视线来稳定地捕捉某个待操作控件或图标。与现有的发明不同，本发明采用区域控制方式，通过一种融合眼动和手势控制的ui交互方式，在ui界面设计过程中就融入了区域控制的理念，使得用户在基于眼动和手势进行交互时不需要刻板生硬地通过视线焦点去捕捉待操作的控件或图标，操控更加自然可靠。本发明不单单是公布一种ui交互方式，也是公布一种融合自然交互方式的ui界面设计和开发方法。

技术实现思路

1、1.要解决的技术问题

2、针对现有技术中存在的问题，本发明的目的在于提出了一种基于眼动和手势的ui界面设计及人机交互方法，基于眼动追踪的交互方式，配合手势控制，可以为操作者提供更多的控制选择，减少由于相同设备的长时间单通道控制而导致的工作负载，精神压力和疲劳；从而提高交互效率，也保证了交互过的自然性和可靠性。

3、2.技术方案

4、为解决上述问题，本发明采用如下的技术方案：

5、一种基于眼动和手势的ui界面设计及人机交互方法，包括以下步骤：

6、s1、在对ui界面的功能设计及开发的基础上，为ui界面上适合手势操控的功能区域定制手势指令集；

7、s2、利用显示器上配备的摄像头采集人体图像，进行视线估计和手势识别，得到用户在ui界面上的视线焦点以及识别出的手势类别；

8、s3、把视线焦点和手势类别发送给ui，ui根据视线焦点确定用户在ui 界面上的意图操控区域；

9、s4、ui界面比对意图操控的功能区域的手势指令集，对收到的手势指令进行有效性判断；

10、s5、根据意图操控的功能区域定制的手势指令集，把有效手势指令转化为ui可执行的消息或信号，传递给ui界面；

11、s6、ui界面响应执行收到的消息或信号，最终完成手势指令的执行，完成基于眼动和手势的ui界面人机交互。

12、作为本发明的一种优选方案，所述步骤1中，在ui界面的设计和开发过程中，根据各个功能区域所用控件的不同，可以针对性地定制手势指令集，并实现手势指令到ui可执行指令的转换映射，为ui预留除了传统的鼠标操作之外的自然交互接口。

13、作为本发明的一种优选方案，所述步骤2中，利用显示器配备的摄像头采集人体图像，对人体头部姿态和眼睛注视方向进行估计，结合摄像头的内外参以及显示屏的尺寸及分辨率，估计出用户眼睛注视方向在屏幕上的视线焦点；对人体手势进行检测和识别，结合手势类型、位置变化、持续时间，识别出手势指令。

14、作为本发明的一种优选方案，所述步骤3中，满足下述判定条件的功能区域可确认为意图操控区域：用户视线焦点在某一区域内，视线焦点位置变化小于设定阈值；用户视线焦点在某一区域内沿着预定的轨迹移动；用户视线焦点在某一区域停留时间满足时间阈值。

15、作为本发明的一种优选方案，所述步骤4中，从意图操控的功能区域定制的手势指令集中匹配当前收到的手势指令，不同功能区域的手势指令是不尽相同的，相同的手势指令在不同功能区域代表的功能也可能是不尽相同的，需要基于眼动识别出的意图操控的功能区域进行手势指令的有效性判断。

16、作为本发明的一种优选方案，所述步骤5中，手势指令是有别于ui可直接执行指令的另一种指令表达形式，需要把手势指令转化为ui可执行的具体指令，例如在使用qt开发界面时把某个手势指令转化为对应控件的信号，该控件收到信号后即可进行响应。

17、作为本发明的一种优选方案，所述步骤6中，ui接收到可执行的信号后即可进行响应，响应过程和基于鼠标点击触发的信号的响应过程相同，如此只需要在ui开发过程中开放相应的信号发送接口即可，不显著增加ui开发的工作量。

18、3.有益效果

19、相比于现有技术，本发明的优点在于：

20、本发明通过将眼动和手势两种自然交互手段结合起来，实现多通道交互，丰富用户的输入操作方式，使得操作者能够与ui界面进行更加自然、便捷的交互，是交互控制过程更加高效、可靠。本方法同时可以适应多种尺寸的显示设备，使用场景广泛。

21、附图/表说明

22、图1为本发明一种基于眼动和手势的ui界面设计及人机交互方法的工作流程图；

23、图2为本发明一种基于眼动和手势的ui界面设计及人机交互方法的工作流程的另一种图示；

24、图3为本发明一种基于眼动和手势的ui界面设计及人机交互方法实施例的图例；

25、表1为本发明一种基于眼动和手势的ui界面设计及人机交互方法实施例支持的手势指令集。

技术特征：

1.一种基于眼动和手势的ui界面设计及人机交互方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于眼动和手势的ui界面设计及人机交互方法，其特征在于，所述步骤1中，在ui界面的设计和开发过程中，根据各个功能区域所用控件的不同，可以针对性地定制手势指令集，并实现手势指令到ui可执行指令的转换映射，为ui预留除了传统的鼠标操作之外的自然交互接口。

3.根据权利要求1所述的基于眼动和手势的ui界面设计及人机交互方法，其特征在于，所述步骤2中，利用显示器配备的摄像头采集人体图像，对人体头部姿态和眼睛注视方向进行估计，结合摄像头的内外参以及显示屏的尺寸及分辨率，估计出用户眼睛注视方向在屏幕上的视线焦点；对人体手势进行检测和识别，结合手势类型、位置变化、持续时间，识别出手势指令。

4.根据权利要求1所述的基于眼动和手势的ui界面设计及人机交互方法，其特征在于，所述步骤3中，满足下述判定条件的功能区域可确认为意图操控区域：用户视线焦点在某一区域内，视线焦点位置变化小于设定阈值；用户视线焦点在某一区域内沿着预定的轨迹移动；用户视线焦点在某一区域停留时间满足时间阈值。

5.根据权利要求1所述的基于眼动和手势的ui界面设计及人机交互方法，其特征在于，所述步骤4中，从意图操控的功能区域定制的手势指令集中匹配当前收到的手势指令，不同功能区域的手势指令是不尽相同的，相同的手势指令在不同功能区域代表的功能也可能是不尽相同的，需要基于眼动识别出的意图操控的功能区域进行手势指令的有效性判断。

6.根据权利要求1所述的基于眼动和手势的ui界面设计及人机交互方法，其特征在于，所述步骤5中，手势指令是有别于ui可直接执行指令的另一种指令表达形式，需要把手势指令转化为ui可执行的具体指令，例如在使用qt开发界面时把某个手势指令转化为对应控件的信号，该控件收到信号后即可进行响应。

7.根据权利要求1所述的基于眼动和手势的ui界面设计及人机交互方法，其特征在于，所述步骤6中，ui接收到可执行的信号后即可进行响应，响应过程和基于鼠标点击触发的信号的响应过程相同，如此只需要在ui开发过程中开放相应的信号发送接口即可，不显著增加ui开发的工作量。

技术总结
本发明公开一种基于眼动和手势的UI界面设计及人机交互方法。所述方法包括以下步骤：在对UI界面的功能设计及开发的基础上，为UI界面上适合手势操控的功能区域定制手势指令集；利用显示器上配备的摄像头采集人体图像，进行视线估计和手势识别。本发明基于眼动实现人体视线焦点的估计以及UI界面意图操控区域的识别，进而基于手势识别结果对意图操控的功能区域进行交互，不但增加了人机交互的便捷性，而且可以根据功能区域不同定制自然交互手势，提高人机交互效率。本发明采用区域控制方式，无需通过视线焦点来直接捕捉待操作的控件或图标，对头部自然晃动导致的视线焦点的漂移具备更好的鲁棒性。

技术研发人员：朱光明,张亮
受保护的技术使用者：西安电子科技大学青岛计算技术研究院
技术研发日：
技术公布日：2024/1/13