基于眼部识别的交互方法、装置、电子设备以及存储介质与流程

本发明涉及设备控制领域，尤其涉及一种基于眼部识别的交互方法、装置、电子设备以及存储介质。

背景技术：

1、随着越来越多的显示类电子产品，特别是大屏幕电视、vr眼镜、头戴式显示设备的出现，其人机交互界面的有效实现是一个重要的研究方向。目前常用的用户与显示类电子设备之间的交互方式依旧为利用额外的硬件设备(包括但不限于遥控器、操作按钮或用户持有的智能手机等)进行，或者利用显示类产品内置的语音助手，通过用户发出语音指令进行交互控制，上述常规的交互控制方式对于用户来说操作起来较为繁琐，需要额外的设备或较长的交互时间进行。

技术实现思路

1、根据本公开的一方面，提供了一种基于眼部识别的交互方法，包括：采集用户视觉焦点的移动轨迹；基于所述移动轨迹的起点位置和终点位置确定待执行的预定操作；在接收到所述用户的确认操作的情况下，执行所述预定操作。

2、在一些实施例中，用户的可视区域包括多个视觉区域，所述基于所述移动轨迹的起点位置和终点位置确定待执行的预定操作，包括：在所述起点位置和所述终点位置位于同一个视觉区域中的情况下，所述预定操作为延所述起点位置指向所述终点位置的方向移动显示内容；在所述起点位置和所述终点位置位于不同视觉区域中的情况下，所述预定操作为将所述终点位置所在的第二视觉区域内的显示内容移动至所述起点位置所在的第一视觉区域中。

3、在一些实施例中，所述确认操作至少包括：所述视觉焦点在任意一个位置的聚焦时长超过第一阈值；和/或，所述用户连续进行眨眼动作的次数超过第二阈值。

4、在一些实施例中，在采集用户视觉焦点的移动轨迹之前，还包括：在所述用户的可视区域内依次突出显示各个校准点；检测用户对各个所述校准点的聚焦时长是否均超过第三阈值；在所述用户对各个所述校准点的聚焦时长均超过所述第三阈值的情况下，确定所述校准点的校准成功，否则，确定所述校准点的校准失败。

5、根据本公开的另一方面，提供了一种基于眼部识别的交互装置，包括：采集模块，用于采集用户视觉焦点的移动轨迹；确定模块，用于基于所述移动轨迹的起点位置和终点位置确定待执行的预定操作；交互模块，用于在接收到所述用户的确认操作的情况下，执行所述预定操作。

6、在一些实施例中，用户的可视区域包括多个视觉区域，所述确定模块具体用于：在所述起点位置和所述终点位置位于同一个视觉区域中的情况下，所述预定操作为延所述起点位置指向所述终点位置的方向移动显示内容；在所述起点位置和所述终点位置位于不同视觉区域中的情况下，所述预定操作为将所述终点位置所在的第二视觉区域内的显示内容移动至所述起点位置所在的第一视觉区域中。

7、在一些实施例中，所述确认操作至少包括：所述视觉焦点在任意一个位置的聚焦时长超过第一阈值；和/或，所述用户连续进行眨眼动作的次数超过第二阈值。

8、在一些实施例中，还包括：校准模块，用于在所述用户的可视区域内依次突出显示各个校准点；检测用户对各个所述校准点的聚焦时长是否均超过第三阈值；在所述用户对各个所述校准点的聚焦时长均超过所述第三阈值的情况下，确定所述校准点的校准成功，否则，确定所述校准点的校准失败。

9、根据本公开的另一方面，提供了一种电子设备，包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述的方法。

10、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的方法。

11、本申请实施例中提供的一个或多个技术方案，充分利用目前摄像设备对人眼动作的状态捕捉能力，通过识别用户视觉焦点的移动轨迹来确定用户希望进行的操作，并在检测到确认动作之后进行相应操作的执行，使用户对设备显示画面的控制脱离额外设备，并且可以快速高效地进行。

技术特征：

1.一种基于眼部识别的交互方法，其特征在于，包括：

2.根据权利要求1所述的交互方法，其特征在于，用户的可视区域包括多个视觉区域，所述基于所述移动轨迹的起点位置和终点位置确定待执行的预定操作，包括：

3.根据权利要求1所述的交互方法，其特征在于，所述确认操作至少包括：

4.根据权利要求1至3中任一项所述的交互方法，其特征在于，在采集用户视觉焦点的移动轨迹之前，还包括：

5.一种基于眼部识别的交互装置，其特征在于，包括：

6.根据权利要求5所述的交互装置，其特征在于，用户的可视区域包括多个视觉区域，所述确定模块具体用于：

7.根据权利要求5所述的交互装置，其特征在于，所述确认操作至少包括：

8.根据权利要求5至7中任一项所述的交互装置，其特征在于，还包括：

9.一种电子设备，包括：

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至4中任一项所述的方法。

技术总结
本公开提供一种基于眼部识别的交互方法、装置、电子设备以及存储介质，该方法包括：采集用户视觉焦点的移动轨迹；基于移动轨迹的起点位置和终点位置确定待执行的预定操作；在接收到用户的确认操作的情况下，执行预定操作。本公开充分利用目前摄像设备对人眼动作的状态捕捉能力，通过识别用户视觉焦点的移动轨迹来确定用户希望进行的操作，并在检测到确认动作之后进行相应操作的执行，使用户对设备显示画面的控制脱离额外设备，并且可以快速高效地进行。

技术研发人员：金勇
受保护的技术使用者：深圳康佳电子科技有限公司
技术研发日：
技术公布日：2024/1/13