设备控制方法及装置、电子设备及存储介质与流程

本公开涉及电子，尤其涉及一种设备控制方法及装置、电子设备及存储介质。

背景技术：

1、利用视线实现屏幕控制和人机交互是：

2、通过采集人脸图像并估计人眼的视线方向和屏幕上的注视点，从而控制亮屏息屏，或进行人机交互，比如控制音乐的播放、暂停、上一首、下一首等。

3、相关技术方案有：

4、(1)采用眼动仪，眼动仪可以较精确地估计视线方向和注视点，但设备复杂、昂贵而且笨重，要配合专用的软件使用，一般用于实验室研究，无法用于消费级场景。

5、(2)采用深度摄像头，包括：双目彩色摄像头、飞行时间(time of flight，tof)模块或结构光摄像头等。通过深度摄像头估计人眼的深度信息，结合人眼位置信息和视线方向可估计注视点。总之，摄像头需要深度摄像头，而且深度估计需要大量计算或专用芯片、功耗大或适用场景有限。

6、不管是采用眼动仪还是深度摄像头，都是需要额外的设备辅助人眼的视点确定。

技术实现思路

1、本公开实施例提供一种设备控制方法及装置、电子设备及存储介质。

2、本公开实施例第一方面提供一种设备控制方法，所述方法包括：

3、根据包含眼部成像区域的采集图像，确定采集对象的眼睛的视线方向；

4、根据图像采集模组生成所述采集图像使用的焦距，确定所述眼睛在图像坐标系内的三维坐标；

5、根据所述视线方向和所述三维坐标，确定所述视线方向和被控设备的显示屏幕所在的显示平面之间的交点位置；

6、根据所述交点位置，控制所述被控设备。

7、基于上述方案，所述根据所述采集图像的焦距，确定所述眼睛在图像立体坐标系内的三维坐标，包括：

8、根据所述眼睛在所述采集图像上的成像直径、所述采集对象的虹膜直径以及所述焦距，确定所述眼睛在所述图像坐标系的第一坐标轴上的第一坐标值；

9、根据所述眼睛的中心点在所述采集图像上的眼睛中心点坐标，以及所述采集图像的中心点的坐标，确定所述眼睛在所述图像坐标系的第二坐标轴的第二坐标值和第三坐标系上的第三坐标值；其中，所述第一坐标轴、所述第二坐标轴和所述第三坐标轴中任意两者相互垂直；所述第一坐标值、所述第二坐标值和所述第三坐标值共同构成所述三维坐标。

10、基于上述方案，所述根据所述眼睛在所述采集图像上的成像直径、所述采集对象的虹膜以及所述焦距，确定所述眼睛在所述图像坐标系的第一坐标轴上的第一坐标值，包括：

11、确定所述虹膜直径和所述焦距之间的第一乘积；

12、确定所述成像直径和图像采集模组上单个像素的尺寸之间的第二乘积；

13、根据所述第一乘积和所述第二乘积之间商，确定所述第一坐标值。

14、基于上述方案，所述根据所述眼睛的中心点在所述采集图像上的眼睛中心点坐标，以及所述采集图像的中心点的坐标，确定所述眼睛在所述图像坐标系的第二坐标轴的第二坐标值和第三坐标系上的第三坐标值，包括：

15、根据所述眼睛中心点坐标在第二坐标轴的第一取值以及所述采集图像的中心点在所述第二坐标轴的第二取值、所述第一坐标值以及焦距，确定所述第二坐标值；

16、根据所述眼睛中心点坐标在第三坐标轴的第三取值以及所述采集图像的中心点在所述第二坐标轴的第四取值、所述第一坐标值以及焦距，确定所述第三坐标值。

17、基于上述方案，所述根据包含眼部成像区域的采集图像，确定被采集的眼睛的视线方向，包括：

18、对所述采集图像进行人脸检测，得到所述人脸关键点；

19、根据所述人脸关键点中的眼部关键点，得到所述眼部成像区域；

20、根据所述人脸关键点，确定所述采集对象的头部姿态特征；

21、根据所述眼部成像区域和所述头部姿态特征，确定所述采集对象的眼睛的视线方向。

22、基于上述方案，所述根据所述交点位置，控制所述被控设备，包括：

23、根据所述交点位置确定所述眼睛的视线是否投射在所述显示屏上，得到确定结果；

24、根据所述确定结果以及所述显示屏当前时刻的亮灭状态，控制所述受控设备的显示屏。

25、基于上述方案，所述根据所述确定结果以及所述显示屏当前时刻的亮灭状态，控制所述受控设备的显示屏，包括：

26、根据所述确定结果表明的所述眼睛的视线是否投射在所述显示屏的持续时长以及所述显示屏当前时刻的亮灭状态，控制所述显示屏的亮灭状态；

27、或者，

28、在所述显示屏当前处于亮屏状态时，根据所述确定结果确定所述眼睛的视线投射在所述显示屏的位置变换，控制所述受控设备的输出内容。

29、基于上述方案，所述根据所述确定结果表明的所述眼睛的视线是否投射在所述显示屏的持续时长以及所述显示屏当前时刻的亮灭状态，控制所述显示屏的亮灭状态，包括：

30、在所述显示屏处于亮屏状时，若所述确定结果表明所述眼睛的视线投射在所述显示屏外的持续时长大于或等于第一时长，控制所述显示屏息屏；

31、或者，

32、在所述显示屏处于灭屏状态时，若所述确定结果表明所述眼睛的视线投射在所述显示屏内的持续时长大于或等于第二时长，控制所述显示屏亮屏。

33、基于上述方案，所述在所述显示屏当前处于亮屏状态时，根据所述确定结果确定所述眼睛的视线投射在所述显示屏的位置变换，控制所述受控设备的输出内容，包括：

34、若所述显示屏处于亮屏状态且所述交点位置位于所述显示屏内，根据所述交点位置确定所述眼睛的视线投射在所述显示屏的位置变化；

35、根据所述位置变化，确定所述受控设备待切换的目标内容；

36、控制所述目标设备输出所述目标内容。

37、本公开实施例第二方面提供一种设备控制装置，所述装置包括：

38、第一确定模块，用于根据包含眼部成像区域的采集图像，确定采集对象的眼睛的视线方向；

39、第二确定模块，用于根据图像采集模组生成所述采集图像使用的焦距，确定所述眼睛在图像坐标系内的三维坐标；

40、第三确定模块，用于根据所述视线方向和所述三维坐标，确定所述视线方向和被控设备的显示屏幕所在的显示平面之间的交点位置；

41、控制模块，用于根据所述交点位置，控制所述被控设备。

42、本公开实施例第三方面提供一种移动终端，包括：

43、用于存储处理器可执行指令的存储器；

44、处理器，与所述存储器连接；

45、其中，所述处理器被配置为执行如第一方面任意一个技术方案提供的设备控制方法。

46、本公开实施例第四方面提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得计算机能够执行如第一方面任意一个技术方案提供的设备控制方法。

47、本公开的实施例提供的技术方案可以包括以下有益效果：

48、本公开实施例提供的技术方案，在检测到包含眼睛区域成像的采集图像之后，直接利用根据采集图像确定采集对象的眼睛的视线方向，并确定眼睛在图像坐标系镍的三维坐标；如此，就可以确定眼睛的视线方向和被控设备的显示屏幕所在平面之间的交点，基于该交点就可以直接控制受控设备，而不用眼动仪或者深度摄像头等其他设备辅助检测用户的人眼视线，简化了视线控制，降低了硬件成本。