多屏互动控制方法、装置、扩展现实设备和存储介质与流程

本技术涉及设备控制，特别是涉及一种多屏互动控制方法、装置、扩展现实设备、存储介质和计算机程序产品。

背景技术：

1、多屏互动技术指的是在不同的操作系统，以及不同的终端设备(例如智能手机、智能平板、电脑、电视)之间可以相互兼容跨越操作，通过无线网络连接的方式，实现数字多媒体(例如高清视频，音频，图片)内容的传输。扩展现实(extended reality，xr)是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合的、可人机交互的环境。扩展现实包括增强现实(augmented reality，ar)，虚拟现实(virtual reality，vr)，混合现实(mixedreality，mr)等多种形式。

2、关于扩展现实设备与设备系统的多屏互动，以ar设备与显示设备的交互来说，现有的ar备主要是通过摄像设备拍摄图像中识别到现实世界的真实场景，从而在扩展现实设备中显示与此场景相关的虚拟信息，并且通过半透明虚拟以及真实环境融合在一起，并且两者之间的图像也能够得以叠加。通过半透半反光学合成器将虚拟信息充分和真实环境综合在一起，真实的场景可以在半透镜的基础上，为用户提供支持，并且满足用户的相关操作需要。

3、由上述内容可知，目前的扩展现实设备与设备应用的真实场景的交互是单向的，即扩展现实设备通过对设备显示的画面进行图像识别，从设备显示的视频画面或图像画面中识别真实场景，并匹配虚拟信息通过半透明的显示系统与现实真实场景融合，人眼看到的是真实场景和虚拟信息两个图层叠加在一起的图像。因此，目前的交互方式无法满足用户对于扩展现实设备与设备的双向控制的需求。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够实现扩展显示设备与设备的双向控制的多屏互动控制方法、装置、扩展现实设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种多屏互动控制方法，应用于扩展现实设备。

3、方法包括：

4、响应用户针对第一设备的信号抓取操作，获取用户选取的第一设备的第一窗口位置信息，第一设备显示有多媒体内容；

5、获取与第一窗口位置信息对应的目标多媒体内容的资源信息；

6、响应用户针对第二设备的信号投放操作，获取用户选取的第二设备的第二窗口位置信息；

7、发送携带资源信息和第二窗口位置信息的开窗消息至第二设备的控制端，以使第二设备根据第二窗口位置信息开窗显示目标多媒体内容。

8、在其中一个实施例中，获取用户选取的第一设备的窗口位置信息包括：

9、获取信号抓取操作对应抓取第一设备的第一目标点的坐标信息；

10、根据第一目标点的坐标信息和预设的第一设备的窗口布局信息，确定第一目标点所在的第一窗口位置信息；

11、获取用户选取的第二设备的第二窗口位置信息包括：

12、获取信号投放操作对应投放到第二设备的第二目标点的坐标信息；

13、根据第二目标点的坐标信息和预设的第二设备的窗口布局信息，确定第二目标点所在的第二窗口位置信息。

14、在其中一个实施例中，获取信号抓取操作对应抓取第一设备的第一目标点的坐标信息包括：

15、获取与信号抓取操作对应的第一操作点的坐标信息，第一操作点的坐标信息为相机坐标系下坐标信息；

16、根据预设的坐标转换关系，将第一操作点的坐标信息映射到第一设备的屏幕坐标系，得到第一目标点的坐标信息；

17、获取信号投放操作对应投放到第二设备的第二目标点的坐标信息包括：

18、获取与信号投放操作对应的第二操作点的坐标信息，第二操作点的坐标信息为相机坐标系下的坐标信息；

19、根据预设的坐标转换关系，将第二操作点的坐标信息映射到第二设备的屏幕坐标系，得到第二目标点的坐标信息。

20、在其中一个实施例中，获取与第一窗口位置信息对应的目标多媒体内容的资源信息包括：

21、根据第一窗口位置信息和预存的第一设备的多媒体内容资源信息与窗口位置的对应关系，获取与第一窗口位置信息对应的目标多媒体内容的资源信息。

22、在其中一个实施例中，目标多媒体内容的资源信息包括目标多媒体内容的资源标识信息或目标多媒体内容的信号源信息；

23、发送携带资源信息和第二窗口位置信息的开窗消息至第二设备的控制端之前，方法还包括：

24、根据资源标识信息或信号源信息，获取目标多媒体内容；

25、发送携带资源信息和第二窗口位置信息的开窗消息至第二设备的控制端包括：

26、若目标多媒体内容的数据量大于预设的容量阈值，则发送携带资源信息和第二窗口位置信息的开窗消息至第二设备的控制端；

27、若目标多媒体内容的数据量不大于预设的容量阈值，则发送携带目标多媒体内容和第二窗口位置信息的开窗消息至第二设备的控制端。

28、在其中一个实施例中，信号抓取操作包括手势抓取动作和/或眼睛注视动作，信号投放操作包括手势投放动作或眼睛注视动作。

29、第二方面，本技术还提供了一种多屏互动控制装置，应用于扩展现实设备。装置包括：

30、第一操作响应模块，用于响应用户针对第一设备的信号抓取操作，获取用户选取的第一设备的第一窗口位置信息，第一设备显示有多媒体内容；

31、资源信息获取模块，用于获取与第一窗口位置信息对应的目标多媒体内容的资源信息；

32、第二操作响应模块，用于响应用户针对第二设备的信号投放操作，获取用户选取的第二设备的第二窗口位置信息；

33、消息发送模块，用于发送携带资源信息和第二窗口位置信息的开窗消息至第二设备的控制端，以使第二设备根据第二窗口位置信息开窗显示目标多媒体内容。

34、第三方面，本技术还提供了一种扩展现实设备。所述扩展现实设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

35、响应用户针对第一设备的信号抓取操作，获取用户选取的第一设备的第一窗口位置信息，第一设备显示有多媒体内容；

36、获取与第一窗口位置信息对应的目标多媒体内容的资源信息；

37、响应用户针对第二设备的信号投放操作，获取用户选取的第二设备的第二窗口位置信息；

38、发送携带资源信息和第二窗口位置信息的开窗消息至第二设备的控制端，以使第二设备根据第二窗口位置信息开窗显示目标多媒体内容。

39、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

40、响应用户针对第一设备的信号抓取操作，获取用户选取的第一设备的第一窗口位置信息，第一设备显示有多媒体内容；

41、获取与第一窗口位置信息对应的目标多媒体内容的资源信息；

42、响应用户针对第二设备的信号投放操作，获取用户选取的第二设备的第二窗口位置信息；

43、发送携带资源信息和第二窗口位置信息的开窗消息至第二设备的控制端，以使第二设备根据第二窗口位置信息开窗显示目标多媒体内容。

44、第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

45、响应用户针对第一设备的信号抓取操作，获取用户选取的第一设备的第一窗口位置信息，第一设备显示有多媒体内容；

46、获取与第一窗口位置信息对应的目标多媒体内容的资源信息；

47、响应用户针对第二设备的信号投放操作，获取用户选取的第二设备的第二窗口位置信息；

48、发送携带资源信息和第二窗口位置信息的开窗消息至第二设备的控制端，以使第二设备根据第二窗口位置信息开窗显示目标多媒体内容。

49、上述多屏互动控制方法、装置、扩展现实设备、存储介质和计算机程序产品，响应用户针对第一设备的信号抓取操作，获取用户选取的第一设备的第一窗口位置信息，然后，获取与第一窗口位置信息对应的目标多媒体内容的资源信息，再响应用户针对第二设备的信号投放操作，获取用户选取的第二设备的第二窗口位置信息，最后，发送携带资源信息和第二窗口位置信息的开窗消息至第二设备的控制端，以使第二设备根据第二窗口位置信息开窗显示目标多媒体内容，实现多屏互动。上述方案，扩展现实设备可获取与之交互的设备的信息，并可通过发送开窗消息至设备，控制接收开窗消息的设备的信息显示，使得扩展现实设备与显示设备的交互方式不再局限于传统的扩展现实设备通过对显示设备显示的画面进行图像识别进而显示信息的单向交互方式，设备显示的图像信息可以影响扩展现实设备的信息显示，扩展现实设备也可通过识别用户的交互操作，与显示设备进行交互，控制显示设备的信息显示，实现了扩展现实设备与设备的双向控制与信息互通，从而实现多屏互动。