基于串流的多人VR交互方法及游戏终端与流程

本技术涉及虚拟现实(virtual reality，vr)，提供一种基于串流的多人vr交互方法及游戏终端。

背景技术：

1、vr串流是指在wifi、移动网络环境或者有线环境下，将游戏终端(如pc机、机顶盒等)上的vr游戏投射到vr设备上进行显示，这样，vr设备就可以利用游戏终端运行大型vr游戏，通过vr串流与游戏终端的steam平台进行游戏交互，从而避免在vr设备上储存超大的游戏本体，充分利用游戏终端的资源畅玩steam平台的vr游戏，弥补了vr设备性能的不足以及系统差异导致的vr游戏不能跨平台体验的问题。

2、目前，主流的vr串流方案中，是基于steam平台上的软件开发工具包(softwaredevelopment kit，skt)提供的串流接口实现的。但是，该sdk只提供了单人游戏的串流接口，即只有一路3d画面输出以及一路控制数据输入，因此，受限于sdk层面的限制，目前的vr串流游戏只支持单人体验，同时，受限于vr设备、游戏终端的硬件限制以及网络传输能力，为使vr游戏满足低延迟的游玩体验，目前vr串流方案大多专注于单人游戏的开发。

技术实现思路

1、本技术实施例提供了一种基于串流的多人vr交互方法及游戏终端用于提升串流场景下vr交互的多样性。

2、一方面本技术实施例提供一种基于串流的多人vr交互方法，应用于游戏终端，所述游戏终端安装有包含vr游戏的steamvr应用，所述游戏终端集成有用于与多个vr设备进行串流通信的音视频服务单元，所述方法包括：

3、所述游戏终端与第一vr设备建立初始串流连接启动所述steamvr应用运行目标vr游戏，并将所述目标vr游戏的音视频流通过所述初始串流连接发送给所述第一vr设备进行播放；

4、所述游戏终端基于所述第一vr设备对应的目标用户选择的交互类型，确定所述目标vr游戏的控制终端和显示终端；

5、所述游戏终端接收所述控制终端发送的位姿数据，根据所述位姿数据控制所述目标vr游戏的游戏画面并同步给所述控制终端；

6、所述游戏终端将所述目标vr游戏的音视频流传输到所述音视频服务单元，并建立所述音视频服务单元与所述显示终端的串流连接，将所述音视频服务单元中所述目标vr游戏的音视频流发送给所述显示终端进行播放。

7、另一方面，本技术实施例提供一种基于串流的多人vr交互方法，应用于游戏终端，所述游戏终端安装有包含vr游戏的steamvr应用，所述steamvr应用的软件开发工具包提供与多个vr设备进行串流通信的串流接口，所述方法包括：

8、所述游戏终端通过第一串流接口与第一vr设备建立第一串流连接，以及，所述游戏终端通过所述第二串流接口与第二vr设备建立第二串流连接；

9、所述游戏终端启动所述steamvr应用运行目标vr游戏，通过所述第一串流连，将所述目标vr游戏的音视频流接发送给所述第一vr设备进行播放，并接收所述第一vr终端发送的第一位姿数据，根据所述第一位姿数据控制所述目标vr游戏的游戏画面，以及，通过所述第二串流连接将所述目标vr游戏的音视频流接发送给所述第二vr设备进行播放，并接收所述第二vr终端发送的第二位姿数据，根据所述第二位姿数据控制所述目标vr游戏的游戏画面；

10、所述游戏终端将控制后的游戏画面同步给所述第一vr设备和所述第二vr设备。

11、另一方面，本技术实施例提供一种游戏终端，包括处理器、存储器、串流接口和音视频服务单元，所述音视频服务单元用于实现与多个vr设备的串流通信，所述音视频服务单元、所述串流接口、所述存储器和所述处理器通过总线连接；

12、所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

13、通过所述串流接口，与第一vr设备建立初始串流连接，启动steamvr应用中的目标vr游戏，并将所述目标vr游戏的音视频流通过所述初始串流连接发送给所述第一vr设备进行播放；

14、基于所述第一vr设备对应的目标用户选择的交互类型，确定所述目标vr游戏的控制终端和显示终端；

15、通过所述初始串流连接，接收所述控制终端发送的位姿数据，根据所述位姿数据控制所述目标vr游戏的游戏画面并同步给所述控制终端；

16、将所述目标vr游戏的音视频流传输到所述音视频服务单元，并建立所述音视频服务单元与所述显示终端的串流连接，将所述音视频服务单元中所述目标vr游戏的音视频流发送给所述显示终端进行播放。

17、可选的，所述处理器基于所述第一vr设备对应的目标用户选择的交互类型，确定所述目标vr游戏的控制终端和显示终端，具体操作为：

18、当所述交互类型为游戏分享操作时，将所述目标用户对应的第一vr设备作为所述目标vr游戏的一个控制终端，将所述目标用户的好友对应的第二vr设备作为所述目标vr游戏的一个显示终端；

19、当所述交互类型为游戏切换操作时，将所述目标用户的好友对应的第二vr设备作为所述目标vr游戏的一个控制终端，将所述目标用户对应的第一vr设备作为所述目标vr游戏的一个显示终端。

20、可选的，所述处理器通过所述初始串流连接，接收所述控制终端发送的位姿数据，根据所述位姿数据控制所述目标vr游戏的游戏画面并同步给所述控制终端；以及，将所述目标vr游戏的音视频流传输到所述音视频服务单元，并建立所述音视频服务单元与所述显示终端的串流连接，将所述音视频服务单元中所述目标vr游戏的音视频流发送给所述显示终端进行播放，具体操作为：

21、通过所述初始串流连接，接收所述第一vr设备发送的位姿数据，根据所述位姿数据对所述目标vr游戏的游戏画面进行控制，并同步给所述第一vr设备；

22、基于所述游戏分享操作，将所述目标vr游戏的音视频流传输到所述音视频服务单元，并建立所述音视频服务单元与所述第二vr设备的第二串流连接；

23、所述游戏终端通过所述第二串流连接，将所述音视频服务单元中所述目标vr游戏的音视频流发送给所述第二vr设备进行播放。

24、可选的，所述处理器通过所述初始串流连接，接收所述控制终端发送的位姿数据，根据所述位姿数据控制所述目标vr游戏的游戏画面并同步给所述控制终端；以及，将所述目标vr游戏的音视频流传输到所述音视频服务单元，并建立所述音视频服务单元与所述显示终端的串流连接，将所述音视频服务单元中所述目标vr游戏的音视频流发送给所述显示终端进行播放，具体操作为：

25、基于所述游戏切换操作，断开与所述第一vr设备的初始串流连接，建立所述音视频服务单元与所述第一vr设备的新串流连接，并通过所述串流接口，与所述第二vr设备建立第二串流连接；

26、将所述目标vr游戏的音视频流通过所述第二串流连接发送给所述第二vr设备进行播放，并接收所述第二vr设备发送的位姿数据；

27、根据所述位姿数据对所述目标vr游戏的游戏画面进行控制，将控制后的音视频流传输到所述音视频服务单元，并通过所述第二串流连接同步给所述第二vr设备；

28、通过所述新串流连接，将所述音视频服务单元中所述目标vr游戏的音视频流发送给所述第一vr设备进行播放。

29、可选的，所述串流连接为基于数据线的有线连接或基于串流助手的无线连接。

30、另一方面，本技术实施例提供一种游戏终端，包括处理器、存储器和多个串流接口，所述多个串流接口、所述存储器和所述处理器通过总线连接；

31、所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

32、通过第一串流接口与第一vr设备建立第一串流连接，以及，通过所述第二串流接口与第二vr设备建立第二串流连接；

33、启动steamvr应用中的目标vr游戏，通过所述第一串流连，将所述目标vr游戏的音视频流接发送给所述第一vr设备进行播放，并接收所述第一vr终端发送的第一位姿数据，根据所述第一位姿数据控制所述目标vr游戏的游戏画面，以及，通过所述第二串流连接，将所述目标vr游戏的音视频流接发送给所述第二vr设备进行播放，并接收所述第二vr终端发送的第二位姿数据，根据所述第二位姿数据控制所述目标vr游戏的游戏画面；

34、将控制后的游戏画面同步给所述第一vr设备和所述第二vr设备。

35、另一方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行本技术实施例提供的一种基于串流的多人vr交互方法的步骤。

36、本技术实施例提供的基于串流的多人vr交互方法的有益效果如下：

37、游戏终端通过与第一vr设备建立的初始串流连接，将steamvr应用运行的目标vr游戏的音视频流发送给第一vr设备进行播放，为了实现串流场景下的多人vr交互，在游戏终端上集成了与多个vr设备进行串流通信的音视频服务单元，当目标用户选择进行多人交互时，游戏终端可基于交互类型确定目标vr游戏的控制终端和显示终端，并建立音视频服务单元与显示终端的串流连接，这样，游戏终端根据控制终端传输的位姿数据控制目标vr游戏的游戏画面后，通过音视频服务单元可以传输给显示终端进行播放，从而实现串流场景下的多人vr交互，提升了串流场景下vr交互的多样性，且相对于单人交互，多人交互能够提升游戏的趣味性，用户的vr体验更好。

38、另一方面，考虑到多人vr交互是未来串流场景下的发展趋势，当steam平台顺应发展趋势在sdk上提供多个串流接口时，多个vr设备可以通过多个串流接口共同操控目标vr游戏的游戏画面，从而实现多人共玩同一vr游戏的交互体验。

39、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其它优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。