一种基于VR教学的音视频数据处理方法及系统与流程

本发明涉及计算机通信与图像，尤其涉及一种基于vr教学的音视频数据处理方法及系统。

背景技术：

1、由于防疫等相关需求，学生和老师不能在教室进行授课等相关活动，线上授课的比例在学年中所占的比例越来越大。例如有些地区一个学期在校授课甚至不足一个月，其他时间均在家进行线上教学。

2、随着线上教学需求越来越大，各种线上教学系统也应运而生。有通过手机、平板、电脑直播的方式进行教学，也有更加高端的通过vr系统进行线上教学。相对于手机、电脑直播，vr教学更加生动直观，可以采用更加多样化的教学形式，从视觉、听觉等各方面进行信息传输，可以在一定程度上克服在线教学的枯燥和乏味，提高教学质量，提升学生们的学习效果。

3、但是使用在线教学的群体主要是小学生、初中生，或者高中生。由于这些群体的年纪比较小，在学习的过程中，他们渴望更多的是一种陪伴感。因此即使使用vr系统教学，也有很多学生反映没有真正上课的感觉，他们需要和其他同学一起上课一起交流的感觉。

4、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于vr教学的音视频数据处理方法及系统，旨在解决现有技术中通过vr系统进行线上教学时学生缺乏陪伴感，导致线上教学体验差、学习效率低的问题。

2、为实现上述目的，本发明提供一种基于vr教学的音视频数据处理方法，所述基于vr教学的音视频数据处理方法包括如下步骤：

3、获取线上教学的每位学生的真实形象模型，并根据每位学生的需要和爱好自定义座位次序，形成完整的班级座次表；

4、在线上教学过程中，每位学生的客户端通过智能视频采集系统实时捕捉在线学生的音视频数据，并发送给多媒体智能服务器；

5、将每位学生的音视频数据在多媒体智能服务器进行汇总和计算合成，使得每位学生的真实形象模型同步展示动作行为、表情和声音；

6、将合成后的音视频数据和教学音视频数据同步发送给每位学生的客户端，每位学生的客户端通过vr视频处理系统根据当前学生的座次信息以及学生当前的形态，合成具有真实感体验的vr视频进行播放。

7、可选地，所述的基于vr教学的音视频数据处理方法，其中，所述获取线上教学的每位学生的真实形象模型，并根据每位学生的需要和爱好自定义座位次序，形成完整的班级座次表，之前还包括：

8、预先在每位学生的客户端上增加智能视频采集系统和vr视频处理系统。

9、可选地，所述的基于vr教学的音视频数据处理方法，其中，所述获取线上教学的每位学生的真实形象模型，并根据每位学生的需要和爱好自定义座位次序，形成完整的班级座次表，具体包括：

10、所述多媒体智能服务器利用建模工具为线上教学的每位学生进行建模，为线上教学的每位学生生成一个对应的真实形象模型；

11、根据每位学生的需要和爱好自定义座位次序，将每位学生的真实形象模型进行座位排序形成完整的班级座次表。

12、可选地，所述的基于vr教学的音视频数据处理方法，其中，所述在线上教学过程中，每位学生的客户端通过智能视频采集系统实时捕捉在线学生的音视频数据，并发送给多媒体智能服务器，具体包括：

13、在线上教学过程中，每位学生的客户端开启智能视频采集系统；

14、所述智能视频采集系统实时捕捉在线学生的音视频数据，所述音视频数据包括学生的动作行为、表情和声音；

15、所述智能视频采集系统将采集的音视频数据发送给所述多媒体智能服务器。

16、可选地，所述的基于vr教学的音视频数据处理方法，其中，所述将每位学生的音视频数据在多媒体智能服务器进行汇总和计算合成，使得每位学生的真实形象模型同步展示动作行为、表情和声音，具体包括：

17、所述多媒体智能服务器获取每位学生的音视频数据进行汇总；

18、所述多媒体智能服务器将汇总后的音视频数据进行计算合成，将合成后的音视频数据通过每位学生的真实形象模型进行展示，展示内容包括动作行为、表情和声音。

19、可选地，所述的基于vr教学的音视频数据处理方法，其中，所述将合成后的音视频数据和教学音视频数据同步发送给每位学生的客户端，每位学生的客户端通过vr视频处理系统根据当前学生的座次信息以及学生当前的形态，合成具有真实感体验的vr视频进行播放，具体包括：

20、所述多媒体智能服务器获取教学音视频数据，并将合成后的音视频数据和教学音视频数据同步发送给每位学生的客户端；

21、每位学生的客户端启动vr视频处理系统，所述vr视频处理系统根据当前学生的座次信息以及学生当前的形态，合成具有真实感体验的vr视频进行播放，以营造更加真实的上课氛围。

22、可选地，所述的基于vr教学的音视频数据处理方法，其中，所述将合成后的音视频数据和教学音视频数据同步发送给每位学生的客户端，每位学生的客户端通过vr视频处理系统根据当前学生的座次信息以及学生当前的形态，合成具有真实感体验的vr视频进行播放，之后还包括：

23、所述多媒体智能服务器对每位同学的面对面交流行为进行智能计算后，形成虚拟的面对面实时沟通交流场景。

24、此外，为实现上述目的，本发明还提供一种基于vr教学的音视频数据处理系统，其中，所述基于vr教学的音视频数据处理系统包括：

25、多媒体智能服务器和多个客户端；每个客户端包括智能视频采集系统和vr视频处理系统；

26、所述多媒体智能服务器用于获取线上教学的每位学生的真实形象模型，并根据每位学生的需要和爱好自定义座位次序，形成完整的班级座次表；

27、在线上教学过程中，每位学生的客户端通过智能视频采集系统实时捕捉在线学生的音视频数据，并发送给所述多媒体智能服务器；

28、所述多媒体智能服务器将每位学生的音视频数据进行汇总和计算合成，使得每位学生的真实形象模型同步展示动作行为、表情和声音；

29、所述多媒体智能服务器将合成后的音视频数据和教学音视频数据同步发送给每位学生的客户端，每位学生的客户端通过vr视频处理系统根据当前学生的座次信息以及学生当前的形态，合成具有真实感体验的vr视频进行播放。

30、本发明中，获取线上教学的每位学生的真实形象模型，并根据每位学生的需要和爱好自定义座位次序，形成完整的班级座次表；在线上教学过程中，每位学生的客户端通过智能视频采集系统实时捕捉在线学生的音视频数据，并发送给多媒体智能服务器；将每位学生的音视频数据在多媒体智能服务器进行汇总和计算合成，使得每位学生的真实形象模型同步展示动作行为、表情和声音；将合成后的音视频数据和教学音视频数据同步发送给每位学生的客户端，每位学生的客户端通过vr视频处理系统根据当前学生的座次信息以及学生当前的形态，合成具有真实感体验的vr视频进行播放。本发明通过虚拟同桌功能提高了在线教学的效果，使在线上课的同学们具有更好的上课体验，使课间体验更加真实。