一种沉浸式远程教学方法及系统与流程

本发明涉及远程教学领域，具体涉及一种沉浸式远程教学方法及系统。

背景技术：

由于远程教学在教学互动方面存在问题，虚拟现实技术在教学中的应用能够带来沉浸式的体验，同时也能在教学互动方面更贴近真实课堂，然而由于远程教学涉及到的音视频采集设备众多，多种设备采集到的音视频数据在vr设备上的处理方式不同，存在音视频数据不同步的问题；

现有技术中的音视频同步通常采用计算语音和视频数据在时间上的延迟进而调整音视频的时序来完成，那种调整方法仅仅适用于稳定传输的有规律的音视频传输，然而，由于网络延迟、设备卡顿等问题的客观存在，使得仅仅采用时间延迟的方式完成同步的效果并不好，而且，由于音视频时间延迟计算的误差的天然存在，在长时间累积后，累积的时间误差增大，进而会导致音视频数据的再次不同步。

技术实现要素：

为解决背景技术中的问题，本发明提供一种沉浸式远程教学方法及系统，

其中一个技术方案为：一种远程教学方法，步骤如下：

s1、教师设置教学模式，所述教学模式包括讲授模式、讨论模式、提问模式；

s2、综合分析学生的行为数据，所述行为数据包括眼睛运动、头姿态、身体姿态、语音数据，判断是否触发关注信号；

s3、如果触发关注信号，将所述触发关注信号发送至远程服务器；

s4、所述远程服务器将触发关注信号的学生的合成视频信号进行重构强化并将其组合进虚拟场景数据中；

s5、所述远程服务器将虚拟场景数据发送至各个学生终端和/或教师终端中显示。

所述s1中的教学模式设置是在管理员模式下设置的，该模式下能够控制远程服务器中的学生数据是否发送以及如何发送，并具有全体静音或者个体禁言的功能；

所述讲授模式中教师终端中的音视频数据同步传输，并且在虚拟场景数据中教师音视频数据处于突出位置，教师终端能够控制学生终端的音视频数据是否采集以及禁言功能是否开启等，并且能够控制远程服务器始终对教师的视频信息进行强化。

所述讨论模式中学生终端和教师终端的音视频数据均同步采集；

所述提问模式中学生终端获取学生是否请求提问，而教师终端控制是否接受或者接受哪个学生的提问；

所述s2中的行为数据中的眼睛运动、头姿态由vr模块中的微型摄像头以及mems陀螺仪实现采集；

所述s2中的身体姿态、语音数据由用于拍摄学生或者教师身体图像数据的摄像头以及语音模块实现音视频数据采集的；

所述s2中的综合分析是指根据眼睛运动、头姿态、身体姿态以及语音数据中是否有一个或者多个数据是否异常以判断学生是否想参与讨论或者回答问题；

所述s4中的合成视频信号为步骤s2中的微型摄像头拍摄的眼部位附近视频信号和摄像头拍摄的脸部以及身体视频信号合成后的视频信号，合成步骤由与处理器连接的图像处理合成模块实现，所述图像处理合成模块还用于将上述合成后的视频信号统一压缩成相同分辨率处理，然后将压缩处理后的合成视频信号通过处理器发送至远程服务器进行处理；

所述s4中的远程服务器用于将未经强化的其他学生终端中的视频与强化视频数据组合在一起转化为虚拟场景数据；

所述s4中的视频强化实质保留原始视频分辨率的基础上，将脸部特征进一步的重构强化；所述重构强化包括对比度、饱和度、亮度、视频扩大、颜艺化或者微距化等处理方式。

所述s5中的虚拟场景数据是由虚拟场景转换模块实现，所述虚拟场景转换模块能将接收到的所有教师和学生的合成视频信号进行统一处理，并根据接收到的关注信号将相应学生的合成视频信号进行强化重构，其中将教师的合成视频信号置于虚拟场景中的“讲台”位置，将学生的合成视频信号排布在“课桌位置”。

本发明还提供了另外一个技术方案：一种远程教学系统，包括摄像头、处理器、vr模块以及图像处理合成模块，摄像头、vr模块与图像处理合成模块均与处理器连接；

所述处理器通过5g模块无线连接远程服务器；

所述vr模块包括与处理器连接的微型摄像头、用于录取学生或者教师语音数据的语音模块以及mems陀螺仪；

所述处理器还与拍摄学生或者教师身体图像数据的摄像头连接。

所述图像处理合成模块用于将微型摄像头拍摄的眼部位附近视频信号和摄像头拍摄的脸部以及身体视频信号合成，所述图像处理合成模块还用于将上述合成后的视频信号统一压缩成相同分辨率处理，然后将压缩处理后的合成视频信号通过处理器发送至远程服务器进行处理，所述图像处理合成模块可由dsp芯片完成。

所述远程服务器接收学生终端或者教师终端传输过来的压缩后的合成视频信号，并根据关注度情况接收学生或者教师终端传输过来的未经压缩的合成视频信号；所述远程服务器包括视频强化模块，所述视频强化模块将需要强化的视频信号进行重构强化；所述远程服务器还包括虚拟场景转换模块，所述虚拟场景转换模块将各个学生终端或者教师终端中的合成视频信号以及经过强化后的视频信号转换为虚拟场景数据，再将所述虚拟场景数据发送至各个学生终端或者教师终端。

本发明通过采集教师或者学生的行为，分析其是否符合需要关注来对视频进行进一步的处理以实现对个别视频的强化以提高沉浸程度，符合人类实际的对周围课堂环境的关注规律，在学生终端或者教师终端录制的视频信息在不需要关注时可以进行压缩处理以减轻服务器以及vr模块的数据压力，能更流畅渲染vr场景。

附图说明

图1为一种远程教学方法的流程图；

图2为一种远程教学系统的原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本实施例提供了一种远程教学方法，步骤如下：

s1、教师设置教学模式，所述教学模式包括讲授模式、讨论模式、提问模式；

s2、综合分析学生的行为数据，所述行为数据包括眼睛运动、头姿态、身体姿态、语音数据，判断是否触发关注信号；

s3、如果触发关注信号，将所述触发关注信号发送至远程服务器6；

s4、所述远程服务器6将触发关注信号的学生的合成视频信号进行重构强化并将其组合进虚拟场景数据中；

s5、所述远程服务器6将虚拟场景数据发送至各个学生终端和/或教师终端中显示。

作为一种优选的实施方式，所述s1中的教学模式设置是在管理员模式下设置的，该模式下能够控制远程服务器6中的学生数据是否发送以及如何发送，并具有全体静音或者个体禁言的功能；

作为一种优选的实施方式，所述讲授模式中教师终端中的音视频数据同步传输，并且在虚拟场景数据中教师音视频数据处于突出位置，教师终端能够控制学生终端的音视频数据是否采集以及禁言功能是否开启等，并且能够控制远程服务器6始终对教师的视频信息进行强化。

作为一种优选的实施方式，所述讨论模式中学生终端和教师终端的音视频数据均同步采集；

作为一种优选的实施方式，所述提问模式中学生终端获取学生是否请求提问，而教师终端控制是否接受或者接受哪个学生的提问；

作为一种优选的实施方式，所述s2中的行为数据中的眼睛运动、头姿态由vr模块1中的微型摄像头1-1以及mems陀螺仪1-2实现采集；

作为一种优选的实施方式，所述s2中的身体姿态、语音数据由用于拍摄学生或者教师身体图像数据的摄像头2以及语音模块1-3实现音视频数据采集的；

作为一种优选的实施方式，所述s2中的综合分析是指根据眼睛运动、头姿态、身体姿态以及语音数据中是否有一个或者多个数据是否异常以判断学生是否想参与讨论或者回答问题；

作为一种优选的实施方式，所述s4中的合成视频信号为步骤s2中的微型摄像头1-1拍摄的眼部位附近视频信号和摄像头2拍摄的脸部以及身体视频信号合成后的视频信号，合成步骤由与处理器3连接的图像处理合成模块4实现，所述图像处理合成模块4还用于将上述合成后的视频信号统一压缩成相同分辨率处理，然后将压缩处理后的合成视频信号通过处理器3发送至远程服务器6进行处理；

作为一种优选的实施方式，所述s4中的远程服务器6用于将未经强化的其他学生终端中的视频与强化视频数据组合在一起转化为虚拟场景数据；

作为一种优选的实施方式，所述s4中的视频强化实质保留原始视频分辨率的基础上，将脸部特征进一步的重构强化；所述重构强化包括对比度、饱和度、亮度、视频扩大、颜艺化或者微距化等处理方式。

作为一种优选的实施方式，所述s5中的虚拟场景数据是由虚拟场景转换模块实现，所述虚拟场景转换模块能将接收到的所有教师和学生的合成视频信号进行统一处理，并根据接收到的关注信号将相应学生的合成视频信号进行强化重构，其中将教师的合成视频信号置于虚拟场景中的“讲台”位置，将学生的合成视频信号排布在“课桌位置”。

实施例2

如图1所示，本实施例提供了一种远程教学系统，包括vr模块1、摄像头2、处理器3以及图像处理合成模块4，摄像头2、vr模块1与图像处理合成模块4均与处理器3连接；

所述处理器3通过5g模块5无线连接远程服务器6；

所述vr模块1包括与处理器3连接的微型摄像头1-1、mems陀螺仪1-2以及用于录取学生或者教师语音数据的语音模块1-3；

所述处理器3还与拍摄学生或者教师身体图像数据的摄像头2连接。

作为一种优选的实施方式，所述图像处理合成模块4用于将微型摄像头1-1拍摄的眼部位附近视频信号和摄像头2拍摄的脸部以及身体视频信号合成，所述图像处理合成模块4还用于将上述合成后的视频信号统一压缩成相同分辨率处理，然后将压缩处理后的合成视频信号通过处理器3发送至远程服务器6进行处理，所述图像处理合成模块4可由dsp（digitalsignalprocessing）芯片完成。

作为一种优选的实施方式，所述远程服务器6接收学生终端或者教师终端传输过来的压缩后的合成视频信号，并根据关注度情况接收学生或者教师终端传输过来的未经压缩的合成视频信号；所述远程服务器6包括视频强化模块，所述视频强化模块将需要强化的视频信号进行重构强化；所述远程服务器6还包括虚拟场景转换模块，所述虚拟场景转换模块将各个学生终端或者教师终端中的合成视频信号以及经过强化后的视频信号转换为虚拟场景数据，再将所述虚拟场景数据发送至各个学生终端或者教师终端。

本发明通过采集教师或者学生的行为，分析其是否符合需要关注来对视频进行进一步的处理以实现对个别视频的强化以提高沉浸程度，符合人类实际的对周围课堂环境的关注规律，在学生终端或者教师终端录制的视频信息在不需要关注时可以进行压缩处理以减轻服务器以及vr模块1的数据压力，能更流畅渲染vr场景。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。