一种立体综合教学场系统及其工作方法

1.本发明属于信息技术的教学应用领域，更具体地，涉及一种立体综合教学场系统及其工作方法。


背景技术：

2.立体综合教学场是一种融合物理空间与虚拟空间中的教学场，支持师生、教学资源、虚实空间共同形成的情境化课堂教学。基于多种传感器、显示终端和辅助设备，采集真实教学环境、教学资源，以及师生的模型、动作和声音数据，结合三维建模、虚拟现实、全息成像、5g等技术，驱动虚拟化身与虚拟空间、场景和教学资源交互。通过唇语及动作同步模拟真实师生在教学活动中的行为，突破物理空间的阻隔，提高师生的沉浸感和临场感。立体综合教学场系统支持教师开展知识讲解、内容展示和自然交互的教学活动，增强学习者的知识理解和互动体验。立体综合教学场系统有利于发展智能教育，推动教学方法变革，有助于构建智能化、交互式新型教学环境。
3.目前在构建立体综合教学场系统方面还存在着如下不足：（1）虚拟教学空间的真实感不足：当前虚拟教学环境建模涉及的环境理解、空间定位、动作捕捉等各个单项技术均取得长足的进展，但虚拟化身较难逼真地反映教学活动中师生的动作和互动行为，难以获得良好的真实感体验。（2）数据传输延时问题：虚实教学空间的实时融合需要实现云
‑
边
‑
端之间的上下行海量数据实时传输和分布式数据存储，数据延时会对系统的实时性产生较大影响，直接影响着师生对立体教学场系统的教学体验。（3）缺乏基于内容的教学互动支持：立体教学场需要在知识讲解、内容展示，以及教学模式、教学工具和教学资源方面进行变革，进一步提升教学应用的效果。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种立体综合教学场系统及其工作方法，为立体教学场的数据采集、数据传输、空间定位追踪、真实感虚拟化身生成、教学互动提供一种新的、系统性的方法。
5.本发明的目的是通过以下技术措施实现的。
6.本发明提供一种立体综合教学场系统，包括数据采集模块、数据传输管理模块、数据存储模块、空间定位追踪模块、虚拟化身表示模块、虚拟教学活动构建模块、教学互动模块、教学管理模块和终端显示模块；所述数据采集模块用于采集真实教学场景的深度数据、教师全身点云数据，以及教师授课的声音数据；所述数据传输管理模块借助云—边—端网络架构，实现立体教学场中不同类型数据的云渲染、云编辑和自适应传输；所述数据存储模块用于实现虚拟教学空间数据的索引、更新、调度和分布式存储；所述空间定位追踪模块用于实现对师生的头部、肢体动作和手部的定位追踪；
所述虚拟化身表示模块用于师生虚拟化身的生成、唇语和动作的实时同步；所述虚拟教学活动构建模块用于在立体教学场中创设虚拟教学空间，创建虚拟教学活动，并支持师生加入虚拟教学活动；所述教学互动模块用于实现虚拟教学空间中多种形式的知识讲解、教学内容3d展示，以及师生之间的教学互动反馈；所述教学管理模块用于实现教学管理服务，以及虚拟教学空间和资源的管理服务；所述终端显示模块用于在师生终端实现内容显示、视频图像延迟处理和时延优化控制。
7.本发明还提供一种上述的立体综合教学场系统的工作方法，包括以下步骤：（1）数据采集，采用深度tof传感器、激光lidar、颈挂式耳麦采集真实教学空间的深度数据、教师点云数据和授课声音数据，构建教学空间的表面网格模型、教师的虚拟化身模型和声音信息。
8.（2）数据传输管理，通过在学校部署边缘云，借助云
‑
边
‑
端网络架构实现立体教学场的数据存储、传输和渲染服务，支持师生终端从本地和边缘云加载对应的数据和服务，采用状态转换方法管理对象操作，采用注视点估计算法、注视点动态推流方法和dash自适应传输协议控制数据传输。
9.（3）数据存储，基于r树的空间索引结构，构建立体教学场的虚拟教学数据库模型，通过尾部追加更新的要素文件，生成新的数据存储和索引节点；根据性能预测模型，调度数据，采用三维空间数据自适应压缩算法，实现分布式数据存储。
10.（4）空间定位追踪，采用超广角追踪传感摄像头、imu惯导传感器、光学动作捕捉追踪系统，获取教师的视点和视场范围，跟踪和识别头部、躯干和四肢动作，定位教师的手部交互点。
11.（5）虚拟化身表示，定制师生的虚拟化身模型，实时替换脸部纹理，依据接受到的语音和动作信息，实时同步虚拟化身的唇语和动作。
12.（6）虚拟教学活动构建，在虚拟空间中创建并布置虚拟教学场景，教师创建虚拟教学活动后，师生通过教室号或者漫游方式进入到虚拟教学空间，参加教学活动。
13.（7）教学互动，师生通过多种协作工具开展教学活动，教师使用语音、手势、板书、草图、3d思维导图，讲解知识点和教学内容，采用移动终端实现师生互动和反馈。
14.（8）教学管理，支持教师管理个人空间的公告、留言、作业发布和学习者问答信息；支持教师新增、修改、删除和调整虚拟教学空间；支持在个人空间中管理、查找虚拟教学资源。
15.（9）终端显示，利用5g链路，经编码、上传、渲染和解码，在师生终端显示虚拟教学空间画面，采用session级、秒级和帧级三层带宽和多级缓存技术控制视频解码和显示，根据头部动作预测和云端异步渲染技术，优化传输和显示时延。
16.本发明的有益效果在于：构建一种立体综合教学场系统，使用多种传感器采集真实教学环境、教师的点云数据和声音信息，实现教学环境、师生模型和声音的生成；采用云
‑
边
‑
端架构搭建虚拟教学空间数据存储、传输和渲染服务，师生的终端将从本地和边缘云加载不同的数据和服务，通
过状态控制机制管理对象操作；基于r树的空间索引结构，建立虚拟教学空间数据模型，根据性能预测模型，实现分布式立体教学场的数据调度和存储；采用多种传感器协同追踪和识别师生的头部、躯干和四肢动作，驱动虚拟化身实时更新唇语和动作；创建并布置虚拟教学空间的教学场景，教师可以邀请学生加入其所创设的教学活动，使用语音、手势、板书、草图和3d思维导图的协作工具讲解和展示知识点内容；教师通过移动终端主导教学互动和反馈，查看、编辑、管理和推送教学信息，管理虚拟教学空间的场景，在个人空间中管理、推送和查找虚拟教学资源。利用5g链路，经编码、上传、渲染和解码，在终端显示虚拟教学空间画面，采用session、秒和帧级三层带宽和多级缓存技术控制显示延时，采用头部动作预测和云端异步渲染技术，优化传输和显示。随着虚拟现实、5g教育专网和云边端架构的快速发展，立体综合教学场能够满足多场景远程虚拟教学的需要，有助于构建新型智能教学环境。
附图说明
17.图1是本发明实施例中立体综合教学场系统架构图。
18.图2是本发明实施例中教师数据采集工作流程图。
19.图3是本发明实施例中边缘云架构图。
20.图4是本发明实施例中数据加载流程图。
21.图5是本发明实施例中数据状态控制流程图。
22.图6是本发明实施例中数据传输流程图。
23.图7是本发明实施例中数据存储粒度示意图。
24.图8是本发明实施例中数据调度流程图。
25.图9是本发明实施例中3d思维导图示意图。
26.图10是本发明实施例中教学管理流程图。
27.图11是本发明实施例中课程管理示意图。
28.图12是本发明实施例中教师授课示意图。
具体实施方式
29.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
30.如图1所示，本实施例提供一种立体综合教学场系统，包括数据采集模块、数据传输管理模块、数据存储模块、空间定位追踪模块、虚拟化身表示模块、虚拟教学活动构建模块、教学互动模块、教学管理模块和终端显示模块。
31.本实施例还提供一种上述的立体综合教学场系统的工作方法，包括以下步骤：（以下具体说明系统中各模块的工作方法）（1）数据采集模块。使用深度tof传感器分段采集真实教学场景的深度数据，采用特征匹配算法生成整体深度图，构建表面网格模型，并按照语义特征划分对象；利用激光lidar采集教师点云数据，生成教师全身可视化系列模型；使用颈挂式耳麦采集教师授课的声音信息，采用adpcm编码，经传输、绑定到教师虚拟化身模型。所述数据采集具体包括如下
步骤：（1
‑
1）真实教学空间数据采集。使用深度tof传感器采集真实教学空间的黑板、讲台、教具和教室墙壁的深度数据，采用公式（1）
‑
（2）所示的特征匹配算法，合并不同点位的深度数据，生成教学空间的整体深度图，采用三维delaunay生成方法构建教学空间的表面网格模型，并按照语义划分出黑板、讲台、教具和教室墙壁对象。
32.特征匹配算法：ⅰ.检测sift特征点。
33.第一步，利用不同尺度的高斯核函数，变换真实教学空间的原始深度图像，经过2倍降采样，建立深度图像的高斯差分金字塔；第二步，将每个像素与相邻像素比较，若为极大值或者极小值，则作为sift算子的特征候选点。
[0034]ⅱ.筛选sift特征点。采用harris角点检测方法去除不稳定的特征候选点，如公式（1）所示；
ꢀꢀ
公式（1）其中分别是像素点在x、y方向的一阶梯度；参数控制高斯平滑力度，表示求矩阵行列式；表示求矩阵的迹，k取0.04～0.06。r是角点响应函数，当r值大于阈值（根据图像形状和细节来设置），确定该点为正式特征点，否则就剔除它。
[0035]ⅲ.计算特征点的梯度幅值和方向，如公式（2）所示；公式（2）采用梯度直方图统计以特征点为中心点的周围像素的梯度方向和模值，直方图峰值所在的方向就代表该特征点的主方向。
[0036]ⅳ.生成特征描述符。
[0037]
第一步，对任意特征点，在其所在的尺度空间内，以该点为中心选取16
×
16像素大小的窗口；第二步，将窗口分割成16个4
×
4的子块，计算每个子块内8个方向（0
°
,45
°
,90
°
,135
°
,180
°
,225
°
,270
°
,315
°
）的梯度值以及梯度方向直方图；第三步，统计8个方向的梯度累加值，构成特征描述符的特征向量，对特征向量做归一化处理，生成sift特征描述符。
[0038]
ⅴ
.特征匹配。
[0039]
第一步，在参考深度图像中找到某个特征点，采用k
‑
d树在待匹配图像中搜索该点对应的最近和次近特征点；第二步，计算特征点到两个近邻特征点的欧氏距离的比值，若比值小于阈值，则最
近特征点为同名匹配点，否则不存在同名匹配点。
[0040]
ⅵ
.图像合成。按照匹配点校对深度图像的位置和方向，经过拼接和裁剪，合成教学空间的整体深度图。
[0041]
（1
‑
2）教师数据采集，如图2所示。依据性别、身高、体型和年龄，选取具有代表性身材的教师，利用激光lidar按照由上至下，环绕四周的顺序快速获取教师的全身点云数据，通过点云拼接和构网生成教师的表面模型，再使用三角形表面简化算法，生成教师全身的网格模型。
[0042]
（1
‑
3）教师授课声音采集。采用颈挂式耳麦采集教师授课的声音信息，应用去回声、降噪操作去除录制中的噪声，采用高压缩比的adpcm自适应差分脉冲编码方式，将声音信息传输、绑定到立体教学活动中教师的虚拟化身模型上。
[0043]
（2）数据传输管理模块。部署边缘云，构建云
‑
边
‑
端网络架构，为云渲染、云编辑和数据传输提供支持服务；师生登陆虚拟教学空间，从本地和边缘云加载不同类型的数据和服务；通过状态控制机制，管理虚拟教学空间中对象的加载、保存、更新和删除操作；根据用户的注视点位置和网络状况，完成数据的自适应传输。
[0044]
（2
‑
1）边缘云部署。在立体教学场的集中使用区域部署边缘云平台，构建云
‑
边
‑
端网络架构，如图3所示，iaas层提供cpu和gpu虚化功能，paas层提供虚拟场景、师生模型、教学资源数据拼接、编解码、渲染、cv（computer version，计算机视觉）和slam（simultaneous localization and mapping，即时定位和地图构建）服务，saas层提供虚拟机和立体教学场教学服务。
[0045]
中心云、边缘云任务分工如下：ⅰ.中心云完成高时延要求的渲染计算、后台管理、用户数据和交互数据处理，将处理结果传输到边缘云；ⅱ.边缘云完成数据存储和低时延要求的渲染计算，将渲染后的数据传输到终端，边缘云具有以下特性；特性一：将渲染时延控制在10
‑
15ms，支持立体教学场多显示终端高画质并发渲染；特性二：根据终端能力、网络传输状况以及数据传输需求，自适应选择编码格式（h.264、hevc、h.266、avs）和策略（如qp、码率、gop长度）；特性三：动态调整编码参数（帧率、时延、去交错、画面锐度和对比度调整），控制编码和流化发送时延在10ms以内。
[0046]
（2
‑
2）数据加载，如图4所示。师生用户从终端登录虚拟教学空间，终端从本地加载虚拟场景、师生模型和教学资源数据，并向边缘云发送数据请求，获取跟自己相关的课程信息、师生在线或离线登录状态，以及待加入课堂的位置。
[0047]
（2
‑
3）数据状态控制，如图5所示。根据虚拟教学空间中的教学场景、师生模型、教学资源数据的状态类型，设计状态控制机制，具体如下：ⅰ.在虚拟教学活动开始、执行和停止过程中，使用活跃、空闲、静止表示教学场景、师生模型、教学资源数据的状态；ⅱ.操作教学场景、师生模型和教学资源对象时，从状态管理器读取对象的状态；ⅲ.根据状态控制机制判断能否执行当前操作，如不能执行，则将操作挂起，等待
下一次状态检测；如可以执行，则按照操作类型执行数据加载、保存、更新和删除操作；ⅳ.执行完操作后，通知状态管理器切换对象状态，并更新对象的状态属性。
[0048]
（2
‑
4）数据传输，如图6所示。采用注视点估计算法、注视点动态推流方法和dash自适应传输协议，实现基于注视点的自适应推流，具体步骤如下：根据使用者的头部位置、转动方向和转动加速度，采用注视点估计算法，实时检测注视点区域；注视点估计算法的具体步骤如下：ⅰ.计算人眼图像中瞳孔中心坐标和角膜反射点中心坐标、：1.利用人脸、角膜反射点和瞳孔之间的灰度差来定位人眼；2.通过水平和垂直灰度积分法来定位瞳孔区域；3.对瞳孔边缘进行检测，利用椭圆拟合法和质心法确定瞳孔和光斑中心；ⅱ.估计注视点区域，如公式（3）所示：
ꢀꢀ
公式（3） 为终端显示屏幕上注视点坐标；为红外光源的坐标，的值均为0，的值为终端显示屏幕宽度，可通过测量得到；ⅲ.将虚拟教学空间视频按照时间和空间维度分割成多个视频块，每个视频块分别生成720p、1080p、1440p、2160p的质量版本；ⅳ.根据使用者的注视点区域，采用注视点动态推流方法，选择待传输的视频块，利用dash自适应传输协议，为每个视频块选择适合当前网速的质量版本，实施自适应推流。
[0049]
（3）数据存储模块。建立虚拟教学数据库模型，实现分布式系统存储；通过尾部追加更新要素文件，生成数据存储和索引节点；基于性能预测模型，实现对立体教学场数据的存取、调度与性能变化的预估；依据空间聚类，采用三维空间数据自适应压缩算法，实现分布式数据存储。
[0050]
（3
‑
1）空间索引。针对立体综合教学场数据的多源、异构和海量特征，基于虚拟教学空间中模型的空间结数据和对象id，构建空间索引，按照要素集
‑
要素对象
‑
三维模型、属性和音视频数据三个粒度层次，如图7所示，建立要素集文件，如虚拟教室对象由三维模型和属性部分构成，属性部分包括教室id、教室类型、使用状态、存储路径、创建时间、修改时间。基于r树的空间索引结构，建立虚拟教学空间数据库模型，实现网络化分布式存储。
[0051]
（3
‑
2）数据更新。将数据按类型序列化成数据块，新建、编辑、修改、删除等更新数据追加到要素集文件的尾部，采用对象的描述性信息来记录新追加对象的相关信息，如表格1所示，按段先后写入更新数据，并在r树中增加一个更新的索引节点。
[0052]
表格
ꢀꢀ
对象的描述性信息结构
（3
‑
3）数据调度，如图8所示。提取数据传输吞吐量、数据传输率、单位时间服务对象数、并发数、页面帧速、页面帧速方差性能指标，量化内存、显存、硬盘转速、服务节点树、磁盘页面分布规律指标，结合立体综合教学场的空间索引，建立性能预测模型，监测数据检索、运算性能与数据流负载平衡性能，以及网络带宽、节点数、拓扑结构的变化，实现复杂网络环境下数据的存取、调度和性能变化的预估。
[0053]
（3
‑
4）数据分布式存储。依据空间聚类，采用三维空间数据自适应压缩算法，将相邻虚拟教学空间的相关对象写入到文件中相邻或接近的位置，构建数据库物理层和网络层模型，形成磁盘页面属性与空间属性相结合的数据分布模式。
[0054] （4）空间定位追踪模块。利用超广角追踪传感摄像头和imu（inertial measurement unit）惯导传感器，定位、追踪师生的头部运动信息，获取其视点位置和视场范围；使用光学动作捕捉追踪系统，跟踪和识别教学过程中师生的头部、躯干和四肢的动作；通过传感摄像头采集手部led灯的光斑信息，构建运动预测模型，精准定位教学过程中师生的手部交互点。
[0055]
（4
‑
1）头部定位追踪。在头显的上、下、左、右四处配置4路超广角追踪传感摄像头，增大师生在教学空间中的整体观察范围，利用imu惯导传感器定位、追踪师生的头部位置和旋转姿态，基于注视点估计算法获取视点位置以及视场范围。
[0056]
（4
‑
2）肢体动作定位追踪。使用光学动作捕捉追踪系统，追踪教学过程中师生的头部、躯干和四肢的动作，经定位、配准师生的教学动作，生成与真实教学环境相适应的定位追踪参数，实现对师生头部转动、躯干移动与四肢挥动的跟踪和识别。
[0057]
（4
‑
3）手部定位追踪。在手部控制器上布设4个led灯，令其发光光斑的闪烁频率和头部传感摄像头的拍摄频率同步，利用双目定位和pnp算法，计算led灯的空间坐标以及位
姿信息，定位教学过程中师生的手部交互点。具体过程如下：第一步，采用图像识别算法从左、右两路传感摄像头采集的手部控制器图像中检测出led光斑，排除受环境光干扰导致成像模糊的led光斑；第二步，通过双目定位算法，计算光斑对应的led灯的空间位置；第三步，选择4个led灯及其光斑，利用pnp算法，如公式（4）
‑
公式（9）所示，求解led灯在摄像头坐标系下的6dof信息；第四步，基于led灯的6dof信息，拟合出手部运动预测模型，补偿和优化手部的运动延时，定位教学过程中师生的手部交互点。
[0058]
pnp算法：ⅰ.通过余弦三角形法则构建摄像头光心与三个led灯a，b，c相对应的夹角等式关系，如图9所示；1.计算三个led灯a，b，c之间的距离，如公式（4）所示：公式（4）2.计算夹角余弦值，根据摄像头投影模型，像素点的归一化坐标分别是，，根据向量内积，计算夹角余弦值，如公式（5）
‑
公式（6）所示：
ꢀꢀ
公式（5）
ꢀꢀ
公式（6）点，向量,,的坐标即为a,b,c三点坐标。
[0059]ⅱ.将上述等式关系转换为二元二次方程，通过吴消元法求解，获得立体几何之间的比值关系，进而获得led灯在摄像头坐标系下的坐标信息；1.利用余弦定理，经过变量代换，得到二元二次方程组，如公式（7）
‑
公式（9）所示：
ꢀꢀ
公式（7）
ꢀꢀ
公式（8）
ꢀꢀ
公式（9）2.利用吴消元法求解上述二元二次方程组，分别计算出x、y，从而求得摄像头坐标系下三个led灯a，b，c的坐标。
[0060]ⅲ.利用摄像头坐标系和已知的世界坐标系中的led灯坐标，采用icp算法求得led灯在摄像头坐标系下的6dof信息。
[0061]
（5）虚拟化身表示模块。依据师生的个性化参数，选取化身模型，映射脸部纹理；根据接收到的声音数据，分析解码后的语音特征，映射成嘴部特征点的形变，实现虚拟化身的唇语同步；采用光学捕捉设备动态追踪师生的动作，驱动虚拟教学空间中化身的实时更新。
[0062]
（5
‑
1）虚拟化身生成。根据师生的身高、体型、年龄、性别参数，从人体模型库中提取化身模型，应用人脸识别算法，从师生头部位置图像中提取面部特征，利用关键点检测算法，提取脸部纹理的关键点，映射到虚拟化身头部对应的眉毛、眼睛、鼻子、嘴巴、面部轮廓上。
[0063]
（5
‑
2）虚拟化身唇语同步。通过水平投影和垂直投影，确定虚拟化身的嘴部区域，采用人脸关键点检测算法，提取虚拟化身嘴部多边形的上唇、下唇和左右唇角特征点，通过调整嘴部特征点的位置，设计张开、半张、微张、闭合四种唇形，将声音数据解码后，采用fft变换分析声音的振幅、语速参数，根据振幅大小，分别匹配四种唇形，根据语速控制唇形切换的速度，最后映射成嘴部的特征点形变，实现唇语同步。基于高斯混合模型的声音
‑
唇部映射的步骤如下：ⅰ.基于高斯混合模型的训练，如公式（10）
‑
公式（12）所示：
ꢀꢀ
公式（10）为第帧对应的语音特征向量，维度为；为唇形特征向量，维度为。
[0064]
第一步，用高斯混合模型对语音特征和唇形特征建模，
ꢀꢀ
公式（11）
ꢀ
公式（12）k是单个高斯模型的数量，是权重因子，任意一个高斯分布为该模型的一个组成单元。为高斯混合模型的参数集，包括每个组成单元的权重、均值向量和协方差矩阵。第k个组成单元的均值向量为，协方差矩阵为。和分别表示第k个组成单元中语音特征向量和唇形特征向量的均值。和分别表示第k个组成单元中语音特征向量和唇形特征向量的协方差矩阵，和表示语音特征向量和唇形特征向量的交叉协方差矩阵。
[0065]
第二步，采用em算法训练高斯混合模型，将语音特征和唇形特征的联合向量作为训练集。
[0066]ⅱ.基于高斯混合模型的映射，如公式（13）
‑
公式（16）所示：第一步，对于给定声音信号特征，计算唇部特征的条件概率为，如公式（13）
‑
公式（14）所示，
ꢀꢀ
公式（13）
ꢀꢀ
公式（14）第k个条件概率分布的均值向量和协方差居矩阵，如公式（15）所示，
ꢀꢀ
公式（15）第二步，基于最小均方误差映射，得到的评估目标参数向量，如公式（16）所示，控制唇部特征点产生形变，
ꢀꢀ
公式（16）（5
‑
3）虚拟化身动作同步。根据在真实教学环境中采集到师生的躯干和手部动作，
将其绑定到虚拟化身的骨骼和手部关节上，采用光学捕捉设备动态追踪师生的转身、移动和挥手动作，通过驱动虚拟化身的相应关节，实现虚拟教学空间中师生虚拟化身的动作同步。
[0067]
（6）虚拟教学活动构建模块。在虚拟空间中创建与真实场景相似的学校、教学楼和教室，根据教学需要设置桌椅、白板、屏幕的位置；教师根据教学计划和课程表创建教学活动，通过班级管理功能向学习者发送活动通知；师生通过教室号跳转或漫游的方式进入虚拟教学空间，以虚拟化身的形式参加教学活动。
[0068]
（6
‑
1）创设虚拟教学空间。在虚拟空间中创建与真实场景相似的虚拟学校、教学楼和教室，按照关联规则命名教学空间，并生成唯一的id号，依据教学需要设置桌椅、白板、屏幕的位置，令虚拟教学空间适应分组教学、讨论的教学模式。
[0069]
（6
‑
2）创建虚拟教学活动。依据教学计划和课程表，教师新建教学活动，关联虚拟教学空间的名称或id（如教室号或者按照学校、楼栋、教室逐级设定），再使用班级管理功能，向学习者群发通知信息，包含教学活动的开始时间、持续时间和教室位置。
[0070]
（6
‑
3）加入虚拟教学空间。接到上课通知或提醒后，根据课程表的安排，分布各地的师生用户以虚拟化身的形式加入虚拟教学活动，可根据教室号直接跳转进入到虚拟教学空间，或者以学校
‑
教学楼
‑
教室的浏览顺序进入虚拟教学空间，依据固定分配或随机选择入座。
[0071]
（7）教学互动模块。虚拟教学空间中师生化身通过多种协作工具开展教学活动，教师能使用语音、手势、板书和草图讲解知识点；采用3d思维导图创设、串联、组织、展示教学内容；通过移动终端控制教学资源放置和播放形式，实现师生之间的互动反馈。
[0072]
（7
‑
1）知识讲解，师生以化身形式进入教学活动的虚拟场景中，在其化身上方显示真实姓名或实时视频，通过虚拟白板、三维模型、流程图、即时通讯工具和实时视频协作工具开展一对一、一对多的教学活动，教师使用语音、手势、板书和草图向学习者讲解知识点。
[0073]
（7
‑
2）内容展示。在虚拟教学空间中引入3d思维导图功能，教师通过抓取、移动与旋转3d图形元素、文本和图像，可视化展示教学活动中的概念、过程、结论，以及知识点的分类和层次关系，创设、串联和组织虚拟教学内容。图9展示人教版地理七年级上册第一章“地球与地图”第二节“地球的运动”第一课时“地球的自转与公转”的3d思维导图：ⅰ.使用不同的3d图形元素分别表示章、节、课时、概念和知识点的层次关系：第一层：用四棱台表示章——“地球与地图”；第二层：用四面体表示节——“地球的运动”；第三层：用球体表示课时——“地球的自转与公转”；第四层：用菱形体表示概念——“地球自转”和“地球公转”；第五层：用立方体表示知识点——“运动方式”、“运动方向”、“运动速度”、“运动周期”和“地理意义”。
[0074]ⅱ.使用箭头逐级连接处于不同层次的章、节、课时、概念和知识点：箭头指向：箭头由上一层级指向下一层级，例如图9中箭头前端连接位于第一层的“地球和地图”，箭头末端连接并指向位于第二层的“地球的运动”。
[0075]ⅲ.使用文本表示章、节、课时、概念、知识点的名称和内容，两者用不同的背景色进行区分；文本显示在3d图形元素的正上方，具体如下：
表示名称：课时——“地球的自转与公转”，概念——“地球自转”、“地球公转”，知识点——“运动方式”、“运动方向”、“运动速度”、“运动周期”和“地理意义”；表示内容：“地球自转”的“运动方向”的内容——“自西向东。北极上空俯视为逆时针，南极上空为顺时针”。
[0076]ⅳ.使用图像展示知识点的内容，图像显示在文本的上方，如在“地球自转”概念的“运动方向”知识点的方形文本上方，显示从南极和北极上方观察地球自转的运动图像。
[0077]
（7
‑
3）互动反馈，教师通过移动终端设置虚拟教学资源的呈现位置和播放形式，向虚拟教学空间中单个、分组或所有的学习者提问，并将问题发送给特定或全部的学习者，学习者在终端上输入答案或者通过实时视频回答教师提问。
[0078]
（8）教学管理模块，如图10所示。管理员导入学校师生信息，教师获取选课的学习者信息，管理个人空间的公告、留言、作业发布和学习者问答信息；支持教师新增、修改、删除和调整虚拟教学空间，管理员审核通过后可共享给其他师生；教师可在个人空间中管理虚拟教学资源，使用多种方式查找资源。
[0079]
（8
‑
1）教学信息管理。支持接入国家级公共教育平台，依据权限策略设置，管理员可以导入学校师生信息，教师可以查看学习者信息，管理个人空间中的信息和课程信息，具体如下：ⅰ.依据选课信息，获取对应课程的学习者信息；ⅱ.查看、编辑、管理和推送个人空间的公告、留言、作业发布和学习者回答情况；ⅲ.查看、编辑、管理课程信息，具体包括课程编号、课程名称、课程类型、场景、ppt、学生列表、资源列表、问题列表，如图11所示。
[0080]
（8
‑
2）虚拟教学空间管理。构建统一的世界坐标系统，支持教师对虚拟教学空间中学校、教学楼与教室的新增、修改、删除和布局调整，并上传到云端服务器，管理员审核通过后，可共享给其他师生使用。
[0081]
（8
‑
3）虚拟教学资源管理。构建云端资源库，教师可在自己的个人空间中导入、编辑、删除虚拟教学资源，将虚拟教学资源推送到学习者终端，通过知识树组织虚拟教学资源，支持通过资源名称、属性标签、存储路径查找虚拟教学资源。
[0082]
（9）终端显示模块。选择视场范围及其两侧视角外的画面内容，通过5g链路，经编码、上传、5g渲染和解码，在终端显示；采用session级、秒级和帧级三层带宽技术控制显示终端的带宽波动，使用多级缓存技术逐帧解码和显示视频图像；结合头部动作预测和云端异步渲染技术，控制上行动作、下行内容和画面的mtp时延。
[0083]
（9
‑
1）终端显示。依据显示终端的观察角度，选择立体教学场中师生视场范围及其两侧视角外的画面内容，通过5g链路，经编码、上传到云渲染中心，以gop（group of pictures，视频图像组）为时间粒度，将5g渲染结果传输到师生显示终端，解码后在终端显示，如图12所示，教师在虚拟教学空间中授课，其左前方显示3d教学模型，其后方虚拟显示屏幕展示教学ppt内容。
[0084]
（9
‑
2）视频延迟处理。检测师生终端的网络环境，采用session级、秒级和帧级三层带宽技术降低因延时所产生的画面抖动现象，控制显示终端的带宽波动，采用多级缓存技术，在帧周期内逐帧解码和显示视频图像。
[0085]
（9
‑
3）时延优化控制。利用头部动作预测师生的姿态与位置信息，结合端云异步渲
染技术和并行编码技术，通过边缘云预先计算、渲染和编码60
‑
80ms的视频内容，减少边缘云处理数据和编码发送的时延，将上行动作、下行内容传输和画面响应mtp（multi
‑
path transmission）时延控制在20ms以内。
[0086]
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
[0087]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进，均应包含在本发明的保护范围之内。