基于虚拟现实的仿生学堂助学系统

：本发明涉及基于虚拟现实的仿生学堂助学系统。

背景技术

0、
背景技术：

1、辅助教学系统主要是通过压缩教师教学现场的视频、音频流结合同步浏览课件命令，形成教学资源流，利用网络实时传送到远端学生的电脑上，学生可以及时通过举手提问、共享教师端程序、文字交流等方式实现远程互动助学教学系统。

2、辅助教学系统可以通过各种现代远程教育教学的交互手段保证现代远程教育得以方便顺利实施，采用统一、完整的界面，使教师和学生都在同一个登录界面下以不同的身份登录，教师能够教师界面下完成其教学所需的一切操作，学生也能够通过学生界面完成学习所需的一切操作，支持多教室、多科目的同时教学。

3、现有互动助学教学系统主要是基于计算机技术和虚拟现实技术来进行生成和操作的，通常需要昂贵的硬件设备和专业人员的支持，会增加项目的成本和复杂性，对于非技术人员或者初学者来说，可能需要投入大量时间和精力进行学习和适应；同时虚拟现实技术也依赖于特定的硬件设备，难以进行普及和推广，由于虚拟现实技术对用户感官和视觉系统的刺激较强，某些用户可能会出现不适应、晕眩等不良反应，尤其对于肢体残疾人群来说，极大的限制了技术可接受范围和用户群体；虚拟现实技术还涉及了用户的个人数据和隐私，在使用时必须采用适当的安全措施来保护用户的数据和隐私，缺乏统一的标准和规范，也增加了技术集成和开发的难度。

技术实现思路

0、
技术实现要素：

1、本发明实施例提供了基于虚拟现实的仿生学堂助学系统，结构设计合理，针对肢体残疾人群的教育问题，结合vr终端设备，建立虚拟教室场景，使所有使用系统的肢体残疾用户都可以在一个共同的虚拟空间中进行交流共享，基于实例分析和仿真实验预测了系统的市场效益和用户反馈，为统筹算法提供数据基础，能够生成一种交互式的三维动态视景，通过头戴式立体眼镜、动作捕捉芯片、数据手套等辅助式交互设备，让用户通过听觉、视觉等器官,观测到物理世界与虚拟世界交互的三维界面，体验三维空间内的变化,获得一种临场真实感，既能实现教学实时系统的实现，也保证了完整的虚拟现实教室体系的建设，满足肢体残疾人用户的求学需求，使肢体残疾人用户能够更好的得到学习体验，能够在优化整合和虚拟现实的基础上减少了成本的投入，提高了教学形式的多元化、创新化，为产品生态带来更多的创新力与智造力，解决了现有技术中存在的问题。

2、本发明为解决上述技术问题所采用的技术方案是：

3、基于虚拟现实的仿生学堂助学系统，所述助学系统包括：

4、虚拟教室构建模块，所述虚拟教室构建模块用于采用rgb-d相机基于slam算法对教室进行建模；

5、仿生臂构建模块，所述仿生臂构建模块用于采用fk算法与ik算法构建仿生臂来模拟教师的手臂并映射到虚拟教室中，实现教育的远程协作；

6、3d声音构建模块，所述3d声音构建模块用于采用线性卷积的fft算法根据hrtf数据的个数对单声道音频进行分段处理，实现对原始信号的分块，将各个分段的单声道音频组合为立体声文件并使用傅里叶变换将时间域音频信号转换为频域信号，构建得到3d声音；

7、语音互动模块，所述语音互动模块用于下载选定的webrtc，并导入unity所构建的虚拟教室中，实现用户之间的消息传递和处理；

8、搭建转换模块，所述搭建转换模块用于搭建系统云平台，将vr项目转换成webxr应用程序，基于多线程技术，同时处理多个请求，提高服务器的吞吐量和响应速度；

9、运算优化模块，所述运算优化模块基于b/s框架进行设计，通过m/m/3排队模型计算稳态指标，对系统性能指标进行分析优化，以使同步用户之间能够共享和交换数据。

10、所述虚拟教室构建模块包括：

11、采集单元，所述采集单元用于进行彩色信息和深度信息的收集，将深度信息与彩色图像进行柔和，生成三维点云数据；

12、滤波单元，所述滤波单元用于对三维点云数据进行滤波处理；

13、处理单元，所述处理单元用于采用slam算法进行前端处理、后端处理以及回环检测，将得到的稠密点云数据生成三维网络模型进行地图建立，并导入到unity中实现对虚拟教室的构建。

14、所述仿生臂构建模块包括：

15、惯性测量单元，所述惯性测量单元用于测量加速度参数、角速度参数和磁场参数，并采用无线通讯的方式将测量参数传输到计算机上；

16、预处理单元，所述预处理单元用于对得到的测量参数进行噪声去除和滤波预处理，以提高数据的质量和准确性；

17、运算单元，所述运算单元用于将fk算法和ik算法相结合建立一个完整的机械臂模型，使用传感器收集到的数据作为fk算法的输入，运行ik算法得到关节的旋转角度以控制机械臂完成各种复杂的动作。

18、所述仿生臂在进行笔迹重现时，使用收集到的手写数据集来构建lstm模型来预测每一帧图像的笔画轨迹；使用cnn模型来提取图像的特征；使用分类器对这些特征进行分类，以确定笔的颜色信息和压力信息。

19、基于lstm模型和cnn模型得到的笔迹预测模型能够引入到unity，适用unity的虚拟现实功能呈现出手臂和笔迹，以创造出一个立体沉浸式的绘图环境。

20、所述线性卷积的fft算法的归纳方法为：

21、延长序列a(n)的长度n2至l，并补充l-n2个零；

22、延长序列b(n)的长度n1至l，并补充l-n1个零；

23、其中l＝n1+n2-1；

24、若l≥n1+n2-1，则圆周卷积等效为线性卷积，此时，则可使用fft运算进行线性卷积，方法归纳如下：

25、(1)求a(k)＝fft[a(n)]；

26、(2)求b(k)＝fft[b(n)]；

27、(3)求y(k)＝h(k)y(k)k＝0～l-1；

28、(4)求y(n)＝ifft[y(k)]n＝0～l-1。

29、在3d声音构建模块内创建卷积滤波器，所述卷积滤波器用于模拟混响效果，可使用过impulse response来创建卷积滤波器；在unity使用dspgraph和block节点来实现卷积运算，以产生具有空间感的3d声音效，将处理后的音频数据分配给audiosource组件的audioclip属性，以能够播放虚拟声音。

30、本发明采用上述结构，通过虚拟教室构建模块采用rgb-d相机基于slam算法对教室进行建模；通过仿生臂构建模块采用fk算法与ik算法构建仿生臂来模拟教师的手臂并映射到虚拟教室中；通过3d声音构建模块采用线性卷积的fft算法根据hrtf数据的个数对单声道音频进行分段处理；通过语音互动模块下载选定的webrtc，并导入unity所构建的虚拟教室中，实现用户之间的消息传递和处理；通过搭建转换模块搭建系统云平台，将vr项目转换成webxr应用程序；通过运算优化模块基于b/s框架进行设计，通过m/m/3排队模型计算稳态指标，对系统性能指标进行分析优化，以使同步用户之间能够共享和交换数据；通过分析各大企业的虚拟现实技术应用与相关科技助学的文献内容，深入探讨了构造虚拟现实与特殊教育结合的实用性与必要性，以及该系统相对于其他系统平台的创新点与优势，通过实例分析和仿真实验预测了该系统的市场效益以及对象反馈，给统筹算法以实操基础，既可以实现残疾人士的求学需求，又保证了完整的云服务体系建设，具有安全实用、简便高效的优点。