基于VR交互技术辅助儿童孤独症谱系障碍康复系统的制作方法

本发明涉及vr交互，更具体地说，本发明涉及基于vr交互技术辅助儿童孤独症谱系障碍康复系统。

背景技术：

1、随着虚拟现实技术的发展，专业医疗团队的指导和监督将虚拟现实技术与康复系统结合，能够最大程度地利用科学技术更好地促进儿童孤独症谱系障碍康复的效果。

2、目前的vr交互技术存在无法满足每个患者具体需求的问题，需要更多的个性化调整和定制化内容实现最佳效果，缺乏足够的临床数据支持康复效果，同时，儿童孤独症谱系障碍由于每个asd儿童的症状和需求都有所不同，缺乏标准化治疗方案，需要持续支持的康复服务。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明的实施例提供基于vr交互技术辅助儿童孤独症谱系障碍康复系统，通过虚拟现实模块、交互模块以及数据收集与分析模块，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：包括虚拟现实模块、个性化设置模块、交互模块、环境控制模块、实时反馈模块、数据收集与分析模块以及辅助配合模块；

3、虚拟现实模块：用于创建和提供虚拟现实体验，通过虚拟现实平台提供虚拟现实体验的基础平台和框架，包括硬件和软件两个子单元；

4、个性化设置模块：通过传感器数据以及图像处理技术分析儿童的状态和特征，将相关特征与儿童的兴趣和康复需求关联，提供不同类型的虚拟场景和活动；

5、交互模块：通过虚拟现实硬件实时检测儿童进行动作，利用深度学习神经网络模型对特征进行分类和识别，培养儿童社交互动能力；

6、环境控制模块：根据儿童的进展和能力，动态调整环境的难度和挑战，限制儿童接触不适宜和危险的情境；

7、实时反馈模块：利用进度跟踪实时反馈评估儿童康复的发展和制定下一步的目标，基于进度跟踪的数据分析，系统根据儿童的进展情况进行自适应调整；

8、数据收集与分析模块：收集个性化设置模块以及交互模块中儿童的相关数据，通过计算儿童在不同任务中的标准差和特定技能行为的频率分布，利用指数平滑法捕捉数据的快速波动和趋势变化；

9、辅助配合模块：通过专业医生监督和指导儿童在使用虚拟现实技术时的行为和反应，利用专业医生治疗方案辅助配合使用虚拟现实系统。

10、在一个优选地实施方式中，所述虚拟现实模块用于创建和提供虚拟现实体验，包括硬件和软件两个子单元：

11、步骤1、硬件单元：用于创造和传递虚拟现实体验的设备和设施，利用头戴式显示器提供视觉体验的关键设备，包括显示屏、传感器、耳机以及与计算机和控制台连接的接口，将虚拟场景投射到使用者的眼睛中，通过感知设备感知使用者的运动和位置，包括追踪器、摄像头、陀螺仪，实现对虚拟场景的交互，通过控制器和输入设备用于用户与虚拟环境进行交互和操作，包括手柄、手套、触控笔，用于手部动作的追踪和手势识别。

12、步骤2、软件单元：通过虚拟现实平台提供虚拟现实体验的基础平台和框架，包括操作系统、开发工具、应用程序接口，用于构建虚拟现实场景和功能，通过3d建模和渲染软件用于创建和设计虚拟环境中的三维模型、场景和角色，帮助开发人员建立逼真且交互性强的虚拟现实场景，利用交互和游戏引擎提供虚拟现实应用程序的核心功能，包括物理仿真、碰撞检测、图形渲染，利用引擎简化开发过程，提供各种交互和游戏特性。

13、在一个优选地实施方式中，所述个性化设置模块利用传感器数据以及图像处理技术分析儿童的状态和特征，通过虚拟现实硬件监测儿童大脑电活动，根据儿童的脑电图信号，估计儿童的专注度、放松度以及认知状态，利用状态估计算法对脑电图信号进行频谱分析、小波变化以及时域分析，所述状态估计算法为高斯核密度估计法，其具体公式为：

14、

15、

16、其中，f(x)表示在位置处的概率密度函数估计值，xi表示数据集中的第i个样本点，k(x)表示高斯核函数，h表示带宽参数，n表示脑电信号数据个数，所述小波变换为连续小波变换，利用不同尺度和平移参数对信号进行连续变换，生成连续尺度图像，提供脑电信号在不同频率和时间上的变换信息，所述时域分析通过分析脑电信号的波形、振幅以及频率特征，提取脑电信号的时域参数，观察信号的周期性和趋势，用于脑电信号进行时间上的分析和描述，提取与认知状态相关特征，将相关特征与儿童的兴趣和康复需求关联，提供不同类型的虚拟场景和活动，保证虚拟现实的内容个性化。

17、在一个优选地实施方式中，所述交互模块用于儿童与虚拟现实交互，培养儿童社交互动能力，收集儿童进行动作的数据集，包括手势数据、表情数据、语言数据以及动作数据，通过虚拟现实硬件实时检测儿童进行动作，对数据进行灰度化以及裁剪处理，提取颜色、形状以及运动特征，利用深度学习神经网络模型对特征进行分类和识别，所述深度学习神经网络模型为循环神经网络，其具体公式为：

18、yt＝g(wh*y*ht+bh)

19、ht＝f(wxh*xt+whh*ht-1+bh)

20、其中wxh表示输入到隐藏状态的权重矩阵，whh表示隐藏状态到隐藏状态的权重矩阵，f(x)表示是激活函数，wh*y表示隐藏状态到输出的权重矩阵，bh表示偏置项，g(x)表示是激活函数，将信号数据集分为训练集、测试集以及验证集，输入使用训练集中的批量数据进行迭代训练，重复迭代训练达到一定的收敛条件，根据验证集的结果，进行参数调整、规模调整以及结构改进。

21、在一个优选地实施方式中，所述环境控制模块根据儿童的进展和能力，动态调整环境的难度和挑战，提供适合他们能力水平的社交训练，通过实时监测儿童在虚拟现实环境中的行为和反应，系统利用虚拟现实硬件获取关于儿童的表现数据，对获取的数据进行分析，探索其中的关联和趋势，通过统计分析和可视化技术发现儿童的社交技能水平和发展需求方面的特征和变化，并根据其表现调整场景中的角色、情绪和任务，通过虚拟现实环境提供安全且没有失败压力的社交练习场所，系统通过语言数据的神经网络模型屏蔽以及过滤不适宜的言语行为，保护儿童的安全和心理健康，利用虚拟现实系统具有良好控制性的特点，限制儿童接触不适宜和危险的情境，设置特定的场景和角色，确保儿童在安全的环境中进行社交训练。

22、在一个优选地实施方式中，所述实时反馈模块利用进度跟踪实时反馈评估儿童康复的发展和制定下一步的目标，系统记录儿童在虚拟现实场景中的行为数据，包括他们的互动方式、情绪反应、完成任务的准确性，用于评估儿童的表现和进展，系统提供虚拟现实可视化界面，用于显示儿童的进度和表现包括图表、图形和统计信息，清晰展示儿童在不同方面的发展，利用数据库制定个人档案存储云端，记录他们的进展历史和成就，监护人随时查看儿童个人档案，了解儿童的发展轨迹，并与康复医生共同制定下一步的目标，系统为监护人以及医生提供与儿童进展相关的反馈和建议，通过系统的可视化界面了解儿童的表现，并根据需要进行干预和指导，基于进度跟踪的数据分析，系统根据儿童的进展情况进行自适应调整。

23、在一个优选地实施方式中，所述数据收集与分析模块收集个性化设置模块以及交互模块中儿童的相关数据，结构化数据记录进行统计分析，利用描述性统计分析，通过计算儿童在不同任务中的标准差和特定技能行为的频率分布，对收集的数据进行总结和描述，所述计算标准差公式为：

24、

25、其中s表示反应时间的标准差，xi表示样本数据集中第i个数据，n表示样本数据点的个数，所述频率分布公式为：

26、

27、其中v表示频率分布，x表示特定行为分类在样本中出现的次数，c表示样本总数，对于长期跟踪的数据，利用时间序列分析帮助检测康复进展的趋势和周期性变化，利用指数平滑法捕捉数据的快速波动和趋势变化，通过基于加权平均原理计算平滑值，所述计算平滑值具体公式为：

28、n＝α*m+(1-α)*m

29、其中n表示时间点的平滑值，α表示平滑参数，m表示当前观测值，m表示上一个平滑值，利用迭代重复计算所有时间点的平滑值，使用最后一个平滑值作为基准，通过加权平均推断未来康复数据的变化趋势，了解儿童康复过程中的长期变化和短期波动。

30、在一个优选地实施方式中，所述辅助配合模块通过专业医生监督和指导儿童在使用虚拟现实技术时的行为和反应，确保儿童正确地使用设备、执行康复动作，并及时纠正错误姿势以及不当操作，提供实时的反馈和调整，确保康复过程中的最佳效果，专业人员能够为儿童和家长提供必要的支持和资源，解答关于虚拟现实技术的问题，提供使用指南和注意事项，并协助解决技术或操作上的困难，提供心理社会支持和教育，帮助儿童和家庭适应康复过程中的变化和挑战，专业医生定期监测和评估儿童的康复进展，使用标准化的评估工具和方法，跟踪儿童的功能改善、康复效果和治疗效果，通过评估结果优化虚拟现实治疗方案，调整康复计划，并为进一步的干预提供依据。

31、在一个优选地实施方式中，具体包括以下步骤：

32、101、利用头戴式显示器、感知设备以及控制器和输入设备创造和传递虚拟现实体验的设备和设施，通过虚拟现实平台提供虚拟现实体验的基础平台和框架；

33、102、利用传感器数据以及图像处理技术分析儿童的状态和特征，将相关特征与儿童的兴趣和康复需求关联，提供不同类型的虚拟场景和活动，保证虚拟现实的内容个性化；

34、103、收集儿童进行动作的数据集，通过虚拟现实硬件实时检测儿童进行动作，利用深度学习神经网络模型对特征进行分类和识别，培养儿童社交互动能力；

35、104、根据儿童的进展和能力，动态调整环境的难度和挑战，利用虚拟现实系统具有良好控制性的特点，限制儿童接触不适宜和危险的情境；

36、105、利用进度跟踪实时反馈评估儿童康复的发展和制定下一步的目标，基于进度跟踪的数据分析，系统根据儿童的进展情况进行自适应调整；

37、106、收集个性化设置模块以及交互模块中儿童的相关数据，通过计算儿童在不同任务中的标准差和特定技能行为的频率分布，利用指数平滑法捕捉数据的快速波动和趋势变化；

38、107、通过专业医生监督和指导儿童在使用虚拟现实技术时的行为和反应，利用专业医生治疗方案辅助配合使用虚拟现实系统。

39、本发明的技术效果和优点：

40、本发明通过虚拟现实平台提供虚拟现实体验的基础平台和框架，能够创建和提供虚拟现实体验，通过传感器数据以及图像处理技术分析儿童的状态和特征，能够利用深度学习神经网络模型对特征进行分类和识别进行交互，动态调整控制环境的难度和挑战，利用进度跟踪实时反馈评估儿童康复的发展和制定目标，能够利用指数平滑法捕捉数据的快速波动和趋势变化，利用专业医生治疗方案辅助配合使用虚拟现实系统，有助于儿童更好地理解和应对各种社交、情感和认知挑战，促进他们在真实世界中的适应和互动，有助于提高儿童的社交互动能力、语言表达能力和情绪认知，帮助儿童逐渐适应噪音、光线和触觉刺激，提高他们的感官整合能力。