基于混合现实的动作干预孤独症障碍儿童训练方法及系统

本公开涉及混合现实，具体涉及基于混合现实的动作干预孤独症障碍儿童训练方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

2、舞蹈动作治疗(dance/movement therapy,dmt)是一种心理干预方法，旨在通过舞蹈动作进行心理干预，以促进个人的情感、社会、认知和身体整合，改善健康和幸福感。dmt对于孤独症谱系障碍(asd)儿童来说是一种积极且有效的干预疗法，可以有效提升asd儿童的幸福感，缓解负面症状，改善他们社交和沟通。

3、混合现实(mixed reality,mr)融合了物理世界和数字世界，实现了自然、直观的三维互动，使人类、计算机和环境之间的融合成为可能。使用mr技术来补充asd传统疗法的好处很多，包括增加吸引力和动力，安全可控，可重复等。

4、目前已存在一些基于mr的教学和训练技术方案，通过各种交互方式来学习动作。然而，当前的mr动作学习系统所面临的主要问题包括：

5、(1)许多mr动作学习系统在监测和提供实时反馈方面存在不足，这对于有效的动作干预至关重要，因为及时的监测和反馈可以帮助儿童更好的理解和改进他们的动作技巧。

6、(2)在一些情况下，mr动作学习系统可能缺乏多感官的刺激，没有足够的沉浸感，难以吸引asd儿童的注意力和积极参与，这可能影响到干预的有效性。

7、(3)当前的mr动作学习系统尚未与针对asd儿童的舞蹈动作干预计划相结合，为了有效满足asd儿童的特殊需求，需要充分的针对asd儿童的特点进行舞蹈动作课程设计。

8、(4)不同孩子需要不同的干预方法和难度水平，大多数现有的mr动作学习系统缺乏足够的个性化适应性，无法满足不同asd儿童的个体差异。

技术实现思路

1、本公开为了解决上述问题，提出了基于混合现实的动作干预孤独症障碍儿童训练方法及系统，构建沉浸式舞蹈动作干预虚拟环境，用户置身于洞穴式自动虚拟环境(caveautomatic virtual environment,cave)，用户观察并学习虚拟代理的动作，识别用户的动作并提供视觉和听觉方面的正反馈。

2、根据一些实施例，本公开采用如下技术方案：

3、基于混合现实的动作干预孤独症障碍儿童训练方法，包括：

4、获取选择的舞蹈动作的干预训练模式，提供相应训练模式下的虚拟代理画面，提供待学习的分解动作、完整演示以及视觉、听觉、嗅觉和触觉多方面的刺激；

5、根据虚拟代理画面以及相应刺激，asd儿童跟踪练习对应动作，跟练结束后，进入自主练习模式，捕捉asd儿童动作时的骨骼信息，并基于卷积神经网络和长短期记忆递归网络获取骨骼信息在3d空间中的时空特征信息，识别出儿童当前动作后提供正反馈。

6、根据一些实施例，本公开采用如下技术方案：

7、基于混合现实的动作干预孤独症障碍儿童训练系统，包括：

8、多投影拼接和融合模块，用于获取选择的舞蹈动作的干预训练模式，提供相应训练模式下的虚拟代理画面，提供待学习的分解动作、完整演示以及视觉、听觉、嗅觉和触觉多方面的刺激；

9、交互模块，用于根据虚拟代理画面以及相应刺激，asd儿童跟踪练习对应动作，进入自主练习模式；

10、动作捕捉模块，用于捕捉asd儿童动作时的骨骼信息；

11、动作识别模块，用于基于卷积神经网络和长短期记忆递归网络获取骨骼信息在3d空间中的时空特征信息，识别出儿童当前动作；

12、反馈模块，用于根据识别出的儿童当前动作提供正反馈。

13、根据一些实施例，本公开采用如下技术方案：

14、一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现所述的基于混合现实的动作干预孤独症障碍儿童训练方法。

15、根据一些实施例，本公开采用如下技术方案：

16、一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现所述的基于混合现实的动作干预孤独症障碍儿童训练方法。

17、与现有技术相比，本公开的有益效果为：

18、本公开提供了一种基于混合现实的动作干预孤独症障碍儿童训练方法及系统，通过动作识别模块和反馈模块，实现了对asd儿童动作的实时监测和即时反馈；这一特点为干预师和儿童提供了关键的工具，有助于迅速纠正错误、增强动作技巧，以及提高干预的效果。

19、本公开通过引入视觉、听觉、触觉和嗅觉等多种感觉刺激，创造了更具沉浸感的虚拟环境，有助于吸引asd儿童的注意力和积极参与，能够提供丰富、引人入胜的体验。

20、本公开通过深刻理解asd儿童的特殊需求，充分融合了舞蹈动作干预训练计划；提供了专业的舞蹈动作干预课程，以满足不同孩子对难度水平的需求；系统能够为每个asd儿童提供高度个性化的舞蹈动作干预，以更好地支持他们的发展和进步；确保了虚拟代理能够准确、生动地模仿舞蹈演员的动作。

21、本公开提供三种模式：分解教学模式，完整跟练模式和自主练习模式；分解教学模式中，虚拟代理逐步教授舞蹈的各个部分，确保学习的深入和理解；完整跟练模式中，虚拟代理引导asd儿童跟随模仿，实现流畅的舞蹈表演；自主练习模式中，虚拟代理鼓励asd儿童在训练过程中自主练习，享受成功的体验；户能够根据自身情况选择最适合自己的模式，循序渐进。

22、儿童无需戴着笨重的头戴式显示器，这减轻了他们在训练期间的身体负担，提供更出色的沉浸式体验。

技术特征：

1.基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，包括：

2.如权利要求1所述的基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，获取选择的舞蹈动作的干预训练模式，包括：选择对应舞蹈动作，通过触控为asd儿童选择合适的训练进度，提供相应训练模式下的虚拟代理画面，负责将多个投影仪的图像投射到墙壁和地面上，使用多通道校正方法，进行几何校正、边缘融合和亮度调整。

3.如权利要求1所述的基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，利用分解教学模式，提供待学习的分解动作，虚拟代理将一套完整的舞蹈分解成多个舞蹈动作单元；每个动作单元都会由虚拟代理先以慢的速度演示一遍，同时讲解当前动作的要领与注意事项，再以正常速度演示一遍；当一个动作单元教学完成后，虚拟代理会恢复到初始的站立姿势，等待两秒钟后再进行下一个动作单元的教学，直至完成整套舞蹈中所有动作单元的教学。

4.如权利要求1所述的基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，根据虚拟代理画面以及相应刺激，asd儿童跟踪练习对应动作，包括：分解教学结束后，为asd儿童选择完整跟练模式，虚拟代理先向asd儿童声音传递信息并邀请asd儿童跟练学习舞蹈；之后虚拟代理以正常速度连贯的演示一套舞蹈动作，同时播放与舞蹈节拍和内容相对应的音乐，进行视觉以及听觉的刺激。

5.如权利要求1所述的基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，自主练习模式的具体过程包括：

6.如权利要求1所述的基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，捕捉asd儿童动作时的骨骼信息，包括：获取asd儿童的关键骨骼点坐标，包括头部、手臂、腿部和躯干部位的位置信息，骨骼点包括32个关节，关节层次结构按照从人体中心向四肢的流向分布。

7.如权利要求6所述的基于混合现实的动作干预孤独症障碍儿童训练方法，其特征在于，动作识别的具体方法为：利用深度学习的方法进行时序三维姿态识别，构建卷积神经网络和长短期记忆递归网络的组合，卷积神经网络获取骨骼关节在3d空间中的的位置相关的空间特征信息；使用lstm递归神经网络捕捉与骨骼关键点的3d坐标的时间演变相关的时空特征信息。

8.基于混合现实的动作干预孤独症障碍儿童训练系统，其特征在于，包括：

9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-7任一项所述的基于混合现实的动作干预孤独症障碍儿童训练方法。

10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的基于混合现实的动作干预孤独症障碍儿童训练方法。

技术总结
本公开提供了基于混合现实的动作干预孤独症障碍儿童训练方法及系统，涉及混合现实技术领域，包括：获取选择的舞蹈动作的干预训练模式，提供相应训练模式下的虚拟代理画面，提供待学习的分解动作、完整演示以及视觉、听觉、嗅觉和触觉多方面的刺激；根据虚拟代理画面以及相应刺激，ASD儿童跟踪练习对应动作，跟练结束后，进入自主练习模式，捕捉ASD儿童动作时的骨骼信息，并基于卷积神经网络和长短期记忆递归网络获取骨骼信息在3D空间中的时空特征信息，识别出儿童当前动作后提供正反馈。

技术研发人员：刘娟,刘维莹,卞玉龙,赵鸿,张柏侨,熊倩倩
受保护的技术使用者：山东大学
技术研发日：
技术公布日：2024/1/25