一种基于虚拟现实的康复训练系统

本发明属于医疗康复产品，具体涉及一种基于虚拟现实的康复训练系统。

背景技术：

1、虚拟现实技术需要大量的数据传输、存储和计算功能，这些数据和计算密集型任务如果转移到云端，就能利用云端服务器的数据存储和高速计算能力。但是现在的第四代移动通信技术(the 4th generation mobile communication technology，4g)网速并不能完全地满足vr的需求，这导致了vr的发展有些许的低谷。当人们在体验vr技术时候，往往会伴随着头晕和目眩等症状，而这很大程度是因为网络延迟导致的，因为整个系统从监测动作到将运动反映到vr视野中会有一定的延迟滞后，此时体验者就会有眩晕的感觉。而5g因低时延、大带宽、大连接等特点，将是目前vr体验不佳的最好解决途径，也将更进一步促进vr通讯的发展进步。如vr直播业务在4g时代很难实现，因为该业务对数据传输要求极高。但5g时代，更高的网速，让用户不但可以看到面前的场景，还可以看到360度周围的环境，同时通过缩小或放大，随意观察现场的一些细节，保障了远程互动过程如现场对话般流畅。为了更贴切感受虚拟现实应用中的沉浸式体验，动作捕捉技术是其中至关重要的隐形钥匙，其中的关键在于获得精确的骨骼点数据。而kinect由于其低廉的价格，使用者不用佩戴任何传感器，只需自由地站立在kinect感应环境中，即可完成骨骼坐标获取全过程，极大地简化了运动康复训练的场地与设施。因此，它作为康复医疗游戏的外设来做简单的空间定位是一个极佳的选择。目前将kinect技术与5g康复训练进行有机融合的研究相对较少。kinect的优点是可以在vr中重建出身体，所以自我呈现甚至是其他用户都会有一个比较真实的形象，且不用拿控制器。然而，使用kinect进行骨骼点获取时的数据精度较低，骨骼数据抖动，也无法保持关节长度的一致性，捕捉范围有限，不能够直接应用于3d模型驱动。现有技术提出了多种去除kinect运动数据噪声的方法并取得良好效果；但由于自遮挡，有的基于kinect的动作捕捉系统普遍存在着关节缺失等不足。用来做交互并不能做到较高的自然度，会出现操作失误和识别不了的情况。现有的一种丢失关节修复算法和骨骼动作平滑处理算法，解决了连续丢失多个关节点的问题和肢体末端关节抖动问题，但它对缺失了3个或以上的关节点效果不佳。因此，针对目前基于kinect的动作捕捉系统存在的问题，对kinect采集的骨骼数据进行修复，保持关节长度的一致性和解决自遮挡问题是非常有必要的。

2、如今，vr技术已被应用于康复治疗的方方面面，如在上肢失衡等运动障碍方面的康复，注意力集中等方面的认知康复，抑郁等情绪障碍的康复领域都取得了很好的康复疗效。其中运动功能障碍的康复训练是康复医疗的重要内容之一。研究发现设计趣味性的康复训练系统并根据医疗康复辅助需求的特性对系统的安全性及强度等各方面进行整合，比传统意义上的步态训练更能提高帕金森患者的步态平衡以及认知方面的功能。因此，提供一种基于虚拟现实的医疗康复训练系统是有必要的。

技术实现思路

1、针对现有技术存在的不足，本发明提出了一种基于虚拟现实的康复训练系统，该方法包括：信息采集模块、数据处理模块、控制模块、虚拟场景模块和评价建议模块；

2、所述信息采集模块用于采集患者骨骼数据和用户主动输入信息；用户主动输入信息包括患者主动输入信息和医生主动输入信息；

3、所述数据处理模块用于对患者骨骼数据进行处理，得到骨骼数据处理结果；

4、所述控制模块用于根据骨骼数据处理结果，生成同步患者和人物模型的动作控制指令；

5、所述虚拟场景模块用于根据患者主动输入信息建立虚拟场景并根据动作控制指令控制虚拟场景中的人物模型；

6、所述评价建议模块用于对用户的运动行为进行评分并输出下一步康复训练建议。

7、优选的，信息采集模块包括患者信息采集模块和医生信息采集模块；患者信息采集模块用于采集患者骨骼数据和患者主动输入信息，医生信息采集模块用于采集医生主动输入信息。

8、优选的，患者主动输入信息包括患者登录信息和虚拟场景选择信息；医生主动输入信息包括医生登录信息和医生对患者的评价建议信息。

9、优选的，采集患者骨骼数据的过程包括：采用多个kinect传感器采集用户肢体运动图像，根据机器学习算法实时获取用户25个骨骼点坐标，得到患者每个关节位置的时间序列作为肢体运动数据即患者骨骼数据。

10、优选的，控制模块上运行unity3d软件，unity3d软件中的实时3d引擎将骨骼数据处理结果与人物模型的骨骼数据相对应，生成动作控制指令并将动作控制指令发送给虚拟场景模块。

11、优选的，虚拟场景模块包括图像模块和音效模块，图像模块中存储有多个虚拟场景，音效模块中存储有与虚拟场景对应的音效，图像模块根据用户主动输入信息和动作控制指令实时显示动态的虚拟场景，该虚拟场景包括与患者同步运动的人物模型和虚拟场景本身的动态变化；音效模块根据虚拟场景播放对应的音效。

12、优选的，评价建议模块存储评有评分计算标准，评价建议模块根据用户的运动数据，结合评分计算标准对用户的运动行为进行评分，输出评分结果或医生的评价建议信息。

13、本发明的有益效果为：本发明的基于虚拟现实的康复训练系统借助unity3d软件的vr开发能力，可以打破传统医疗的时间、空间限制，使患者能随时居家完成恢复训练，且在每次训练中根据用户训练表现，提供训练评分及下一步训练建议，帮助患者能够系统地有效地完成恢复，使用多个传感器获取患者的运动数据，解决了自遮挡问题，采集的运动数据更加准确，使得最终人物模型与患者的同步运动更加及时和流畅。同时，本发明还可以提高患者的参与积极性，保证患者的训练参与度。

技术特征：

1.一种基于虚拟现实的康复训练系统，其特征在于，包括：信息采集模块、数据处理模块、控制模块、虚拟场景模块和评价建议模块；

2.根据权利要求1所述的一种基于虚拟现实的康复训练系统，其特征在于，信息采集模块包括患者信息采集模块和医生信息采集模块；患者信息采集模块用于采集患者骨骼数据和患者主动输入信息，医生信息采集模块用于采集医生主动输入信息。

3.根据权利要求1所述的一种基于虚拟现实的康复训练系统，其特征在于，患者主动输入信息包括患者登录信息和虚拟场景选择信息；医生主动输入信息包括医生登录信息和医生对患者的评价建议信息。

4.根据权利要求1所述的一种基于虚拟现实的康复训练系统，其特征在于，采集患者骨骼数据的过程包括：采用多个kinect传感器采集用户肢体运动图像，根据机器学习算法实时获取用户25个骨骼点坐标，得到患者每个关节位置的时间序列作为肢体运动数据即患者骨骼数据。

5.根据权利要求1所述的一种基于虚拟现实的康复训练系统，其特征在于，所述控制模块上运行unity3d软件，unity3d软件中的实时3d引擎将骨骼数据处理结果与人物模型的骨骼数据相对应，生成动作控制指令并将动作控制指令发送给虚拟场景模块。

6.根据权利要求1所述的一种基于虚拟现实的康复训练系统，其特征在于，所述虚拟场景模块包括图像模块和音效模块，图像模块中存储有多个虚拟场景，音效模块中存储有与虚拟场景对应的音效，图像模块根据用户主动输入信息和动作控制指令实时显示动态的虚拟场景，该虚拟场景包括与患者同步运动的人物模型和虚拟场景本身的动态变化；音效模块根据虚拟场景播放对应的音效。

7.根据权利要求1所述的一种基于虚拟现实的康复训练系统，其特征在于，所述评价建议模块存储评有评分计算标准，评价建议模块根据用户的运动数据，结合评分计算标准对用户的运动行为进行评分，输出评分结果或医生的评价建议信息。

技术总结
本发明属于医疗康复产品技术领域，具体涉及一种基于虚拟现实的康复训练系统；该方法包括：信息采集模块、数据处理模块、控制模块、虚拟场景模块和评价建议模块；信息采集模块用于采集用户的患者骨骼数据和用户主动输入信息；数据处理模块用于对患者骨骼数据进行处理，得到数据处理结果；控制模块用于根据骨骼数据处理结果，生成同步患者和人物模型的动作控制指令；虚拟场景模块用于根据用户主动输入信息建立虚拟场景并根据动作控制指令控制虚拟场景中的人物模型；评价建议模块用于对用户的运动行为进行评分并输出下一步康复训练建议；本发明解决了自遮挡问题，采集的运动数据更加准确，康复训练效果良好。

技术研发人员：张莹,许希斌,粟欣
受保护的技术使用者：重庆邮电大学
技术研发日：
技术公布日：2024/1/11