一种基于算法追踪与虚拟现实的康复训练交互方法及装置

本发明涉及一种基于算法追踪与虚拟现实的康复训练交互方法及装置，属于计算机辅助康复。

背景技术：

1、康复训练是医学领域中用于帮助患者恢复受损功能的重要组成部分。它涉及一系列专门设计的程序和练习，旨在帮助那些因疾病、伤害或手术后遗症而影响到自身运动功能和日常活动能力的人群。康复训练的目标是通过物理治疗、职业治疗和训练练习，帮助他们能够尽可能地恢复到疾病或伤害前的运动及生活功能水平，以提高患者的生活质量。

2、在传统的康复训练中，治疗师通常会使用一系列的物理治疗技术，如按摩、热疗、冷疗和电刺激等，以及一些特定的运动和活动，来帮助患者改善肌肉力量、柔韧性、平衡和协调等。然而，这些方法的实现往往需要患者到医疗机构进行面对面的治疗，这不仅耗时耗力，而且对于那些行动不便的患者来说更是一大挑战。

3、随着科技的发展，康复训练领域开始引入更多的技术手段，以提高训练的有效性和可及性。例如，机械式康复设备和机器人辅助治疗已经被用于帮助患者进行更加精确和一致的训练。这些设备可以模拟治疗师的动作，为患者提供重复性高且强度可控的训练，有助于改善特定的运动功能。

4、此外，虚拟现实技术的引入为康复训练带来了革命性的变化。通过创建沉浸式的虚拟环境，患者可以在一个安全且控制的空间内进行各种模拟活动，这不仅增加了训练的趣味性，还能够提供即时反馈和调整，从而更有效地促进患者的恢复进程。

5、而现有技术中，实现虚拟现实技术需要借助于目前市面上的一些专门的vr识别位姿的一些传感器如：htc tracker、leapmotion等，需要依赖价格不菲的专用硬件的情况下才能实现虚拟的手部康复训练。

技术实现思路

1、本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于算法追踪与虚拟现实的康复训练交互方法及装置。

2、为解决上述技术问题，本发明是采用下述技术方案实现的。

3、一方面，本发明提供一种基于算法追踪与虚拟现实的康复训练交互方法，包括：

4、基于udp通信协议获取用户手部的图像信息，利用错误处理机制处理图像信息，得到处理后的连续帧图像信息；

5、使用mediapipe 手部跟踪代码，从用户完整的连续帧图像信息中捕捉用户的手部信息，所述手部信息包括手指的位置、手掌的方向、手势的形状；

6、将所述手部信息处理转换为适合传递给 unity 实时渲染平台的数据格式，以使unity 实时渲染平台解析已转换对应数据格式的手部信息，在unity 实时渲染平台中进行动作显示；

7、在unity 实时渲染平台中进行动作显示的同时，根据预设的康复动作的要求和标准确定用户手部动作的完成精度和完成度；

8、获取康复训练中用户的语音反馈信息，根据用户手部动作的完成精度和完成度以及语音反馈信息，计算用户的康复动作得分；

9、根据用户的康复动作得分向用户提供相应的语音和图形反馈。

10、进一步的，所述利用错误处理机制处理图像信息，得到处理后的连续帧图像信息，包括：

11、对所述图像信息进行时间检查，判断是否存在帧丢失情况；

12、若存在帧丢失，则根据相邻帧图像的时间和运动特征，采用帧插值或运动预测算法进行估计重建，生成丢失帧图像，得到连续帧图像信息；

13、利用针孔视力模型对连续帧图像信息中的每个图像进行畸变矫正；

14、利用高斯辅助的方法对畸变矫正后的图像进行去噪处理；

15、利用边缘检测的方法对去噪处理后的图像进行增强处理；

16、通过机器学习的方法对增强处理后的图像进行错误检测与识别并修复图像中存在的修正的错误信息，得到处理后的连续帧图像信息。

17、进一步的，还包括：

18、获取用户的康复数据，所述康复数据用户手部动作信息、用户语音反馈信息以及情感特征，所述情感特征为利用语言自然处理模型基于用户的语音或输入的文字得到的特征；

19、对所述用户手部动作信息、用户语音反馈信息以及所述情感特征进行分析，生成个性化的康复报告。

20、进一步的，所述对所述用户手部动作信息、用户语音反馈信息以及情感特征进行分析，生成个性化的康复报告，包括：

21、使用运动捕捉系统或深度摄像头采集用户在进行康复训练时的用户手部动作信息，所述用户手部动作信息包括每个关节的旋转角度和位置；同时记录用户的训练动作名称、重复次数、完成时间信息；

22、对用户手部动作信息包括每个关节的旋转角度和位置进行损伤值处理和平滑化处理，得到处理后的数据；

23、将处理后的数据输入到预先训练好的深度学习模型，识别得到康复运动姿势；

24、根据识别出的康复运动姿势，计算患者运动的运动学参数；

25、将计算出的运动学参数与预设的标准值进行对比，评估患者的动作准确性和完成度；

26、综合考虑患者的动作准确性和完成度、用户的训练动作名称、重复次数、完成时间信息、用户语音反馈信息以及情感特征，生成个性化的康复报告评估。

27、进一步的，所述深度学习模型的训练过程，包括：

28、采用多层神经网络cnn和多层神经网络rnn构建深度学习模型，以学习康复运动姿势与训练效果之间的关系；多层神经网络cnn，用于提取次级数据的空间特征，多层神经网络rnn，用于捕捉次级数据的序列特征；

29、训练过程中，使用标记的康复运动姿势数据对深度学习模型进行训练，使模型能够自动学习识别不同的康复运动姿势。

30、进一步的，还包括：在unity 实时渲染平台中，设置npc引导模块，用于利用虚拟npc演示用户当前康复动作的标准动作。

31、进一步的，还包括：在用户不主动选择康复训练难度时，从康复报告中获取用户的康复进度，根据康复进度确定接下来的康复训练难度；所述康复训练难度的获取，包括：预先根据康复动作的要求和标准对不同的康复动作进行难度等级划分。

32、进一步的，所述从康复报告中获取用户的康复进度，根据康复进度确定接下来的康复训练难度，包括：

33、根据评估出的康复进展值，结合用户个体特征和训练偏好，利用预训练的动态训练分数调整模型动态调整近期的康复训练相关性；所述个体特征包括用户的年龄、性别、病史、运动情况；所述训练偏好包括用户喜欢的训练动作、训练强度；

34、所述动态训练调整模型采用基于强化学习等技术，通过不断试错和反馈，确定最适合用户的训练分数。

35、进一步的，所述根据用户手部动作的完成精度和完成度以及语音反馈信息，计算用户的康复动作得分，包括：

36、根据预设的康复动作标准，对用户手部动作的各个关键点位置和姿势进行评估，计算每个关键点的完成精度；

37、根据预设的康复动作要求，计算用户完成动作的完整程度；

38、对用户语音反馈信息进行分析处理，提取与康复动作相关的语音特征，根据提取的与康复动作相关的语音特征计算语音反馈信息的评分；

39、综合完成用户手部动作的每个关键点的完成精度、用户完成动作的完整程度以及语音反馈信息的评分，计算用户的康复动作评分。

40、第二方面，本发明还提供一种基于算法追踪与虚拟现实的康复训练交互装置，包括：

41、获取模块，用于基于udp通信协议获取用户手部的图像信息，利用错误处理机制处理图像信息，得到完整的连续帧图像信息；

42、捕捉模块，用于使用mediapipe 手部跟踪代码，从用户完整的连续帧图像信息中捕捉用户的手部信息，所述手部信息包括手指的位置、手掌的方向、手势的形状；

43、转换模块，用于将所述手部信息处理转换为适合传递给 unity 实时渲染平台的数据格式，以使unity 实时渲染平台解析已转换对应数据格式的手部信息，在unity 实时渲染平台中进行动作显示；

44、确定模块，用于在unity 实时渲染平台中进行动作显示的同时，根据预设的康复动作的要求和标准确定用户手部动作的完成精度和完成度；

45、计算模块，用于获取康复训练中用户的语音反馈信息，根据用户手部动作的完成精度和完成度以及语音反馈信息，计算用户的康复动作得分；

46、反馈模块，用于根据用户的康复动作得分向用户提供相应的语音和图形反馈。

47、本发明所达到的有益效果：

48、mediapipe算法通过高级的机器学习模型，能够在不依赖专用硬件的情况下，实时追踪手部关节和运动，为手部康复训练带来了革命性的改进；同时，利用udp通信协议以其低延迟特性，使得康复系统能够实现实时反馈，为患者提供即时的动作修正指导和评估；在这些技术的支持下，康复训练正变得更加个性化和智能化；能够根据患者的具体情况和反应，实时调整训练计划。这种个性化的训练方法有助于确保每位患者都能获得最适合自己的治疗，从而最大限度地提高康复效果。