基于增强现实系统的手部主动康复方法及其系统

本发明涉及康复医学领域，特别是涉及一种基于增强现实系统的手部主动康复方法及其系统。

背景技术：

1、近年来，康复治疗的效果与速度，成为了当前临床关注的重点。传统康复方法通常来说枯燥无聊，对于一直生活在病房里的病人来说很容易产生消极，抑郁的情绪，从而大大降低康复效率。而通过实物训练进行康复的方式对于icu病人来说，因训练仪器太过沉重会带来诸多不便，从而大大影响了康复治疗的效果与速度。

2、基于kinect设备的增强现实技术：在实现增强现实的过程中，系统会对真实的场景和信息进行分析，生成虚拟事物信息。kinect设备上搭载有深度相机，可以直接获取物品与摄像头之间的距离；该设备还带有先进的骨骼追踪技术，通过已生成的关节点生成一副骨架系统。

3、利用kinect扫描技术来获取患者所处的真实场景，即利用kinect扫描一个真实的空间环境，使患者可以在显示屏幕中看到自己所处的环境；通过增强现实技术，将虚拟物体添加到由kinect扫描的真实空间环境中，达到对真实场景增强的效果，进而为患者设计成有趣且实用的康复训练场景。

4、因此，随着虚拟现实技术的广泛应用，将虚拟现实技术引入人的肢体康复治疗中已成为研究热点，而传统的被动式康复治疗方式将逐渐被取代，研究一种基于增强现实系统的手部主动康复方法及其系统的优势已日益突显。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于增强现实系统的手部主动康复方法及其系统，能够帮助患者手部主动式康复并跟踪患者的康复进度。

2、为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于增强现实系统的手部主动康复的方法，包括以下步骤：

3、s1：采用增强现实系统扫描患者手部，获取患者手部特征并对患者手部空间进行建模；

4、s2：计算增强现实系统与患者手部的交互区域，在交互区域生成虚拟图像，让患者进行人机交互；

5、s3：采集交互过程中患者的运动数据；

6、s4：根据步骤s3采集的运动数据计算患者的康复系数；

7、s5：通过计算所得康复系数评估患者的康复情况。

8、在本发明一个较佳实施例中，在步骤s1中，采用增强现实系统获取病人手部的深度影像，根据人类手部特征分析扫描所得结果得到病人手部各个关节的位置。

9、在本发明一个较佳实施例中，在步骤s1中，以病人腕部关节的中心节点设置为坐标中心原点，中指所指方向为z轴，垂直桌面方向为y轴，建立空间直角坐标系，并以手指的每个关节加上手指顶端处为关键点构建每段骨骼的线段，再由每段骨骼构成手部的骨架。

10、在本发明一个较佳实施例中，在步骤s2中，计算增强现实系统与患者手部的交互区域的方法为：

11、根据步骤s1所得病人手部各个关节位置，以食指指间沿手臂反方向增加14～16cm为顶端，食指掌指关节处为底端，大拇指和小拇指指间向外侧增加1～2cm为左右两侧边界，将此区域作为交互区域。

12、在本发明一个较佳实施例中，在步骤s3中，病人每一次交互过程中，增强现实系统会识别并追踪手部骨架的运动并记录手部关节的位置，由此可以得到每次交互开始时近侧指间关节和掌指关节的坐标(xi,yi,zi),(xj,yj,zj)以及每次交互动作完成后近侧指间关节和掌指关节的坐标(x’i，y’i,z’i),(x’j,y’j,z’j,)，并记录此次病人的交互时长，同时由医生检测并输入病人的反应时间。

13、在本发明一个较佳实施例中，步骤s4的具体步骤包括：

14、s401：计算运动过程中手部关节摆动的角度；

15、s402：将病人完成一次交互的时间减去病人的反应时间，获得病人的运动时间；

16、s403：将步骤s401计算得到的摆动幅度除以步骤s402获得的运动时间，得到病人指关节摆动的角速度；

17、s404：求所得运动速率的平均值，得到一次康复过程中病人指关节摆动的平均角速度，以此作为康复系数。

18、在本发明一个较佳实施例中，在步骤s4中，计算一次康复过程中病人指关节摆动的平均角速度的计算公式为：

19、li＝xi-xj mi＝yi-yj ni＝zi-zj

20、l’i＝x’i-x’j m’i＝y’i-z’i n’i＝z’i-z’j

21、si＝(li,mi,ni)s’i＝(l’i,m’i,n’i)

22、

23、

24、

25、其中，θ为一次交互过程中掌指关节摆动的角度；(xi,yi,zi),(xj,yj,zj)分别为一次交互动作开始时近侧指间关节和掌指关节的坐标；(x’i,y’i,z’i),(x’j,y’j,z’j)分别为一次交互动作结束后近侧指间关节和掌指关节的坐标；si为一次交互动作开始时近侧指间关节和掌指关节之间部分骨骼所代表直线的方向向量li,mi,ni分别为si的横坐标、纵坐标、竖坐标；s’i为一次交互动作结束后近侧指间关节和掌指关节所代表直线的方向向量l’i,m’i,n’i分别为si的横坐标、纵坐标、竖坐标；ti为病人每次完成交互的时间，t为病人的平均反应时间；ωi为病人指关节摆动的角速度；a为一次康复疗程中，手指摆动的次数；为一次康复过后病人指关节摆动的平均角速度。

26、在本发明一个较佳实施例中，在步骤s5中，将步骤s4计算得到的康复系数，对比该病人前一天的康复参数来反映康复效果，并与正常人做此流程关节摆动的平均角速度对比，以知晓该病人的当前康复阶段。

27、为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于增强现实系统的手部主动康复的系统，包括：

28、扫描模块，用于采用增强现实系统扫描患者手部，采集病人手部数据；

29、交互模块，用于让患者与增强现实系统进行人机交互，采集交互过程中患者的运动数据；

30、评估模块，用于根据所述交互模块采集的运动数据计算患者的康复系数，通过计算所得康复系数评估患者的康复情况。

31、在本发明一个较佳实施例中，所述扫描模块包括：

32、数据采集单元，用于采用增强现实系统扫描患者手部，获取患者手部特征；

33、数据建模单元，用于根据所述数据采集单元获取的患者手部特征对患者手部空间进行建模；

34、交互区域计算单元，用于计算增强现实系统与手部交互区域，在患者手部所在的区域生成虚拟图像，让患者进行人机交互。

35、本发明的有益效果是：

36、(1)本发明操作简单，要求病人交互进行人机交互的部分非常简单，没有复杂的规则，无需通过训练即可进行；

37、(2)本发明将虚拟现实增强技术与主动康复领域进行有机结合，利用增强现实技术让患者观看虚拟化身的动作，从而“欺骗”患者大脑，让患者可以体验到那些由于伤病无法玩成的动作，并且在训练过程中会智能反馈交互结果，从而提升患者的康复热情，达成提高康复效率的目的。同时运用该技术还能辅助评估、优化反馈，从而大大提高康复质量，帮助患者更好地回归正常生活和工作；

38、(3)本发明将医疗康复与增强现实技术有效结合，减轻了病人的训练负担，相比于实物训练更适合于icu病人，对icu病人来说，增强现实技术能够有效帮助他们解决训练过程中因仪器太过沉重带来的不便，相比于传统的康复训练，该系统还可以增加病人的康复积极性，可以有效提高病人的康复效率。