一种用VR模拟步行的脚踝康复系统的制作方法

本发明属于医疗康复技术领域，尤其涉及一种用vr模拟步行的脚踝康复系统。

背景技术：

在脑卒中、脊髓、周围神经损伤的患者中，由于神经系统的损伤，由于肌力下降，肌张力异常，关节的挛缩等等因素，导致运动控制能力的下降，从而导致步态异常，步行能力下降；早期，进行步行训练，若康复方法不当容易形成病理性模式，在后期的纠正过程中困难。通过vr的视觉反馈可以模拟患者步行的状态，反馈纠正病理性步行模式，形成正常的步态，从而提高步行能力，与传统的步行康复训练，具有缩短康复进程，提高康复效率，提高康复的效果。然而，现有vr模拟步行的脚踝康复系统中场景交互效果差，不利于康复训练；同时，现有vr识别技术在复杂场景下对行为识别效率低，效果不佳。

综上所述，现有技术存在的问题是：

(1)现有vr模拟步行的脚踝康复系统中场景交互效果差，不利于康复训练；同时，现有vr识别技术在复杂场景下对行为识别效率低，效果不佳。

(2)当前的社会是vr快速发展的时代，在vr模拟步行的脚踝康复系统的使用中都会产生大量的语音数据，其中虽然隐藏了许多有用的信息，但绝大部分都是垃圾数据，面对这些垃圾数据会增加系统负担影响治疗。

(3)现有的算法模型的工作效率低；不能对脚踝康复模拟场景图像场景相关度检测、场景丰富度检测以及场景连贯度检测等，脚踝康复的现实还原度低。

(4)在目前的压力测试仪表及仪器设备中，对患者脚踝运动时的压力数据采集不够准确、不能快速稳定测量外界压力。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种用vr模拟步行的脚踝康复系统。

本发明是这样实现的，一种用vr模拟步行的脚踝康复系统包括：

压力检测模块、声音识别模块、触觉识别模块、视频监控模块、中央控制模块、网络通信模块、服务器、计算机、场景构建模块、人体行为识别模块、显示模块；

压力检测模块，与中央控制模块连接，用于通过压力传感器实时检测脚步压力数据信息；

声音识别模块，与中央控制模块连接，用于通过音频识别器识别用户的声音数据；

触觉识别模块，与中央控制模块连接，用于通过触动感应器感应脚步动作数据；

视频监控模块，与中央控制模块连接，用于通过摄像器实时监控用户动作；

中央控制模块，与压力检测模块、声音识别模块、触觉识别模块、视频监控模块、网络通信模块、场景构建模块、人体行为识别模块、显示模块连接，用于通过单片机控制各个模块正常工作；

网络通信模块，与中央控制模块连接，用于通过网络接口连接网络将数据发送给服务器、计算机进行监控处理；

场景构建模块，与中央控制模块连接，用于通过三维软件构建脚踝康复训练场景；

人体行为识别模块，与中央控制模块连接，用于通过图像处理程序对采集的视频进行人体动作识别操作；

显示模块，与中央控制模块连接，用于通过vr眼睛设备与构建虚拟场景进行交互。

进一步，所述场景构建模块构建方法如下：

步骤1：对实体模型搭建的场景进行拍摄，接收拍摄的视频信息；

步骤2：利用图像识别技术识别所述视频信息中的各个实体模型，并确定每个所述实体模型的位置信息；

步骤3：调用数据库中与所述实体模型相对应的多个标准模型，并结合每个所述实体模型的位置信息将多个所述标准模型构建成与实体模型搭建的场景相一致的三维数字模型；

步骤4：将所述三维数字模型作为vr场景；显示所述vr场景。

进一步，所述步骤2中实体模型的识别的具体实现为：

1)选取所述视频信息中的一个所述实体模型作为目标实体模型，将所述目标实体模型所在的区域作为目标区域；根据所述目标区域的颜色特征计算所述目标区域的第一特征直方图；在所述目标区域内选取n个粒子,并初始化所述粒子,初始时各粒子的权重值相等；

2)随所述视频信息中所述目标实体模型的移动更新所述粒子、更新所述目标区域的位置；根据所述目标区域的位置找出所述目标实体模型的边缘信息，识别出所述目标实体模型；

3)返回步骤1)和步骤2)，直至将所述视频信息中的所有实体模型作为目标实体模型及其所在的区域作为目标区域完毕。

进一步，所述步骤2)的具体实现为：

随所述视频信息中所述目标实体模型的移动更新所述粒子；

根据每个更新后粒子处的颜色特征计算每个所述更新后粒子的第二特征直方图；

将所述第二特征直方图与所述第一特征直方图进行比较，计算其相似度，并根据所述相似度调整每个所述更新后粒子的权重值；

对每个所述更新后粒子的权重值进行归一化处理；

根据每个所述更新后粒子的权重值的后验概率分布进行重采样；

计算重采样后粒子的数学期望，将所述数学期望作为更新后的所述目标区域的位置；

采用canny边缘检测算法依据所述目标区域的位置找出所述目标实体模型的边缘信息，然后对所述边缘信息进行提取和分析，进而识别出所述目标实体模型。

进一步，所述人体行为识别模块识别方法如下：

首先，依据视频序列深度信息，提取对应的stdf特征；

然后，提取采样点stdf特征，依据lpm模型建立bow模型；

最后，使用基于rbf核函数的svm对建立的bow中的数据进行分析得到结果。

进一步，所述提取采样点stdf特征具体步骤为：

根据视频序列深度信息求取运动显著性区域；

确定显著性区域的区域活跃度；

提取显著性区域的时空特征点。

进一步，所述确定显著性区域的区域活跃度具体为：由视频的深度信息确定人体的头部、四肢作为显著性区域；计算显著性区域的lucas-kanade光流特征，作为能量函数，恒量该区域运动运动激烈程度。

进一步，所述能量函数为计算所述显著性区域内像素点的流光之和。

进一步，所述能量函数包括：

其中vi为区域内第i个像素点的光流矢量(vix,viy)；|vi|表示光流矢量的幅值，区域内能量函数ek(n)值越大，则认为区域越活跃。

本发明的另一目的在于提供一种搭载所述用vr模拟步行的脚踝康复系统的vr模拟步行的脚踝康复设备。

本发明的另一目的在于提供一种实现所述用vr模拟步行的脚踝康复系统的场景构建方法的计算机程序。

本发明的另一目的在于提供一种实现所述用vr模拟步行的脚踝康复系统的运行功能的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述用vr模拟步行的脚踝康复系统的场景构建方法。

本发明的优点及积极效果为：

(1)本发明通过vr的视觉反馈可以模拟患者步行的状态，反馈纠正病理性步行模式，形成正常的步态，从而提高步行能力，与传统的步行康复训练，具有缩短康复进程，提高康复效率，提高康复的效果；通过人体行为识别模块采用算法依据运动剧烈区域在行为识别中提供更多判别信息的思想，利用视频图像的深度信息确定人体运动显著性区域，通过计算区域内光流特征作为度量区域活跃度的能量函数，依据能量函数对运动显著性区域进行高斯取样，使样本点分布于运动剧烈区域。将采集到的样本点作为动作底层特征描述人体行为，结合bow词袋模型，采用svm分类器对行为进行识别。实验数据表明，基于stdf特征的人体行为识别算法，在swustdepth数据集中平均行为识别准确率能够达到92％。

(2)声音识别作为vr模拟步行的脚踝康复系统一个重要的技术领域，但是我们生活周围时时刻刻都存在各种各样的声音，对其进行分析和识别，并且分类后提取有用的信息进行分析，为脚踝康复提供巨大的帮助。

(3)对脚踝康复模拟场景图像进行恰当的下采样缩放处理，有效降低了深度图生成过程中的计算量，提高了算法模型的工作效率；对脚踝康复模拟场景图像进行了场景相关度检测、场景丰富度检测以及场景连贯度检测等，用运动矢量的累加值提供最原始的深度信息，增加了系统的效率，提高了脚踝康复的现实还原度。

(4)能够准确无误、快速稳定测量脚踝运动时产生的外界压力，实时监测压力参数的变化，对患者的康复制定合理的训练方案配合vr场景完美还原实际情况。

附图说明

图1是本发明实施例提供的用vr模拟步行的脚踝康复系统结构框图。

图中：1、压力检测模块；2、声音识别模块；3、触觉识别模块；4、视频监控模块；5、中央控制模块；6、网络通信模块；7、服务器；8、计算机；9、场景构建模块；10、人体行为识别模块；11、显示模块。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

下面结合附图对本发明的结构作详细的描述。

如图1所示，本发明实施例提供的用vr模拟步行的脚踝康复系统包括：压力检测模块1、声音识别模块2、触觉识别模块3、视频监控模块4、中央控制模块5、网络通信模块6、服务器7、计算机8、场景构建模块9、人体行为识别模块10、显示模块11。

压力检测模块1，与中央控制模块5连接，用于通过压力传感器实时检测脚步压力数据信息；

声音识别模块2，与中央控制模块5连接，用于通过音频识别器识别用户的声音数据；

触觉识别模块3，与中央控制模块5连接，用于通过触动感应器感应脚步动作数据；

视频监控模块4，与中央控制模块5连接，用于通过摄像器实时监控用户动作；

中央控制模块5，与压力检测模块1、声音识别模块2、触觉识别模块3、视频监控模块4、网络通信模块6、场景构建模块9、人体行为识别模块10、显示模块11连接，用于通过单片机控制各个模块正常工作；

网络通信模块6，与中央控制模块5连接，用于通过网络接口连接网络将数据发送给服务器7、计算机8进行监控处理；

场景构建模块9，与中央控制模块5连接，用于通过三维软件构建脚踝康复训练场景；

人体行为识别模块10，与中央控制模块5连接，用于通过图像处理程序对采集的视频进行人体动作识别操作；

显示模块11，与中央控制模块5连接，用于通过vr眼睛设备与构建虚拟场景进行交互。

本发明提供的场景构建模块9构建方法如下：

步骤1：对实体模型搭建的场景进行拍摄，接收拍摄的视频信息；

步骤2：利用图像识别技术识别所述视频信息中的各个实体模型，并确定每个所述实体模型的位置信息；

步骤3：调用数据库中与所述实体模型相对应的多个标准模型，并结合每个所述实体模型的位置信息将多个所述标准模型构建成与实体模型搭建的场景相一致的三维数字模型；

步骤4：将所述三维数字模型作为vr场景；显示所述vr场景。

本发明提供的步骤2中实体模型的识别的具体实现为：

1)选取所述视频信息中的一个所述实体模型作为目标实体模型，将所述目标实体模型所在的区域作为目标区域；根据所述目标区域的颜色特征计算所述目标区域的第一特征直方图；在所述目标区域内选取n个粒子,并初始化所述粒子,初始时各粒子的权重值相等；

2)随所述视频信息中所述目标实体模型的移动更新所述粒子、更新所述目标区域的位置；根据所述目标区域的位置找出所述目标实体模型的边缘信息，识别出所述目标实体模型；

3)返回步骤1)和步骤2)，直至将所述视频信息中的所有实体模型作为目标实体模型及其所在的区域作为目标区域完毕。

本发明提供的步骤2)的具体实现为：

随所述视频信息中所述目标实体模型的移动更新所述粒子；

根据每个更新后粒子处的颜色特征计算每个所述更新后粒子的第二特征直方图；

将所述第二特征直方图与所述第一特征直方图进行比较，计算其相似度，并根据所述相似度调整每个所述更新后粒子的权重值；

对每个所述更新后粒子的权重值进行归一化处理；

根据每个所述更新后粒子的权重值的后验概率分布进行重采样；

计算重采样后粒子的数学期望，将所述数学期望作为更新后的所述目标区域的位置；

采用canny边缘检测算法依据所述目标区域的位置找出所述目标实体模型的边缘信息，然后对所述边缘信息进行提取和分析，进而识别出所述目标实体模型。

本发明提供的人体行为识别模块10识别方法如下：

首先，依据视频序列深度信息，提取对应的stdf特征；

然后，提取采样点stdf特征，依据lpm模型建立bow模型；

最后，使用基于rbf核函数的svm对建立的bow中的数据进行分析得到结果。

本发明提供的提取采样点stdf特征具体步骤为：

根据视频序列深度信息求取运动显著性区域；

确定显著性区域的区域活跃度；

提取显著性区域的时空特征点。

本发明提供的确定显著性区域的区域活跃度具体为：由视频的深度信息确定人体的头部、四肢作为显著性区域；计算显著性区域的lucas-kanade光流特征，作为能量函数，恒量该区域运动运动激烈程度。

本发明提供的能量函数为计算所述显著性区域内像素点的流光之和。

下面结合具体分析对本发明的应用作进一步描述。

本发明实施例提供的能量函数包括：

其中vi为区域内第i个像素点的光流矢量(vix，viy)；|vi|表示光流矢量的幅值，区域内能量函数ek(n)值越大，则认为区域越活跃。

本发明实施例提供的声音识别模块中语音数据聚类算法为：

第一步：初始化。输入脚踝康复系统所需采集的数据之间的相似度s(i，k)，令所有数据点的参考度p值相同，对有效性度量和代表性度量进行初始化，令a⁽⁰⁾(i，k)＝0，r⁽⁰⁾(i，k)＝0。

第二步：更新r值和a值。更新脚踝康复系统所需采集的数据迭代公式如下：

r(i，k)＝s(i，k)-maxk′≠k(a(i，k′)+s(i，k′))

第三步：避免产生脚踝康复系统所需采集的数据数值震荡，因此在每次迭代时通常都会引入一个阻尼因子λ，λ∈【0，1】。

r⁽ⁿ⁾(i，k)＝λ·r^(n-1)(i，k)+(1-λ){s(i，k)-maxk′≠k(a^(n-1)(i，k′)+s(i，k′))}

迭代次数超出设置值的上限，另一种是两个信息量的变化值是否小于设定的阈值。以此作为是否终止算法计算的判决条件。计算终止时，输出聚类中也和类别数，得到的簇以及该簇的中心也代表点就是最终的脚踝康复系统所需采集的数据聚类结果。

本发明实施例提供的场景构建模块的3d渲染算法为：

景深因子和视点阈值是影响深度图信息渲染脚踝康复模拟场景3d视差视频序列的两个主因素。像素点的灰度值变化范围为0～255，所处理的视频图像的宽度为w，我们可以定义单位像素距离(spix)对应的灰度值的大小为：

脚踝康复模拟场景中的像素点坐标soupix(x,y)与深度图中像素点坐标dep(x,y)一一对应，深度图中的像素点灰度值依然为dep(x,y)。当(x,y)坐标处的深度图的灰度值大于视点阈值时，源图像中(x,y)坐标处的像素点就要在新合成的视差图像中向右(左)偏移；当(x,y)坐标处深度图的灰度值小于视点阈值时，图像中(x,y)坐标处的像素点就要在新合成的视差图像中向左(右)偏移；当(x,y)坐标处的深度图的灰度值等于视点阈值时，源图像中(x,y)坐标处的像素点在新合成的视差图像中位置不变，依然是(x,y)坐标处。偏移量(shfpix)的大小由单位像素距离、深度图的灰度值、视点阈值及景深因子共同决定。其计算公式为：

根据深度图各个像素点不同大小的灰度值可以构造出偏移方向不同、偏移位移不同的一路3d视差视频序列，可以在人的大脑中形成脚踝康复模拟场景的三维立体画面。

本发明实施例提供的压力检测模块的算法为：

假定led光源近似高斯分布，其光谱函数：

式中，γ0为白光宽带光源的中心频率，为谱峰半峰宽度。则led高斯光源经光纤法珀传感器及传感解调系统后，可得到ccd上接收到的低相干干涉条纹的信号光强为：

采用单色频率绝对相位解调算法进行压力传感解调，选取ωr作为基准频率，其绝对相位的表达式为：

φa＝-x0ωr；

式中x0为干涉条纹零光程差在ccd上对应的位置，为绝对相位。从干涉级次考虑，绝对相位为：

φa＝φ(ωr)-2nπ，φ(ωr)∈(-π，π)；

式中为经fourier变换在基准频率下的相对相位值，n为该基准频率下的干涉级次。

采用单色频率绝对相位算法过程中信噪比会导致干涉条纹的级次发生跳变情况，因此能够准确无误、快速稳定测量脚踝运动时产生的外界压力。

本发明工作时，首先，通过压力检测模块1利用压力传感器实时检测脚步压力数据信息；通过声音识别模块2利用音频识别器识别用户的声音数据；通过触觉识别模块3利用触动感应器感应脚步动作数据；通过视频监控模块4利用摄像器实时监控用户动作；其次，中央控制模块5通过网络通信模块6利用网络接口连接网络将数据发送给服务器7、计算机8进行监控处理；通过场景构建模块9利用三维软件构建脚踝康复训练场景；然后，通过人体行为识别模块10利用图像处理程序对采集的视频进行人体动作识别操作；最后，通过显示模块11利用vr眼镜设备与构建虚拟场景进行交互。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。