基于VR的认知记忆力训练评估系统、方法及存储介质与流程

本发明涉及vr康复技术领域，尤其涉及一种基于vr的认知记忆力训练评估系统、方法及存储介质。

背景技术：

随着中国老龄化加速，阿兹海默症的患者也随之骤增。阿兹海默症是一种原发性神经系统退行性脑变性疾病，主要症状表现为逐步的记忆力减退、思维能力下降、定向力障碍、执行功能障碍等。该疾病目前其病因还不明确。如何诊断早期阿兹海默症的患者，进而通过认知功能训练，以延迟病情恶化的速度，进而减轻社会医疗资源的负担，成了当今社会极重要的议题。

虽然目前阿兹海默症还未出现有效的治疗措施，但实验表明认知记忆力训练能较好地稳定早期患者的病情。

传统的认知记忆力训练主要以医护人员指导和家庭辅助相结合，但是认知记忆力训练是一个长期的过程，需要医护人员有针对性地持续跟进，而目前康复医疗人员人数严重不足，康复医疗资源也分布不均。随着传感器技术、穿戴式技术、机器人技术、人机交互技术以及3d游戏动画技术的日新月异，目前市面上出现了基于虚拟现实的认知训练设备。

但是现有的专门针对认知训练的vr设备其训练内容是固定的，无法根据患者认知记忆力的实际情况自动调整训练内容，无法针对不同的患者提供定制化的训练方案，训练效果不佳。

因此，现有技术还有待发展。

技术实现要素：

鉴于上述现有技术的不足之处，本发明的目的在于提出一种基于vr的认知记忆力训练评估系统、方法及存储介质，旨在能根据患者本次训练后的认知记忆力评估等级而自动调整下一次的训练等级场景数据，以提供定制化的训练方案，从而提高训练效果。

为实现上述目的，本发明采取了以下技术方案：

一种基于vr的认知记忆力训练评估系统，其中，包括主机、与主机连接的触控式面板、动作感应传感器、3d立体显示器、及数据库；

所述动作感应传感器用于佩戴于患者手部以采集患者手部的动作数据；

所述数据库用于存储多个患者的认知记忆力评估等级、预设训练场景数据、多个患者的训练反馈数据、与认知记忆力评估等级匹配的训练等级场景数据；

所述3d立体显示器用于向患者显示与数据库中的预设训练场景数据、训练等级场景数据匹配的虚拟现实训练场景；

所述触控式面板用于患者在训练过程中进行操作，并将患者在训练过程中的操作数据发送至主机；

所述主机用于协调控制所述触控式面板、动作感应传感器、3d立体显示器及数据库，并进行数据处理，包括：

评估单元，用于接收虚拟现实单元发送的患者在训练过程中的反馈数据和动作感应传感器发送的训练过程中患者手部的动作数据，所述评估单元内设置有深度学习单元，所述深度学习单元依据该反馈数据和动作数据经过深度学习后生成的该患者的认知记忆力评估等级并存储；

匹配单元，用于在患者首次训练时，从数据库调取预设训练场景数据，并发送至虚拟现实单元；

还用于该患者在非首次训练时，直接依据上一次训练评估后生成的认知记忆力评估等级从数据库调取与该等级匹配的训练等级场景数据，并发送至虚拟现实单元；

虚拟现实单元，用于根据匹配单元发送的预设训练场景数据或训练等级场景数据生产对应的虚拟现实训练场景并发送至3d立体显示器进行显示，还用于接收患者在训练中的触控式面板操作数据，并结合操作数据生成反馈数据，将反馈数据发送至评估单元。

其中，所述虚拟现实训练场景为模拟atm取款及汇款场景。

其中，所述反馈数据包括患者在虚拟现实训练场景中的反应时长，完成时间、错误次数。

其中，所述虚拟现实单元连接有音频设备，所述虚拟现实单元在训练过程中还向患者提供视觉及听觉刺激。

其中，所述虚拟现实单元在虚拟现实训练场景中还设置有记忆训练提醒功能。

其中，所述预设训练场景数据是医生根据临床病例而预先设置的训练数据。

本发明还提出一种基于vr的认知记忆力训练评估方法，其中，包括下述步骤：

s10，获取患者身份识别信息；

s20，获取选择的训练模式，所述训练模式包括atm取款模式、atm汇款模式；

s30，判断是否为首次训练，如为首次训练，则直接调取数据库中的预设训练场景数据，如为非首次训练，则依据上一次训练评估后生成的认知记忆力评估等级从数据库调取与该等级匹配的训练等级场景数据；

s40，依据所述预设训练场景数据或训练等级场景数据生成对应的虚拟现实训练场景，并发送至3d立体显示器进行显示；

s50，患者根据虚拟现实训练场景中的提示进行操作，通过触控式面板的操作数据生成本次训练结果的反馈数据；

s60，根据步骤s50的反馈数据和该次训练中动作感应传感器获取的动作数据经过深度学习后生成该患者的认知记忆力评估等级并存入数据库，该患者下一次训练时直接调取该认知记忆力评估等级对应的训练等级场景数据。

本发明还提出一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的方法。

本发明的基于vr的认知记忆力训练评估系统、方法及存储介质，通过设置3d立体显示器、触控式面板、动作感应传感器、主机、及数据库，主机根据患者是否为初次训练直接调用预设训练场景数据或根据上一次训练结束后的认知记忆力评估等级从数据库调取匹配的训练等级场景数据并启动匹配的虚拟现实游戏场景进行沉浸式交互训练，主机将本次训练的结果进行经过提取分析，然后经过深度学习后再次生成本次训练后该患者的认知记忆力评估等级，以供该患者下次训练时直接调用。这样本发明的练评估系统能根据患者每次训练后的结果而自动生成该患者的认知记忆力评估等级，以便下一次训练时直接调用，相当于能根据患者的不同训练表现自动调整下一次的训练内容，实现了训练方案的个性化、定制化服务，提升了训练效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明基于vr的认知记忆力训练评估系统第一实施方式的示意图；

图2为本发明基于vr的认知记忆力训练评估方法第一实施方式的流程示意图。

附图标记说明：

100-主机，101-评估单元，1011-深度学习单元，102-匹配，103-虚拟现实单元，200-3d立体显示器，300-触控式面板，400-动作感应传感器，500-数据库，600-音频设备。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考图1，本发明提出了一种基于vr的认知记忆力训练评估系统，包括主机100、与主机100连接的触控式面板300、动作感应传感器400、3d立体显示器200、及数据库500。本发明的主机100、数据库500可设置于云平台，分别对应云服务器及云数据库。

主机100内设置有处理器对数据进行处理。

主机100与触控式面板300、动作感应传感器400、3d立体显示器200、及数据库500之间的数据传输通过有线网络传输或者wlan、lte/4g、蓝牙等无线网络传输。

本发明的动作感应传感器400用于佩戴于患者手部以采集患者手部的动作数据。优选地，本发明实施例的动作感应传感器为vr惯性传感器。

所述数据库500用于存储多个患者的认知记忆力评估等级、预设训练场景数据、多个患者的训练反馈数据、与认知记忆力评估等级匹配的训练等级场景数据。本发明的预设训练场景数据是医生根据临床病例而预先设置的训练数据。

所述3d立体显示器200用于向患者显示与数据库500中的预设训练场景数据、训练等级场景数据匹配的虚拟现实训练场景。以使得患者能完全沉浸在训练场景中。

本发明的虚拟现实训练场景为模拟atm取款及汇款场景。通过模拟在atm机进行取款及汇款操作，以训练患者的记忆能力。

所述触控式面板300用于患者在训练过程中进行操作，并将患者在训练过程中的操作数据发送至主机100。触控式面板300使得患者在虚拟现实训练场景训练过程中进行操作并将操作结果返回后得出反馈数据，以供主机100进行分析。

所述主机100用于协调控制所述触控式面板300、动作感应传感器400、3d立体显示器200及数据库500，并进行数据处理，包括：

评估单元101，用于接收虚拟现实单元103发送的患者在训练过程中的反馈数据和动作感应传感器400发送的训练过程中患者手部的动作数据，所述评估单元内101设置有深度学习单元1011，所述深度学习单元1011依据该反馈数据和动作数据经过深度学习后生成的该患者的认知记忆力评估等级并存储。

本发明的反馈数据包括患者在虚拟现实训练场景中的反应时长，完成时间、错误次数。

如取款操作过程中，提示输入密码后患者多长时间反应，输入密码用了多长时间，密码输入错了几次等。

根据上述的反馈数据及动作感应传感器400发送的训练过程中患者手部的动作数据，经过特征提取，分析，以及深度学习后得出该患者的认知记忆力评估等级。如本发明将患者的认知记忆力评估等级分为四级：

第一级：完全记不住密码；

第二级：能记住部分密码；

第三级：能完全记住简单密码；

第四级：能完全记住复杂的密码。

然后每一等级在数据库有对应不同的训练等级场景数据以启用对应的场景进行训练。

可以理解，还可以更精细的分级及对应不同的训练等级场景数据。

正是由于深度学习单元1011的设置，使得本发明的训练评估系统能根据本次训练结束后结果重新生成该患者的的认知记忆力评估等级，因每个认知记忆力评估等级在数据库中存储有对应的训练等级场景数据，以便启动该认知记忆力评估等级对应的虚拟现实训练场景而对患者进行训练，使得本系统能根据患者每次训练后的结果而自动更新该患者的认知记忆力评估等级，以便下一次训练时直接调用，实现了训练方案的个性化、定制化服务，提升了训练效果。

匹配单元102，用于在患者首次训练时，从数据库500调取预设训练场景数据，并发送至虚拟现实单元103；还用于该患者在非首次训练时，直接依据上一次训练评估后生成的认知记忆力评估等级从数据库500调取与该等级匹配的训练等级场景数据，并发送至虚拟现实单元103。

匹配单元102主要用于从数据库500中调取景数据，如果该患者是首次训练，直接调取预设训练场景数据，如果该患者不是首次训练，则依据上一次训练评估后生成的认知记忆力评估等级从数据库500调取与该等级匹配的训练等级场景数据。

虚拟现实单元103，用于根据匹配单元102发送的预设训练场景数据或训练等级场景数据生产对应的虚拟现实训练场景并发送至3d立体显示器200进行显示，还用于接收患者在训练中的触控式面板300操作数据，并结合操作数据生成反馈数据，将反馈数据发送至评估单元101。虚拟现实单元103主要用于将在数据库500中获取的预设训练场景数据或训练等级场景数据转换成对应的虚拟现实训练场景以进行显示。

同时，本发明实施例中的动作感应传感器200和提升数据采集的精度，3d立体显示器300呈现的虚拟现实场景能调动患者训练的积极性，避免了患者在训练过程中的乏味而难以坚持。

优选地，本发明的虚拟现实单元103连接有音频设备600，所述虚拟现实单元103在训练过程中还向患者提供视觉及听觉刺激。

优选地，本发明实施例在训练过程中通过程序控制，通过3d立体显示器300向患者提供听觉和视觉刺激。

作为一种实施方式，视觉刺激可由3d立体显示器300提供，在沉浸式虚拟场景中，给一些特效鼓励和成功、失败的视觉提示，听觉刺激则由程序设定3d音效方位通过音频设备600传递给患者，可以在不同方位给与患者声音刺激，如给一些鼓励和成功、失败的音效提示，以及背景音乐等。视觉及听觉刺激使得患者在vr场景训练过程中的沉浸感更好，刺激患者积极性和提高训练的有效性。

优选地，所述虚拟现实单元103在虚拟现实训练场景中还设置有记忆训练提醒功能。这样能在记忆训练过程起到辅助提醒作用，以帮助患者找回记忆。

请参考图2，图2为本发明基于vr的认知记忆力训练评估方法的流程，具体包括下述步骤：

s10，获取患者身份识别信息；患者的身份信息可以手动输入，以使得系统判断该患者是否为首次训练。

s20，获取选择的训练模式，所述训练模式包括atm取款模式、atm汇款模式；训练模式由手动选择，训练模式包括atm取款模式、atm汇款模式；选择对应模式后以在数据库500调用对应的场景数据。

s30，判断是否为首次训练，如为首次训练，则直接调取数据库500中的预设训练场景数据，如为非首次训练，则依据上一次训练评估后生成的认知记忆力评估等级从数据库调取与该等级匹配的训练等级场景数据。

即如果患者是首次训练，则直接调用预设训练场景数据，如不是首次训练，则先获取患者上一次的认知记忆力评估等级，然后调用与该等级匹配的训练等级场景数据。

s40，依据所述预设训练场景数据或训练等级场景数据生成对应的虚拟现实训练场景，并发送至3d立体显示器200进行显示。

在s30调用对应场景数据后，将该场景数据转换成对应的虚拟现实训练场景并通过3d立体显示器200进行显示，以给患者提供沉浸式的训练场景。本发明实施例的虚拟现实训练场景包括atm取款场景及atm汇款场景。

s50，患者根据虚拟现实训练场景中的提示进行操作，通过触控式面板300的操作数据生成本次训练结果的反馈数据。

患者在训练时操作通过触控式面板300反馈，并结果操作结果生成反馈数据，如反应时长，完成时间、错误次数等。

s60，根据步骤s50的反馈数据和该次训练中动作感应传感器400获取的动作数据经过深度学习后生成该患者的认知记忆力评估等级并存入数据库500，该患者下一次训练时直接调取该认知记忆力评估等级对应的训练等级场景数据。

本发明的基于vr的认知记忆力训练评估方法能够形成一个训练与评估的闭环反馈流程，本次训练的结果进行深度学习生成得出评估结果，而该评估结果对应下一次的训练场景数据。这样患者每次训练后都有一个新的评估等级生成，这个新的评估等级可能与上次相同，也可能不同，但是该训练场景数据是根据患者最新训练表现生成的，其对应患者来说更有针对性，能提高训练效果。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的训练评估方法。

本发明的基于vr的认知记忆力训练评估方法集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。本发明计算机可读存储介质具体实施方式与上述基于vr的认知记忆力训练评估方法各实施例基本相同，在此不再赘述。

需说明的是，以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。