一种基于虚拟现实技术的医疗交互系统的制作方法

本发明涉及虚拟现实交互技术应用领域，特别涉及一种基于虚拟现实技术的医疗交互系统。

背景技术：

虚拟现实技术又称之为vr(virtualreality)技术，该技术已在医学虚拟手术、远程医疗等方面实现了应用，尤其在虚拟现实沉浸感显示和虚拟操控方面都取得了显著进展，现有vr系统大多具备视觉和听觉这两方面功能，但缺乏触觉反馈功能，因此缺乏人机交互体验。

触觉手套又称为vr触觉手套、vr数据手套、vr体感手套或vr医疗手套，国内对于触觉手套的研究起步较晚，并且大部分触觉交互设备主要面向移动终端应用或以力反馈装置的方式实现，在与虚拟现实技术相结合的领域还未有相关方案提出。

在医疗领域，对于病人行动困难、触觉反应迟钝等病症，目前存在的治疗方式往往是在专业人士的陪同下进行简单基础的康复治疗，并不能加强病人的主观意识，且代入感不强，因此，如何通过穿戴vr触觉手套与虚拟现实设备实现交互通信，以及通过vr触觉手套对病人的每一步动作都做出反馈来直观便捷地让病人体会周围事物，完成康复训练是目前要亟待解决的问题。

技术实现要素：

鉴于现有技术中的上述缺陷或不足，期望提供一种基于虚拟现实技术的医疗交互系统，解决目前缺乏通过虚拟现实设备与触觉手套的交互通信使用户根据触觉手套的真实反馈实现实际医疗场景中对目标的精准捕捉以达到康复治疗或技能培训的目的。

本申请提供一种基于虚拟现实技术的医疗交互系统，包括：

摄像装置，用于获取用户的真实场景信息，并发送至计算机设备；

触觉手套，用于根据虚拟对象和用户手部的操作动作信息计算用户手部预施加的力量数据，并根据所述力量数据控制触觉手套向用户手部做出真实反馈；将所述操作动作信息发送至计算机设备；

虚拟现实设备，用于采集用户的头部数据，并将所述头部数据发送至计算机设备；接收计算机设备发送的虚拟场景信息，并更新显示的虚拟场景；

计算机设备，用于接收所述真实场景信息、操作动作信息、头部数据，并根据所述真实场景信息、操作动作信息、头部数据和虚拟对象实时计算虚拟场景信息，将计算获得的虚拟场景信息发送至虚拟现实设备。

进一步的，所述操作动作信息包括手部位置数据、手部转动数据和/或手指弯曲数据。

进一步的，所述触觉手套包括：

手套本体、至少一个应变传感器、控制器和至少一个气动执行器；

所述应变传感器，用于检测手套形变，并将测得信号发送给所述控制器，

所述控制器通过信号线分别与手套上的应变传感器电连接，所述控制器用于接收各个应变传感器发送的感应信号，并向所述气动执行器输出控制信号，

所述气动执行器用于接收所述控制器的控制信号，并根据所述控制信号执行控制动作。

进一步的，所述气动执行器包括气泵和若干气囊，所述气泵根据所述控制信号控制所述气囊的充气和放气。

优选的，所述气囊的直径为10mm，气囊的进气口直径为2mm。

进一步的，所述触觉手套通过如下步骤制备获得：

将丙烯酰胺和n.n亚甲基双丙烯酰胺作为交联剂，将过硫酸铵作为引发剂，将四甲基乙二胺作为加速剂，将上述材料按照预设配比搅拌至溶液均一透明后，倒入模具中；

在模具的相应位置处布设应变传感器和气动执行器；

在50摄氏度下固化1.5小时。

优选的，所述触觉手套的外表面分布有若干菱形微结构。

优选的，所述应变传感器为液-固双相镓基金属化微通道薄膜。

进一步的，所述虚拟现实设备为虚拟现实眼镜或虚拟现实头盔。

进一步的，所述头部数据包括头部的位置数据和/或头部的转动方向数据。

综上，本申请实施例提供的一种基于虚拟现实技术的医疗交互系统，其中计算机设备接收摄像装置获取的真实场景信息、触觉手套的操作动作信息和虚拟现实设备采集的头部数据和虚拟对象，并根据这些计算虚拟场景信息，并将虚拟场景信息发送给虚拟现实设备进行更新显示；用户通过触觉手套触摸或移动虚拟场景中物体，具体触觉手套根据虚拟对象和用户手部的操作动作信息计算用户手部预施加的力量数据，并根据该力量数据控制触觉手套向用户手部做出真实反馈，使用户手部感受到真实的触觉反馈，这种通过虚拟现实设备与触觉手套的交互通信的方式，可使用户根据触觉手套给予的真实反馈实现实际医疗场景中对目标的精准捕捉，从而达到康复治疗或技能培训的目的。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本申请实施例提供的一种基于虚拟现实技术的医疗交互系统的通信与交互示意图；

图2为本申请实施例提供的一种触觉手套的制备方法流程图；

图3为本申请实施例提供的一种功能最优的触觉手套的机器学习算法流程示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了便于理解和说明，下面通过图1详细阐述本申请实施例提供的基于虚拟现实技术的医疗交互系统，该医疗交互系统包括：

摄像装置，用于获取用户的真实场景信息，并发送至计算机设备；

触觉手套，用于根据虚拟对象和用户手部的操作动作信息计算用户手部预施加的力量数据，并根据所述力量数据控制触觉手套向用户手部做出真实反馈；将所述操作动作信息发送至计算机设备；

虚拟现实设备，用于采集用户的头部数据，并将所述头部数据发送至计算机设备；接收计算机设备发送的虚拟场景信息，并更新显示的虚拟场景；

计算机设备，用于接收所述真实场景信息、操作动作信息、头部数据，并根据所述真实场景信息、操作动作信息、头部数据和虚拟对象实时计算虚拟场景信息，将计算获得的虚拟场景信息发送至虚拟现实设备。

在本实施例中，摄像装置，用于获取用户的真实场景信息，并发送至计算机设备。

具体的，摄像装置为具有视频拍摄功能的仪器设备，例如摄像机、摄像头、摄像仪等，这里用于对真实场景中穿戴虚拟现实设备和触觉手套的用户进行实时监控摄像以得到实时视频信息，摄像装置将该实时视频信息实时发送给计算机设备。

需要说明的是，在本实施例中，虚拟现实设备包括但不限于虚拟现实头盔或虚拟现实眼镜。

在本实施例中，触觉手套，用于根据虚拟对象和用户手部的操作动作信息计算用户手部预施加的力量数据，并根据所述力量数据控制触觉手套向用户手部做出真实反馈；将所述操作动作信息发送至计算机设备。

具体的，虚拟对象指的是用户通过触觉手套在虚拟空间中要操作的虚拟对象，例如是一个虚拟空间中需要被操作的虚拟球，或是一个虚拟空间中需要被操作的虚拟哑铃。

具体的，用户手部的操作动作信息指的是用户穿戴触觉手套后，通过触觉手套在虚拟空间中操作虚拟对象时产生的一系列手部操作动作且该操作动作被触觉手套转换成的一系列可以被识别、被传输的操作指令，例如通过触觉手套在虚拟空间中对虚拟球进行触摸或移动，用户手部因此所产生的操作动作信息。在本实施例中，所述用户手部的操作动作信息包括但不限于手部位置数据、手部转动数据和/或手指弯曲数据。触觉手套作为交互设备，还需要将该操作动作信息发送至计算机设备进行处理。

具体的，触觉手套还需要根据虚拟空间中的虚拟对象和操作虚拟对象产生的用户手部的操作动作信息计算用户手部预先施加在虚拟对象上的力量数据，然后触觉手套根据该力量数据控制触觉手套本身向用户手部做出真实反馈，用户因此会获得更真实的沉浸感和体验感，这样就完成了触觉手套在虚拟现实中的交互与反馈。

需要说明的是，这里的力量数据包括施加在虚拟对象上的触觉数据和压力数据，其中触觉数据指的是触觉手套触摸或移动虚拟对象时感受到的虚拟对表面的粗糙度大小，压力数据指的是触觉手套触摸或移动虚拟对象时施加在虚拟对象表面的作用力大小。相应地，用户感受到的触觉手套给予的真实反馈包括触觉反馈和力反馈。

应用于医疗康复领域，触觉手套会对用户在虚拟空间中的每一步操作动作都做出真实反馈，这种真实的触觉反馈和力反馈有助于帮助用户建立肌肉记忆和技能训练，从而帮助用户完成治疗目标或培训目的。

例如，对于需要康复的病人，通过穿戴触觉手套操作虚拟空间中的虚拟人体腿部，假设触觉手套使用1n的作用力触摸虚拟人体腿部内侧韧带，则触觉手套会控制自身向病人手部给出触摸人体腿部内侧韧带的真实触觉反馈，以及给出1n的真实力反馈，病人马上就能深刻感受到自己真的有触摸到人体腿部内侧韧带的感觉同时有使用1n的力去触摸人体腿部内侧韧带，触觉手套反馈的这种感觉能使病人具有极真实的沉浸感，且经过不断训练能在病人体内会形成肌肉记忆，在实际自我康复治疗时，病人根据该肌肉记忆就更容易找到自己腿部内侧韧带的位置并施加正确的作用力进行康复治疗，从而减少了由于找错位置或者施加错误的力量而导致康复失败的概率。

又例如，对于参与技能培训的医务人员，通过过穿戴触觉手套操作虚拟空间中的虚拟人体组织，则触觉手套会控制自身向医务人员给出触摸人体组织的真实触觉反馈，以及给出作用在人体组织的真实力反馈，医务人员马上就能深刻感受到自己真的有触摸到人体组织的感觉同时有使用同等作用力去触摸人体组织，触觉手套反馈的这种感觉能使义务人员具有极真实的沉浸感，且经过不断训练能形成一种技能训练，在实际人体组织手术中，医务人员根据该技能训练就能更容易找到患者对应的人体组织部位并施加正确的作用力进行手术，从而减少了由于找错位置或施加错误的作用力而导致手术失败的概率。

在本实施例中，虚拟现实设备，用于采集用户的头部数据，并将所述头部数据发送至计算机设备；接收计算机设备发送的虚拟场景信息，并更新显示的虚拟场景。

优选的，所述虚拟现实设备为虚拟现实眼镜或虚拟现实头盔。

优选的，所述头部数据包括头部的位置数据和/或头部的转动方向数据。

具体的，虚拟现实设备除了向用户显示视觉反馈的虚拟场景外，还用于实时获取用户的头部数据，具体的获取过程为：虚拟现实设备实时采集用户头部的六个自由度数据，所述六个自由度数据包括沿x、y、z三个直角坐标轴方向的移动自由度和绕x、y、z三个直角坐标轴的转向自由度，由这六个自由度数据体现出来的用户的位置及转向信息，确定用户头部在虚拟空间中的实时位置及转向，由该实时位置及转向数据计算虚拟空间场景中的旋转平移矩阵，并根据用户头部的实际移动对旋转平移矩阵进行实时调整更新，以使用户获得良好的沉浸感。虚拟现实设备作为交互设备，还需要将该头部数据发送至计算机设备进行处理。

此外，该虚拟现实设备还用于实时接收计算机设备发送的虚拟场景信息，并根据该实时的虚拟场景信息实时更新其向用户显示的虚拟场景。需要说明的是，这里的虚拟场景信息为计算机设备对虚拟空间中触觉手套与虚拟对象之间的实时动态所建立的三维空间模型，对应地，虚拟现实设备将该三维空间模型向用户进行实时显示，此时反馈给用户视觉的场景称为虚拟场景。

在本实施例中，计算机设备，用于接收所述真实场景信息、操作动作信息、头部数据，并根据所述真实场景信息、操作动作信息、头部数据和虚拟对象实时计算虚拟场景信息，将计算获得的虚拟场景信息发送至虚拟现实设备。

具体的，该计算机设备与摄像装置、触觉手套、虚拟现实设备之间通信连接，计算机设备作为数据处理设备，对接收来的摄像装置的真实场景信息、触觉手套的操作动作信息、虚拟现实设备的头部数据以及预先自建立的虚拟对象信息进行信息的实时融合，并根据实时融合的信息实时计算整个虚拟空间中的虚拟场景信息，这里的计算过程指的是计算机设备对虚拟空间中触觉手套与虚拟对象之间的实时动态建立三维空间模型的过程。计算机设备作为通信设备，还需要将该三维空间模型实时传输给虚拟现实设备，并最终由虚拟现实设备进行实时显示。

综上，本申请实施例提供的一种基于虚拟现实技术的医疗交互系统，其中计算机设备接收摄像装置获取的真实场景信息、触觉手套的操作动作信息和虚拟现实设备采集的头部数据和虚拟对象，并根据这些计算虚拟场景信息，并将虚拟场景信息发送给虚拟现实设备进行更新显示；用户通过触觉手套触摸或移动虚拟场景中物体，具体触觉手套根据虚拟对象和用户手部的操作动作信息计算用户手部预施加的力量数据，并根据该力量数据控制触觉手套向用户手部做出真实反馈，使用户感受到真实的沉浸感和体验感，这种通过虚拟现实设备与触觉手套的交互通信的方式，可使用户根据触觉手套给予的真实反馈实现实际医疗场景中对目标的精准捕捉，从而达到康复治疗或技能培训的目的。

进一步的，上述实施例中的所述触觉手套包括：

手套本体、至少一个应变传感器、控制器和至少一个气动执行器；

所述应变传感器，用于检测手套形变，并将测得信号发送给所述控制器，

所述控制器通过信号线分别与手套上的应变传感器电连接，所述控制器用于接收各个应变传感器发送的感应信号，并向所述气动执行器输出控制信号，

所述气动执行器用于接收所述控制器的控制信号，并根据所述控制信号执行控制动作。

具体的，手套本体包括多个应变传感器，多个应变传感器需要检测手套的形变，这里的形变包括手套动作产生的弯曲形变和受力形变，其中，检测弯曲形变的应变传感器设置在手套本体的手指背部曲面部位，检测受力形变的应变传感器设置在手套本体的手指内侧施力部位，例如手指指尖部位。

需要说明的是，这里检测弯曲形变的应变传感器为应变式位移传感器，这里检测受力形变的应变传感器为应变式测力传感器。

此外，多个应变传感器与控制器通过信号线电连接，应变传感器将检测弯曲形变的应变传感器测得的弯曲形变信号和检测受力形变的应变传感器测得的受力形变信号需要通过信号线发送给控制器。

具体的，控制器接收上述弯曲形变信号和受力形变信号，并将弯曲形变信号转化成触觉数据信号，同时将受力形变信号转化为压力数据信号，控制器将触觉数据信号和压力数据信号再通过信号线传输给气动执行器，气动执行器接收这两种信号。

具体的，气动执行器根据触觉数据信号控制气动执行器本身向用户做出触觉反馈。优选的，这里的这种气动执行器包括气泵和设置于手套本体内部表面的若干气囊，气囊与气泵连接，气泵输出气流进入气囊，气流能驱动气囊根据触觉数据信号控制气囊进行充放气。例如，这些气囊可以每秒高达100次循环的速度进行充气和放气，以使用户手部感受到振动，以模拟真实的触控感。优选的，所述气囊的直径为10mm，气囊的进气口直径为2mm。

同时，气动执行器根据压力数据信号控制气动执行器本身向用户做出力反馈。优选的，这里的这种气动执行器包括相互连接的气缸、气泵和连杆机构，通过气压驱动方式将气缸的作用力通过连接机构传递给手套本体的手指部位，以使用户手部感受到压力，以模拟真实的作用力反馈。当然，这里的气动执行器也可以是通过设置电机并通过电机驱动方式来模拟真实的作用力反馈。

需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。

进一步的，如图2所示，以上实施例中的触觉手套通过如下步骤制备获得：

s101，将丙烯酰胺和n.n亚甲基双丙烯酰胺作为交联剂，将过硫酸铵作为引发剂，将四甲基乙二胺作为加速剂，将上述材料按照预设配比搅拌至溶液均一透明后，倒入预先做好的模具中。

需要说明的是，该模具为专门制备该触觉手套的模具，手套本体外表面所对应的模具表面的结构可以进行预先设置，手套本体内表面所对应的模具表面的结构可打磨成更加贴合皮肤的样式，使穿戴时不会有异样出现。

优选的，所述触觉手套的外表面所对对应的模具表面分布有若干菱形微结构，这种结构压力灵敏度比较高，可以准确的对触碰物体进行反馈。

s102，在模具的相应位置处布设应变传感器和气动执行器。具体的，应变传感器和气动执行器的布设可按照本申请提供的对应说明和现有技术进行设置，具体此处不作限制。

优选的，本实施例中的应变传感器为液-固双相镓基金属化微通道薄膜，具体的是以硅酮薄膜为模板的双相(液-固)镓基金属化微通道薄膜，然后将该薄膜层压在手套本体背部的信号线上而形成。

s103，给模具盖上盖板，在50摄氏度下固化1.5小时，即可得到该触觉手套。

以上制备方法还需要说明的是，所述预先做好的模具主要指的是预先对手套本体外表面所对应的模具表面结构进行设计。按照预设配比和预设结构相组合而制得的功能最优的触觉手套具有耐用性好、强度高、耐腐蚀和坚韧性优的特点，这种触觉手套具体可通过机器学习算法来进行预设配比和预设结构的优化。

需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。

如图3所示，本实施例还提供了该机器学习算法的计算步骤：

s201，数据收集，包括不同配比的制备材料以及手套本体外表面所对应的模具内表面的不同结构；例如不同制备材料依次分别为丙烯酰胺、n.n亚甲基双丙烯酰胺、过硫酸铵和四甲基乙二胺，它们之间的配比依次为m1:m2:m3:m4，不同结构分别为无规则结构p1、线性结构p2和菱形结构p3。

s202，数据处理，包括将上述收集的数据向量化和标准化；

s203，模型训练，包括根据预设模型，选择算法编写程序，将数据集输入程序，进行运算，得到功能较优的一种配比和一种结构的训练结果；

s204，诊断调优，根据所述训练结果，进行评估分析，若是功能最优结果，则进行结果输出；若不是功能最优结果，则改进模型，并反复迭代直至找到功能最优或不能再改进的一种结果进行输出。

需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。