一种基于头戴式三维增强现实设备的手术训练和导航装置的制作方法

本发明涉及医疗器械领域，尤其涉及一种基于头戴式三维增强现实显示设备的手术训练和手术及导航装置。

背景技术：

医疗资源分布不均衡一直是中国乃至世界医疗体系的重大挑战。全球医疗可及性和医疗质量指数(haq)的分布在许多发展中国家中(例如中国和印度)，出现了地方层面的悬殊差距。缺乏训练有素的外科手术队伍使中低收入国家低成本高质量的外科手术护理的普及受到了严重阻碍。即使在发达国家，在资源有限的地区迅速提供高效的医疗保健也非常具有挑战性，特别是在发生灾难或者意外的情况下。考虑到人力资源是卫生系统中最重要的要素之一，跨地域的适当人力资源分配策略可以提供更有效的医疗援助。远程医疗可以向患者提供远程医疗服务和医疗保健服务，并确保医疗服务的连续性和在偏远地区对医疗资源的最佳利用。此外远程医疗可以向想要提高手术技能的医生和想要改善治疗的病人提供了一种实时的低成本的共享远程医疗资源的方式。外科远程医疗的主要方式是远程指导，包括术中导航和手术训练。远程指导系统不仅可以使医学专家在现场救援人员几乎没有相关经验的情况下指导手术操作，而且还可以使经验丰富的外科医生以交互方式远程训练学生的手术操作。

从19世纪60年代通过卫星视频会议进行了第一例远程指导开放心脏手术案例起，各种外科远程指导系统层出不穷，并在腹腔镜手术和开放手术中进行了测试。远程指导的最常用形式之一是实时视频会议。使用视频会议系统进行远程指导时，专家通过语音进行指导，指导结果的精确度主要依赖于远程的指导者传递语音指令和本地的操作者理解语音指令的能力，这种指导方式的效果不是很理想。另一种常用的远程指导系统通过视频的方式进行指导，专家可以在实时传输的手术现场影像上进行定位标注，以便本地的操作者能够在视觉和听觉上获取指导信息。这些基于视频的远程指导系统的主要局限性在于它们需要使用屏幕来显示手术影像和进行标注，在远程指导的手术过程中，本地操作者必须在手术区域和屏幕之间不断切换视角，以便跟随远程的标注，这样本地医生需要付出大量的精力来将视频指导显示的位置在手术区域进行定位。

近年来，增强现实技术作为一种可以将虚拟模型融入现实世界的技术被用于远程指导中。通过增强现实的显示方式，本地医生可以在同一视野下同时看到远程的指导和现场的手术区域，克服了传统屏幕显示的局限性。这些ar远程指导系统中的一类是将真实手术区域信息和虚拟模型一起在屏幕上显示，因此本地医生在操作时只需要观察屏幕即可，还有一种ar指导系统是利用可穿戴式增强现实设备在医生的真实视觉感知下显示二维虚拟模型。但是这些二维的显示屏幕不能为医生提供深度方向的感知。

头戴式三维增强现实显示设备可以以全息图的方式将三维的虚拟模型显示并融入真实世界中，在外科手术指导和培训领域具有巨大的潜力。目前市面上的头戴式三维增强现实显示设备有更长的电池寿命和更明亮的图像显示。三维远程通讯功能更是使头戴式三维增强现实显示设备成为许多医疗远程指导场景中的合适工具，例如ar指导手术，解剖学和操作培训。在外科远程指导中需要记录专家的手术刀位置，立体视觉常用于手术刀位置跟踪，尤其是在图像引导的神经外科手术中。

技术实现要素：

为了解决上述技术问题，本发明提供一种新型的整合了三维坐标追踪和头戴式三维增强现实显示设备的远程手术指导和手术训练装置，可以使用双目相机实时追踪手术刀的三维坐标并将数据实时传输至头戴式三维增强现实显示设备。这种增强现实装置可以用于远程手术指导和手术训练。在做手术训练时，虚拟模型与真实模型配准融合，虚拟手术刀的位置可以使用双目视觉系统提前追踪录制或者在远端实时追踪并传输至本地，头戴式三维增强现实显示设备接收手术刀位置信息并用于指导虚拟手术刀，这样本地端的受训者可以根据虚拟手术刀的指导进行操作。在做远程指导的手术时，首先对手术现场进行三维模型的扫描并传输至远程端，远程端的医生在虚拟模型上规划手术刀路径并传输至头戴式三维增强现实显示设备指导虚拟手术刀，本地端的医生可以在虚拟手术刀的指导下操作。装置可以实时追踪本地端的手术刀的位置反馈给操作者，以保证操作的精确度。

本发明的技术方案为：一种基于头戴式三维增强现实设备的手术训练和导航装置，包括：

本地追踪器模块，远程追踪器模块，本地双目视觉追踪模块，远程双目视觉追踪模块，本地图像处理模块，远程图像处理模块，三维模型扫描模块，三维模型处理模块，三维路径规划模块和增强现实显示模块；

所述的远程追踪器模块和本地追踪器模块结构相同，分别包括支架、以及位于同一平面上的三种颜色的led灯，远程追踪器模块和本地追踪器模块分别固定安装在两地的手术刀上；

所述本地双目视觉追踪模块包括双目相机，用于采集本地追踪器模块的图像并实时传输至本地图像处理模块，本地图像处理模块用于根据颜色算法提取本地追踪器模块的led灯的三维空间坐标，根据本地追踪器模块与手术刀尖的固定空间位置关系计算得出实时的本地手术刀尖的轨迹并记录；

所述三维模型扫描模块连接到三维模型处理模块和增强现实显示模块；所述三维路径规划模块位于远程端。

进一步的，所述增强现实显示模块为可开发的三维头戴式增强现实显示设备，以全息图的形式显示虚拟模型。

进一步的，所述三维模型扫描模块为三维扫描仪；

进一步的，所述远程追踪器模块包括支架，第一led灯、第二led灯、第三led灯，三个led灯分别为位于同一平面上，且三种led灯分别为不同颜色的，远程追踪器模块和本地追踪器模块分别固定安装在两地的手术刀上，支架伸出3个支杆，每个支杆上安装一个led灯，每两个支杆之间的角度相同。

进一步的，所述三维模型处理模块、和三维路径规划模块分别位于前述本地和远程的计算机上。

根据本发明的另一方面，提出一种基于头戴式三维增强现实设备的手术训练方法，包括如下步骤：

步骤1、培训者在远程端进行实时教学，本地和远程使用同样的教学仿体模型，本地端的头戴式三维增强现实显示设备中提前将虚拟模型和真实世界融合；

步骤2、对本地和远程的双目相机进行内参和外参标定后，远程双目相机实时拍摄培训者的手术刀的图片并传输至远程图像处理模块；

步骤3、远程图像处理模块识别图像上的发光点，取n帧图像计算平均值，然后根据手术刀的空间结构计算手术刀刀尖坐标，并将计算得出的手术刀的刀尖坐标数据通过网络传输至本地受训者三维增强现实显示设备；

步骤4、本地的头戴式三维增强现实显示设备成功接收到远程发来的手术刀的刀尖坐标信息后，根据接收到的坐标信息移动虚拟手术刀的位置并绘制移动轨迹；

步骤5、本地端的受训者通过头戴式三维增强现实显示设备看到虚拟手术刀的移动及其移动轨迹，并根据虚拟手术刀的位置进行定位，操作时手中的手术刀跟随虚拟手术刀的轨迹；

步骤6、本地的图像处理模块以同样的方法追踪受训者手中的手术刀，计算得出真实手术刀的刀尖坐标，并同样将计算得出的坐标数据通过网络传输至本地受训者头戴的三维增强现实显示设备；

步骤7、头戴式三维增强现实显示设备接收到本地的受训者的手术刀的位置，并绘制本地手术刀的轨迹，将培训者与受训者手术刀的位置进行对比计算，当偏差超过阈值式，给与图像及语音提示，受训者以此作为反馈不断调整，提高定位精度。

进一步的，做手术训练时，远程的培训者提前录制教学模型，远程的培训者的手术刀的轨迹被追踪并记录保存，本地的学生使用提前录制好的模型，在头戴式三维增强现实显示设备的虚拟模型的指导下进行训练。

进一步的，头戴式三维增强现实显示设备能够共享画面，远程的指导者能够看到操作者的视野，并根据传回的画面进行语音指导。

本发明还提出一种基于头戴式三维增强现实设备的手术导航方法，包括如下步骤：

步骤1、首先本地端扫描手术场景的三维模型并进行处理优化，通过网络传输给远程医生，远程医生通过三维软件进行手术刀切口轨迹的规划，并将带有规划好的手术刀路径的三维模型传回至本地的头戴式三维增强现实显示设备中，本地操作者将传回的虚拟三维模型与真实世界匹配；

步骤2、本地端的操作员通过头戴式三维增强现实显示设备看到虚拟手术刀的移动及其移动轨迹，并根据虚拟手术刀的位置进行定位，操作时手中的手术刀跟随虚拟手术刀的轨迹；

步骤3、本地的图像处理模块以同样的方法追踪操作员手中的手术刀，计算得出真实手术刀的刀尖坐标，并同样将计算得出的坐标数据通过网络传输至本地操作员头戴的三维增强现实显示设备；

步骤4、头戴式三维增强现实显示设备接收到本地的操作员的手术刀的位置，并绘制本地手术刀的轨迹，将培训者与操作员手术刀的位置进行对比计算，当偏差超过阈值时，给予图像及语音提示，操作员以此作为反馈不断调整，提高定位精度。

本发明的装置包括本地追踪器模块，远程追踪器模块，本地双目视觉追踪模块，远程双目视觉追踪模块，本地图像处理模块，远程图像处理模块，三维模型扫描模块，三维模型处理模块，三维路径规划模块和增强现实显示模块。在进行手术训练时，本地受训者端和远程培训者段使用相同的训练仿体模型，所述的远程和本地追踪器模块固定安装在两地的手术刀上，由分布在同一平面上的三种颜色的led灯及其支架组成。所述双目视觉追踪模块为两个相机，可以采集追踪器模块的图像并实时传输至图像处理模块，图像处理模块用颜色算法提取追踪器模块的led灯的三维空间坐标，根据追踪器模块与手术刀尖的固定空间位置关系计算得出实时的手术刀尖的轨迹并记录。远程端的双目视觉追踪模块实时拍摄追踪器的图像并传输至远程图像处理模块进行位置计算，计算出的培训者的手术刀的位置传输至本地端的增强现实显示模块中的头戴式三维增强现实显示设备中用于指导受训者看到的虚拟手术刀的位置，本地端的双目视觉追踪模块计算出的本地端的受训者的手术刀的位置传输至本地图像处理模块，对图像处理后进行本地手术刀位置计算，然后将位置信息传输至头戴式三维增强现实显示设备中与培训者的手术刀的位置进行对比，以辅助受训者判断操作是否精确。在进行手术指导时，所述三维模型扫描模块，即三维扫描仪，扫描本地手术场景的三维模型，将模型导入三维模型处理模块进三维模型优化剪切处理，将处理后的三维模型传输至远程端，远程端医生通过三维路径规划模块，即三维软件分析编辑软件，对手术刀切口路径进行规划并传回本地的增强现实显示模块中的头戴式三维增强现实显示设备,头戴式三维增强现实显示设备中的虚拟手术刀将按照规划的手术刀切口路径移动用于指导本地端医生的操作，同样本地端的双目视觉追踪模块将计算出的受训者的手术刀的位置传输本地图像处理模块计算本地手术刀的位置信息，并传输至头戴式三维增强现实显示设备中与远程医生规划的的手术刀的位置进行对比，辅助本地医生判断操作是否精确。

有益效果：

1、本发明的装置采用增强现实显示设备，使用者的视野中可以同时看到真实世界和融入真实世界的三维模型，解决了现有技术中医生需反复在显示器与操作部位间频繁切换视角的问题，有助于优化手术路径及提高手术成功率。

2、本发明的装置的增强显示设备以全息图的形式显示虚拟模型，与传统的平面显示的增强现实显示方法相比，三维全息显示可以为使用者提供深度方向上的感知，对于提高手术定位精度、减少手术损伤等具有十分重要的意义。

3、本发明的装置在用于手术训练时，培训者不仅可以实时指导并传输手术刀路径，也可以将手术刀路径提前录制并保存，这样培训者的指导将不受时间和地点的限制，受训者可以在提前录制的手术刀路径的指导下进行训练，同时一位培训者可以对多位受训者同时进行指导，大大地提高了医疗资源的利用率。

4、本发明的装置有两套双目视觉追踪系统，本地被指导者的手术刀路径也会被同时追踪并反馈至显示模块中与用于指导的虚拟路径对比，操作者可以实时观测自己的操作偏差，这样的反馈机制可以监督并提醒操作者，提高了整体定位精度。

5、发明的采用头戴式增强现实显示设备，体积小，续航能力强，操作简单，该显示装置不受手术室空间和医生的术中操作以及患者身体部位的限制，虚拟模型实时随使用者的视角移动并与真实世界配准，大大提升了应用范围和灵活性，更易于推广使用。

附图说明

图1是本发明的远程追踪器模块和本地追踪器模块示意图；

图2是本发明的装置用于手术训练的示意图；

图3是本发明的装置用于远程手术导航的示意图；

图4是本发明的方法流程图。

图中：1是本地追踪器模块，2是远程追踪器模块，3是本地双目视觉追踪模块，4是远程双目视觉追踪模块，5是本地图像处理模块，6是远程图像处理模块，7是增强现实显示模块；8是三维模型扫描模块，9是三维模型处理模块，10是三维路径规划模块，11是支架，12是第一led灯、13是第二led灯、14是第三led灯。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

参见图2和图3所示，本发明提供的一种基于头戴式三维增强现实显示设备的手术训练和手术导航装置。所述装置包括本地追踪器模块1，远程追踪器模块2，本地双目视觉追踪模块3，远程双目视觉追踪模块4，本地图像处理模块5，远程图像处理模块6，增强现实显示模块7，三维模型扫描模块8，三维模型处理模块9，和三维路径规划模块10。

所述本地双目视觉追踪模块3与本地图像处理模块5连接，远程双目视觉追踪模块4与远程图像处理模块6连接，三维模型扫描模块8与三维模型处理模块9连接。远程追踪器模块2和本地追踪器模块1结构相同，如图1所示，远程追踪器模块2包括支架11，第一led灯12、第二led灯13、第三led灯14，三个led灯分别为位于同一平面上，且三种led灯分别为不同颜色的，远程追踪器模块2和本地追踪器模块1分别固定安装在两地的手术刀上。支架11伸出3个支杆，每个支杆上安装一个led灯，每两个支杆之间的角度相同。

在本发明中，本地双目视觉追踪模块3和远程双目视觉追踪模块4中分别包括两台彩色相机，分别采集本地追踪器模块1和远程追踪器模块2的彩色图片，并分别将采集的图像数据分别传输给本地图像处理模块5和远程图像处理模块6，本地图像处理模块5为一台本地的计算机，远程图像处理模块6对应一台远程计算机，增强现实显示模块7为一台可开发的三维头戴式增强现实显示设备，三维模型扫描模块8为一台三维扫描仪，三维模型处理模块9，和三维路径规划模块10分别为前述本地和远程的计算机。

上述装置的重点应用之一为手术训练，手术训练是医学生获取手术医师资格认证的关键的步骤，对提高操作者的水平有极大帮助。外科手术操作需要具备良好的空间定位技能，使用上述装置可以让学生全程实时直观的看到培训者传授的定位信息，操作方便，并且不受时间空间的限制。

用上述装置做手术训练分为以下7步，操作流程如图4所示：

1、培训者在远程端进行实时教学，本地和远程使用同样的教学仿体模型，本地端的头戴式三维增强现实显示设备中提前将虚拟模型和真实世界融合；

2、对本地和远程的双目相机进行内参和外参标定后，远程双目相机实时拍摄培训者的手术刀的图片并传输至远程图像处理模块；

3、远程图像处理模块识别图像上的发光点，为保证识别的精度和稳定性，取n帧图像计算值，然后根据手术刀的空间结构设计计算手术刀刀尖坐标，并将计算得出的手术刀的坐标数据通过网络传输至本地受训者三维增强现实显示设备；

4、本地的头戴式三维增强现实显示设备成功接收到远程发来的手术刀的坐标信息后，根据接收到的坐标信息移动虚拟手术刀的位置并绘制移动轨迹；

5、本地端的受训者通过头戴式三维增强现实显示设备看到虚拟手术刀的移动及其轨迹，并根据虚拟手术刀的位置进行定位，操作时手中的手术刀跟随虚拟手术刀的轨迹；

6、本地的图像处理模块以同样的方法追踪受训者手中的手术刀，计算得出真实手术刀的刀尖坐标，并同样将计算得出的坐标数据通过网络传输至本地受训者头戴的三维增强现实显示设备；

7、头戴式三维增强现实显示设备接收到本地的受训者的手术刀的位置，并绘制本地手术刀的轨迹，将培训者与受训者手术刀的位置进行对比计算，当偏差超过阈值式，给与图像及语音提示，受训者以此作为反馈不断调整，提高定位精度。

在进行远程手术导航时，首先扫描手术场景的三维模型并进行处理优化，通过网络传输给远程医生，远程医生通过三维软件进行手术刀切口轨迹的规划，并将带有规划好的手术刀路径的三维模型传回至本地的头戴式三维增强现实显示设备中，本地操作者将传回的虚拟三维模型与真实世界匹配，并用虚拟的规划好的手术刀的轨迹指导虚拟手术刀的移动，之后装置的使用方法与手术训练的方法相同，本地操作员在虚拟手术刀的指导下进行操作，并且会收到实时的位置反馈，不断调整提高定位精度。

在一些实施过程中，做手术训练时，远程的培训者可以提前录制教学模型，远程的老师的手术刀的轨迹可以被追踪并记录保存，本地的学生可以在任何时间，多次的使用提前录制好的模型，在头戴式三维增强现实显示设备的虚拟模型的指导下进行训练。

在一些实施过程中，头戴式三维增强现实显示设备可以共享画面，远程的指导者可以看到操作者的视野，并根据传回的画面进行语音指导。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。