一种基于混合现实的术中位置导航系统、装置及方法与流程

本发明涉及手术模拟技术领域，具体的涉及一种基于混合现实的术中位置导航系统、装置及方法。

背景技术：

20世纪以来，以腔镜技术为代表的微创手术技术发展迅速，微创手术与传统的手术相比，其具有创伤小、恢复快、麻醉时间短等优点，因此微创手术得到广泛的应用和发展。然而由于微创手术本身的特点，医生只能通过内窥镜看到病人体内的局部状况，这样对于医生来说手术难度大大加大，而且对经验值的依赖比传统的手术要高，所以对医生来说，术前规划十分重要。

混合现实(mr，mixedreality)指的是合并现实和虚拟世界而产生的新的可视化环境，在新的可视化环境里物理和数字对象共存，并实时互动。混合现实的实现需要在一个能与现实世界各事物相互交互的环境中，如果一切事物都是虚拟的那就是虚拟现实(vr)，如果展现出来的虚拟信息只能简单叠加在现实事物上，那就是增强现实(ar)；mr的关键点就是与现实世界进行交互和信息的及时获取。

mr混合现实技术是一项前沿的创新技术，它在医疗领域的应用也初具规模，目前也有相关的报道和文献表明，很多科研工作者正在开发相应的产品和方法，如：cn108938087a基于混合现实的手术导航方法，通过预先对病变进行标注，比如肿瘤的位置，可以智能的找到每一个角度对应的开口位置，并且自动预测开口大小；医生通过透视，根据血管分布，可以选择一个最佳的方案进行手术，该发明在术前模拟和规划上有着重大的研究价值；cn104992582b一种基于混合现实的医学微创手术训练系统，通过混合现实的手术过程，实现了真实感很强的医学微创手术的训练，为医院和医学院校提供了良好的训练平台；但是，目前的混合现实技术距离术中应用还有很多问题，原因在于，目前的技术还不能通过接入腔镜信号进行患者重建数据的深度融合，对于实时动态监控器官组织及周边组织的功能还严重不足，同时，对于降低风险和实际手术室应用及帮助、探讨还停留在初步阶段。

综上所述，现有技术的缺陷在于：目前的混合现实技术不能全方位应用于手术中，对于基于混合现实的术中应用及教学缺乏相应的系统、装置及方法。

技术实现要素：

针对现有技术存在的上述问题，本发明提供了一种基于混合现实的术中位置导航系统、装置及方法，通过深度融合术中腔镜信号，实时动态重建数据，以实现术中导航定位降低风险和并发症，同时通过实时的视频录制进行教学。

为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

一种基于混合现实的术中位置导航系统，包括：

图像处理模块：用于导入ct图像后识别腔内脏器和血管，生成三维图像；

3d融合控制模块：用于将构建的三维模型与实时采集的影像数据进行深度融合，并实时动态更新显示；

信号采集模块：用于采集视频信号并传输至3d融合控制模块；

屏幕录制模块：用于录制屏幕记录增强现实的影像；

计算机模块：采用传统x64构架，集显示、输入、存储一体，用于集合各模块功能和实现功能操作；

外设模块：用于连接外设设备。

进一步的，所述基于混合现实的术中位置导航系统，通过信号采集模块对视频信号采集并传输至3d融合控制模块，由3d融合控制模块进行实时动态的将三维模型与实时采集的影像数据进行深度融合，由计算机模块进行显示、输入和存储，同时通过幕录制模块录制屏幕记录增强现实的影像。

进一步的，所述采集模块采集的视频信号包括腔镜视频信号和影像设备信号；

所述影像设备信号通过影像采集设备及辅助设备采集影像。

进一步的，所述屏幕录制模块为微软自带的xbox录制模块。

进一步的，所述计算机模块采用传统x64构架pc/笔记本/一体机，通过外设接口对接外设模块；

所述外设模块包括输入模块、投影模块。

本发明的另一目的在于，提供一种基于混合现实的术中位置导航系统的术中导航装置；

所述术中导航装置包括计算机、高清数码相机、图像采集卡、投影显示设备和外设设备；

所述计算机采用传统x64构架pc/笔记本/一体机，所述高清数码相机采用hdr-cx405高清数码摄像机及辅助支架，所述图像采集卡连接实现高清数码相机和计算机的数据传输，所述投影显示设备为dellp2719h显示器。

本发明的另一目的在于，提供一种基于混合现实的术中位置导航系统的术中位置导航方法；

所述基于混合现实的术中位置导航系统的术中位置导航方法包括以下步骤：

步骤1：连接并调试术中位置导航系统、装置中的的软硬件设备；

步骤2：通过图像处理模块用于导入ct图像后识别腔内脏器和血管，生成三维图像或者直接选择建立的三维图像模型；

步骤3：通过信号采集模块采集对应的腔镜、影像设备的视频信号，并输入计算机通过3d融合控制模块与获取的三维模型进行深度融合；

步骤4：深度融合的影像通过计算机进行动态显示、存储；

步骤5：在步骤2操作过程通过屏幕录制模块录制屏幕记录增强现实的影像。

本发明的另一目的在于，提供一种基于混合现实的术中位置导航系统在术中导航中的应用。

本发明的另一目的在于，提供一种基于混合现实的术中位置导航系统在手术教学及交流中的应用。

本发明的有益效果：

本发明的基于混合现实的术中位置导航系统、装置及方法，包括用于处理图像和构件三维模型的图像处理模块、用于深度融合三维模型与实时采集的影像数据的3d融合控制模块、用于采集视频信号的信号采集模块、用于屏幕录制记录的屏幕录制模块以及计算机、外设模块；通过信号采集模块对视频信号采集并传输至3d融合控制模块，由3d融合控制模块进行实时动态的将三维模型与实时采集的影像数据进行深度融合，由计算机模块进行显示、输入和存储，同时通过幕录制模块录制屏幕记录增强现实的影像；

本发明的基于混合现实的术中位置导航系统，一方面可以将实时采集的视频信号与三模模型进行深度融合，并实时的更新和显示相应的图像信息，实时动态的掌握器官组织的相对位置及其周边器官关系；便于术中无术野区域操作的预测和讨论，大大降低误切的出血风险，让手术更加精准快速；

同时，本发明的基于混合现实的术中位置导航系统带有屏幕录制模块进行记录，有益于后期的学习、交流和教学；

本发明的基于混合现实的术中位置导航系统通过深度融合术中腔镜信号，实时动态重建数据，以实现术中导航定位降低风险和并发症，同时通过实时的视频录制进行教学。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所述基于混合现实的术中位置导航系统的结构框图；

图2为本发明实施例所述基于混合现实的术中位置导航系统的术中位置导航装置的结构框图；

图3为本发明实施例所述基于混合现实的术中位置导航系统的术中位置导航方法流程图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1

如图1所示

一种基于混合现实的术中位置导航系统，包括：

图像处理模块：用于导入ct图像后识别腔内脏器和血管，生成三维图像；

3d融合控制模块：用于将构建的三维模型与实时采集的影像数据进行深度融合，并实时动态更新显示；

信号采集模块：用于采集视频信号并传输至3d融合控制模块；

屏幕录制模块：用于录制屏幕记录增强现实的影像；

计算机模块：采用传统x64构架，集显示、输入、存储一体，用于集合各模块功能和实现功能操作；

外设模块：用于连接外设设备。

上述基于混合现实的术中位置导航系统，通过信号采集模块对视频信号采集并传输至3d融合控制模块，由3d融合控制模块进行实时动态的将三维模型与实时采集的影像数据进行深度融合，由计算机模块进行显示、输入和存储，同时通过幕录制模块录制屏幕记录增强现实的影像。

所述采集模块采集的视频信号包括腔镜视频信号和影像设备信号；

所述影像设备信号通过影像采集设备及辅助设备采集影像。

所述屏幕录制模块为微软自带的xbox录制模块。

所述计算机模块采用传统x64构架pc/笔记本/一体机，通过外设接口对接外设模块；

所述外设模块包括输入模块、投影模块。

实施例2

一种基于混合现实的术中位置导航系统的术中导航装置；

所述术中导航装置包括计算机、高清数码相机、图像采集卡、投影显示设备和外设设备；

所述计算机采用传统x64构架pc/笔记本/一体机，所述高清数码相机采用hdr-cx405高清数码摄像机及辅助支架，所述图像采集卡连接实现高清数码相机和计算机的数据传输，所述投影显示设备为dellp2719h显示器。

实施例3

一种基于混合现实的术中位置导航系统的术中位置导航方法；

所述基于混合现实的术中位置导航系统的术中位置导航方法包括以下步骤：

步骤1：连接并调试术中位置导航系统、装置中的的软硬件设备；

步骤2：通过图像处理模块用于导入ct图像后识别腔内脏器和血管，生成三维图像或者直接选择建立的三维图像模型；

步骤3：通过信号采集模块采集对应的腔镜、影像设备的视频信号，并输入计算机通过3d融合控制模块与获取的三维模型进行深度融合；

步骤4：深度融合的影像通过计算机进行动态显示、存储；

步骤5：在步骤2操作过程通过屏幕录制模块录制屏幕记录增强现实的影像。

实施例4

一种基于混合现实的术中位置导航系统在术中导航中的应用。

本发明的基于混合现实的术中位置导航系统，一方面可以将实时采集的视频信号与三模模型进行深度融合，并实时的更新和显示相应的图像信息，实时动态的掌握器官组织的相对位置及其周边器官关系；便于术中无术野区域操作的预测和讨论，大大降低误切的出血风险，让手术更加精准快速；

即在辅助手术进行相关操作时，通过调试好的设备和系统，在进行手术操作时，优先的将术前规划及获取的数据建立的三维模型调出，之后通过采集术中的视频信号，即腔镜的视频信号或外设的视频信号，将其通过3d融合控制模块进行深度融合，融合的图像能实时动态的掌握器官组织的相对位置及其周边器官关系；便于术中无术野区域操作的预测和讨论，大大降低误切的出血风险，让手术更加精准快速。

实施例5

本发明的另一目的在于，提供一种基于混合现实的术中位置导航系统在手术教学及交流中的应用。

本发明的基于混合现实的术中位置导航系统带有屏幕录制模块进行记录，有益于后期的学习、交流和教学；

对于手术过程进行增强现实的记录，在后期的交流学习和教学过程中，可以有较好的素材，同时也可以总结经验。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。