一种基于混合现实的术前规划模拟系统、装置及方法与流程

本发明涉及手术模拟技术领域，具体的涉及一种基于混合现实的术前规划模拟系统、装置及方法。

背景技术：

20世纪以来，以腔镜技术为代表的微创手术技术发展迅速，微创手术与传统的手术相比，其具有创伤小、恢复快、麻醉时间短等优点，因此微创手术得到广泛的应用和发展。然而由于微创手术本身的特点，医生只能通过内窥镜看到病人体内的局部状况，这样对于医生来说手术难度大大加大，而且对经验值的依赖比传统的手术要高，所以对医生来说，术前规划十分重要。

混合现实(mr，mixedreality)指的是合并现实和虚拟世界而产生的新的可视化环境，在新的可视化环境里物理和数字对象共存，并实时互动。混合现实的实现需要在一个能与现实世界各事物相互交互的环境中，如果一切事物都是虚拟的那就是虚拟现实(vr)，如果展现出来的虚拟信息只能简单叠加在现实事物上，那就是增强现实(ar)；mr的关键点就是与现实世界进行交互和信息的及时获取。

mr混合现实技术是一项前沿的创新技术，它在医疗领域的应用也初具规模，目前也有相关的报道和文献表明，很多科研工作者正在开发相应的产品和方法，如：cn108938087a基于混合现实的手术导航方法，通过预先对病变进行标注，比如肿瘤的位置，可以智能的找到每一个角度对应的开口位置，并且自动预测开口大小；医生通过透视，根据血管分布，可以选择一个最佳的方案进行手术，该发明在术前模拟和规划上有着重大的研究价值；cn104992582b一种基于混合现实的医学微创手术训练系统，通过混合现实的手术过程，实现了真实感很强的医学微创手术的训练，为医院和医学院校提供了良好的训练平台；但是，基于术前的规划系统需要解决的问题更多是术者和患者对手术方案的理解、手术的规划和术后的沟通，目前的现有技术缺乏相应的系统、装置。

综上所述，现有技术的缺陷在于：目前现有技术缺乏用于术前规划、医患交流的术前规划模拟系统、装置及方法。

技术实现要素：

针对现有技术存在的上述问题，本发明提供了一种基于混合现实的术前规划模拟系统、装置及方法，通过术前的虚拟模拟确定最优手术方案，同时可直观的进行医患沟通，达到减少手术时间、降低手术风险的目的。

为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

一种基于混合现实的术前规划模拟系统，包括影像处理模块、数据库模块、显示模块、功能模块、工具模块和外设模块；

影像处理模块：用于导入ct图像后识别腔内脏器和血管，生成三维图像，同时通过标记病灶区域重建病灶模型；

数据库模块：用于存储、记录模拟系统的数据，同时适时可进行调取相关数据；

显示模块：用于显示或3d显示影像处理模块生成的三维图像；

功能模块：用于读取数据库模块内存储数据，识别脏器结构、数值、层次；

工具模块：用于对脏器、病灶进行体积计算、测量、切割、穿刺、消融的虚拟工具；

外设模块：用于连接外设设备。

进一步的，所述基于混合现实的术前规划模拟系统，影像处理模块通过手动标识病灶及细小血管后自动生成脏器及周边的ct影像三维模型，生成的三维模型导入存储至数据库模块；

所述数据库模块存储系统所有信息数据、记录过程信息和操作记录以便实时调取；

所述显示模块通过左上侧显示数据库模块列表，右下侧显示工具模块，中间区域显示放大的脏器三维模型；

所述功能模块读取脏器结构、数值、层次，进行脏器透明度、显示隐藏、颜色信息，附带体积计算后的脏器的数值也在此处记录；

所述工具模块可实施模拟脏器平面切割模拟、曲面切割模拟、内窥模拟、穿刺模拟和消融模拟；

所述外设模块在装采集卡的驱动连接采集卡，也可融合腔镜和dv，同时由usb连接外设设备。

本发明的另一目的在于，提供一种基于混合现实的术前规划模拟系统的术前规划模拟装置；

所述基于混合现实的术前规划模拟系统的术前规划模拟装置，包括：zspace硬件平台、图像采集装置、投影设备、3d眼镜设备和输入操作设备；

所述zspace硬件平台为终端机器，与图像采集装置通过安装采集卡后连接导入图像数据，投影设备和输入操作设备与zspace硬件平台通过光缆连接，所述3d眼镜设备为3d眼镜，在zspace硬件平台调整为3d模式后进行观测，输入操作设备通过usb与zspace硬件平台连接。

本发明的另一目的在于，提供一种基于混合现实的术前规划模拟系统的术前规划模拟方法；

所述基于混合现实的术前规划模拟系统的术前规划模拟方法，包括以下步骤：

步骤1.ct数据的导入及处理

以ct数据为基础，通过影像处理模块进行数据导入，导入过程中影像处理模块能识别脏器及周边大血管参数并生成三维图案，但是病灶区域及细小血管需要通过人工标识输入，通过立体的方式，将患者的真实重建数据进行展示，查看病灶及周边器官关系；

步骤2.数据库模块的数据存储

导入后的数据库模块经过格式转化后存储于数据库模块，数据库模块内的数据进行分类存储；

步骤3.显示模块、功能模块、工具模块和外设模块的开启

通过开启zspace硬件平台的各个模块，读取数据库模块内数据，将建立的脏器模型图显示于显示模块，同时调取功能模块、工具模块和外设模块进行规划准备；

步骤4.术前规划模拟操作

建立的三维脏器模型通过功能模块进行脏器透明度、显示隐藏、颜色信息调整以区分结构、数值、层次；同时根据术者经验借助工具模块对脏器、病灶进行虚拟体积计算、测量、切割、穿刺、消融的虚拟；最终确定手术方案和类型；

步骤5.操作完成之后保存模拟操作

规划模拟完成之后，基本确定手术方案和类型，通过将手术方案和类型的规划模拟方案存储至数据库模块下的子目录，之后可以通过功能模块进行实时调取。

本发明的另一目的在于，提供一种基于混合现实的术前规划模拟系统在术前规划模拟中的应用。

本发明的另一目的在于，提供一种基于混合现实的术前规划模拟系统在术前医患沟通中的应用。

本发明的有益效果：

本发明的基于混合现实的术前规划模拟系统、装置及方法，通过设计包括影像处理模块、数据库模块、显示模块、功能模块、工具模块和外设模块的术前规划模拟系统；同时结合与硬件相关的基于混合现实的术前规划模拟系装置，通过以ct数据为基础导入至数据库模块进行三维重建出3d脏器及周边结构，同时借助功能模块进行脏器透明度、显示隐藏、颜色信息调整以区分结构、数值、层次；同时根据术者经验借助工具模块对脏器、病灶进行虚拟体积计算、测量、切割、穿刺、消融的虚拟，最终确定手术方案和类型进行存储；

本发明的基于混合现实的术前规划模拟系统、装置及方法，通过术前的虚拟模拟确定最优手术方案，同时可直观的进行医患沟通，达到减少手术时间、降低手术风险的目的。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所述基于混合现实的术前规划模拟系统的结构框图；

图2为本发明实施例所述基于混合现实的术前规划模拟系统的术前规划模拟装置的结构框图；

图3为本发明实施例所述基于混合现实的术前规划模拟系统的术前规划模拟方法流程图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1

如图1所示

一种基于混合现实的术前规划模拟系统，包括影像处理模块、数据库模块、显示模块、功能模块、工具模块和外设模块；

影像处理模块：用于导入ct图像后识别腔内脏器和血管，生成三维图像，同时通过标记病灶区域重建病灶模型；

数据库模块：用于存储、记录模拟系统的数据，同时适时可进行调取相关数据；

显示模块：用于显示或3d显示影像处理模块生成的三维图像；

功能模块：用于读取数据库模块内存储数据，识别脏器结构、数值、层次；

工具模块：用于对脏器、病灶进行体积计算、测量、切割、穿刺、消融的虚拟工具；

外设模块：用于连接外设设备。

上述的基于混合现实的术前规划模拟系统中：

所述基于混合现实的术前规划模拟系统，影像处理模块通过手动标识病灶及细小血管后自动生成脏器及周边的ct影像三维模型，生成的三维模型导入存储至数据库模块；

所述数据库模块存储系统所有信息数据、记录过程信息和操作记录以便实时调取；

所述显示模块通过左上侧显示数据库模块列表，右下侧显示工具模块，中间区域显示放大的脏器三维模型；

所述功能模块读取脏器结构、数值、层次，进行脏器透明度、显示隐藏、颜色信息，附带体积计算后的脏器的数值也在此处记录；

所述工具模块可实施模拟脏器平面切割模拟、曲面切割模拟、内窥模拟、穿刺模拟和消融模拟；

所述外设模块在装采集卡的驱动连接采集卡，也可融合腔镜和dv，同时由usb连接外设设备。

实施例2

一种基于混合现实的术前规划模拟系统的术前规划模拟装置；

所述基于混合现实的术前规划模拟系统的术前规划模拟装置，包括：zspace硬件平台、图像采集装置、投影设备、3d眼镜设备和输入操作设备；

所述zspace硬件平台为终端机器，与图像采集装置通过安装采集卡后连接导入图像数据，投影设备和输入操作设备与zspace硬件平台通过光缆连接，所述3d眼镜设备为3d眼镜，在zspace硬件平台调整为3d模式后进行观测，输入操作设备通过usb与zspace硬件平台连接。

如图2所示，上述术前规划模拟装置，以zspace硬件平台为基础，在zspace硬件平台上进行编程及操作，同时通过安装采集卡导入数据，整个装置的硬件系统主要包括zspace硬件平台及相关硬件设备，通过连接后实现相关操作；

实施例3

一种基于混合现实的术前规划模拟系统的术前规划模拟方法；

所述基于混合现实的术前规划模拟系统的术前规划模拟方法，包括以下步骤：

步骤1.ct数据的导入及处理

以ct数据为基础，通过影像处理模块进行数据导入，导入过程中影像处理模块能识别脏器及周边大血管参数并生成三维图案，但是病灶区域及细小血管需要通过人工标识输入，通过立体的方式，将患者的真实重建数据进行展示，查看病灶及周边器官关系；

步骤2.数据库模块的数据存储

导入后的数据库模块经过格式转化后存储于数据库模块，数据库模块内的数据进行分类存储；

步骤3.显示模块、功能模块、工具模块和外设模块的开启

通过开启zspace硬件平台的各个模块，读取数据库模块内数据，将建立的脏器模型图显示于显示模块，同时调取功能模块、工具模块和外设模块进行规划准备；

步骤4.术前规划模拟操作

建立的三维脏器模型通过功能模块进行脏器透明度、显示隐藏、颜色信息调整以区分结构、数值、层次；同时根据术者经验借助工具模块对脏器、病灶进行虚拟体积计算、测量、切割、穿刺、消融的虚拟；最终确定手术方案和类型；

步骤5.操作完成之后保存模拟操作

规划模拟完成之后，基本确定手术方案和类型，通过将手术方案和类型的规划模拟方案存储至数据库模块下的子目录，之后可以通过功能模块进行实时调取。

实施例4

一种基于混合现实的术前规划模拟系统在术前规划模拟中的应用。

术前，通过三维建模，将患者的真实重建数据进行展示，查看病灶及周边器官关系，模型展示的病灶位置和病灶周边器官血管的关系更加的直观；

可以借助于体积计算、尺子、切割、穿刺、消融等工具可多次进行交叉模拟，最终确定手术的方案和手术类型；

手术前通过虚拟模拟，在手术前对手术方案的理解达到高度一致；从而达到减少手术时间、降低手术风险的效果。

具体操作过程为：

在病例选择完毕模型加载后，通过键盘或者外设笔实现模型的移动旋转；通过器官列表，可以修改展示器官的透明度、显示隐藏、颜色信息，附带体积计算后的脏器的数值也在此处记录；

通过功能区域：实施切割，模拟脏器的切割，可以实现平面的切割、曲面的切割方式以及切割后的数据的记录；同时进行内窥(由小的可移动摄像机)、穿刺(穿刺方案模拟)、消融(消融方案模拟)；

混合现实影像融合：在装采集卡的驱动连接采集卡，也可融合腔镜和dv；通过系统可以实现曲线切割；手术方案保存和回放，不仅限于切割、穿刺、消融。

通过本发明的基于混合现实的术前规划模拟系统及相应的软硬件平台，实现了术前模型的重建，然后基于重建的术前模型，对术前进行手术方案的规划、演示，进而实现基于混合现实的术前规划。

实施例5

一种基于混合现实的术前规划模拟系统在术前医患沟通中的应用。

基于上述实施例1-5，本发明的技术方案，可以实现术前规划模拟及术前医患沟通，可以通过三维、直观的方式对手术方案进行规划模拟，同时进行医患沟通，确认手术的过程，方便患者理解与认可。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。