内窥镜引导下的经鼻腔虚拟仿真手术方法及装置与流程

1.本发明涉及医学图像处理的技术领域，尤其涉及一种内窥镜引导下的经鼻腔虚拟仿真手术方法，以及内窥镜引导下的经鼻腔虚拟仿真手术装置。


背景技术：

2.虚拟现实医疗培训技术已经逐渐成熟，并在多种手术术士中得到运用，其主要目的是为医生提供真实的、沉浸式的、无风险的手术训练环境，缩短医生的学习周期。随着生物医学的发展，在手术过程中愈发要求“精准化”与“微创化”，这导致内窥镜引导下的手术逐年增多。然而一个熟练掌握内窥镜操作的医生需要大量的练习与试错，这会引发许多伦理问题，甚至是安全问题。所以内窥镜引导下的手术培训装置具有很强的现实意义。
3.大量的手术都是使用手术工具通过鼻腔进入头颈部进行操作，因此本发明专注内窥镜引导下的经鼻手术培训，现有的内窥镜引导下头颈部手术培训装置极少，且存在诸多问题。其中最主要的问题是：1、单纯的基于计算机图形学的仿真模型的真实性难以保证；2、缺乏基于专业医生指导下的对不同手术术士关键点进行关卡设计，从而能够实时的纠正并记录操作人员的反馈评分系统；3、具体解剖学的细节不清晰，力反馈操作与真实画面位置难以对应，为了满足实时性所需要消耗的计算资源过大。
4.中国专利202111533867.x制作了一套完整的带力反馈的医学仿真教学系统，拥有与本专利类似的三维建模模块、软组织建模模块、碰撞检测与力反馈模块，该文提到因为计算资源有限，为了确保视觉与触觉模拟的实时性，不得不简化组织器官的仿真，这样的处理方式虽然十分正常，但通常会导致力反馈设备无法的与有限元复杂模型进行高真实性的交互；另外医学培训模拟最重要的是模拟“医生手把手教学”，医生往往会手把手纠正学生手术中的错误，现行的内镜引导下的鼻腔手术仿真设备，几乎没有提到手术训练中的实时纠错功能；其次，例如中国专利201520482322.4制作一套带力反馈的鼻内镜手术导航方针培训系统，采用了真实的鼻内镜实体与方针手术器械实体，这样做大大降低了力反馈难度，降低了仿真系统成本，但是其使用光学跟踪设备进行定位，会使得在手术演练操作过程中发生由于遮挡导致位置识别不准的问题。


技术实现要素：

5.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种内窥镜引导下的经鼻腔虚拟仿真手术方法，其能够整合真实手术过程中的关键点，并针对性地构建具有高精度解剖学特征的虚拟模型与真实模型，结合与真实手术工具一比一的力反馈设备，实现虚拟视觉、真实触感相互结合的高度沉浸式的虚拟仿真手术演练。
6.本发明的技术方案是：这种内窥镜引导下的经鼻腔虚拟仿真手术方法，其包括以下步骤：
7.(1)获得病患的ct图像，基于阈值分割得到初步的有生理学特征的三维虚拟面片模型；
8.(2)得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，对模型的不同区域设定特定的柔性系数，获取不同区域的边界状态，将软体力反馈模型与视觉模型进行合并，使其视觉变化与力觉变化同步；
9.(3)遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状。
10.本发明先获得病患的ct图像，基于阈值分割得到初步的有生理学特征的三维虚拟面片模型；得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，对模型的不同区域设定特定的柔性系数，获取不同区域的边界状态，将软体力反馈模型与视觉模型进行合并，使其视觉变化与力觉变化同步；遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状；因此本发明能够整合真实手术过程中的关键点，并针对性地构建具有高精度解剖学特征的虚拟模型与真实模型，结合与真实手术工具一比一的力反馈设备，实现虚拟视觉、真实触感相互结合的高度沉浸式的虚拟仿真手术演练。
11.还提供了内窥镜引导下的经鼻腔虚拟仿真手术装置，其包括：
12.三维建模模块，获得病患的ct图像，基于阈值分割得到初步的有生理学特征的三维虚拟面片模型；
13.软组织建模模块，得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，对模型的不同区域设定特定的柔性系数，获取不同区域的边界状态，将软体力反馈模型与视觉模型进行合并，使其视觉变化与力觉变化同步；
14.碰撞检测与力反馈模块，遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状。
附图说明
15.图1是根据本发明的内窥镜引导下的经鼻腔虚拟仿真手术方法的流程图。
具体实施方式
16.如图1所示，这种内窥镜引导下的经鼻腔虚拟仿真手术方法，其包括以下步骤：
17.(1)获得病患的ct图像，基于阈值分割得到初步的有生理学特征的三维虚拟面片模型；
18.(2)得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，对模型的不同区域设定特定的柔性系数，获取不同区域的边界状态，将软体力反馈模型与视觉模型进行合并，使其视觉变化与力觉变化同步；
19.(3)遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状。
20.本发明先获得病患的ct图像，基于阈值分割得到初步的有生理学特征的三维虚拟面片模型；得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，对模型的不同区域设定特定的柔性系数，获取不同区域的边界状态，将软体力反馈模型与视觉模型进行合并，使其视觉变化与力觉变化同步；遍历检测获取手术工具与
器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状；因此本发明能够整合真实手术过程中的关键点，并针对性地构建具有高精度解剖学特征的虚拟模型与真实模型，结合与真实手术工具一比一的力反馈设备，实现虚拟视觉、真实触感相互结合的高度沉浸式的虚拟仿真手术演练。
21.本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种内窥镜引导下的经鼻腔虚拟仿真手术装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
22.三维建模模块，获得病患的ct图像，基于阈值分割得到初步的有生理学特征的三维虚拟面片模型；
23.软组织建模模块，得到基于病人的面片模型后将其四面体化，根据生理学特征改变模型不同区域的软硬程度，对模型的不同区域设定特定的柔性系数，获取不同区域的边界状态，将软体力反馈模型与视觉模型进行合并，使其视觉变化与力觉变化同步；
24.碰撞检测与力反馈模块，遍历检测获取手术工具与器官组织的碰撞点位置信息，计算不同时刻的速度、力、阻尼物理信息，传输给力反馈装置，以供用户实时感受到模型的力学性状。
25.优选地，所述三维模型建模模块用dicom格式的ct数据或mri数据进行建模，其中ct数据设置层厚1.00mm进行拍摄，对象为目标的面部到鼻蝶窦口下方，并储存为dicom格式。
26.优选地，所述软组织建模模块，基于mitk类库，根据不同组织的灰度范围不同进行阈值筛选与分割，得到初步模型之后，基于专业医生的意见针对关键部位进行网格细化，对不关键部位进行网格删减、并采用拉伸、旋转，使最终模型符合生理学结构特点，并最后保存为stl格式的三角面片文件。
27.优选地，所述软组织建模模块，将组织分为肌肉、脂肪、黏膜、骨骼四类，对不同类型的模型赋予不同的生物力学参数及模型在外施力状态下的约束，同一器官中的不同部位任意调整其生物力学参数。
28.优选地，所述碰撞检测与力反馈模块，判断虚拟手术器械与虚拟模型之间的碰撞位置以及碰撞物理参数，以便指导模型形变与力反馈的值的输入。
29.优选地，所述虚拟手术器械是根据真实的手术器械模型1比1进行建模制作的，其中的碰撞检测模型是给予aabb算法进行判断是否碰撞的，在程序运行的每一帧中，循环检测手术工具与物理模型的碰撞点，获取其碰撞点信息，所有器械的碰撞检测盒制作皆大于本身直径0.1毫米，获得某一时刻某些点的碰撞速度，方向，力大小，动量等信息后，将数值输入力反馈模型，来完成对力反馈的物理模拟。
30.优选地，所述碰撞检测与力反馈模块使用3d-system的touch笔设备，其通过usb接口与计算机连接，并安装开源的openhaptics驱动工具包。
31.优选地，对模型及其场景进行颜色、纹理、光照进行渲染，并在模型进行形变或位移时进行实时的更新。
32.优选地，该装置还包括：显示装置、力反馈装置、真实体模装置、辅助输入装置；
33.显示装置与虚拟手术仿真链接，用于基础的视觉交互；力反馈装置作为触觉的输入与交互；真实体模通过位置计算与虚拟仿真中的虚拟模型一一对应，固定在设备中央；辅助输入装置与工序辅助模型连接。
34.本技术实施例提供了一种内窥镜引导下的经鼻腔虚拟仿真手术装置，具有生理学特征，根据鼻腔不同区域的生物力学特征不同而进行定制化力反馈设计，与视觉渲染设计，符合真实场景下的力反馈虚拟手术需求，其过程具有简易可重复性，便捷可设计性，可根据不同手术灵活设计手术方案和培训流程。
35.以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。