基于混合现实的手术全息导航方法及系统与流程

1.本发明涉及医疗器械技术领域，尤其涉及一种基于混合现实的手术全息导航方法及系统。


背景技术：

2.近年来，我国手术导航系统在医疗领域蓬勃发展，大部分产品主要针对硬组织或相对固定的软组织，如骨科、神经外科、腹腔镜手术等。而传统的医学导航方法中，医生通过x射线计算机断层成像(ct)或核磁共振(mri)图像根据诊断经验在自己脑海中想象出病灶的三维位置，因此在术前无法对病灶位置进行准确的定位；在手术中，对于如何避开重要的功能区、神经及血管，找到一条通往病灶的捷径，并深入病灶也是十分困难的。例如，传统头部三叉神经穿刺手术及腰部椎体成形术(pvp，pkp)需要医生在ct引导下完成。医生在手术中需要通过ct影像判定穿刺角度位置等信息，因此患者在手术中需要接受多次ct照射，对患者和医生身体造成损害，同时医生在非实时ct影像引导下需要凭经验完成手术，对医生的技能要求较高，且手术时间长，风险高，易对患者造成二次伤害。
3.混合现实技术(mr)是虚拟现实技术(vr)的进一步发展,该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，打破了数字的虚拟世界与物理的真实世界的界限；近年来，该技术在医疗领域的应用也得到了极大的发展，但大多数都是只对病灶组织进行三维的呈现，只能用作指导术前的手术诊断规划，无法与用户进行交互在术中形成实时精准的全息可视化导航，无法在术中产生实际的医疗益处。
4.具体存在的问题及缺陷可归纳为：
5.(1)传统的医学的导航方法医生在非实时ct影像引导下需要凭经验完成手术，对医生的技能要求较高，且手术时间长，风险高，易对患者造成二次伤害；
6.(2)现有基于混合现实的医疗导航方法，大多数都只对病灶组织进行三维的呈现，只能用作指导术前的手术诊断规划，无法与用户进行有效实时交互在术中形成实时精准的全息可视化导航，无法在术中产生实际的医疗益处。


技术实现要素：

7.针对现有技术存在的问题，本发明提供了一种基于混合现实的手术全息导航方法及系统，同时兼容了术前诊断规划和术中全息导航，可以与用户实现更精准有效的实时交互，在在手术中提供实时的全息可视化导航。
8.本发明是这样实现的，一种基于混合现实的手术全息导航方法，所述方法包括以下步骤：
9.s1，获取病人ct断层图像数据；
10.s2，基于获取的ct断层图像数据对病人病灶组织进行三维模型重建得到病人模型；
11.s3，将病人ct断层图像数据、三维重建模型等导航所需数据导入全息导航系统；
12.s4，全息导航系统通过光学追踪设备进行位置数据采集，对手术工具位置进行动态追踪；
13.s5，加载病人数据，规划手术路径；
14.s6，病人图像显示空间与病人现实空间配准；
15.s7，由混合现实设备将虚拟的模型图像空间与病人现实空间配准，并将虚拟模型图像精准叠加到病人身上，实现全息可视化导航。
16.进一步，所述步骤s3具体还包括：
17.将病人ct断层图像数据、三维模型等导航所需数据集成到单个系统可加载的文件中；
18.将所述文件导入导航系统。
19.进一步，所述步骤s6具体包括：
20.采用三维扫描仪扫描病人特定身体组织获取其三维信息，将病人身体某一个部位作为特征标记点；
21.根据术前扫描三维图像与术中病人实时三维图像的特征点匹配关系，实现扫描仪获得病人病灶参考坐标系与虚拟影像坐标系间的转换关系；
22.通过坐标系的转换关系，完成病人虚拟图像显示空间与其病灶组织现实空间配准。
23.进一步，所述所述步骤s7具体包括：
24.在二维图像空间通过主动形状模型识别图像中的鼻尖与眼睛特征点，获取病人空间特征点的三维坐标；
25.在模型空间利用三维多尺度不变性和面部特征几何约束计算对应特征点的三维坐标，求解刚性变换矩阵作为粗略配准结果；
26.粗略注册的结果作为迭代就近点算法(iterativeclosestpoints，icp)精确注册的输入，最终得到最优的空间变换矩阵，达到虚拟的模型图像空间与病人现实空间精确配准；
27.将虚拟模型图像精准叠加到病人身上并进行显示，实现全息可视化导航。
28.本发明的另一目的在于提供一种基于混合现实的手术全息导航系统包括：
29.导航工作站子系统，用于术前规划部分的手术路径创建，病灶组织三维模型重建以及术中导航部分的图像显示空间与其病灶组织空间配准和手术工具位置进行动态追踪；
30.混合现实子系统，用于混合现实显示，接收导航工作站子系统的数据进行相关的手术器械位置实时更新，病人模型与病人实际组织部位配准及显示；
31.病人病灶组织数据库系统：存储病人的ct扫描数据，以及根据ct扫描数据通过三维重建技术获得的不同病人病灶组织的三维模型数据，并根据不同病人、不同病灶甚至不同年龄段进行分类，并加入数据库统一管理，达到快速查找、快速复用的目的。
32.进一步，所述导航工作站子系统包括：
33.三维重建模块：根据病人ct图像数据对病灶组织进行三维模型重建；
34.光学追踪模块：获取手术工具位置信息并对手术工具位置进行动态追踪；
35.手术路径规划模块：根据病人病灶位置情况，规划手术路径；
36.导航注册模块：用于病人图像显示空间和病人现实空间配准。
37.进一步，所述混合现实子系统包括：
38.空间配准模块：用于混合现实设备虚拟的图像与病人病灶组织空间配准。
39.混合现实交互模块：显示导航图像，提供手势交互方法，用于用户与图像交互。
40.进一步，所述系统需配置的硬件设备包括混合现实显示设备，光学导航相机、导航工作站以及光学球和手术工具，所述混合现实显示设备通过wifi与导航工作站无线连接并进行数据传输，所述光学导航相机通过有线网口与导航工作站连接，所述手术工具上设置有光学球,根据光学球反射红外光的特性，光学导航相机发射红外光识别到光学球从而确定手术工具位置；
41.进一步，所述全息导航系统以导航工作站作为数据转换及传输枢纽，光学导航相机通过手术工具上光学球识别追踪到手术工具的坐标位置并传送到导航工作站，导航工作站对拿到的坐标进行坐标系转换得到基于显示空间坐标系的坐标，并传输给混合现实显示设备，达到手术工具位置实时追踪显示。
42.混合现实显示设备拿到人体病灶组织部位三维重建模型，通过空间配准技术，将虚拟图像和人体部位准确叠加，达到全息导航显示效果。
43.进一步，所述光学导航相机应放置在可扫描到病人特定组织部位以及手术工具上光学球的位置，并且该放置位置还应不易被移动遮挡。
44.结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于混合现实的手术全息导航方法及系统，同时兼容了术前诊断规划和术中全息导航，通过对病灶组织三维模型的重建，然后通过空间配准，将虚拟模型图像精准叠加到病人身上并对手术工具位置进行实时追踪，在显示窗口进行显示与用户进行精准有效的实时交互，在手术中提供实时的全息可视化导航，本发明既能完成术前对手术路径的精准规划，也能在术中提供实时的全息可视化导航，极大的缩短了手术时间，提高手术的成功率。
附图说明
45.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
46.图1是本发明实施例提供的基于混合现实的手术全息导航方法的流程示意图；
47.图2是本发明实施例提供的病人图像显示空间与病人现实空间配准方法的流程示意图；
48.图3是本发明实施例提供的虚拟的模型图像空间与病人现实空间配准及叠加显示方法的流程示意图；
49.图4是本发明实施例提供的基于混合现实的手术全息导航系统的组织架构图；
50.图5是本发明实施例提供的基于混合现实的手术全息导航系统硬件设备的连接结构示意图；
51.图中：1、导航工作站子系统；2、混合现实子系统；3、病人病灶组织数据库子系统；4、导航工作站；5、混合现实设备；6、光学导航相机；7、手术工具；11、三维重建模块；12、光学
追踪模块；13、手术路径规划模块；14、导航注册模块；21、空间配准模块；22、混合现实交互模块。
具体实施方式
52.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
53.针对现有技术存在的问题，本发明提供了一种基于混合现实的手术全息导航方法，下面结合附图对本发明作详细的描述。
54.如图1所示，本发明是这样实现的，一种基于混合现实的手术全息导航方法，所述方法包括以下步骤：
55.s1，获取病人ct断层图像数据；
56.s2，基于获取的ct断层图像数据对病人病灶组织进行三维模型重建得到病人模型；
57.s3，将病人ct断层图像数据、三维重建模型等导航所需数据导入全息导航系统；
58.s4，全息导航系统通过光学追踪设备进行位置数据采集，对手术工具位置进行动态追踪；
59.s5，加载病人数据，规划手术路径；
60.s6，病人图像显示空间与病人现实空间配准；
61.s7，由混合现实设备将虚拟的模型图像空间与病人现实空间配准，并将虚拟模型图像精准叠加到病人身上，实现全息可视化导航。
62.为了使导入全息导航系统的数据加载时更加方便，所述步骤s3具体还包括：先将病人ct断层图像数据、三维模型等导航所需数据集成到单个系统可加载的文件中(如mitk格式文件)，然后再将该数据文件导入导航系统，如此在数据调取或加载更加的方便。
63.如图2所示，病人图像显示空间与病人现实空间配准具体是为了将病人重建三维模型图像及手术器械位置图像和病人实际位置进行配准，如此才能实现实时的动态追踪，所述步骤s6具体包括：
64.s601,采用三维扫描仪扫描病人特定身体组织获取其三维信息，将病人身体某一个部位作为特征标记点；
65.s602,根据术前扫描三维图像与术中病人实时三维图像的特征点匹配关系，实现扫描仪获得病人病灶参考坐标系与虚拟影像坐标系间的转换关系；
66.s603,通过坐标系的转换关系，完成病人虚拟图像显示空间与其病灶组织现实空间配准。
67.如图3所示，在完成步骤病人图像显示空间与病人现实空间配准步骤后，进行步骤s7，步骤s7是为了完成在混合现实设备上的模型图像和病人实际位置配准，并在混合现实设备上实现全息显示，具体包括如下步骤：
68.s701,在二维图像空间通过主动形状模型识别图像中的鼻尖与眼睛特征点，获取病人空间特征点的三维坐标；
69.s702,在模型空间利用三维多尺度不变性和面部特征几何约束计算对应特征点的
三维坐标，求解刚性变换矩阵作为粗略配准结果；
70.s703,粗略注册的结果作为迭代就近点算法(iterativeclosestpoints，icp)精确注册的输入，最终得到最优的空间变换矩阵，达到虚拟的模型图像空间与病人现实空间精确配准；
71.s704,将虚拟模型图像精准叠加到病人身上并进行显示，实现全息可视化导航。
72.如图4所示，本发明的另一目的在于提供一种基于混合现实的手术全息导航系统包括导航工作站子系统1、混合现实子系统2和病人病灶组织数据库子系统3，导航工作站子系统1用于术前规划部分的手术路径创建，病灶组织三维模型重建以及术中导航部分的图像显示空间与其病灶组织空间配准和手术工具位置进行动态追踪；混合现实子系统2用于混合现实显示，接收导航工作站子系统1的数据进行相关的手术器械位置实时更新，病人模型与病人实际组织部位配准及显示；病人病灶组织数据库子系统3存储病人的ct扫描数据，以及根据ct扫描数据通过三维重建技术获得的不同病人病灶组织的三维模型数据，并根据不同病人、不同病灶甚至不同年龄段进行分类，并加入数据库统一管理，达到快速查找、快速复用的目的。
73.导航工作站子系统包括三维重建模块11、光学追踪模块12、手术路径规划模块13和导航注册模块14：三维重建模块11根据病人ct图像数据对病灶组织进行三维模型重建，光学追踪模块12获取手术工具位置信息并对手术工具位置进行动态追踪，手术路径规划模块13根据病人病灶位置情况，规划手术路径，导航注册模块14用于病人模型图像空间和病人现实空间配准。
74.混合现实子系统2包括空间配准模块21和混合现实交互模块22，空间配准模块21用于混合现实设备虚拟的图像与病人病灶组织空间配准，混合现实交互模块22用于显示导航图像，提供手势交互方法，用户可以通过手势与图像交互。
75.接下来，结合硬件设备对本发明的原理进行详细描述：
76.如图5所述，所述系统需配置的硬件设备主要包括混合现实显示设备5，光学导航相机6、导航工作站4以及光学球和手术工具7，所述混合现实显示设备5通过wifi与导航工作站4无线连接并进行数据传输，所述光学导航相机6通过有线网口与导航工作站4连接，所述手术工具7上设置有光学球，根据光学球反射红外光的特性，光学导航相机7发射红外光识别到光学球从而确定手术工具7位置；
77.首先通过ct设备进行病人ct断层图像数据扫描，三维重建模块基于ct断层图像数据对病人的病灶组织进行三维模型重建，将病人ct断层图像数据、三维模型等导航所需数据集成到单个系统可加载的文件中，然后在将该数据文件导入病人病灶组织数据库子系统3以便能够在其他模块需要时随时调用；光学追踪模块12通过光学导航相机6获取手术工具7位置信息，具体为光学导航相机6通过手术工具7上光学球识别追踪到手术器械的坐标位置并传送到导航工作站4，导航工作站4对拿到的坐标通过导航注册模块14进行坐标系转换得到基于显示空间坐标系的坐标，完成病人重建三维模型及手术工具7和病人实际位置的配准，并将配准后的坐标数据传输给混合现实显示设备5，达到手术工具7位置实时追踪显示，为了使光学导航相机6采集手术工具位置信息更加便利，光学导航相机6应放置在可扫描到病人特定组织部位以及手术工具7上光学球的位置，并且该放置位置还应不易被移动遮挡；同时导航工作站4加载病人的数据信息，通过手术路径规划模块13根据病人病灶位置
情况，规划出最为合理手术路径；
78.混合现实显示设备5拿到人体病灶组织部位三维重建模型及由导航注册模块14配准后的坐标数据，通过空间配准模块21将虚拟的模型图像与病人病灶组织空间配准实现虚拟图像空间和病人现实空间的精准叠加，最终通过混合现实交互模块22在混合显示设备5上显示实时动态导航图像，并且混合现实交互模块22还提供手势交互方法，用户可以通过手势与图像进行交互；混合现实显示设备达到实时全息导航显示效果，该显示能够直观的显示病灶组织的三维模型，并且能够对手术工具的位置进行实时追踪，构建出了逼真的手术环境，用户还可以与图像进行交互，模拟手术沉浸感、体验感好，不但在术中进行全息可视化导航，还可再术前进行多次无任何手术危险的重复模拟训练。
79.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。