使用虚拟装置和物理3D模型以显现医疗装置在患者器官中的导航的制作方法

本发明整体涉及在患者器官中跟踪医疗装置，并且具体地涉及使用虚拟装置和三维(3d)物理模型来协助医疗装置的导航的方法和系统。

背景技术：

在各种医疗规程中，显示视觉3d模型以协助医师在患者的器官中导航医疗工具。

例如，美国专利申请公布2010/0268068描述了在具有成像系统的心腔内进行医学介入规程的系统和方法，以获得心腔的图像数据，并且根据该图像数据创建3d模型。该专利申请还描述了介入系统和介入工具，所述介入系统用于使得3d模型与心腔的实时图像进行配准并且显示该3d模型，所述介入工具被定位在心腔中以在介入系统上显示并且在配准的3d模型上被实时导航。

美国专利申请公布2012/0280988描述了交互式混合现实模拟器，其包括对象的内部或隐藏特征的虚拟3d模型，进行交互的物理模型或对象，以及用于与物理对象进行交互的跟踪器械。

技术实现要素：

本文所述的发明的实施方案提供了方法，所述方法包括接收在患者的身体内移动的医疗装置的第一位置的第一序列。通过以模仿第一序列的第二位置的第二序列自动地移动在身体外部的虚拟装置，向用户显现医疗装置的第一位置。

在一些实施方案中，接收第一序列包括在相应的第一位置处接收医疗装置的第一取向，并且移动虚拟装置还包括在相应的第二位置处以第二取向对虚拟装置进行取向，以便模拟第一取向。在其他实施方案中，医疗装置包括耳鼻喉部(ent)工具或导丝。在其他实施方案中，自动地移动虚拟装置包括在物理三维(3d)模型中移动虚拟装置，所述物理3d模型对患者的身体的至少一部分进行建模，所述物理3d模型位于身体外部。

在一个实施方案中，该方法包括通过接收身体的至少一部分的一个或多个解剖图像来产生物理3d模型，以及基于所述一个或多个解剖图像来推导用于产生物理3d模型的指令。在另一实施方案中，产生物理3d模型包括基于指令使用3d打印机来打印物理3d模型。在另一实施方案中，自动地移动虚拟装置包括控制联接到虚拟装置的机器人，以将虚拟装置移动到第二位置。

在一些实施方案中，自动地移动虚拟装置包括控制将标记投射在第二位置处的投影仪。在其他实施方案中，第一位置设置在第一坐标系中，并且第二位置设置在第二坐标系中，并且该方法包括在第一坐标系和第二坐标系之间进行配准。

在一个实施方案中，自动地移动虚拟装置包括在身体外部的三维(3d)场景中移动虚拟装置，所述3d场景对患者的身体的至少一部分进行建模。在另一实施方案中，该方法包括通过接收器官的至少一部分的一个或多个解剖图像来构建3d场景，以及基于所述一个或多个解剖图像来推导用于构建3d场景的指令。

根据本发明的实施方案另外提供了一种包括接口和处理器的设备。所述接口被配置成接收在患者的身体内移动的医疗装置的第一位置的第一序列。所述处理器被配置成通过以模仿第一序列的第二位置的第二序列自动地移动在身体外部的虚拟装置，向用户显现医疗装置的第一位置。

以下结合附图根据本发明的实施方案的详细说明将更全面地理解本发明，在附图中：

附图说明

图1是根据本发明的实施方案的鼻窦扩张外科系统的示意性图解；以及

图2是根据本发明的实施方案而示意性地示出用于显现医疗装置在器官中的位置和取向的方法的流程图。

具体实施方式

概述

一些医疗规程例如鼻窦扩张手术，需要医疗装置相对于患者器官的显现，所述医疗装置插入到患者器官中。

下文描述的本发明的实施方案提供了改进的技术，所述改进的技术用于相对于患者器官显现医疗装置，例如在鼻窦扩张手术中相对于患者头部的鼻窦显现耳鼻喉部(ent)工具。所公开的技术施用于模拟ent工具的运动但没有医疗功能的虚拟装置。在本公开和权利要求的上下文中，术语“工具”和“装置”可互换使用，并且是指任何合适的医疗和/或虚拟装置。

在一些实施方案中，在通常在鼻窦扩张手术之前施用的制备规程中，鼻窦扩张系统的处理器接收用于描绘患者头部的相应切片的多个二维(2d)计算机化断层成像(ct)图像。处理器被配置成基于ct图像来推导患者ent器官(例如，患者鼻窦)的虚拟三维(3d)模型。处理器被进一步配置成生成用于产生包括鼻窦的患者头部的至少一部分的物理3d模型的指令。3d打印机基于打印指令来产生物理3d模型，使得物理3d模型的每个体积像素(体素)均与ct图像的虚拟3d模型的对应体素配准。

在本发明上下文中，术语“虚拟3d模型”是指通常存储在可访问处理器的合适存储器中的器官的计算机化表示。术语“物理3d模型”是指器官的有形的材料复制。

在一些实施方案中，位置跟踪系统的第一位置传感器和第二位置传感器联接到ent工具和虚拟工具的相应远侧末端。在一个实施方案中，处理器被配置成在由ct系统和位置跟踪系统使用的坐标系之间进行配准。在该实施方案中，ent工具和虚拟工具的位置均在位置跟踪系统的坐标系中测量，并在鼻窦扩张系统的显示器上和物理3d模型上显示。

在施用医疗规程时，医师将ent工具插入到患者鼻部中。ent工具可被视为以患者身体中第一位置和取向的第一序列来移动。在一些实施方案中，联接到虚拟工具的机器人将虚拟工具插入到物理3d模型中。机器人以第二位置和取向的第二序列在物理3d模型中移动虚拟工具，所述第二位置和取向的第二序列模拟医疗装置的相应第一位置和取向。这样，通过在物理3d模型内移动虚拟工具向医师自动和连续地显现隐于视野之外的医疗工具的位置和取向。

所公开的技术在医疗规程中特别重要，诸如在高度支化的器官中实施的鼻窦扩张术。在此类规程中，所公开的技术能够精确地导航到目标位置，并且有助于减少导航错误，从而减少规程的总体循环时间。

此外，所公开的技术避免了在规程期间用危险的x射线辐射照射患者的需要，以便验证医疗工具相对于所考虑的器官的位置和取向。

系统说明

图1是根据本发明的实施方案的鼻窦扩张外科系统10的示意性图解。在一个实施方案中，系统20包括控制台33，所述控制台包括处理器34，输入装置39和用户显示器36。

在一个实施方案中，在制备规程中，处理器34被配置成接收一个或多个计算机化断层成像(ct)图像，所述图像描绘了使用外部ct系统(未示出)获得的患者22的头部41的相应分段的二维(2d)切片。术语“分段的”是指通过在ct系统中测量组织的相应衰减来显示在每层切片中识别的各种类型的组织。

在一些实施方案中，处理器34被配置成基于ct图像来构建头部41的虚拟三维(3d)模型。在其他实施方案中，ct系统的处理器可构建虚拟3d模型。在一些实施方案中，处理器34被配置成将来自ct图像的一个或多个选定切片，诸如图像35，显示在显示器36上。在图1的示例中，图像35为额窦和上颌窦，诸如鼻窦58，以及头部41的鼻甲组织中的鼻腔通道的剖视图。

在一个实施方案中，处理器34被进一步配置成基于ct图像来推导用于产生头部41的至少一部分的物理三维(3d)模型60的指令。可以使用3d打印机或任何其他合适的生产技术来产生物理3d模型。需注意，物理3d模型60的每个体积像素(体素)均与虚拟3d模型的对应体素配准，原因在于两个模型均基于头部41的ct图像。

在一些实施方案中，模型60可包括头部41的多个相邻切片的叠堆的物理模型，所述物理模型包括在图像35中显示的剖视图，使得物理3d模型60的鼻窦68对鼻窦58的剖视图进行物理上建模。在其他实施方案中，物理3d模型60仅包括患者ent系统(诸如鼻窦58)的感兴趣区域(roi)，以及任选地位于roi周边若干毫米或若干厘米处的组织。

在一些实施方案中，系统20包括医疗装置，诸如导丝或外科耳鼻喉部(ent)工具52，所述导丝或外科耳鼻喉部工具由柄部30控制，并且被配置成例如在头部41的鼻窦58中执行鼻窦扩张手术。

在物理3d模型中使用虚拟装置以显现医疗装置导航

在鼻窦扩张手术期间，医师24可通过鼻部26插入ent工具52，以便将ent工具52的远侧末端导航到鼻窦58中。在一个实施方案中，医师24可使用位置跟踪系统将工具52导航到鼻窦58中，该位置跟踪系统使用坐标系51。在该实施方案中，处理器34被配置成在ct系统的坐标系51和坐标系61之间进行配准。在该实施方案中，ent工具的位置可被显示在显示器36上，例如作为叠加在图像35上的标记。

需注意，图像35仅描绘了roi(例如，鼻窦58的剖视图)的2d切片，并且可因此包含比用于在鼻窦58内的精确期望位置处实施鼻窦扩张手术所需的信息更少的信息。在一些实施方案中，系统20包括虚拟工具62，诸如具有类似于ent工具52的尺寸和形状(如图1所示)或任何其他合适的尺寸和形状的物理装置，或者投射在物理3d模型60上的标记，或者任何其他合适类型的虚拟工具。

在一些实施方案中，虚拟工具62联接到机器人70的臂72，所述机器人被配置成移动臂72以便将虚拟工具62的远侧末端导航到物理3d模型60的鼻窦68中的目标位置。

在一些实施方案中，系统20包括磁位置跟踪系统，所述磁位置跟踪系统被配置成跟踪一个或多个位置传感器，诸如位置传感器56和66，的位置和取向。在图1的示例中，位置传感器56联接到ent工具52，并且位置传感器66联接到虚拟工具62。

在一些实施方案中，磁位置跟踪系统包括磁场发生器44以及位置传感器56和66。传感器56和66被配置成响应于来自场发生器44的所感测的外部磁场来生成位置信号。在一个实施方案中，处理器34被配置成在磁位置系统的坐标系51中标测传感器56和66的位置。

该位置感测方法在各种医疗应用中实现，例如在由biosensewebsterinc.(diamondbar，calif.)生产的carto^tm系统中实现，并且详细地描述于美国专利5,391,199、6,690,963、6,484,118、6,239,724、6,618,612和6,332,089、pct专利公布wo96/05768，以及美国专利申请公布2002/0065455a1、2003/0120150a1和2004/0068178a1中，这些专利的公开内容全部以引用方式并入本文。

在一些实施方案中，在患者22的头部41中跟踪联接到ent工具52的远侧末端的位置传感器56，使得传感器56的坐标被报告在位置跟踪系统的坐标系51中。在一些实施方案中，联接到虚拟工具62的远侧末端的传感器66参照坐标系51进行报告，并且在物理3d模型60中进行跟踪，所述物理3d模型与ct系统的坐标系61配准。在一些实施方案中，处理器34被配置成在坐标系51和61之间进行配准以便使得虚拟工具62能够在物理3d模型60内移动到模拟头部41中工具52的相应位置和取向的位置和取向。

在本示例中，系统20包括定位垫40，所述定位垫包括固定在框架46上的多个场发生器44。在图1所示的示例性配置中，垫40包括五个场发生器44，但可使用任何其它合适数量的场发生器44。

在一些实施方案中，垫40被放置在患者22的头部41下方，使得场发生器44定位在患者外部的固定已知位置处。在一个实施方案中，控制台33还包括驱动器电路(未示出)，所述驱动器电路被配置成利用合适的信号驱动场发生器44，以便在头部41周围的预定工作体积中生成磁场。

在一个实施方案中，处理器34通常为通用计算机，所述通用计算机包括用于从外部源，诸如ct成像系统，接收数据的合适的前端和接口电路。处理器34被进一步配置成分别经由连接到柄部30和机器人70的相应缆线32和74接收来自传感器56和66的位置信号，并且用于控制系统20的其他部件。

在一些实施方案中，处理器34被配置成从传感器56接收在头部41中移动的工具52的远侧末端的位置和取向的第一序列。基于该第一序列，处理器34被配置成设定机器人70以在物理3d模型60内以位置和取向的第二序列自动地移动虚拟工具62，使得虚拟工具62的每个位置和取向模拟ent工具52的相应位置和取向。

在一些实施方案中，处理器34被配置成例如在坐标系51中，在虚拟工具62和ent工具52之间进行配准。在这些实施方案中，位置传感器66可从系统20的构型中省略，或者另选地被用作用于验证虚拟工具62的位置的控制部件。

在一些实施方案中，处理器34被配置成同时在图像35和物理3d模型60中显示传感器56和66的相应位置。在一个实施方案中，处理器34还被配置成显示叠加在图像35上和/或显示器36上的其他地方的数据，例如虚拟标记和各种测量。在该实施方案中，医师24可使用物理3d模型60以用于导航工具52，并且利用显示在显示器36上的数据来实施鼻窦扩张手术。

在另选的实施方案中，代替接收所述一个或多个ct图像，处理器34被配置成接收使用另一合适的解剖成像技术，诸如具有相应坐标系的磁共振成像(mri)，采集的一个或多个图像，并且在mri系统的坐标系和位置跟踪系统的坐标系之间进行配准，如上所述。

在另选的实施方案中，物理3d模型60可包括任何合适类型的3d模型，而不是打印的3d物理模型。例如，在一个实施方案中，处理器34被配置成构造3d场景，诸如基于ct图像构建的全息图，并且在合适的全息显示器上显示全息图。在这些实施方案中，处理器34被进一步配置成通过将标记投射在3d场景上来模拟ent工具52的位置，使得标记指示虚拟工具的远侧末端或任何其他合适的部分。另选地，物理虚拟工具，诸如虚拟工具62，可用于模拟场景中ent工具52的位置和取向。

为了简单和清楚起见，图1仅示出了与所公开技术有关的元件。系统20通常包括附加模块和元件，所述附加模块和元件与所公开的技术不直接相关，并且因此从图1和对应的描述中被有意地省略。

处理器34可用软件编程以进行由系统使用的功能，并且将数据存储在待由软件处理或以其它方式使用的存储器(未示出)中。例如，可通过网络将软件以电子形式下载到处理器，或者可将软件提供在非临时性有形介质上，诸如，光学、磁性或电子存储器介质。另选地，可通过专用或可编程数字硬件部件来实施处理器34的功能中的一些或全部。

图2是根据本发明的实施方案而示意性地示出了用于显现头部41中的ent工具52的位置和取向的方法的流程图。在一些实施方案中，该方法包括在医疗规程之前实施的制备规程，以及在医疗规程期间实施的操作。

制备规程始于处理器34在图像采集步骤100处接收头部41的一个或多个解剖图像。在一些实施方案中，解剖成像系统(诸如ct系统)采集头部41的剖视图图像的多个2d切片。在一些实施方案中，2d切片被分段，以便识别在每个切片中的各种类型的组织。

在一些实施方案中，处理器34被配置成基于2d切片构建头部41的虚拟3d模型，或者从ct系统接收头部41的虚拟3d模型。

在物理3d模型形成步骤102处，处理器34基于所接收的ct图像来推导用于产生头部41的至少一部分的物理3d模型60的指令，所述物理3d模型通过使用3d打印机或任何其他合适的生产技术来产生。需注意，物理3d模型60的每个体素均与图像采集步骤100中描述的虚拟3d模型的相应体素配准，原因在于两个模型均基于头部41的ct图像推导而得。因此，物理3d模型60与ct系统的坐标系61配准。

在一些实施方案中，物理3d模型60包括图像35中显示的剖视图的物理模型，使得模型60的鼻窦68为鼻窦58的剖视图的物理3d模型。

在结束制备规程的配准步骤104处，处理器34在位置跟踪系统的坐标系51和ct系统的坐标系61之间进行配准。该配准方案支持跟踪虚拟工具62(所述虚拟工具被报告在坐标系51中)在物理3d模型60(所述物理3d模型与坐标系61配准)中的位置和取向。该配准方案还支持使用从传感器56和66接收的位置信号，分别并通常同时报告ent工具52和虚拟工具62的位置和取向。

在ent工具插入步骤106中，所述插入步骤为图2方法中的医疗规程的第一步，医师24将ent工具52插入到患者22的头部41中，所述ent工具具有联接到其远侧末端的位置传感器56。

在序列采集步骤108处，处理器34经由柄部30和缆线32从传感器56接收指示头部41中ent工具52的远侧末端的位置和取向的位置信号的第一序列。在结束该方法的3d显现步骤110处，处理器34设置机器人70以通过以模拟ent工具52的位置和取向的第一序列的位置和取向的第二序列在3d模型60内自动地移动虚拟工具62，从而向医师24显现ent工具52的位置和取向。

在其他实施方案中，虚拟工具62可包括投影仪(未示出)，该投影仪替代上述图1所示的机器人70、臂72、物理虚拟工具62和传感器66。由处理器34控制的投影仪被配置成接收来自处理器34的位置和指令，并且通过以模拟ent工具52的位置的第一序列的位置的第三序列自动地移动投射在3d模型60上的标记物以显现ent工具52的位置。

在其他实施方案中，系统20包括全息显示器(未示出)，该全息器显示被配置成显示3d场景，诸如全息图。全息显示器可替代物理3d模型，诸如打印的物理3d模型60。在这些实施方案中，处理器34在全息显示器上显示3d场景，使得3d场景包括基于ct图像构建的至少roi(例如，鼻窦58)。

在一个实施方案中，处理器34(例如，使用投影仪)投射虚拟工具62，其在3d场景(例如，使用不同颜色的光)上投射为全息对象或标记。在另一实施方案中，处理器34使用上述图1中所示的构型在全息图内移动物理虚拟工具，诸如虚拟工具62。

在另选的实施方案中，位置传感器56和66中的至少一个可在不同于远侧末端的任何合适位置处联接到相应工具52和62。例如，ent工具52可包括中空管，所述中空管被配置成从鼻窦58中牵拉材料。在该构型中，传感器56可以与远侧末端预定义偏置的方式安装在工具52的远侧端部处，使得在处理器34中保持所述偏置以用于上述操作。在这些实施方案中，处理器34被配置成利用这种偏置，并且可能的是传感器66相对于工具62的远侧末端的位置的附加偏置，来在工具52和62之间进行配准。

在本文所述的实施方案中，虚拟装置(例如，虚拟工具62)模拟医疗装置(例如，ent工具52)的位置和取向两者。在另选的实施方案中，虚拟装置可仅模拟医疗装置的位置(而不是取向)。该具体实施具有降低的功能性，但可显著简化系统(例如，机器人)。

尽管本文所述的实施方案主要论述鼻窦扩张手术，但本文所述的方法和系统还可用于其他应用中。

因此应当理解，上述的实施方案以举例的方式引用，并且本发明不限于上文已具体示出和描述的内容。相反，本发明的范围包括上文所述的各种特征的组合和子组合，以及本领域技术人员在阅读上述说明时会想到且未在现有技术中公开的其变型和修改。以引用方式并入本专利申请的文献被视为本申请的整体部分，但是如果这些并入的文献中限定的任何术语与本说明书中明确或隐含地给出的定义相冲突，则应只考虑本说明书中的定义。